对遗弃人的处罚根据《中华人民共和国刑法》第二百六十一条规定“对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役，或者管制。”这里所指的情节恶劣，是指因施行遗弃行为的人，致被害人无房屋居住而流落街头、生活无着、被迫乞讨，遗弃的动机卑鄙，手段十分恶劣，导致被遗弃人病、残、精神失常、自杀等严重后果。

对遗弃人的行为，被害人应勇敢的拿起法律武器，在有关组织、单位的劝阻、调解无效的情况下，应求助司法机关依法予以刑事处罚。