离婚一般不需要把彩礼退回男方家，除非男方主动提出返还彩礼的请求，且符合以下情形的，需要退还彩礼：
1、婚前给付并导致给付人生活困难；
2、男女双方办理结婚登记手续但确未共同生活；
3、婚前给付并导致给付人生活困难的。
会结合双方生活时间的长短，彩礼数额的多少，婚前婚后彩礼的使用情况，双方的经济状况等具体情况确定是否需要返还以及具体需要返还的比例。如果不存在上述情形的，那么彩礼一般不能要求返还。
离婚程序，是指配偶间解除婚姻关系所必须履行的法律手续。在中国主要有两种程序：
一、诉讼离婚的程序
诉讼离婚的流程主要有六个步骤，包括确定确定管辖、提交证据材料、立案受理、开庭审理、判决、执行，但并非每个案件都必须经历所有流程。
离婚诉讼管辖：通常指被告住所地人民。立案：人民实行立案登记制，当事人围绕具体诉讼请求，准备相关材料。通过线上、线下、邮寄等方式进行立案。
开庭审理：离婚诉讼的实质性阶段，双方当事人进行举证质证、法庭辩论。判决、执行：发生法律效力的民事判决、裁定，当事人可以申请第一审人民或者与第一审人民同级的被执行的财产所在地人民执行。
二、协议离婚的程序
协议离婚的流程主要包括申请-受理-冷静期-审查-登记（发证）5项。
离婚申请：应当签订书面离婚协议，共同到有管辖权的婚姻登记机关提出申请；离婚受理：婚姻登记员对当事人提交的上述申请材料进行初审；冷静期、机关审查、登记发证：自离婚冷静期届满后三十日内，未到婚姻登记机关申请离婚证，视为撤回申请。到婚姻登记机关申请离婚证，完成登记婚姻解除。
法律依据：
《最高人民关于适用《中华人民共和国民法典》婚姻家庭编的解释(一)》
第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。