前妻生活困难，男方不一定能要回孩子抚养权，如果是因为女方患严重疾病或因伤残无力继续抚养子女的；不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响等的，可以要回来。
监护人的抚养义务有：
1、保护被监护人的身体健康；
2、照顾被监护人的生活；
3、管理和保护被监护人的财产；
4、代理被监护人进行民事诉讼；
5、对被监护人进行管理和教育；
6、在被监护人合法权益受到侵害或者与人发生争议时，代理其进行诉讼。
离婚子女抚养权的判决标准：
1、如果是不满两周岁的子女，以由母亲直接抚养为原则，判给女方；
2、已满两周岁的子女，人民根据双方的实际情况，从有利于子女身心健康，保障子女的合法权益出发来判定抚养权的归属。
【法律依据】：
《中华人民共和国民法典》二十六条
父母对未成年子女负有抚养、教育和保护的义务。
成年子女对父母负有赡养、扶助和保护的义务。
第一千零八十五条
离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民判决。
前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。
