我该怎么办？

结婚9年后，18年因为买二套房，假离婚，现在住的房子给我了，19年我出了20w给他买了一套新房，他还借了10万，也是我还的，离婚后一直住一起，谁也不提复婚的事，但是感情也不是那么好，我也很少管他，去年年底开始他就不怎么回来了，直到现在，每个月回来2-3次，看孩子，给点生活费，婆婆还和我住一起，每天我送孩子，婆婆接孩子，婆婆是外地的，孩子现在五年级，学习也直线下降，我每天工作也很忙，没有多少时间管孩子，他爸爸应该是在去年年底因为酒驾驾照被吊销了还是怎么样，我也不清楚，花了不少钱，半年后把车拿出来了，好像听他说在外面赌博输了上十万，我现在不知道怎么办，让他把首付的20w给我，我自己带孩子，他说没有钱，让他把他孩子和妈妈带走，他就赖在我这里，真的不知道怎么办？