进退两难，我该怎么办？

事情是这样的：我和孩子爸爸2005年相识，2007年办酒席，因多种原因，于2012年领结婚证！因为与孩子爸爸性格不合于2016年5月拿离婚证！目前，我们有两个孩子，大的我抚养，小的由孩子爸爸带走！我们无财产纠纷！但孩子爸爸经济环境不好，居住环境也不太好，原本，小的在我这边上幼儿园的，离婚后，孩子爸爸将孩子带走了，而且，也无法让孩子上幼儿园，因为对老2有着深深的愧疚与不舍，在孩子被带走的那一个月，我几乎每天与孩子视频，整日以泪洗面，情绪十分低落！因为孩子在我这边上幼儿园交了整学期的学费，还有2个月，于是，跟孩子爸爸商量，让孩子继续上幼儿园，至少读完这两个月！孩子爸爸也跟着孩子一起过来了，我跟孩子睡主卧，孩子爸爸住客房，孩子爸爸暂时没有工作，他答应过来照顾孩子饮食起居及接送孩子上下学，可是，孩子正式过来上学后，孩子爸爸每天白天睡觉，晚上出去喝酒打牌，孩子完完全全都由我一个人照顾，孩子每天幼儿园回家，总会说，爸爸又不在家，爸爸又出去喝酒了！每每听到孩子这样说，我对孩子爸爸的失望又增加不少！现在，让孩子爸爸走也不是，不走也不是，让他回自己家且找个工作，他也不愿意！真不知道同意他过来是对还是错？我不愿意看到孩子的童年不完整，不愿意看到孩子不快乐，我该怎么办呢？