这样的爱还能继续吗？

我离异了，找了一个男朋友，他对我挺好的，可是家里人不同意，因为他大我13岁，我觉得找个年纪大点的男人知道心疼人，我们各自有一个儿子，但都不跟我们生活在一起，我每个星期都会去看看我儿子，他对我是好，可是几不喜欢我儿子，说以后结婚了我小孩不能带家里来，以后也不打算和我要小孩，现在他和我家里人又闹矛盾了，因为我家里人要我和他分开而跟他谈，说他不能爱屋及乌就不配爱我，他说，除了小孩的事，别的我都可以依着我，可是我就是心里不舒服，可是我又爱他，现在不知道该怎么办，现在我爸爸和家里人坚决反对我们在一起。