父母离婚多年后，请问大家属于母亲的房子是否还能要回来

楼主父母在楼主初中时离婚，共有一套房子，那时我是被判给爸爸抚养，离婚协议书写了属于妈妈的一部分房子折为抚养费给我，但是父亲赌博再加上妈妈舍不得，妈妈再婚之后（也是初中）就把我接到身边抚养，继父对我很好，期间父亲从未给过抚养费。

目前楼主已经结婚，结婚前问父亲是否出席婚礼，他含糊其词差不多等于拒绝了，从那以后我心里就不想再跟他有任何关系。楼主想问，现在想要回属于妈妈的一部分房子该怎么做（房产证上还是父亲和母亲的名字），会不会因为离婚协议书上写的折为抚养费就要不回来了，？