结婚后老公父母兄弟一直住一起合适吗？

结婚后老公父母兄弟一直住一起合适吗？结婚四年了，年年跟他们住一起 他们自己有家确不去住，我一般都是过年才回，偶尔暑假回来住一个月，好讨厌跟他们一家人住有什么办法能解决？他弟弟准备买房 ，老公父母有自己的房子，我们的房子是结婚自己买的，他父母就出了5万，后来我们还了3万，他父母就把我们的房子当自己的房子住下不走