租客不愿搬，房东在外租房住，这是什么情况啊！

　 　 话说本人在汉正街小商品市场有一套小户型的房子，由于户型小且龙蛇混杂所以出租了，大概2000年的时候就托人介绍租给了一个一家三口住，由于是熟人介绍也没有签合同，然后按季度交房租。

　 　 去年自己住的房子要拆迁，就想把汉正街的房子收回，结果租户说要给他们时间找房子，我们也觉得合情合理。就给他时间找房子。结果他这一拖就是半年，期间说找不到便宜的房子，要我们在外面租房子，他补差价。可是我们在外面租一间要1000元，我们收他的房租才500元，要他补到1000他又不愿意。他是不愿意涨价也不愿意搬走。而且还耍无赖，不接电话、接了电话就骂人、去家里堵人，他又不开门。而且后来才知道，那家的男人是在外面给人看底下赌场的，相当与是个混混。他曾经说狠话，说即使我们搬回去住，也不让我们有好日子过，会骚扰我们。

　 　 现在我们已经在外租房子快一年了。他还不搬。我们现在也不打算回去住了，但是也不想再租给他，我们该怎么办呢？有什么途径能收回房子呢？我们咨询过JC，JC说我们没有合同、然后也不能强行撬门。难道自己的房子还收不回来了？