中介不退保证金咋么办

我是卖家，尾款收到后退房，因为买家给了我一周搬家时间，退房时，她说过几天办交接手续，房子是她弟弟买的，当时没来，我想问题不大，就把钥匙也给她了，水电气都有多的，不要他给，物业我也交到了当月，结果现在说这是坏的，那是坏的，不愿签字。中介就不退保证金，要我们协商解决好。我自己住的房子，怎么东西会是坏的？我按合同家具家电都给他了，凭什么不退钱？