买二手房，说好的组合贷款变纯商贷，我可以不履行购房事宜吗

如题，刚需置换，6月中旬看好一套二手房，跟卖家和中介签了购房合同和房屋交易按揭服务合同。计划公积金商贷组合，合同里也明确勾选。那时已经出限贷ZC，但是没有明确说二手房组合贷款停贷。中介事前没有说明，也没通知我们不能办组合贷款要改纯商，直接约着面签了纯商贷，事后问中介才说拿不到组合贷款的号，并且卖房是委托卖方，本人不在本地，武汉目前还能受理组合贷款的农商行也不接受委托卖房（中介说的，实际接不接受不知道）。如果不能办组合贷款，家庭还贷压力巨大。

现在的状态是，购房定金已交、中介费全款已交，商贷在补件审批中，请问各位大神，有什么办法办组合贷款，或者有什么办法可以不继续履行买方事宜，退中介费和购房定金。