咨询大家一个法律问题！

我们村里分房子，然后我的宝宝可以卖人头钱，一个中间人找我们买下了，他们拿人头去搞房子，买的时候说搞到房子没搞到房子，这个钱都是我们的，去年2月份搞的，搞了差不多一年也没搞到，现在有个人找我们退钱，中间人没来，应该是不好意思来，因为是认识的，这个事情应该怎么处理！