这笔钱该不该还给我们

我老公有一个哥哥一个弟弟，还有三个姐姐。哥哥从小当兵在外，转业后落户在了外地，工作结婚生孩子都在外地，家里一应事物或亲戚往来他都基本不管。公婆留下一处祖屋，七年前，弟弟拆了祖屋，在原地基上建了一座两层楼房，旧房拆除的时候，我们询问弟弟可否并排做两栋，他说地基不够，做不下，并说以后我们想建房子，他会帮我们搞一处宅基地。又因为当时资金周转不过来，我们借他五万，哥哥借三万，还有其他亲戚也借了不等。如今七年过去了，其他人的都还掉了，唯独我们的五万元至今不还，也没个说法，我一提要自己建房子的事情，他就说这个房子就是给兄弟两家养老的，试问，几十年后，我们两家的孩子都成家立业，我们这代四个老人住在一起合适吗？老公是个重情的人，这个问题他也很为难，觉得换位思考，我们一定是会还钱的，但轮到弟弟，又始终开不了口。而我，感觉就这么不明不白的把这事过去了，总是不甘心，一方面，七年前的五万也不是小钱，我们一直也很节约。另一方面，老家的祖屋，老公也有份的，现在这么一搞，不光我们叶落无根，对我们的孩子，也心生歉意。请大家出出主意，谢谢