前男友买房竟买到我家楼下！真的不知道该怎么办了，烦死了！

年前我们家买了心房子，但月前准备开工装修时才发现前男友把房子买在我家楼下了！！我碰到他了，就上下层，我不相信这是巧合，他一定是故意的，我们买的早，他买时一定是看了邻居的名单。我们俩在一起8个月，分手是因为性格不合，我俩总是吵架，后来他求了很长时间符合我也对他没有啥感觉了。房子是小高层，楼梯房，一共有六层，每一层一户，本来我们一家人都很开心，但一想到以后上上下下都要碰到他我就尴尬的不知道该怎么办才好！家里人为了尊重我的感受知道后也没着急装修了，退房是不可能了，现在卖一时半会也很难出手，关键我和爸妈都很喜欢那儿，好不容易买到的，我们也舍不得，太糟心了，不知道该怎么办？？？？？