换位置

单位整合，现在打散重新排位子，今天一同事来跟我说要跟我换位子，他男的，自已前年小中风，自己坐的位置经常有人来办事，不是找他的，办公室的另外两个同事还抽烟，他要我跟他换，我是一女的，今天回绝了他，但是心里还是觉得他蛮照业，我错了没？