开车带朋友的老婆上下班，被传闲话了，该怎么拒绝！

家离单位挺不方便的，所以经常开车上下班，朋友家离我家挺近的，她老婆的单位离我的单位也蛮近的。于是朋友就让我带他老婆上下班，想着也没啥，反正自己每天也要跑的，带一个人也没什么，何况是自己的朋友，于是就一直带着他老婆。

因为我平时下班比他老婆早一丢丢，所以就经常在她楼下等她。这不，前几天被几个同事给看到了，然后就在公司调侃我，问我上次搭的那个美女是谁？这就搞得我很尴尬了。本来是好心带一脚，现在都被传闲话了，而且这种闲话还真扯不清。想问问各位朋友，现在该怎么办？拒绝带他，我朋友那里又不好说，带她吧，这以后要是闲话满天飞可咋整？