异性朋友要不要

最近很偶然结交了一位异性朋友,不知怎么搞的,我现在很矛盾。因为我们都已婚,想和他做朋友吧,又怕老公不高兴,不做朋友吧,一时之间又忘不掉他。我不知道到底该怎么做?请您帮我解开这个心里的结吧。