出轨被对方老公威胁了怎么办

我和她都是有家室的人，也是同事。都是做销售的，公司为了活跃气氛，经常组织我们搞一些活动，一来二去，我知道她跟老公感情不好，她也知道我老婆在外地，聊来聊去，我们就聊到了性生活，聊到床上。可能是因为性格活泼的原因，跟她在一起我觉得很刺激。

从那以后，我们在公司，就像陌生人一样，怕被大家发现，就只能偷偷摸摸的，公司严令不许恋爱，何况是我们这种情况。

一段时间之后，我老婆说要过来，我跟她说了，想问下她，我们怎么办，我不能经常陪她。她就直接说，那样我们就算了，她说，她不想惹一身骚，我说我老婆可能也就一两个月就走，让她忍忍，她没有啃声。

老婆来了之后，我的心定了些，就没想和她之间的事情。但有一次下晚班，我在公司门口，看到了他和一个男的楼在一起，当时我就火了，这么快就找到新欢，这女人真够贱的，上前就嘲讽她：“哟呵，换男人换的可够勤的哈，你怎么那么不要脸”。她说：“你胡说什么，神经病啊你”，接着，我又说她厉害。然后身边那个男人脸都绿了，上来就是对着我一拳头。

那人，是她的老公，忽然过来看他的，没想到我误会了。现在，他老公知道了，说要闹到公司去，你们说我该怎么办？我还有两个孩子，老婆知道了，准也是一场闹剧，觉得自己好惨啊。