我爱上一个有家庭的男人，他也非常爱我们应该怎么处理这段感情

如果是真爱默默地守着，如果破坏了家庭，生活中哪有不磕碰，到时候怕他会说只跟当初不该离婚的话吧