已婚男人爱上我，我也爱他，他没有孩子他说他要离婚和我在一起，但是她老婆不离婚，我需要和他在一起吗？