我被一个小我十一岁的爱上了，我也爱他可是他有家庭，又舍不得分手，我该咋办