已婚女人和离婚男人？

是这样的，我是一个有家庭的女人，他是一个离婚带个男孩的，我和他谈恋爱了，我老是过来他这呆着，他前妻，看孩子作借口，每次都在他这出出进进的…然后有时候一呆就是一个下午不出去玩，就在他家呆着，我男朋友说，不管他，不理他就行了，可是我每次看到她在这，我心里好烦啊，为这个我们还老是吵架，一吵架我就想分开，我觉得男朋友拿她没有办法…也不处理这个问题…我也不知该怎么办？