小区有人骂人怎么办？

我所在小区楼栋，对面楼栋有个男的，天天骂脏话，起始原因，好像是他曾经在家开音响唱歌，影响大家，有人反映了他，不是我家反映的，是其他人反映的，于是天天在小区骂脏话，骂的太脏了，不堪入耳，骂了几年，认为每天都有人在议论他，并且威胁恐吓谁举报他就报复。最近他认为是我们家最初反映他的问题的，但其实不是，他开始指着我家所在楼层骂，请问有什么好的建议去解决他骂人的问题？