怎么样才能让那几个高中同学别再联系我？

高中时有四个舍友，他们以寝室长为首，他们当时学习特好，总亲密无间，我是个学渣想融入也融入不进去他们。他们特别喜欢聚会，聚会的地方离他们家近，而我住周边乡镇，聚会一趟光坐车就得小半天。高中毕业后他们酷爱聚餐，而我不想去总是以家远和外地上学推辞。大三暑假，寝室长当兵，想聚餐，他们找我，我之前一直推辞，这次不去感觉不好，便答应去，但他们要求聚餐后租个民宿过夜。我不想过夜想早点赶末班车回家，其中一个人生气，质问我“哪有聚会不过夜的，反正这是寝室长当兵前最后一次聚会了，你之前不来我们不挑你，但寝室长马上当兵走了，以后都不一定能见到了，你自己看着办吧。”我心里很不舒服，但又感觉他说的有道理，就去了。之后毕业了，寝室长入伍，其他三人一个去了物流公司，另外两个无业游民。我对他们说我去外省进厂打工了，其实我考进了体制就在自己家附近。现在寝室长退伍回来了，隔三差五他们又聚会，这次寝室长微信私聊我问我在哪，我一直没回，但感觉不是长久之计。我该怎么办。