到搬迁后的公司上班5个月后再回到原公司上班可以吗？

劳动合同一直签的是原来公司，到新公司上班后未签订任何合同，不过有刷上下班卡。之前公司以到新公司升职加薪为由，让我过来上班。结果到这边后又说我不适合。想问下能否再重新回到原来的公司上班？搬迁前的公司里还有几十个员工在上班。