谈谈对比学习进行Sentence Embedding：SimCSE

本文主要讨论了SimCSE，一种基于对比学习的Sentence Embedding方法。该方法旨在通过正负例的构建，优化alignment（样本间相似度段凯做）和uniformity（向量空间分布均匀性）两个目标，从而提升句子表示的质量。SimCSE有两个变体，Unsupervised SimCSE使用dropout技术引入噪声，正负例基孙返于相似语义；而Supervised SimCSE则利用NLI任务的标签信息，将同标签视为正例，不同标签视为负例。实验结果显示，SimCSE在未监督和监督模式下，都显著优于传统的数据增强方法，如随机裁剪、词删除和BERT的预训练方法。特别是在无监督情况下，SimCSE与BERT-Whitening相比，平均性能分别提升了7.96%和14.77%。对比不同句子表示模型在STS任务中的表现，SimCSE显示出良握衡好的align和uniform平衡，从而在任务上取得更好的结果。尽管在迁移学习任务上SimCSE的优势不明显，作者发现结合MLM损失与对比学习损失的训练策略，能进一步提升模型性能。总的来说，SimCSE作为一种简单而有效的对比学习框架，对于Sentence Embedding的学习有着显著的提升作用，刷新了STS任务的SOTA记录。