CONT：利用对比学习进行文本生成

本次分享源自于2022年NIPS会议的一篇论文，探讨了对比学习在文本生成任务中的应用，以解决文本生成中的曝光偏置问题。论文提出了创新性的对比学习框架，主要体现在两方面：一是将模型预测的样本纳入对比样本集合中，修正因曝光偏置产生的样本；二是引入N-pairs对比损失，优化模型利用监督样本的能力。解码过程中，序列相似函数的嵌入有助于模型更好地利用全局信息。文本生成涉及训练一个文本生成模型，该模型由编码器和解码器组成，目标是生成目标序列文本，中唤训练过程中利用最小化负对数似然损失。在解码时，自回归方式通常在训练和推理阶段存在差异，即曝光偏置问题。对比学习在表征空间上拉近正样本对，推开正负样本对，其核心在于构造对比样本和定义对比损失函数。论文在对比学习中引入了额外的对比样本，即通过beam search方法生成的模型预测的样本。这为模型提供了修正曝光偏置能力，以更准确地生成文本。N-pairs对比损失进一步改进，通过区分负样本集合中的优劣，利用序列评价相似函数进行排序，以此构建更有效的对比样本集合。在解码过程中，论文提出将模型学习到的相似函数嵌入到概率函数中，旨在让生成的序列与输入序列保持更好的对齐。实验结果显示，CONT模型在机器翻译、文本摘要、代码评价生成和数据转文本生成任务上均取得显著效果，证明了对比学习在文本生成中的潜力。论文提出的对比学习框架简洁且高效，有效改善了文本生成任务中的曝轿李光偏置问题。然而，作者也提出了思考问题，即在评估模型生成结果时，是否过于严格地依赖人工标注的数据作为最优标准，这可能限制了模型的泛化能力。对于有兴趣的读者，可以关注作者的公众号：自然语言处理算法与实践，卖帆凯获取更多深入信息。