CMU 刘鹏飞：NLP的第四范式

CMU刘鹏飞博士将近代自然语言处理（NLP）技术的发展总结为四种范式，并对范式间的演变规律、核心驱动力等进行了深入探讨，具体内容如下：NLP的四种范式P1. 非神经网络时代的完全监督学习（Fully Supervised Learning, Non-Neural Network）特点：需进行特征工程（Feature Engineering），即进行“无聊”的特征模板定义环节。P2. 基于神经网络的完全监督学习（Fully Supervised Learning, Neural Network）特点：需进行结构工程（Architecture Engineering），神经网络虽解放了手动配置特征模板的人力，但需人工设计合适的网络结构，研究人员花很多时间探究最适配下游任务的结构偏置（Structural Bias），如选择使用“卷积循环变形金刚（Transformer）网络”还是“卷积变形金刚（Transformer）循环网络”。P3. 预训练，精调范式（Pre-train, Fine-tune）特点：需进行目标函数挖掘（Objective Engineering），研究者常通过引入额外的目标函数到预训练语言模型上，让其更适配下游任务。此过程有时也需网络结构挖掘，但非主旋律，原因一是预训练过程费时，过度探索结构偏置开销大；二是精调时，预训练语言模型本身的知识常让人“忘记”卷积神经网络和循环神经网络的差异。P4. 预训练，提示，预测范式（Pre-train, Prompt, Predict）特点：需进行Prompt挖掘工程，此过程一般不对预训练语言模型改动太多，而是通过对合适prompt的利用重新定义下游任务建模的方式。范式演变规律规律1：每个范式都会涉及繁琐的、需要人来参与（提供先验）的工程（engineering）应用：使用新范式方法时，要意识到优异性能是以某种“人力”牺牲为代价的，如何让这种人力代价降到最低是新范式需解决的核心问题。当有与主流解决思路不同且实现需琐碎操作的“神奇”想法时，可能接近新范式或解决框架，此时信心、坚持、对领域的理解和实现能力是关键。规律2：新范式带来的收益可以让我们暂时“忽略”那些额外需要的人力代价收益定义：不只是任务性能的提升，还可以是“帮我们做一些过去框架不能做的事情”或新的研究场景。应用：可帮助区分“伪范式”与“真范式”，若新建模体系实现代价过于复杂或收益甚微，则可能不是有前景的范式。Prompt Learning相关内容定义：对输入文本信息按照特定模板进行处理，把任务重构成一个更能充分利用预训练语言模型处理的形式。例如判断“我喜欢这个电影”这句话的情感，原有任务形式是看成分类问题，输入为“我喜欢这个电影”，输出为“正面”或“负面”；用Prompt Learning解决时，任务变成“完形填空”，输入为“我喜欢这个电影，整体上来看，这是一个__的电影”，输出为“有趣的”或“无聊的”，斜体输入就是将输入文本按照特定模板处理，目的是更适配预训练语言模型的形式。与过去工作区别：虽然过去不少工作涉及对输入的模板化处理和任务重构操作，但Prompt Learning隐含假设预训练语言模型的知识很丰富，为更好利用它，愿意不惜以重构任务为代价，这与过去“Query reformulation/QA-based Task reformulation”工作不同，因为过去NLP技术不存在强大的预训练语言模型让人为了“迎合”它而重构任务。假设成立情况：不一定成立，在预训练语言模型比较弱的时候，如早期上下文无关的词向量模型，为它重构任务可能得不偿失。而从BERT以来，上下文相关的预训练模型不仅知识丰富，本身还是完整的小个体，给不同下游任务设计模型时，有可能不用设计新的网络层，而是完全利用预训练语言模型的网络结构，此时需利用prompt重构任务输入。范式之间关系Fine-tuning与Prompting的关系：Fine-tuning中是预训练语言模型“迁就”各种下游任务，通过引入各种辅助任务loss添加到预训练模型中，继续pre-training让其更适配下游任务，预训练语言模型做出更多牺牲。Prompting中是各种下游任务“迁就”预训练语言模型，需对不同任务进行重构使其适配预训练语言模型，下游任务做出更多牺牲。更和谐的状态是大家“互相让步”。NLP核心动力近代自然语言处理技术的发展史本质上是下游任务与预训练语言模型关系的变迁史。回顾NLP任务性能大幅提高的事件，大概率是因为：使用了预训练语言模型；使用了更强的预训练语言模型；更好的使用了预训练语言模型。Prompting本身不是目的，是让下游任务和预训练语言模型更加接近的途径，若有其他更好方式，就可能引领下一个范式。