预训练+下游任务微调（PLM+Fine-tuning）处理情感分类任务（写影评）

但是，如今的模型的参数量越来越大，企业部署起来成本极高，而为了每一种下游任务都要去专门微调一个模型，会造成资源的极大浪费。整体来说，这类模型的缺点在于：1. 微调样本需求量大；2. 模型的专用性强，导致部署成本高。

GPT-3 团队认为在阅读大量无监督文本后，语言模型可以“培养广泛的技能和模式识别的能力”，并有效证明了在少样本场景下，模型不需要更新任何参数，就能够实现不俗效果。在这个基础上发展 prompt 的范式。预训练+微调范式是通过大量训练让模型去适配下游任务。而 Prompt 是把下游任务统一成预训练任务的形式，以特定的模板，将下游任务的数据组装成自然语言形式，充分挖掘预训练模型本身的能力。

以情感分类任务为例，使用两种预训练模型进行处理，比如利用模型写影评、书评、读后感等。如果使用传统 Fine-tune，需要人力来准备一个微调数据集，里面必须包含各种对电影/书籍的评价，以及这些评价人工阅读后的感受（是积极的还是消极的）。这个下游微调数据集必须足够大，才能应对复杂的任务。微调数据集的大小可能远超过了预训练数据集，乃至失去了预训练的意义；而 prompt使用预训练语言模型最擅长的完形填空模式等方式，让模型根据输入句，输出对MASK 位置单词的预测，推测出评价用户对这部作品究竟是持 Positive（积极）还是 Negative（消极）的态度。