从GPT-3 (1750亿个参数) 中,我们可以看到大规模预训练语言模型中的丰富知识。之所以选择预训练语言模型,是因为之所以选择预训练语言模型在 GLUE 上的结果优于人类的表现,这反映了预训练语言模型的语言理解能力。基于以上的特点,使用预训练的语言模型现在是各种 NLP 任务的标准,与语言模型相关的研究也在 2018 年迅速发展了起来。在GPT-3中,许多复杂的任务,如编写代码和下棋,可以转化为基于预先训练的语言模型的动作序列生成。第二步:然后,我们可以使用特定任务的训练数据对预先训练的语言模型进行。