gpt 3:GPT 3:语言模型鲜为人知 源码

GPT-3:语言模型不多见 通过对大量文本进行预培训,然后对特定任务进行微调,最近的工作证明了在许多NLP任务和基准方面的巨大收获。 尽管在结构上通常与任务无关,但此方法仍需要成千上万个示例的特定于任务的微调数据集。 相比之下,人类通常只能通过几个示例或简单的指令来执行新的语言任务-当前的NLP系统在很大程度上仍难以做到这一点。 在这里,我们表明,扩展语言模型可以极大地提高与任务无关的性能,很少出现问题,有时甚至可以通过现有的最新微调方法达到竞争力。 具体来说,我们训练了GPT-3(一种具有1750亿个参数的自回归语言模型,比以前的任何非稀疏语言模型多10倍),并在很少的设置下测试其性能。 对于所有任务,应用GPT-3时不会进行任何梯度更新或微调,而仅通过与模型的文本交互指定任务和少量演示即可。 GPT-3在许多NLP数据集上均具有出色的性能,包括翻译,问题解答和完形填空任务,以及一些需要