ChatGPT使用的GPT-4技术报告

本文详细介绍了GPT-4的开发情况，包括其可接受图片和文本输入，产生文本输出的多模式能力。尽管在一些现实情境下GPT-4的表现仍不如人类，但在许多学术和专业基准测试中其表现达到了人类水平，比如在模拟律师考试时获得了前10%的成绩。该模型基于Transformer，通过预训练可以预测文档中下一个令牌。在真实性和预期行为遵守方面的表现经过调整后得到了提高。此外，开发基础设施和优化方法，这些方法可以适用于各种规模的模型预测。基于这些方法，我们可以通过训练计算量不超过GPT-4的1/1000的模型，准确地预测GPT-4的性能表现。