2023年大语言模型评测报告

大语言模型概述 模型种类与阶段：大语言模型包括GPT - 3.0、LLaMa、PaLM等，经历原始数据、预训练、指令微调、强化学习等阶段，不同阶段模型能力各异，如基础语言模型与SFT、RL模型在指令理解和任务执行上能力不同。 评测的重要性与问题：评测推动NLP发展，但面临诸多问题，如从评测集合公开到算法超越人类时间缩短，可能导致研究方向偏离等。 评测方法与工具 HELM：提出整体评估，通过应用场景分类、评估指标分类和大规模评估方法，在42个场景下对30个语言模型评估，得出模型准确性、校准、鲁棒