大语言模型概述

模型种类与阶段：大语言模型包括GPT - 3.0、LLaMa、PaLM等，经历原始数据、预训练、指令微调、强化学习等阶段，不同阶段模型能力各异，如基础语言模型与SFT、RL模型在指令理解和任务执行上能力不同。

评测的重要性与问题：评测推动NLP发展，但面临诸多问题，如从评测集合公开到算法超越人类时间缩短，可能导致研究方向偏离等。

评测方法与工具

HELM：提出整体评估，通过应用场景分类、评估指标分类和大规模评估方法，在42个场景下对30个语言模型评估，得出模型准确性、校准、鲁棒性等多方面结论。

AGI - EVAL：用于评估基础模型在标准化考试中的表现，选择多种考试构建数据集，采用Zero - shot和Few - shot设置评估GPT - 4、ChatGPT和Text - Davinci - 003等模型。

LLM - as - a - judge：使用LLM作为判别器，通过成对比较、单个答案打分和参考引导打分三种评判方式，在MT - bench和Chatbot Arena等基准上评估模型在开放问题上的表现。

Chatbot Arena：众包基准平台，采用1v1对战、用户评测和ELO机制，评估模型如GPT - 4、Claude等，得出模型Elo评级排名。

C - EVAL：首个全面中文评测套件，含13948个选择题，涵盖多学科和难度级别，通过选择题、AO和CoT测试评估模型，结果显示不同参数规模模型表现不同。

Flag - EVAL：提供“能力 - 任务 - 指标”三维评测框架，包含600 + 评测维度、22个数据集，通过多种评测方式评估模型，有自动化采样得分和排行榜。

PandaLM：可本地部署的裁判大模型，用于评估大模型性能，数据集由输入和输出元组组成，其7B版本在准确度等方面达到一定水平。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系