自动评估基准 | 一些评估测试集

AI 技术文章2天前发布 AI Hunter

9 0 0

内容目录

一些评估测试集

这是 自动评估基准 系列文章的第三篇，敬请关注系列文章:
基础概念
设计你的自动评估任务
一些评估测试集
技巧与提示

如果你感兴趣的任务已经得到充分研究，很可能评估数据集已经存在了。

下面列出了一些近年来开发构建的评估数据集。需要注意的是：

大部分数据集有些 “过时”，因为它们是在 LLM 出现之前构建的，当时是为了评估语言文本的某个特定属性 (如翻译、摘要)，但是可能已经不适合现在的 LLM 评估方法了 (现在的评估方法倾向于通用、整体性)。
(如果你有空余时间可以对下列数据集添加出版日期，会对本文非常有帮助!)
(这部分后续也会更新包含大语言模型的评估)
有些数据集可能受到污染，因为它们已经在网络上公开了很多年了。不过这并不意味着在你的任务中它们就毫无用处！

Pre-LLM 数据集

评估名称	任务类型	任务数据	任务内容	源	数据集	备注
DeepFix	编码任务、代码转换、代码修正	7K 由学生编写的带有错误的 C 程序	修正 C 程序	论文
MLSum	生成、多语言、摘要总结	1.5 百万篇新闻摘要与文章配对，取材自 Daily Mail、Le Monde、Süddeutsche Zeitung、El Pais、Moskovskij Komsomolets 和 Internet Haber (涵盖英语、法语、德语、西班牙语、俄语和土耳其语)。	总结文章	论文	Hugging Face	Palm：以提示符为前缀，将文章截断至 2048 个标记
TransCoder	编码任务、代码转换	用 Python/Java/C++ 语言编写的 852 个并行函数	将一种语言翻译成另一种语言	论文	来自论文
WMT	多语言、翻译	来自 WMT 机器翻译会议的数据集 – 可用的数据集取决于年份	将一种语言翻译成另一种语言	会议 Replace the 2 digits by the conference year
Adversarial NLI	语言推理	10K 蕴涵数据集是通过人机协作的对抗性攻击生成的，旨在寻找迫使模型预测错误蕴涵标签的谓词 (该数据集使用了来自 StoryCloze、CommonCrawl、Wikipedia、开放注解国家语料库、WikiHow 和 GLUE 的上下文)。	预测蕴含关系	论文	数据 Github	R1 至 R3 = 数据生成的轮次
APPS	文生代码	10K 用自然语言描述的 Python 编程问题，这些问题是从 LeetCode 网站抓取而来，并附带有一套测试用例。	解决 Python 问题	论文	Github 数据
AQuA	算术、论证	100K 选择题 (来源包括 GMAT、GRE 及其他资源)，包含题目/选项/答案解析。	选择正确的多项选择题答案 (MCQA)	论文	Github	最佳结果是在添加了外部计算器后获得的
ARC	常识、论证	8K 小学科学问题：e = 简单题集，c = 挑战题集	选择正确的多项选择题答案 (MCQA)	论文	数据	注意，这是 AI2 论证 Challenge ，不是抽象与论证语料库。
ASDiv	分析推理、算术、论证	2.3K 数学世界小学问题，收集自各个网站，由一位硕士研究生标注答案和难度级别 (可能是高质量的)	解决问题	论文	Github
bAbI	论证	20 项任务，每项包含 2K 自动生成的问题 + 短场景 (通过模拟的文字冒险游戏生成的连续动作)。	对句子进行推理以选择正确的结论	论文	Github 数据	参见第 4 部分以了解模拟环境及其约束，这是一个相当有趣的想法。对于其他类型的推理，可能不会太难重现。
BBQ	偏差检测	58K 示例，每个示例包含两种情境 (模糊情境和明确表现出偏见的情境) 、两个问题 (负面问题和非负面问题) 以及可能的答案。这些示例是根据手动模板构建的，并通过众包方式进行检查。	预测正确且无偏的答案。根据上下文或问题的不同，准确率之间的差异可以构建一个偏见分数。	论文	Github
BLiMP	语言理解	67 个数据集，每个数据集包含人工生成的 1K 最小对，用于测试句法、形态学和语义知识，这些数据集通过 MTurk 平台进行了验证。	通过检查模型分配给正确句子的对数概率是否更高来衡量准确性。	论文	Github	测试的内容包括：回指一致性、论元结构、绑定、控制/提升、冠词-名词一致性、省略、填充语-空位、不规则形式、孤岛效应、NPI 许可、量化词、主谓一致
BOLD	生成、有害内容检测	从包含种族/宗教/政治/性别/职业群体成员的维基百科句子开头提取的 23K 提示 (例如：女性艺术家，对应性别=女性)。	任务: 生成句子结尾，毒性通过一系列指标进行评估 (情感分析、使用分类器等)。在 HELM 中，毒性是通过 Perspective API 进行测量的。	论文	Github
BooksCorpus	N/A	从网络上抓取的 11K 未出版书籍，每本书超过 20K 单词 (涵盖 16 种不同体裁)。	在原始论文中，它被用于训练一个句子嵌入模型 — 在模型论文中，它常常被用于污染或困惑度评估。	论文	Hugging Face
BooksCorpus_HELM	生成、记忆	来自 BooksCorpus 的 1K 随机抽样书籍。	任务: 从一段文本的随机数量的标记开始，模型必须生成后续内容 — 测量精确和近乎精确的再现。	论文	数据
BoolQ	语言推理、语言理解	来自 Wikipedia 的 16K 自然发生的是/否问答句子，来源于问题 + 上下文。	回答多项选择题 (MCQA)	论文	网站
CB	语言理解	1.2K 的语篇 (来自《华尔街日报》的新闻、来自《英国国家语料库》的小说、来自《Switchboard》的对话)，包含上下文 + 目标句子。	预测承诺蕴含	论文	网站
Civil comments	有害内容检测	1.8M 在线评论，伴有根据 Perspective API 指南通过众包形式获得的人工标签以标注毒性和身份术语，在这些评论中，450 K 附有身份术语标签 (众包，从列表中选择)。	任务: 毒性预测，标签用于识别模型中的偏差区域。	论文	Kaggle Hugging Face	原始论文包含了一个合成测试集 (77K 示例是从使用50个身份术语的模板生成的，毒性内容的比例为50/50) 和一个人工标注的数据集 (描述在任务内容栏中) —— 我认为可用的数据集是后者。
Clean E2E NLG	描述、生成	50K 通过众包生成的餐厅描述，给定关键词和值 (食物类型 = X，预算 = Y……)。		论文	Hugging Face	Palm: 在提示符前缀下，将文章截断至2048个标记。
CNN/DailyMail	完形填空、总结	原始数据集：200 K 新文档 (CNN/ Daily Mail 在 2007 年到 2015 年间) 被转换为完形填空格式，通过移除一些文本中的命名实体，并将它们用作关键词。	在 HELM 中: 使用上述文档 (以完整形式) 作为文本进行总结，并使用其重点作为黄金摘要。	论文	Hugging Face 数据	(我怀疑这并不能产生非常好的摘要)
CommonsenseQA	常识、论证	12K 众包的问答对 (基于 ConceptNet 关联初始化)，然后通过质量进行过滤，并从 Google 搜索查询中添加了上下文 > 部分文本可能与 CC 数据重叠	回答多项选择题 (MCQA)	论文		最佳结果是在添加了外部计算器的情况下获得的
Contrast Sets	生成、健壮性	10 组对比集，每组最多 1 K 示例，用于他们的数据集 (详见评论)，这些是由研究人员 (通常是原始论文的作者) 制作的 (增加问题中的推理步骤，用反义词替换词语，改变数量等)。	遵循原始任务设置并使用新示例，观察性能是否下降。在 HELM 中: 使用 IMDb 和 DROP 对比集。	论文	数据	NLVR2、IMDb 情感分析、MATRES 时间关系识别、英文 UD 解析、PERSPECTRUM、DROP、Quoref、ROPES、BoolQ、MC-TACO 。
COPA	常识、语言理解	1K 前提 + 因果问题 (附带选项，常识性问题)		论文	网站
CoQA	上下文阅读理解	127K 对话式问答，基于给定的上下文 (必须同时提供理由)——由标注者撰写		论文	v1.0 from 数据
DataImputation	现实任务、论证、结构化的数据	8 个来自多个来源的结构化数据集。	任务: 从一组带有空缺的属性中，模型必须填充这些空缺 (例如: 从电话号码推断城市，从规格推断电话品牌)。	论文	Data restaurant Data Buy	参见表 2 获取所有数据源。在 HELM 中：使用子集 Buy 和 Restaurant，将输入转换为自然语言，测试准确性。
Digits arithmetics (2D+, 2D-, 3D+, 3D-, …)	算术	基本的 n 位数算术任务，包括加法、减法、复合运算，每种运算各有 2K 个示例。	任务：解决数学问题	论文	Github	所有链接均来自 lm-evaluation-harness/lm_eval/datasets/arithmetic
DROP	算术、上下文阅读理解	55K 对抗性问题，这些问题需要 1) 从文本中选择相关项目，并且 2) 对这些项目进行计算 (排序/计数/……) 以获得正确答案。	任务：选择并计数以提供正确的答案	论文	数据
Dyck language_HELM	符号处理	500 个 D_n 单词，长度在 52 到 100 个字符之间 (“单词”由嵌套的括号组成)，其中最后 i 个字符已被移除。	任务：预测唯一的闭合括号序列。	论文	Github Also has a different version in BigBench
GSM8K	分析推理、论证	8.5K 各类小学数学问题		论文	Github Hugging Face	最佳结果是在添加了外部计算器的情况下获得的
HellaSwag	完形填空	60K 对抗性过滤的多项选择题问答	选择正确的下一个句子 (来自字幕或 WikiHow)。	论文	Github
HumanEval	编码任务、文生代码	164 手写编程问题，包含函数签名、文档字符串、函数体 + 单元测试	目标是完成函数以通过单元测试。	论文	Hugging Face
IMDB	情感分析	50K 条来自 IMDB 的评论，其中正面评价 (评分 ≥ 7) 与负面评价 (评分 ≤ 4) 均衡分布 (不含中立评价)。	分类正面/负面评论。	论文	网站
LAMBADA	完形填空	10K 叙事上下文 (来自 BookCorpus)，随后是一个句子，其中最后一个词被遮掩且必须被预测。特别构建以强制使用上下文。	预测最后一个词。	论文	Zenodo
Language Modeling Evaluation_HELM	语言模型	在 HELM 中编译了多个数据集：WikiText-103、ThePile (特别是 arXiv、BooksCorpus2、Enron Emails、PubMed Central、Wikipedia)、TwitterAAE、ICE。	任务：获取完整序列的条件对数概率 (困惑度测量)。	论文	The pile website BLIMP Github Wikitext data Twitter AAE data ICE data
LegalSupport	蕴含, 现实任务、论证	20K 个法律蕴含情景，构建于州/联邦法律意见之上 (断言用作上下文，并随机选取 2 个支持来源 ("参见 X，规则"))。	任务：确定哪条规则最支持该断言。	论文	数据
LinuxKernel_HELM	生成、记忆	2K 个从 Linux 内核中随机抽取的函数。	任务：从函数起始的随机行数出发，模型必须生成后续内容——衡量精确和近乎精确的再现。	论文	数据
LSAT	分析推理、上下文阅读理解、逻辑推理	10K 个来自法学院入学考试 (分析、逻辑推理和阅读理解) 的问题，包含上下文。	回答多项选择题 (MCQA) correctly	论文	Github
Magellan Benchmark	现实任务、论证、结构化的数据	23 个来自多个来源的数据集，包含具有属性的实体。脏数据集包含故意制造的错误，例如属性位于错误的列中、拼写错误等。	任务：给定来自两个不同表的两个实体，确定它们是否相同。	论文	Github	很可能 Abt-Buy 和 Buy 是相同的数据集。
MATH (Mathematics Aptitude Test of Heuristics)	分析推理、逻辑推理、论证、符号处理	12.5K 来自真实比赛的数学问题，以自然语言和 LaTeX 格式呈现。		论文	数据	HELM: 使用一个 "use_chain_of_thought" 标志位。
MAWPS	算术、论证	3.3K 数学应用题 (问题 + 答案 + 模板，来源于现有数据集：AddSub、SingleOp、MultiArith、SingleEq、SimulEq-S 和 SimulEq-L)	解决数学问题	论文	Github	最佳结果是在添加了外部计算器的情况下获得。
MBPP	编码任务、文生代码	1K 入门级 Python 群体众包编程问题 (描述，解决方案，3 个单元测试用例) – (58 % 数学相关，43% 列表处理，19% 字符串处理，9% 整数序列，以及 2% 其他)。	解决 Python 编程问题	论文	Github Hugging Face	还包含一个编辑版本 (400 项)，具有明确的提示和良好的签名 (之后可以查看以了解提示对代码生成的影响) + 一个 MathQA – Python 数据集 (MathQA 数据集的改编版本)
MMLU	语言理解	15K 多选题问答是从各种在线资源手动收集的，涵盖多个主题 (法律、哲学、经济学、心理学、STEM、医学等， – 从高中到专业水平)。	回答多项选择题 (MCQA)	论文	Hugging Face Github	看起来像是一个强大/高质量的基准线
MRF (Misinfo Reaction Frames)	生成、虚假信息生成能力	200 K 条新闻标题中的声明配对 (气候变化、COVID-19、癌症疾病，详细来源见评论) + 标签 (真实/虚假信息)，前者由 MTurk 工人标注了真实性、传播可能性、作者意图。	任务：必须预测黄金标签或生成可能的作者意图、读者感知等……	论文	Github	(包含来自 NELA-GT-2018-2020, SciDCC, Climate-FEVER, CoAID, CoronaVirusFacts/DatosCoronaVirusAlliance 数据库, ESOC Covid-19 错误信息数据集, DETERRENT 的数据)
MS MARCO	问答、检索	100 万条匿名化的问题，配有自由格式的人工生成答案 (来自相关网页文档摘录)，其中一些问题还添加了改写版本。	原始论文包含 3 个任务：1) 尽可能生成正确的答案，2) 同上但答案即使在没有上下文的情况下也应该合理，3) 对 1000 个段落按照与问题的相关性进行排序。	论文	Github	包含对 QA 数据集在文献综述中的扩展描述。在 HELM 中，仅考察排序任务，并且通过查看在询问“段落是否回答了查询？”时预测的对数似然性来估计相关性。
MS MARCO TREC, aka TREC 2019	检索	源自 MS MARCO 的数据集，编辑用于段落或文档检索任务，执行完整检索或顶级-n 重排序 (文档为 100，段落为 1000)。(参见 MS MARCO)		论文	数据 Github
MultiRC	语言理解、问答	6K 多选题涵盖多种主题		论文	数据
NarrativeQA	问答、检索	47K 自由形式的人工生成问题和答案，关联到 1.5K 书籍 (Gutenberg 项目) 和电影剧本 (抓取)，并与情节概要相匹配。	任务：根据摘要或故事，回答或选择正确答案。	论文	Github	对于长距离上下文测试，我们可以使用这个数据集从完整的故事中进行问答。对于任何对话系统而言，这可能都很有趣。
Natural Questions	开放域/闭书任务、问答	207K 汇总的 Google 搜索查询 + 标注的 Wikipedia 示例答案		论文	数据
NewsQA	问答	100K 人工生成的问答对来自 12K 新闻文章 (CNN)。问题是从标题 + 摘要生成的，答案是从问题 + 文章中得出的，然后通过验证机制保留。可能与 CNN / Daily Mail 有交集，因为数据提取脚本是相同的。		论文	Github
OpenBookQA	常识、论证	6K 句子，需要运用常识知识进行科学推理，以将结论外推到新情况。		论文	数据
PIQA	常识、论证	20K 物理常识推理情境	从上下文中选择正确的操作并作答	论文	数据
PopularBooksCorpus_HELM	生成、记忆	来自 BooksCorpus 的 20 本书，这些书出现在畅销书列表中。	任务：从构成书籍第一个段落的随机数量的标记开始，模型必须生成后续内容——衡量精确和近乎精确的再现。	论文	数据
QuAC	上下文阅读理解	100K 个信息寻求型 QA (问答) 情境中的问题 (使用 Wikipedia 来生成数据集)		论文	数据
RACE	上下文阅读理解	100K 个来自中国中学生/高中生英语阅读理解考试的问题		论文	数据
RAFT	现实任务、文本分类	11 个自然发生的分类任务数据集的汇编，测试项目数量在 150 到 5 K 之间。	任务：在少量样本中，从 50 个标注示例出发，提供有意义的标签。(领域：医疗、金融、研究、英语语言、法律、物理、人工智能安全、社交网络)	论文	Hugging Face	语料库: (ADE 语料库 v2、Banking77、NeurIPS 2020 影响声明风险、OneStopEnglish、Overrruling、系统评价纳入、TAI 安全研究、服务条款、TweetEval 恶意内容、Twitter 投诉、半导体组织类型)
RealToxicityPrompts	生成、有害内容检测	100K 自然发生的句子 (从 OpenWebText 语料库中选取，基本上等同于 Reddit，并使用 PerspectiveAPI 对毒性进行评分) 被分成两部分，以创建提示和延续。	任务：从句子开头生成续写内容，然后使用 Perspective API 对生成内容的毒性进行评估。	论文	数据 Github (the repo lacks a lot of info)
ReCoRD	语言理解	120K 段落/完形填空的查询/答案示例来自新闻 (CNN、DailyMail)，并经过人工筛选		论文	数据
RTE	语言理解	3K 竞赛数据汇编关于蕴含关系		论文	数据
SAT analogies	语言理解	374 个 2005 年之前的 SAT 类比问题 (a 与 b 的关系如同 c 与多项选择题的关系；词语不是最常见的)		论文	Data dev Data test
SIQA	问答
SQuADv2	上下文阅读理解	结合了 SQuAD 与 50K 不可回答的问题	根据上下文给出答案，但仅在可能的情况下。	论文	Github
StoryCloze	完形填空、常识	50K 五句话的常识故事	选择正确的结尾	论文	Hugging Face
StrategyQA	常识、论证	2.8K 需要从隐性知识进行推理的问题		论文		最佳结果需添加外部计算器
SVAMP	算术、论证	1K 数学应用题 (采样自 ASDivA，质量高于 MAWPS)，具有不同的表述变化		论文	Github	最佳结果需添加外部计算器
Synthetic reasoning (natural)	逻辑推理、论证	即时生成的合成数据，包含一组合成规则 (条件语句)、事实 (属性) 以及逻辑上的标准输出。		论文	Can be generated with Github	也被称为 HELM 中的 rule_induct
Synthetic reasoning (symbolic)_HELM	逻辑推理、符号处理	使用模式模板即时生成的合成数据。	要么测试模型是否能够识别模式（例如“beach + beach – pear”具有“A + A – B”的模式），要么测试模型是否能够在给定的模式中替换字符串。	论文	Can be generated with Github
TriviaQA	开放域/闭书任务、问答	95K 杂学问答 (组合型问题，语法变异性)		论文	数据
TruthfulQA	问答	817 个关于复杂事实主张的问题 (常见误解、错误等)，涵盖 38 个类别，附带真和假的参考答案 + 支持真实答案的来源 (以及额外增加的 380 个问题)。		论文	Github
TyDiQA-GoldP	多语言、问答	204K 多语言 QA 对 (从提示中不限制地引出问题，然后检索维基百科文章，并在文章中选择特定答案 (如果可能的话)) (语言包括：英语、阿拉伯语、孟加拉语、芬兰语、印度尼西亚语、日语、韩语、俄语、泰卢固语、泰语和斯瓦希里语)。	MCQA	论文	Github	生成的数据集可以展示有趣的问题、目标不清楚的问题和问题与答案语言水平之间的不匹配。可能比其他数据集更具挑战性。
Web Questions	开放域/闭书任务、问答	从 Google Search API 中提取了 100K 个 “Wh?” 类型的问题，然后由 MTurkers 进行标注 – 我怀疑部分答案可能已经过时。	MCQA	论文	网站
WebNLG	生成、言语化	13K 个三元组 (主题, 属性, 客体) 与句子表述之间的映射关系，这些三元组是从 DBPedia 构建的，而 DBPedia 是源自 Wikipedia 的知识库；句子表述是由众包工人完成的，涉及特定主题 (宇航员、大学、纪念碑、建筑物、漫画角色、食品、机场、运动队、文学作品)。	任务：以语法正确的方式表达。	论文	Hugging Face	有一项关于流畅性的句子选择，生成的句子相对简单，但没有描述注释者/众包者的来源 > 可能部分数据不是“标准英语”。
WiC	语言理解	7K 数据，判断一个词在两个不同语境中出现时是否具有相同含义的分类。		论文	Site
WikiFact_HELM	完形填空	12 个领域，每个领域包含 1K 三元组 (主题，关系，对象)，这些三元组采样自 Wikipedia 并经过清理。	任务：预测由关系构成的句子中缺失的项目。	论文	Codalab Github
WikiLingua	生成、多语言、总结	43K 文章 / 摘要对由 WikiHow 构建，涵盖 18 种语言 (在网站上，文章是以每个步骤一个总结句 + 详细段落的形式书写的：在数据集中，摘要为总结句的连接，而文章则是详细段落的组合)。	总结	论文	Github	Palm: 以提示符为前缀，将文章截断至2048个标记我怀疑数据创建可能导致总结基线的语言非常“机械化”，这可能会突出更流畅的总结 (尽管 ROUGE 对此不应该过于敏感)。
Winogender	偏差检测
Winograd	论证、温格拉德模式	273 至 285 个例子，其中必须消除歧义以确定代词指的是谁或什么，这些句子是特意构造的，在统计上是模糊的，但对人类来说不是。	代词的消歧	论文	网站	不确定 GPT3 是否在这个数据集或 SuperGLUE 数据集上进行了评估。
WinoGrande	论证、温格拉德模式	43K 句子对抗性 Winograd		论文	网站
WSC	语言理解、温格拉德模式	Winograd 模式挑战 (见 Winograd)		论文	网站
XSUM	总结	226K 篇新闻文章 (BBC，2010 年至 2017 年) 与其单句摘要相匹配 (摘自文章)。任务：概括总结。领域：新闻、政治、体育、天气、商业、科技、科学、健康、家庭、教育、娱乐和艺术。		论文	Github
XSum	生成、总结	226K 篇来自 BBC (2010 – 2017 年) 的新闻摘要/文章对，从 WayBack 机器中提取。		论文	Hugging Face	可以手动检查最近的知识是否导致了旧新闻摘要中的差异，这可能会很有趣。

可手动重现的数据集想法

评估名称	任务类型	任务内容	源	数据集	备注
✍️ GSM8K-Python	编码任务、文生代码	GSM8K 数据集的 Python 版本 (8.5K 小学数学问题)	论文	N/A
✍️ MRF	生成、人工评估、虚假信息生成能力	从MRF 数据集抽取了 250 个标题，并依据论点将其分组为 80 个簇。任务要求：基于每个论点及其对应的 5 个标题，模型需要生成能够支持该论点的合理标题。评估人员将对生成的标题进行评价，判断其是否 1) 支持论点，以及 2) 看起来真实可信。	论文	数据	参见报告第 6 页获取关于原始过程的更多说明，以及 HEMLM 论文的章节 8.5.2、E.5 和 5.5。
✍️ News article generation	生成	根据标题和副标题生成了 25 篇文章，80 名人类评估者需要判断这些文章是生成的还是原始的。	论文
✍️ Numeracy Prediction	符号处理	要求模型根据给定的几个例子执行符号回归，并将数字关系应用于新的输入。		论文	Github
✍️ SVG datasets		可构造一个 SVG 数据集，用于检查模型是否确实能够生成或者分解 SVG 图形	Twitter 会话
✍️ Theory of the mind datasets		可能很容易生成	论文
✍️ Wedging prompts	生成, 人工评估、虚假信息生成能力	具有特定意图的 11 个提示 (例如：影响投票行为，通过生成支持/反对 X 的言论来针对特定群体)，并附有 3 个示例。任务：生成后续示例。	论文	数据	在 HELM 中：使用人工评估来确定生成的消息 1) 是否针对特定群体；2) 是否支持预期的信息；3) 是否具有分裂性。
✍️ Word scrambling	符号处理	10,000 个示例，涵盖 5 项字符操作任务 (字母循环移位的单词、字母重组、随机插入、反转)。模型需要恢复原始单词。	论文		易于生成/自动化，参见 GPT3 论文的第 3.9.2 节。

英文原文: https://github.com/huggingface/evaluation-guidebook/blob/main/translations/zh/contents/automated-benchmarks/some-evaluation-datasets.md
原文作者: clefourrier
译者: SuSung-boy
审校: adeenayakup

赞赏

微信赞赏支付宝赞赏