标签:数据集

人工评估 | 基础概念

基础概念 这是 人工评估 系列文章的第一篇《基础概念》,全系列包括: 基础概念 人工标注员 技巧与提示 什么是人工评估? 人工评估是指让人类评价模型输出...

为数据集而生的 SQL 控制台

随着数据集的使用量急剧增加,Hugging Face 社区已经变成了众多数据集默认存放的仓库。每月,海量数据集被上传到社区,这些数据集亟需有效的查询、过滤和发现...

揭秘 FineVideo 数据集构建的背后的秘密

开放视频数据集稀缺,因此减缓了开源视频 AI 的发展。为此,我们构建了 FineVideo,这是一个包含 43,000 个视频的数据集,总时长为 3,400 小时,并带有丰富的...

Cosmopedia: 如何为预训练构建大规模合成数据集

本文概述了我们在生成含数十亿词元的合成数据集以复现 Phi-1.5 过程中所遇到的挑战及其解决方案,由此最终创建了 Cosmopedia 合成数据集。合成数据已成为机器...