标签:LLM

【开源 LLM 基准测试】全新大语言模型基准测试论文:GAIA 与 GPQA 概览

探索两篇刚出炉的重磅 LLM 基准测试论文: GAIA:这是一项全方位的人工智能助手评测(顺便一提,视频作者与其他杰出人士合著) GPQA:一个高级别的谷歌可证明...

【论文快读】大型语言模型中的角色扮演者 (Role playing in Large Language Model)

这篇论文简要介绍了“大型语言模型中的角色扮演”,该论文讨论了如何将大型语言模型视为角色扮演者,以更好地理解它们的运作方式。作者强调了大型语言模型与人...

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知,LLM 规模庞大,如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 ...

面向生产的 LLM 优化

注意 : _本文同时也是 Transformers 的文档。_ 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model,LLM) 在处理以人为中心的任务上能...

使用 FHE 实现加密大语言模型

近来,大语言模型 (LLM) 已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。 大语言模型对用户隐私的影响 尽管 LLM ...

重磅| Falcon 180B 正式在 Hugging Face Hub 上发布!

引言 我们很高兴地宣布由 Technology Innovation Institute (TII) 训练的开源大模型 Falcon 180B 登陆 Hugging Face! Falcon 180B 为开源大模型树立了全新的...

如何使用 Megatron-LM 训练语言模型

在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上,并使用许多优化技术以实现稳定高效的训练。Hugging Face...

StarCoder: 最先进的代码大模型

关于 BigCode BigCode 是由 Hugging Face 和 ServiceNow 共同领导的开放式科学合作项目,该项目致力于开发负责任的代码大模型。 StarCoder 简介 StarCoder 和...

大语言模型快速推理:在 Habana Gaudi2 上推理 BLOOMZ

本文将展示如何在 Habana® Gaudi®2 上使用 🤗 Optimum Habana。Optimum Habana 是 Gaudi2 和 🤗 Transformers 库之间的桥梁。本文设计并实现了一个大模型推理基...

在一张 24 GB 的消费级显卡上用 RLHF 微调 20B LLMs

我们很高兴正式发布 trl 与 peft 的集成,使任何人都可以更轻松地使用强化学习进行大型语言模型 (LLM) 微调!在这篇文章中,我们解释了为什么这是现有微调方...
1234