AI 教程

3D 高斯喷溅 🤗 为什么图形永远不会相同

高斯喷溅 (Gaussian Splatting) 技术是一种翻天覆地的渲染手段,能够以 144 帧每秒的速度渲染出高质量的场景,这和传统的图形处理流程截然不同 🎨 这种将高斯...

使用 PyTorch FSDP 微调 Llama 2 70B

引言 通过本文,你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中,我们主要会用到 Hugging Face Transformers、Accelerate 和 TR...

使用 PyTorch 完全分片数据并行技术加速大模型训练

本文,我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel,FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习...

Google Colab 现已支持直接使用 🤗 transformers 库

Google Colab,全称 Colaboratory,是 Google Research 团队开发的一款产品。在 Colab 中,任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机...

【开源 LLM 基准测试】全新大语言模型基准测试论文:GAIA 与 GPQA 概览

探索两篇刚出炉的重磅 LLM 基准测试论文: GAIA:这是一项全方位的人工智能助手评测(顺便一提,视频作者与其他杰出人士合著) GPQA:一个高级别的谷歌可证明...

深入理解 BigBird 的块稀疏注意力

4## 引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而,$$O(n^2)$$ 的时间和内存复杂度 (其中 $$n$$ 是序列长度) 使得在长序列 ($n >...

Transformers.js:Web 上的最新机器学习技术

我们的工程师,Transformers.js 作者Joshua Lochne在2023年11月18日在杭州举办 FEDAY 上带来了主题为「Transformers.js: State-of-the-art Machine Learning ...

携手 MLCommons,制定有效且值得信赖的 AI 安全基准

作者 / 技术与社会部 Anoop Sinha 以及 Google Research、Responsible AI 和以人为本技术团队 Marian Croak 标准基准是衡量重要产品质量的公认方法,存在于许...

保护 ML 供应链,提高 AI 安全透明度

作者 / Google 开源安全团队 (GOSST): Mihai Maruseac、Sarah Meiklejohn、Mark Lodato 消费者和企业几乎每天都会接触到新的 AI 创新和应用。安全构建 AI 是...

使用 LCM LoRA 4 步完成 SDXL 推理

LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步,而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数...
1101112131421