标签:大模型

New大模型评估排障指南 | 关于推理

这是 大模型评估排障指南 系列文章的第一篇,敬请关注系列文章: 关于推理 关于 $\LaTeX$ 公式解析 关于可复现性 模型运行非常慢怎么办? 调整 batch size ...

使用 PyTorch 完全分片数据并行技术加速大模型训练

本文,我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel,FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习...