微软推出FP8混合精度训练框架:比BF16快64%，内存占用少42%
ccwgpt 2024-10-28 15:00 89 浏览 0 评论
IT之家 11 月 10 日消息，大语言模型（LLM）快速崛起，在语言生成和理解方面表现出光明的前景，影响超越了语言领域，延伸到逻辑、数学、物理学等领域。
不过想要解锁这些“非凡能量”，需要付出高额的代价，例如训练 540B 模型，需要 Project PaLM 的 6144 个 TPUv4 芯片；而训练 175B 的 GPT-3，需要数千 Petaflop/s-day。
目前一个不错的解决方案就是低精度训练，可以提高处理速度，降低内存使用量和通信成本。包括 Megatron-LM、MetaSeq 和 Colossal-AI 等主流训练系统，默认使用 FP16 / BF16 混合精度或 FP32 全精度来训练大型语言模型。
虽然这些精度水平对于大语言模型来说是必不可少的，但它们的计算成本很高。
如果采用 FP8 低精度，可以将速度提高 2 倍、内存成本降低 50% 至 75%，并且可节省通信成本。
目前只有 Nvidia Transformer Engine 兼容 FP8 框架，主要利用这种精度进行 GEMM（通用矩阵乘法）计算，同时以 FP16 或 FP32 高精度保持主权重和梯度。
为了应对这一挑战，来自 Microsoft Azure 和 Microsoft Research 的一组研究人员推出了一个高效的 FP8 混合精度框架，专为大型语言模型训练量身定制。
微软引入了三个优化阶段，利用 FP8 进行分布式和混合精度训练。随着这些层级的进展，FP8 集成程度的提高变得明显，这表明对 LLM 训练过程的影响更大。
此外为了克服数据溢出或下溢等问题，微软研究人员提出自动采样和精确解耦两种关键方法，前者涉及对精度不敏感的组件降低精度，动态调整 Tensor 采样因子，以确保梯度值保持在 FP8 表示范围内。这可以防止全减少通信期间的下溢和溢流事件，确保培训过程更加顺畅。
微软经过测试，与广泛采用的 BF16 混合精度方法相比，内存占用减少 27% 至 42%，权重梯度通信开销显著降低 63% 至 65%。运行速度比广泛采用的 BF16 框架（例如 Megatron-LM）快了 64%，比 Nvidia Transformer Engine 的速度快了 17%。
在训练 GPT-175B 模型时，混合 FP8 精度框架在 H100 GPU 平台上节省 21% 的内存，而且相比较 TE（Transformer Engine），训练时间减少 17%。
IT之家在此附上 GitHub 地址和论文地址：https://doi.org/10.48550/arXiv.2310.18313
相关推荐
- Python Scrapy 项目实战（python scripy）
-
爬虫编写流程首先明确Python爬虫代码编写的流程：先直接打开网页，找到你想要的数据，就是走一遍流程。比如这个项目我要爬取历史某一天所有比赛的赔率数据、每场比赛的比赛结果等。那么我就先打开这个网址...
- 为何大厂后端开发更青睐 Python 而非 Java 进行爬虫开发?
-
在互联网大厂的后端开发领域，爬虫技术广泛应用于数据收集、竞品分析、内容监测等诸多场景。然而，一个有趣的现象是，相较于Java，Python成为了爬虫开发的首选语言。这背后究竟隐藏着怎样的原因呢？让...
- 爬虫小知识，scrapy爬虫框架中爬虫名词的含义
-
在上一篇文章当中学记给大家展示了Scrapy爬虫框架在爬取之前的框架文件该如何设置。在上一篇文章当中，是直接以代码的形式进行描述的，在这篇文章当中学记会解释一下上一篇文章当中爬虫代码当中的一些名词...
- python爬虫神器--Scrapy（python爬虫详细教程）
-
什么是爬虫，爬虫能用来做什么？文章中给你答案。*_*今天我们就开发一个简单的项目，来爬取一下itcast.cn中c/c++教师的职位以及名称等信息。网站链接：http://www.itcast.cn...
- Gradio:从UI库到强大AI框架的蜕变
-
Gradio，这个曾经被简单视为PythonUI库的工具，如今已华丽转身，成为AI应用开发的强大框架。它不仅能让开发者用极少的代码构建交互式界面，更通过一系列独特功能，彻底改变了机器学习应用的开发和...
- 研究人员提出AI模型无损压缩框架，压缩率达70%
-
大模型被压缩30%性能仍与原模型一致，既能兼容GPU推理、又能减少内存和GPU开销、并且比英伟达nvCOMP解压缩快15倍。这便是美国莱斯大学博士生张天一和合作者打造的无损压缩框架...
- 阿里发布Qwen-Agent框架，赋能开发者构建复杂AI智能体
-
IT之家1月4日消息，阿里通义千问Qwen推出全新AI框架Qwen-Agent，基于现有Qwen语言模型，支持智能体执行复杂任务，并提供多种高级功能，赋能开发者构建更强大的AI...
- 向量数仓与大数据平台:企业数据架构的新范式
-
在当前的大模型时代，企业数据架构正面临着前所未有的挑战和机遇。随着大模型的不断发布和多模态模型的发展，AIGC应用的繁荣和生态配套的逐渐完备，企业需要适应这种新的数据环境，以应对行业变革。一、大模型时...
- 干货!大数据管理平台规划设计方案PPT
-
近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的...
- 阿里巴巴十亿级并发系统设计:实现高并发场景下的稳定性和高性能
-
阿里巴巴的十亿级并发系统设计是其在大规模高并发场景下（如双11、双12等）保持稳定运行的核心技术框架。以下是其关键设计要点及技术实现方案：一、高可用性设计多数据中心与容灾采用多数据中心部署，通过异地容...
- 阿里云云原生一体化数仓—数据治理新能力解读
-
一、数据治理中心产品简介阿里云DataWorks：一站式大数据开发与治理平台架构大图阿里云DataWorks定位于一站式的大数据开发和治理平台，从下图可以看出，DataWorks与MaxCom...
- DeepSeek R1:理解 GRPO 和多阶段训练
-
人工智能在DeepSeekR1的发布后取得了显著进步，这是一个挑战OpenAI的o1的开源模型，在高级推理任务中表现出色。DeepSeekR1采用了创新的组相对策略优化（GroupR...
- 揭秘永久免费视频会议软件平台架构
-
如今视频会议已经成为各个团队线上协同的必备方式之一，视频会议软件的选择直接影响团队效率与成本，觅讯会议凭借永久免费迅速出圈，本文将从技术架构、核心功能和安全体系等维度，深度解析其技术实现与应用价值，为...
- DeepSeek + Kimi = 五分钟打造优质 PPT
-
首先，在DeepSeek中输出提示词，示例如下：为课程《提示词基础-解锁AI沟通的秘密》设计一个PPT大纲，目的是让学生：1.理解提示词的概念、作用和重要性2.掌握构建有效提示词的基本原则和技巧...
- 软件系统如何设计可扩展架构?方法论,Java实战代码
-
软件系统如何设计可扩展架构?方法论，Java实战代码,请关注,点赞,收藏。方法论那先想想方法论部分。扩展性架构的关键点通常包括分层、模块化、微服务、水平扩展、异步处理、缓存、负载均衡、分布式架构等等...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- java框架spring (43)
- grpc框架 (55)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)