训练成本降低80%!谷歌开源SEED RL强化学习框架，降低AI创企压力
ccwgpt 2024-09-13 16:01 54 浏览 0 评论
智东西（公众号：zhidxcom）编 | 韦世玮
智东西3月24日消息，美国当地时间3月23日，谷歌开源了一个名为SEED RL的强化学习（RL）框架，能够将人工智能（AI）模型训练扩展到数千台机器，有助于在一台机器上以每秒数百万帧的速度进行训练，并将训练成本降低多达80%。
这一强化学习框架的开源，也将为那些AI创企和小型AI实验室创造一个低成本、公平的竞争环境。
据了解，该研究论文已于2019年10月15日提交在预印本平台arXiv，并在今年2月11日进行了最新修订，名为《SEED RL：具有加速的集中推理功能的可扩展且高效的Deep-RL（SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference）》。
论文链接：https://arxiv.org/abs/1910.06591
一、为何要研发并开源RL框架？
实际上，就现阶段而言，在云端训练复杂的机器学习模型十分昂贵。
据研究报告数据，华盛顿大学（University of Washington）的Grover专为生成和检测假新闻而设计，该模型在两周的在训练中共花费了2.5万美元；OpenAI训练其GPT-2语言模型，每小时需花费256美元；谷歌训练其BERT双向转换器模型，预估也花费了6912美元。
而这些模型前期的训练成本，对一些大型AI实验室或科技巨头来说也许不足为提，但对于许多的AI创企和小型AI实验室而言，却带来了压力。
二、SEED RL的特点与性能
基于谷歌的TensorFlow 2.0框架，SEED RL的特点是能通过集中模型推理，来利用图形卡和TPU（张量处理单元）。
为了避免数据传输瓶颈，SEED RL还使用学习器组件来集中执行AI推理，而该组件也使用来自分布式推理的输入来训练模型。
此外，目标模型的变量和状态信息将保持在本地，并将每个环境步骤的观察结果发送给学习器组件。同时，由于该模型使用了基于开放源代码通用RPC框架的网络库，因此它的延迟也将保持在最低水平。
SEED RL的学习器组件能够扩展到成千上万个核心，例如在Cloud TPU上最多可扩展到2048个，而参与者的数量可扩展多达数千台机器。
同时，一种名为V-trace的算法可从中采样动作的分布，而另一种名为R2D2的算法则根据该动作的预测未来值来选择动作。
三、如何评估SEED RL性能？
为了评估SEED RL，谷歌研究团队在常用的Arcade学习环境、几种DeepMind实验室环境和谷歌足球环境中，对SEED RL进行了基准测试。
研究人员表示，他们利用SEED RL成功地解决了谷歌足球任务，并使用64个云TPU核实现了每秒240万帧的帧数，比以前最新的分布式代理提高了80倍。
“这大大缩短了挂钟时间，实现了显著的加速效果。同时，由于加速器的每次操作成本比CPU低几个数量级，因此模型实验的成本也实现了大幅降低。”在研究人员看来，SEED RL和提交的测试结果表明，在利用加速器方面，强化学习再次超越了深度学习的其他领域。
文章来源：VentureBeat
相关推荐
- 腾讯开源框架TarsCpp-rpc设计分析-server(二)
-
2Tars协议2.1是什么借用官方说法：TARS编码协议是一种数据编解码规则，它将整形、枚举值、字符串、序列、字典、自定义结构体等数据类型按照一定的规则编码到二进制数据流中。对端接收到二进制数据流...
- 微服务调用为什么用RPC框架，http不更简单吗?
-
简单点，HTTP是协议，RPC是概念！实现RPC可以基于HTTP协议（Feign），TCP协议(Netty)，RMI协议（Soap），WebService（XML—RPC）框架。传输过程中，也因为序列...
- go-zero:开箱即用的微服务框架（gin框架微服务）
-
go-zero是一个集成了各种工程实践的Web和rpc框架，它的弹性设计保障了大并发服务端的稳定性，并且已经经过了充分的实战检验。go-zero在设计时遵循了“工具大于约定和文档”的理...
- SOFARPC :高性能、高扩展性、生产级的 Java RPC 框架
-
#暑期创作大赛#SOFARPC是一个高性能、高扩展性、生产级的JavaRPC框架。在蚂蚁金服，SOFARPC已经使用了十多年，已经发展了五代。SOFARPC致力于简化应用程序之间的RPC...
- 自研分布式高性能RPC框架及服务注册中心ApiRegistry实践笔记
-
痛点1.bsf底层依赖springcloud,影响bsf更新springboot新版本和整体最新技术版本升级。2.eureka已经闭源，且框架设计较重，同时引入eureka会自行引入较多sprin...
- Rust语言从入门到精通系列 - Tonic RPC框架入门实战
-
Rust语言是一种系统级语言，被誉为“没有丧失性能的安全语言”。Rust语言的优势在于其内存安全机制，在编译时就能保证程序的内存安全。Tonic模块是Rust语言的一个RPC（RemoteProce...
- 腾讯开源框架TarsCpp-rpc设计分析-client(一)
-
前言Tars是腾讯开源的微服务平台，包含了一个高性能的rpc框架和服务治理平台，TarsCpp是其C++版本。对于以C++为主要开发语言，同时还想深入了解rpc和微服务框架具体实现的同学来说，Tars...
- 设计了一款TPS百万级别的分布式、高性能、可扩展的RPC框架
-
为啥要开发RPC框架事情是这样的，在开发这个RPC框架之前，我花费了不少时间算是对Dubbo框架彻底研究透彻了。冰河在撸透了Dubbo2.x和Dubbo3.x的源码之后，本来想给大家写一个Dubbo源...
- rpc框架使用教程，超级稳定好用，大厂都在使用
-
rpc是什么远程调用协议如何使用导入依赖<dependency><groupId>org.apache.dubbo</groupId><art...
- Layui 框架实战:动态加载 Select 与二级联动全解析
-
在现代Web开发中，下拉选择框（Select）是用户输入数据时不可或缺的组件。很多时候，我们需要的选项并非静态写死在HTML中，而是需要根据业务逻辑从后端动态获取。更有甚者，我们可能需要实现“...
- 15个能为你节省数百小时的前端设计神器，从UI库到文档生成
-
无论你是刚开始开发之旅的新手，还是疲于应付生产期限的资深程序员，有一个真理始终不变：正确的工具能彻底改变你的工作流程。多年来，我测试了数百个开发工具——有些实用，大多数平庸。但有一批免费网站经受住了时...
- Layui与WinForm通用权限管理系统全解析
-
嘿，小伙伴们，今天咱们来聊聊Layui和WinForm这两个框架在通用权限管理系统中的应用。别担心，我会尽量用简单易懂的语言来讲解，保证让大家都能跟上节奏！首先说说Layui。Layui是一个前端UI...
- 纯Python构建精美UI!MonsterUI让前端开发效率飙升
-
“无需CSS知识，告别类名记忆，11行代码实现专业级卡片组件”在传统Web开发中，构建美观界面需要同时掌握HTML、CSS、JavaScript三剑客，开发者不得不在多种语言间频繁切换。即使使用Boo...
- WebTUI:将终端用户界面(TUI)之美带到浏览器的CSS库
-
在当今Web技术飞速发展的时代，界面设计愈发复杂多样。然而，随着现代化工具的广泛使用，一些开发者开始回归极简风格，追求一种简洁而富有韵味的设计。WebTUI正是这样一款CSS库，它将经典的终...
- 人教版二年级下册生字描红汇总(拼音+笔顺+描红)，可打印!
-
可定制内容，评论区留言。本次整理的为人教版二年级下册所有生字，共计300个；写字是小学阶段一项重要的基本功训练，把汉字写得正确、工整、美观，可以提高运用汉字这一交际工具的准确性和效率。对小学生进行写字...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 腾讯开源框架TarsCpp-rpc设计分析-server(二)
- 微服务调用为什么用RPC框架，http不更简单吗?
- go-zero:开箱即用的微服务框架（gin框架微服务）
- SOFARPC :高性能、高扩展性、生产级的 Java RPC 框架
- 自研分布式高性能RPC框架及服务注册中心ApiRegistry实践笔记
- Rust语言从入门到精通系列 - Tonic RPC框架入门实战
- 腾讯开源框架TarsCpp-rpc设计分析-client(一)
- 设计了一款TPS百万级别的分布式、高性能、可扩展的RPC框架
- rpc框架使用教程，超级稳定好用，大厂都在使用
- Layui 框架实战:动态加载 Select 与二级联动全解析
- 标签列表
-
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- ui自动化框架 (47)
- beego框架 (52)
- java框架spring (58)
- grpc框架 (65)
- tornado框架 (48)
- 前端框架bootstrap (54)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)