谷歌开源SEED RL强化学习框架，训练成本降低多达80%
ccwgpt 2025-03-20 12:52 18 浏览 0 评论
智东西（公众号：zhidxcom）编 | 韦世玮
智东西3月24日消息，美国当地时间3月23日，谷歌开源了一个名为SEED RL的强化学习（RL）框架，能够将人工智能（AI）模型训练扩展到数千台机器，有助于在一台机器上以每秒数百万帧的速度进行训练，并将训练成本降低多达80%。
这一强化学习框架的开源，也将为那些AI创企和小型AI实验室创造一个低成本、公平的竞争环境。
据了解，该研究论文已于2019年10月15日提交在预印本平台arXiv，并在今年2月11日进行了最新修订，名为《SEED RL：具有加速的集中推理功能的可扩展且高效的Deep-RL（SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference）》。
论文链接：
https://arxiv.org/abs/1910.06591
一、为何要研发并开源RL框架？
实际上，就现阶段而言，在云端训练复杂的机器学习模型十分昂贵。
据研究报告数据，华盛顿大学（University of Washington）的Grover专为生成和检测假新闻而设计，该模型在两周的在训练中共花费了2.5万美元；OpenAI训练其GPT-2语言模型，每小时需花费256美元；谷歌训练其BERT双向转换器模型，预估也花费了6912美元。
而这些模型前期的训练成本，对一些大型AI实验室或科技巨头来说也许不足为提，但对于许多的AI创企和小型AI实验室而言，却带来了压力。
二、SEED RL的特点与性能
基于谷歌的TensorFlow 2.0框架，SEED RL的特点是能通过集中模型推理，来利用图形卡和TPU（张量处理单元）。
为了避免数据传输瓶颈，SEED RL还使用学习器组件来集中执行AI推理，而该组件也使用来自分布式推理的输入来训练模型。
此外，目标模型的变量和状态信息将保持在本地，并将每个环境步骤的观察结果发送给学习器组件。同时，由于该模型使用了基于开放源代码通用RPC框架的网络库，因此它的延迟也将保持在最低水平。
SEED RL的学习器组件能够扩展到成千上万个核心，例如在Cloud TPU上最多可扩展到2048个，而参与者的数量可扩展多达数千台机器。
同时，一种名为V-trace的算法可从中采样动作的分布，而另一种名为R2D2的算法则根据该动作的预测未来值来选择动作。
三、如何评估SEED RL性能？
为了评估SEED RL，谷歌研究团队在常用的Arcade学习环境、几种DeepMind实验室环境和谷歌足球环境中，对SEED RL进行了基准测试。
研究人员表示，他们利用SEED RL成功地解决了谷歌足球任务，并使用64个云TPU核实现了每秒240万帧的帧数，比以前最新的分布式代理提高了80倍。
“这大大缩短了挂钟时间，实现了显著的加速效果。同时，由于加速器的每次操作成本比CPU低几个数量级，因此模型实验的成本也实现了大幅降低。”在研究人员看来，SEED RL和提交的测试结果表明，在利用加速器方面，强化学习再次超越了深度学习的其他领域。
文章来源：VentureBeat
相关推荐
- 定时任务工具，《此刻我要...》软件体验
-
之前果核给大家介绍过一款小众但实用的软件——小说规则下载器，可以把网页里的小说章节按照规则下载到本地，非常适合喜欢阅读小说的朋友。有意思的是，软件作者当时看到果核写的体验内容后，给反推荐到他的帖子里去...
- 前端定时任务的神库:Node-cron，让你的项目更高效!
-
在前端开发中，定时任务是一个常见的需求。无论是定时刷新数据、轮询接口，还是发送提醒，都需要一个可靠且灵活的定时任务解决方案。今天，我要向大家介绍一个强大的工具——Node-cron，它不仅能解决定时任...
- Shutter Pro!一款多功能定时执行任务工具
-
这是一款可以在电脑上定时执行多种任务的小工具，使用它可以根据时间，电量等来设定一些定时任务，像定时打开程序、打开文件，定时关机重启，以及定时弹窗提醒等都可以轻松做到。这是个即开即用的小工具，无需安装，...
- 深度解析 Redis 缓存击穿及解决方案
-
在当今互联网大厂的后端开发体系中，Redis缓存占据着极为关键的地位。其凭借高性能、丰富的数据类型以及原子性操作等显著优势，助力众多高并发系统从容应对海量用户的访问冲击，已然成为后端开发从业者不可或...
- 从零搭建体育比分网站完整步骤（比较好的体育比分软件）
-
搭建一个体育比分网站是一个涉及前端、后端、数据源、部署和维护的完整项目。以下是从零开始搭建的详细流程：一、明确项目需求1.功能需求：实时比分展示（如足球、篮球、网球等）支持多个联赛和赛事历史数据查询比...
- 告别复杂命令行:GoCron 图形界面让定时任务触手可及
-
如果你是运维人员或者经常接触一些定时任务的配置，那么你一定希望有一款图形界面来帮助你方便的轻松配置定时任务，而GoCron就是这样一款软件，让你的配置可视化。什么是GoCron从名字你就可以大概猜到，...
- Java任务管理框架核心技术解析与分布式高并发实战指南
-
在当今数字化时代，Java任务管理框架在众多应用场景中发挥着关键作用。随着业务规模的不断扩大，面对分布式高并发的复杂环境，掌握其核心技术并进行实战显得尤为重要。Java任务管理框架的核心技术涵盖多个方...
- 链表和结构体实现:MCU软件定时器（链表在单片机中的应用）
-
在一般的嵌入式产品设计中，介于成本、功耗等，所选型的MCU基本都是资源受限的，而里面的定时器的数量更是有限。在我们软件设计中往往有多种定时需求，例如脉冲输出、按键检测、LCD切屏延时等等，我们不可能...
- SpringBoot定时任务（springboot定时任务每小时执行一次）
-
前言在我们开发中，经常碰到在某个时间点去执行某些操作，而我们不能人为的干预执行，这个时候就需要我们使用定时任务去完成该任务，下面我们来介绍下载springBoot中定时任务实现的方式。定时任务实现方式...
- 定时任务新玩法!systemd timer 完整实战详解
-
原文链接：「链接」Hello，大家好啊！今天给大家带来一篇使用systemdtimer实现定时任务调度的详细实战文章。相比传统的crontab，systemdtimer更加现代化、结构清晰...
- Celery与Django:打造高效DevOps的定时任务与异步处理神器
-
本文详细介绍了Celery这一强大的异步任务队列系统，以及如何在Django框架中应用它来实现定时任务和异步处理，从而提高运维开发（DevOps）的效率和应用性能。下面我们先认识一下Cele...
- 订单超时自动取消的7种方案，我用这种!
-
前言在电商、外卖、票务等系统中，订单超时未支付自动取消是一个常见的需求。这个功能乍一看很简单，甚至很多初学者会觉得："不就是加个定时器么？"但真到了实际工作中，细节的复杂程度往往会超...
- 裸机下多任务框架设计与实现（gd32裸机配置lwip 网络ping不通）
-
在嵌入式系统中，特别是在没有操作系统支持的裸机环境下，实现多任务执行是一个常见的挑战。本文将详细介绍一种基于定时器的多任务框架设计，通过全局时钟和状态机机制，实现任务的非阻塞调度，确保任务执行中不会出...
- 亿级高性能通知系统构建，小白也能拿来即用
-
作者介绍赵培龙，采货侠JAVA开发工程师分享概要一、服务划分二、系统设计1、首次消息发送2、重试消息发送三、稳定性的保障1、流量突增2、问题服务的资源隔离3、第三方服务的保护4、中间件的容错5、完善...
- 运维实战:深度拆解Systemd定时任务原理，90%的人不知道的玩法
-
运维实战：深度拆解Systemd定时任务原理，90%的人不知道的高效玩法一、Systemd定时任务的核心原理Systemd定时任务是Linux系统中替代传统cron的现代化解决方案，通过...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)