(人工智能)深入理解强化学习:2、强化学习工作方式
ccwgpt 2024-10-29 13:33 23 浏览 0 评论
#人工智能#强化学习工作方式：
幸运的是，这就是强化学习。因此，框架和强化学习与监督学习框架惊人地相似。因此，我们仍然有一个输入框架，我们通过神经网络模型运行它，网络产生输出动作，无论是向上还是向下。但现在我们不知道目标标签，所以我们不知道在任何情况下我们应该上升还是下降，因为我们没有可以训练的数据集。策略网络是强化学习中的网络，它将输入帧转换为输出动作。一种被称为策略梯度的策略现在是训练策略网络的最简单方法之一。在策略梯度中，策略是从一个完全随机的网络开始。你从游戏引擎向该网络提供一个帧。它会生成一个随机的向上和向下的活动。返回到游戏引擎并执行该操作循环继续，同时游戏引擎生成下一帧，在本例中，网络可能是一个完全连接的网络。
然而，你也可以在那里使用卷积，你的网络输出现在将由两个数字组成：上升的概率和下降的概率。在训练时，你将从分布中取样，这样你就不会总是重复相同的确切活动。这将帮助你的代理人更随机地探索世界，希望能发现更大的回报，更重要的是，能发现更好的行为。因为我们希望我们的经纪人能够完全自主学习，所以我们给它的唯一反馈就是游戏的记分牌。因此，每当我们的代理进球时，它都会收到+1的奖励，如果对手进球，我们的代理就会收到-1的惩罚，而代理的主要目的是优化其策略，以收集尽可能多的奖励。因此，为了训练我们的策略网络，我们要做的第一件事就是收集大量数据。只需在网络上运行一些游戏帧，选择随机动作，并将其反馈到引擎中，即可生成一系列随机乒乓球游戏。显然，因为我们的经纪人还没有学到任何有价值的东西，所以它会输掉大部分比赛，但关键是，我们的经纪人可能会运气好，随机选择一系列真正能进球的动作。在这种情况下，我们的代理人将获得奖励，重要的是要记住，对于每一集，无论我们希望获得积极还是消极的奖励，我们都已经可以计算出梯度，这将使我们的代理人在未来更有可能采取行动。这一点至关重要，因为当我们获得积极奖励时，策略梯度将采用正常梯度来提高未来每一次发生这些行为的概率。当我们得到一个负数时，我们会应用相同的梯度，但我们会将其乘以负1，这个负号将确保我们在一个特别可怕的事件中所做的所有行动在未来都不太可能发生。因此，在训练我们的策略网络时，导致负面奖励的行为将逐渐被过滤掉，而导致良好奖励的行为的可能性将越来越大，因此在某种程度上，我们的代理人正在学习打乒乓球。
策略梯度的缺点：
因此，我们可以利用策略梯度来训练神经网络来打乒乓球。但采用这种策略也有一些实质性的缺点，一如既往。让我们再次回到乒乓球。想象一下，你的经纪人已经练习了一段时间，实际上非常擅长打乒乓球，来回弹跳，但在这一集结束时却犯了一个错误。它允许球通过并受到处罚。策略梯度的问题是，他们认为，因为我们失去了这一事件，我们在那里做出的所有行为都一定很糟糕，这将减少未来重复这些行为的可能性。
信用分配困境：
但请记住，在那一集的大部分时间里，我们都表现得非常好，所以我们不想减少这些行为的机会，这就是强化学习中的学分分配困境。这种情况下，如果你在剧集结束时获得奖励，那么是什么特定的行为导致了特定的奖励，而这个问题完全是由于我们的奖励设置很少。因此，我们不是每一个动作都会得到奖励，而是只在一个完整的情节之后才得到奖励，我们的代理人必须弄清楚它的动作序列中的哪个元素导致了它最终得到的奖励，就像朋克的例子一样。例如，我们的经纪人应该明白，只有在球撞击之前的活动才是真正至关重要的；球飞走后的其他一切都与最终的回报无关。由于这种稀疏的奖励设置，强化学习算法的采样效率往往很低，这意味着你必须给他们很多训练时间，他们才能学到任何有价值的东西。
相关推荐
- 谷歌正在为Play商店进行Material Design改造
-
谷歌最近一直忙于在其应用程序中完成MaterialDesign风格的改造，而Play商店似乎是接下来的一个。9to5Google网站报道，有用户在Play商店的最新版本中发现了新界面，暗示该应用和网...
- 企业网站免费搭建，定制化建站CMS系统
-
科腾软件企业网站CMS管理系统已完成开发工作,首次开源（全部源码）发布。开发工具：VisualStudioEnterprise2022数据库：SQLite(零配置，跨平台，嵌入式)开发...
- 您需要的 11 个免费 Chrome 扩展程序
-
来源：SEO_SEM营销顾问大师Chrome扩展程序是SEO的无名英雄，他们在幕后默默工作，使您的策略脱颖而出并提高您的努力效率。从竞争对手研究到审核您的网站，速度比您说“元描述”还快，这些小工具发...
- 户外便携设备抗干扰困境如何破局?CMS-160925-078S-67给出答案
-
在户外复杂的电磁环境中，便携式设备中的扬声器需具备出色抗干扰能力，CUID的CMS-160925-078S-67在这方面表现突出。 从其结构设计来看，矩形框架虽主要为适配紧凑空...
- 一个基于NetCore开发的前后端分离CMS系统
-
今天给大家推荐一个开源的前后端分离架构的CMS建站系统。项目简介这是一个基于.Net3构建的简单、跨平台、模块化建站系统。系统业务简单、代码清晰、层级分明、全新架构便于二次扩展开发。支持多种数据库，...
- 本地Docker部署ZFile网盘打造个人云存储
-
前言本文主要介绍如何在LinuxUbuntu系统使用Docker本地部署ZFile文件管理系统，并结合cpolar内网穿透工具实现远程访问本地服务器上的ZFile传输与备份文件，轻松搭建个人网盘，无...
- pcfcms企业建站系统 免费+开源的企业内容管理系统
-
项目介绍pcfcms是基于TP6.0框架为核心开发的免费+开源的企业内容管理系统，专注企业建站用户需求提供海量各行业模板，降低中小企业网站建设、网络营销成本，致力于打造用户舒适的建站体验。演示站...
- 【推荐】一个高颜值且功能强大的 Vue3 后台管理系统框架
-
如果您对源码&技术感兴趣，请点赞+收藏+转发+关注，大家的支持是我分享最大的动力！！！项目介绍SnowAdmin是一款基于Vue3、TypeScript、Vite5、Pinia、Arco-Desi...
- java开源cms管理系统框架PublicCMS后台管理系统
-
一款使用Java语言开发的CMS，提供文章发布，图片展示，文件下载,用户权限、站点模块，内容管理、分类等功能。可免费用于商业用途maven工程数据库脚本在工程中database文件夹下代码结构：效果...
- 一定要大量读书:当我问Deepseek，它给出的高效阅读方法厉害了!
-
一年一度的世界读书日，总该写点什么。于是，我去问Deepseek给我推荐人生破局必读的10本书，结果它给了我回复，竟然10本推荐的书籍里，我都曾经浏览过，同时还给出破局关键。而说浏览过，不是读过，是因...
- 《搜神札记》:不应磨灭的惊奇（小说《搜神记》）
-
□黄勃志怪传说的书写一直是文人墨客的后花园，晚近尤盛，从张岱到袁枚到纪昀，收集那些或阴森或吊诡的行状故事，遂成一类，到民国年间，周作人挟此遗传，捋袖子拿希腊神话动刀，乃兄鲁迅不甘其后，《故事新编》虎...
- 《如何构建金字塔》之第三章总结（构建金字塔结构的方法有）
-
“没有什么比一套好理论更有用了。”——库尔特.勒温这篇读后感依然引用了这句库尔特.勒温名言，这句话也是我读芭芭拉.明托这本书的初衷。今天就“如何构建金字塔”，我来谈谈我的读后心得。我热爱写作，但是写...
- 《助人技术》第一章助人引论内容框架
-
第一章内容基本呈现如何成为助人者（心理咨询师）以及一些相关基础知识，对于进入这个行业有兴趣以及希望通过心理咨询寻求帮助但存有疑虑的当事人，都值得一读。心理咨询的三个阶段（不是说严格的三个阶段，而是广义...
- AI助手重构读后感写作流程:从提纲到完整性思考的转换
-
大家好！你有没有遇到过读完一本书，想要写读后感，却不知道从何下手的情况呢？今天我们要来探讨一下如何利用稿见AI助手来重构读后感写作流程，从提纲到完整性思考的转换。让我们一起来看看这个全新而又实用的方法...
- 图解用思维导图做读书笔记技巧（图解用思维导图做读书笔记技巧视频）
-
做阅读笔记非常有利于读后进行有效的深入思考，而思维导图这一强大的工具其最大的特点就是架构清晰，在阅读过程中对文章的分析、总结、分类起着很大的辅助作用。思维导图读书笔记步骤：1、阅读大纲。首先要快速浏览...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- mfc框架 (52)
- abb框架断路器 (48)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)