[理论]--接口测试

java邮件发送报错: Couldn‘t connect to host, port: smtp.exmail.qq.com, 25; timeout -1

  返回  

机器学习中强化学习的一些知识

2021/7/20 15:57:23 浏览:

16.1 给出了强化学习的一个简单图示.强化学习任务通常用马尔可夫决 策过程 (Markov Decision Process,简称 MDP)来描述:机器处于环境 中,状 态空间为 ,其中每个状态 EX 是机器感知到的环境的描述,如在种瓜任务 上这就是当前瓜苗长势的描述;机器能采取的动作构成了动作空间 如种瓜 过程中有浇水、施不同的肥、使用不同的农药等多种可供选择的动作;若某个 动作 αεA 作用在当前状态 上,则潜在的转移函数 将使得环境从当前状态 按某种概率转移到另 个状态,如瓜苗状态为缺水,若选择动作浇水,则瓜苗长 势会发生变化,瓜苗有一定的概率恢复健康?也有一定的概率无法恢复;在转移 到另一个状态的同时,环境会根据潜在的"桨黄" (rew d) 函数 反馈给机器 一个奖赏,如保持瓜苗健康对应奖赏 +1 ,瓜茵凋零对应奖赏一10 ,最终种出了 好瓜对应奖赏 +100. 综合起来,强化学习任务对应了四元组 = (X,A,P,R), 其中 P:XxAxX 指定了状态转移概率 R:XxAxX 指定了奖 赏;在有的应用中,奖赏函数可能仅与状态转移有关,即 R:XxX -+R 

 需注意"机器"与"环境"的界限,例如在种西瓜任务中,环境是因瓜生 长的自然世界;在~棋对弈中,环境是棋盘与对于;在机器人控制中,环境是机 器人的躯体与物理世界.总之,在环境中状态的转移、奖赏的返回是不受机器 控制的,机器只能通过选择要执行的动作来影响环境,也只能通过观察转移后 的状态和返回的奖赏来感知环境

策略的优劣取决于长期执行这一策略后得到的累积奖赏,例如某个策略使 得瓜苗枯死,它的累积奖赏会很小,另一个策略种出了好瓜,它的累积奖赏会很大.在强化学习任务中,学习的目的就是要找到能使长期累积奖赏最大化的策 略.长期累积奖赏有多种计算方式?常用的有 "T 步累积奖赏" lE叫[~2汇二乙L1Tηtl l "γ 折扣累积奖赏" lE叫[2乙;二芮zγf什仇rt忡叫十 示对所有随机变量求期望.

读者也许己经感觉到强化学习与监督学习的差别若将这里的"状态"对 应为监督学习中的"示例"、 "动作"对应为"标记",则可看出,强化学习 中的"策略"实际上就相当于监督学习中的"分类器" (当动作是离散的)或 "国归器" (当动作是连续的 模型的形式并无差别.但不同的是,在强化学 习中并没有监督学习中的有标记样本(即"示例·标记"对) ,换言之,没有人直 接告诉机器在什么状态下应该做什么动作,只有等到最终结果揭晓,才能通过 "反思"之前的动作是否正确来进行学习.因此,强化学习在某种意义上可看 作具有"延迟标记信息"的监督学习问题.

与一般监督学习不同,强化学习任务的最终奖赏是在多步动作之后才能观 察到,这里我们不妨先考虑比较简单的情形:最大化单步奖赏,即仅考虑一步 操作.需注意的是,即使在这样的简化情形下,强化学习仍与监督学习有显著不 同,因为机器需通过尝试来发现各个动作产生的结果,而没有训练数据告诉机 器应当做哪个动作.

 事实上,"探索" (即估计摇臂的优劣〉和"利用" (即选择当前最优摇 臂)这两者是矛盾的,因为尝试次数(即总投币数)有限,加强了一方则会自 然削弱另一方,这就是强化学习所面临的"探索-利用窘境" (ExplorationExploitation dilemma). 显然,欲累积奖赏最大,则必须在探索与利用之间达成 较好的折中.

若直接根据式(16.1) 计算平均奖赏,则需记录 个奖赏值.显然,更高效的 做法是对均值进行增量式计算,即每尝试一次就立即更新 Q(k). 不妨用下标来 表示尝试的次数,初始时 Qo(k) = O. 对于任意的 ,若第 n-1 次尝试厉的 平均奖赏为 Qn-l(的,则在经过第 次尝试获得奖赏。 后,平均奖赏应更新为

这样,无论摇臂被尝试多少次都仅需记录两个值:己尝试次数 n-1 11 丘平均 奖赏 Qn-1(k). E-贪心算法描述如图 16 .4所示.

softmax 算法基于当前已知的摇臂平均奖赏来对探索和利用进行折中.若 各摇臂的平均奖赏相当,则选取各摇臂的概率也相当;若某些摇臂的平均奖赏 明显高于其他摇臂,则它们被选取的概率也明显更高.

 考虑多步强化学习任务 暂且先假定 务对应的马尔可夫决策过程四元组 E = R) 均为 己知 这样的情形称为 "模型 己知 行了建模?能在机器内部模拟出与环境相同或近似的状况.在 己知模型的环境 中学习称为"有模型学习" (model-based learn 剖) 此时,对于任意状态尘,矿 和动 ,在 状态下执行动作 转移到矿状态的概率 PJ 是己生口的 ?该转 移所带来的奖赏 R~ x' 也是已知的,为便于讨论?不妨假设状态空间 动作 空间 均为有限.

从一个初始策略(通常是随机策略)出发,先进行策略评估,然后改进策略,评估 改进的策略,再进一步改进策略,……不断迭代进行策略评估和改进,直到策略 收敛、不再改变为止.这样的做法称为"策略迭代" (policy iteration).在现实的强化学习任务中,环境的转移概率、奖赏函数往往很难得知,甚至很难知道环境中」共有多少状态.若学习算法不依赖于环境建模,则称为争 "免模型学习" (model-free learning) ,这比有模型学习要两难得多.

在免模型情形下,策略选代算法首先遇到的问题是策略无法评估,这是由 于模型未知而导致无法做全概率展开.此时?只能通过在环境中执行选择的动 作?来观察转移的状态和得到的奖赏.受 摇臂赌博机的启发,一种直接的策 略评估替代方法是多次"采样",然后求取平均累积奖赏来作为期望累积奖赏 的近似,这称为蒙特卡罗强化学习.由于采样必须为有限次数?因此该)j 法史适 合于使用 步累积奖赏的强化学习任务.可以看出?欲较好地获得值的数的估计,就需要多条不同的来样轨迹.然 而,我们的策略有可能是确定性的 即对于某个状态只会输出一个动作?若使用 这样的策略进行采样?则只能得到多条相同的轨迹.这与 摇臂赌博机的"仅 利用"法面临相同的问题 时此可借鉴探索与利用折中的办法,例如使用←贪 心法?以 的概率从所有胡作中均匀随机选取一个,以 1-E 的概率选取当前最 优动作.我们将确定性的策略付称为 "1尿桌始策略 法的策略记为

蒙特卡罗强化学习算法通过考虑采样轨迹?克服了模型未知给策略估计造 成的困难.此类算法需在完成一个采样轨迹后再更新策略的值估计?而前而介 绍的基于动态规划的策略迭代和值迭代算法在每执行→步策略后就进行值函 数更新.两者相比?蒙特卡罗强化学习算法的效率低得多?这里的主要问题是 蒙特卡罗强化学习算法没有充分利用强化学习任务的 MDP 结构.时序主分 (Temporal Difference ,简称 TD) 学斗则结合了动态规划与蒙特卡罗方法的思 想,能做到更高效的免模型学习.

前面我们一直假定强化学习任务是在有限状态空间上进行,每个状态可 用一个编号来指代;值面数则是关于有限状态的"表格值函数" (tabular value functio时,即值函数能表示为一个数组,输入 对应的函数值就是数组元素 值,且更成一个状态上的值不会影响其他状态上的值.然而,现实强化学习任务

需注意的是,在时序差分学习中需要状态"动作值函数以便获取策略.这里 一种简单的做法是令 作用于表示状态和动作的联合向量上,例如给状态向量 增加一维用于存放动作编号,即将式(16.32) 中的 替换为 (x; α); 另一种做法是 用。/1 对动作选择进行编码得到向量 α= (0; . . . ; 1; . . . ; 0) ,其中 "1" 表示该动 作被选择,再将状态向量与其合并得到 (x; α) ,用于替换式(16.32) 中的 x. 这样 就使得线性近似的对象为状态-动作值函数.

在强化学习的经典任务设置中,机器所能获得的反馈信息仅有多步决策后 的累积奖赏,但在现实任务中,往往能得到人类专家的决策过程范例,例如在种 瓜任务上能得到农业专家的种植过程范例.从这样的范例中学习,称为"模仿 学习" (imitation "learning).

强化学习任务中多步决策的搜索空间巨大,基于累积奖赏来学习很多步之 前的合适决策非常困难'而直接模仿仿,人类专家的"状态-动作对 白闯民显显著缓解这 一困难'我们称其为"直接模仿学习 假定我们获得了一批人类专家的决策轨迹数据{卡T1 ,7:鸟,. .…川.叮,7;阳 m} 每条轨迹 包含状态和动作序列

在很多任务中,设计桨棠函数往往相当困难,从人类专家提供的也例数据 中反推出奖赏函数有助于解决该问题?这就是逆强化学习

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号