现代深度学习教程：第9章RLHFPPT教学课件.pptx

下载文档加入资源篮

ID编号 6527
阅读 0
下载 0
格式 pptx
大小 10.83 MB
约29页
2026-09-25
评论
收藏
赞(0)
海报
分享

微信扫码分享或点击分享到

QQ空间

QQ好友

新浪微博

复制链接

分享赚佣金
版权申诉

1/29页

2/29页

3/29页

在线预览已结束，请下载后查看完整版，加入VIP享文档下载特权

/ 29

加入VIP 下载文档加入资源篮

文本预览下载提示常见问题

《现代深度学习教程》第 9 章基础模型核心技术——RLHF主讲： XXX时间： 2026/9/21目录C O N T E N T S01 近端策略优化03 强化 Transformer02 RLHF04 本章小结AI9.1近端策略优化9.1 近端策略优化（ PPO ）是什么近端策略优化（ PPO ）是一种由 OpenAI 于 2017 年提出的深度强化学习算法，属于 Actor-Critic 方法的扩展范畴。为什么提出解决 TRPO 在实践中的限制：高计算成本、优化约束实现复杂、超参数敏感性强、不易并行。核心思想采用剪切代理目标（ Clipped Surrogate Objective ）函数，限制策略更新幅度，通过限制优势函数的增长实现稳定性控制。优化过程策略评估与策略更新两个阶段交替进行；采用 mini-batch 更新，并引入调节新旧策略 KL 散度的...

1、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
3、如文档内容存在侵权，违规、或者侵犯商业秘密、侵犯著作权等，请点击“侵权申诉”。

常见问题碎片内容