资讯动态

RL基础理论02-Flow Matching的VLA策略PPO训练原理02-2:从 Action Chunk 生成到 new_logprob/old_logprob 比率计算的完整推导02

发布时间:2026/10/14 23:58:42 来源:尧图企业网站定制
第三章 Actor训练阶段:π0.5如何利用Rollout生成的Action Chunk计算new_logprob重点展开:为什么Actor不能重新采样Action Chunk;新策略如何重新评价旧Action Chunk;new_logprob与old_logprob为什么只差一个策略参数;Flow Matching下new_logprob的完整计算;Exact likelihood和CFM surrogate likelihood的区别。继续第三章 Actor训练阶段:π0.5如何利用Rollout生成的Action Chunk计算new_logprob上一章解决了:Rollout阶段,旧策略如何生成Action Chunk,并计算old_logprob。得到的数据:(ot,At,old_logprob) (o_t,A_t,old\_logprob)

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑