第5章：马尔可夫决策过程

状态、策略与回报

有限 MDP 由状态、动作、转移概率 $P(s'\mid s,a)$ 、期望即时奖励 $r(s,a)$ 和折扣因子 $0\le\gamma<1$ 构成。策略规定在状态下如何选择动作。

策略价值为从当前状态起的期望折扣回报：

V^\pi(s)=\mathbb E_\pi\left[\sum_{t=0}^{\infty}\gamma^tr(S_t,A_t)\mid S_0=s\right].

折扣将远期回报缩小，并在有界奖励下保证和有限。有限时域任务可以不用折扣，但要把剩余时间纳入价值定义。

把第一个奖励与之后回报分开，对固定策略得到

V^\pi(s)=\sum_a\pi(a\mid s)\left[r(s,a)+\gamma\sum_{s'}P(s'\mid s,a)V^\pi(s')\right].

最优价值将策略平均换成动作最大值。对应 Bellman 最优算子在无穷范数下是 $\gamma$ 压缩：概率加权不放大最大误差，取最大值也不放大，因此两份价值估计更新后的距离至多是原来的 $\gamma$ 倍。

这说明反复价值迭代收敛到唯一固定点。它依赖有限状态、折扣和有界奖励等条件，不应直接推广到任意无折扣持续任务。

状态 S 有两个动作：退出立即奖励 5 并终止；等待奖励 1，随后仍回到 S。令 $\gamma=0.9$ ，则

V^*(S)=\max\{5,1+0.9V^*(S)\}=10.

持续等待价值为 10，高于退出。若 $\gamma=0.5$ ，持续等待只有 2，最优价值为 5。策略变化来自回报定义改变，不是转移模型改变。

策略迭代交替评估当前策略、再按其价值贪心改进。价值迭代直接反复应用最优算子，二者解决同一个模型但计算组织不同。

若智能体只看到观测而看不到状态，直接把观测当 MDP 状态可能失去马尔可夫性。POMDP 可以用隐藏状态的后验分布作为信念状态；代价是信念空间通常连续，计算更困难。