第4章：概率图模型与推断

联合分布与因子分解

贝叶斯网络用有向无环图表达联合分布的分解：

P(x_1,\ldots,x_n)=\prod_iP(x_i\mid pa_i).

边描述因子依赖，只有在额外的因果假设成立时才可解释为干预关系。观测 $X=x$ 与主动把 $X$ 设为 $x$ ，通常不是同一操作。

链 $A\to B\to C$ 中，给定 $B$ 后 $A$ 与 $C$ 条件独立；碰撞结构 $A\to B\leftarrow C$ 中，未观测 $B$ 及其后代时，路径被阻断，观测共同结果反而可能让两个原因相关。

疾病患病率为 1%，检测灵敏度为 90%，假阳性率为 5%。阳性后的患病概率为

P(D\mid +)=\frac{0.9\times0.01}{0.9\times0.01+0.05\times0.99}\approx0.154.

结果不是 90%，因为阳性中包含来自大量健康人的假阳性。先验、似然和后验分别回答不同问题，不能互换。

求 $P(A\mid e)$ 时，将证据代入因子，依次乘起包含待消元变量的因子并对该变量求和，最后归一化。消元次序不改变精确结果，却改变中间因子规模。

若直接展开所有变量，成本随变量数指数增长；图结构稀疏时，合适顺序可减少成本。影响复杂度的是产生的因子宽度等结构性质，不只是网络边数。

隐马尔可夫模型用隐藏状态 $X_t$ 、观测 $O_t$ 及转移和观测概率表示序列。过滤递推为

P(X_t\mid o_{1:t})\propto P(o_t\mid X_t)\sum_{x_{t-1}}P(X_t\mid x_{t-1})P(x_{t-1}\mid o_{1:t-1}).

先根据旧信念预测，再用新观测修正。过滤求当前状态分布，平滑利用未来观测修正过去状态，Viterbi 求最可能的整条状态序列；逐时刻取边缘最大值不保证得到最可能序列。

状态空间太大时可采用采样或粒子过滤，但有限样本会引入方差、权重退化等问题，近似结果需要评估。