高斯分布与贝叶斯决策：连续隐藏状态下的推理

引言

在上一教程中，我们探讨了二元隐藏状态下的贝叶斯决策。本教程将这一概念扩展到连续分布领域，特别是高斯分布（正态分布）。高斯分布在统计学和机器学习中占据核心地位，因其数学性质优良且广泛存在于自然现象中。

高斯分布基础

高斯分布（正态分布）由以下概率密度函数定义：

$$\mathcal{N}(x\mathrm{\mid }\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\backslash mathcal\{N\}(x|\backslash mu,\backslash sigma^2)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\backslash sigma^2\}\}e^\{-\backslash frac\{(x-\backslash mu)^2\}\{2\backslash sigma^2\}\}$$

其中：

• μ是均值（分布的中心位置）
• σ是标准差（分布的离散程度）

高斯分布具有以下重要性质：

1. 对称性：关于均值对称
2. 集中性：约68%的数据落在μ±σ范围内，95%在μ±2σ范围内
3. 可加性：独立高斯随机变量的和仍为高斯分布

贝叶斯定理在连续分布中的应用

对于连续变量，贝叶斯定理可表示为：

$$p(x\mathrm{\mid }y)=\frac{p(y\mathrm{\mid }x)p(x)}{p(y)}p(x|y)\; =\; \backslash frac\{p(y|x)p(x)\}\{p(y)\}$$

其中：

• p(x)是先验分布
• p(y|x)是似然函数
• p(x|y)是后验分布
• p(y)是边缘概率（归一化常数）

当先验和似然都是高斯分布时，后验分布也是高斯分布，这一性质使得计算非常高效。

高斯混合模型

现实世界中的数据往往不是单一高斯分布能描述的。高斯混合模型(GMM)通过组合多个高斯分布来建模更复杂的分布：

$$p(x)=\sum _{i=1}^k{\pi }_i\mathcal{N}(x\mathrm{\mid }{\mu }_i,{\sigma }_i^2)p(x)\; =\; \backslash sum\_\{i=1\}^k\; \backslash pi\_i\; \backslash mathcal\{N\}(x|\backslash mu\_i,\backslash sigma\_i^2)$$

其中π_i是混合系数，满足∑π_i=1。

GMM能够：

1. 建模多模态数据
2. 提供更灵活的分布形状
3. 通过EM算法进行参数估计

损失函数与决策

在贝叶斯决策理论中，我们需要定义损失函数来量化不同决策的代价。常见的损失函数包括：

1. 平方误差损失（MSE）：L(θ,a) = (θ-a)²

   • 最小化期望损失得到均值估计

2. 绝对误差损失：L(θ,a) = |θ-a|

   • 最小化期望损失得到中位数估计

3. 0-1损失：L(θ,a) = I(θ≠a)

   • 最小化期望损失得到众数估计

应用案例：寻找Astrocat

本教程通过一个有趣的案例——寻找太空猫Astrocat，展示了连续状态贝叶斯推理的实际应用。在这个问题中：

1. 先验信息：卫星提供的Astrocat可能位置分布
2. 观测数据：太空鼠提供的补充信息
3. 后验分布：结合两者得到的更新位置估计

通过交互式可视化，我们可以直观地看到：

• 不同精度信息源如何影响后验分布
• 如何从后验分布做出最优决策
• 损失函数选择如何影响最终决策

多维高斯分布

当处理多维数据时，我们使用多元高斯分布：

$$\mathcal{N}(\mathbf{x}\mathrm{\mid }\mathit{\mu },\mathrm{\Sigma })=\frac{1}{(2\pi {)}^{D\mathrm{/}2}\mathrm{\mid }\mathrm{\Sigma }{\mathrm{\mid }}^{1\mathrm{/}2}}exp(-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu }))\backslash mathcal\{N\}(\backslash mathbf\{x\}|\backslash boldsymbol\{\backslash mu\},\backslash Sigma)\; =\; \backslash frac\{1\}\{(2\backslash pi)^\{D/2\}|\backslash Sigma|^\{1/2\}\}exp\backslash left(-\backslash frac\{1\}\{2\}(\backslash mathbf\{x\}-\backslash boldsymbol\{\backslash mu\})^T\backslash Sigma^\{-1\}(\backslash mathbf\{x\}-\backslash boldsymbol\{\backslash mu\})\backslash right)$$

其中Σ是协方差矩阵，决定了各维度间的相关性。条件分布和边缘分布仍然是高斯分布，这一性质使得多维高斯分布特别适合构建复杂概率模型。

总结

本教程系统介绍了：

1. 高斯分布及其性质
2. 连续变量贝叶斯推理
3. 高斯混合模型
4. 损失函数与决策理论
5. 多维高斯分布

这些概念构成了现代机器学习、统计推断和信号处理的基础。通过Astrocat案例的实践，我们看到了这些理论如何应用于实际问题解决。

在后续教程中，这些概念将被扩展到更复杂的场景，包括非高斯分布、非线性关系和时序数据等。掌握这些基础知识对于理解更高级的贝叶斯方法至关重要。