基于高斯分布的贝叶斯决策与连续隐状态推断

引言

在神经科学与机器学习领域，理解如何从噪声观测中推断隐藏状态并做出最优决策是核心问题之一。本教程将介绍高斯分布的基本性质及其在贝叶斯推断中的应用，特别关注连续隐状态下的决策问题。

高斯分布基础

高斯分布（正态分布）是概率论中最重要的连续概率分布之一，其概率密度函数为：

$$\mathcal{N}(x\mathrm{\mid }\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}\backslash mathcal\{N\}(x|\backslash mu,\backslash sigma^2)\; =\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\backslash sigma^2\}\}e^\{-\backslash frac\{(x-\backslash mu)^2\}\{2\backslash sigma^2\}\}$$

其中μ为均值，σ²为方差。高斯分布具有以下重要性质：

1. 对称性：关于均值μ对称
2. 集中性：约68%的数据落在μ±σ范围内，95%在μ±2σ内
3. 可加性：独立高斯随机变量的和仍为高斯分布
4. 共轭性：高斯先验与高斯似然的乘积仍为高斯分布

贝叶斯推断与高斯分布

在连续隐状态问题中，我们可以将贝叶斯定理表示为：

$$p(x\mathrm{\mid }y)=\frac{p(y\mathrm{\mid }x)p(x)}{p(y)}p(x|y)\; =\; \backslash frac\{p(y|x)p(x)\}\{p(y)\}$$

其中：

• p(x)是先验分布
• p(y|x)是似然函数
• p(x|y)是后验分布

当先验和似然都是高斯分布时，后验分布也是高斯分布，其参数可以通过解析式计算：

def product_gaussian(mu1, mu2, sigma1, sigma2):
    """计算两个高斯分布的乘积"""
    sigma_post = 1/(1/sigma1**2 + 1/sigma2**2)
    mu_post = (mu1/sigma1**2 + mu2/sigma2**2)*sigma_post
    return mu_post, np.sqrt(sigma_post)

混合高斯模型

在实际应用中，单一高斯分布可能不足以描述复杂分布。混合高斯模型(GMM)通过加权组合多个高斯分布来建模更复杂的分布：

$$p(x)=\sum _{i=1}^k{\pi }_i\mathcal{N}(x\mathrm{\mid }{\mu }_i,{\sigma }_i^2)p(x)\; =\; \backslash sum\_\{i=1\}^k\; \backslash pi\_i\; \backslash mathcal\{N\}(x|\backslash mu\_i,\backslash sigma\_i^2)$$

其中πi是混合系数，满足∑πi=1。混合高斯模型能够近似任意连续分布，是强大的建模工具。

损失函数与决策

在推断出后验分布后，我们需要基于此做出决策。不同的损失函数会导致不同的最优决策：

1. 均方误差(MSE)损失：最优估计为后验均值
2. 绝对误差损失：最优估计为后验中位数
3. 0-1损失：最优估计为后验众数

def calc_loss_func(loss_f, mu_true, x):
    """计算不同损失函数"""
    if loss_f == "Mean Squared Error":
        return (x - mu_true)**2
    elif loss_f == "Absolute Error":
        return np.abs(x - mu_true)
    elif loss_f == "Zero-One Loss":
        return (np.abs(x - mu_true) >= 0.02).astype(np.float)

应用案例：Astrocat定位

假设我们需要在太空中定位Astrocat的位置，结合来自卫星(先验)和太空鼠(似然)的观测信息：

1. 卫星提供关于Astrocat位置的先验分布
2. 太空鼠提供独立的观测数据(似然)
3. 通过贝叶斯定理结合两者得到更精确的后验分布
4. 根据任务需求选择适当的损失函数做出最优决策

多维高斯分布

当处理多维问题时，我们使用多元高斯分布：

$$\mathcal{N}(\mathbf{x}\mathrm{\mid }\mathit{\mu },\mathrm{\Sigma })=\frac{1}{(2\pi {)}^{D\mathrm{/}2}\mathrm{\mid }\mathrm{\Sigma }{\mathrm{\mid }}^{1\mathrm{/}2}}{e}^{-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^T{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu })}\backslash mathcal\{N\}(\backslash mathbf\{x\}|\backslash boldsymbol\{\backslash mu\},\backslash Sigma)\; =\; \backslash frac\{1\}\{(2\backslash pi)^\{D/2\}|\backslash Sigma|^\{1/2\}\}e^\{-\backslash frac\{1\}\{2\}(\backslash mathbf\{x\}-\backslash boldsymbol\{\backslash mu\})^T\backslash Sigma^\{-1\}(\backslash mathbf\{x\}-\backslash boldsymbol\{\backslash mu\})\}$$

其中Σ是协方差矩阵，非对角线元素表示变量间的相关性。

结论

高斯分布及其扩展形式为连续隐状态下的贝叶斯推断提供了强大的数学工具。通过合理选择先验、似然和损失函数，我们能够从噪声观测中提取有用信息并做出最优决策。这些技术在神经科学、机器学习和工程领域有广泛应用。