PRML/PRMLT项目解析：混合逻辑回归二分类模型实现详解

模型概述

混合逻辑回归二分类模型（Mixture of Logistic Regression for Binary Classification）是PRML/PRMLT项目中一个重要的分类算法实现。该模型通过组合多个逻辑回归分类器，形成混合模型，能够处理更复杂的分类边界问题。

核心算法解析

1. 模型初始化

模型初始化阶段主要完成以下工作：

• 数据预处理：在特征矩阵X中添加偏置项（全1行）
• 随机初始化：将样本随机分配到k个混合组件中
• 参数初始化：权重矩阵W初始化为零矩阵

X = [X; ones(1,n)];  % 添加偏置项
z = ceil(k*rand(1,n));  % 随机初始化分配
R = full(sparse(1:n,z,1,n,k,n));  % 创建指示矩阵
W = zeros(d,k);  % 权重初始化

2. EM算法框架

模型采用EM（Expectation-Maximization）算法进行优化，交替执行以下两个步骤：

E步（期望步骤）：

• 计算每个样本属于各个混合组件的后验概率
• 更新责任矩阵R

M步（最大化步骤）：

• 更新混合系数alpha
• 使用牛顿法优化每个逻辑回归组件的权重参数

3. 牛顿法优化

在M步中，对每个混合组件使用牛顿法进行优化：

function w = newtonStep(X, t, y, w, r)
    lambda = 1e-6;  % 正则化参数
    v = y.*(1-y).*r;  % 权重项
    H = bsxfun(@times,X,v')*X'+lambda*eye(size(X,1));  % Hessian矩阵
    s = (y-t).*r;  % 梯度项
    g = X*s;  % 梯度
    w = w-H\g;  % 牛顿更新
end

牛顿法的优势在于二次收敛速度，特别适合逻辑回归的优化问题。

关键技术细节

1. 数值稳定性处理

代码中使用了log1pexp和logsumexp等数值稳定计算技巧：

logRho = -log1pexp(-bsxfun(@times,A,h));  % 稳定计算对数概率
T = logsumexp(logRho,2);  % 稳定计算对数求和

这些方法避免了直接计算指数函数可能导致的数值溢出问题。

2. 收敛判断

算法通过比较对数似然的变化来判断收敛：

if abs(llh(iter)-llh(iter-1)) < tol*abs(llh(iter)); break; end

这种相对变化判断比绝对变化更鲁棒，适应不同量级的似然值。

模型输出

训练完成后，模型返回两个主要结果：

• model结构体：包含混合系数alpha和权重矩阵W
• llh向量：记录训练过程中的对数似然变化

model.alpha = alpha;  % 混合系数
model.W = W;  % 权重矩阵

应用场景

这种混合逻辑回归模型特别适用于以下场景：

1. 数据存在明显的子群体结构
2. 单一逻辑回归无法很好拟合的复杂决策边界
3. 需要概率输出的分类问题

总结

PRML/PRMLT项目中的mixLogitBin.m实现了一个完整的混合逻辑回归二分类模型，通过EM算法框架结合牛顿法优化，既保证了模型的表达能力，又确保了优化效率。该实现特别注重数值稳定性，适合处理实际应用中的各种数据情况。