AU3305 模式识别导论
前三章，我们主要讨论线性模型，或者使用核函数 \(\Phi(x):\R^n \to \R^d\) 将 \(x\) 的维度转换： $$ f(x)=w^\top x \mathrm{~or~} f(x)=w^\top \phi(x) $$ 我们在 Ch1 主要讨论拟合的问题，包括怎么评判拟合的好坏（损失函数 \(L(r_i)=L(w^\top x_i-t-i)\)，从 MAP/MLE 的角度看待损失函数），拟合的求解方法以及如何防止过拟合（Ridge / Lasso / 迭代求解方法），我们讨论了 Huber, Truncated \(L_2\) norm 和对应的上界函数，以及利用上界函数迭代求解的方法。
我们在 Ch2 主要讨论分类的问题，包括 Fisher 决策（最大化样本中心的间隔，使用两类样本方差进行归一化），逻辑回归（使用 MLE 写出优化目标 \(J(w)\)），二元交叉熵损失（BCE loss，和逻辑回归的关系）
在 Ch3，我们讨论 SVM 问题，不仅要求分类正确，而且需要最大化软间隔。SVM 问题主要 关注拉格朗日量，KKT 条件，互补松弛条件的推导，写出对偶问题的形式，分隔函数的形式。观察到分隔函数和对偶问题都可以用内积 \(\phi(x_i)^\top \phi(x_j)\) 表示，可以用核函数 \(K(u,v)=\phi(u)^\top \phi(v)\) 替代，从而将 \(x\) 的维度映射到高维甚至无穷维，使得在低维线性不可分的样本高维可分，我们重点关注 怎么从 \(K(u,v)\) 推导 \(\phi(u)\)。
在 Ch4，我们讨论无监督学习问题，例如 PCA, Kernel PCA, CCA 和 EM 算法。对于 PCA，我们从对投影点方差的无偏估计得到了 PCA 的优化目标，并且发现 PCA 矩阵的最大特征值对应的特征向量投影后方差最大，对于多次投影的问题，要求投影之间的相关系数为零，选择前 \(k\) 大的特征值对应的特征向量。对于 EM 算法，主要记忆其迭代式。
在 Ch5，我们讨论集成学习问题，也就是由多个简单分类器（弱分类器）得到强分类器的问题。重点讨论了 AdaBoost 问题，使用前向分步算法对其进行了理论解释。需要记忆 AdaBoost 的流程。
在 Ch6，我们讨论决策规则问题，包括最小错误率贝叶斯决策问题，最小风险贝叶斯决策问题和 Neyman-Pearson 决策问题。在样本服从高斯分布的情况下，我们也讨论了决策面的形状。
| 章节 | 链接 | 源文件 |
|---|---|---|
| 模式识别导论复习 | 模式识别导论复习 | 模式识别导论复习 |