8.2.2 主成分分析

1）主成分分析简介

主成分分析（Principal Component Analysis，PCA）是一种常用的无监督学习方法，旨在找到数据中“最重要的方向”，即方差最大的方向，并用这些方向重新表达数据。

在主成分分析过程中，首先将数据的每个特征规范化为平均值为0方差为1，以消除不同特征之间量纲的差异，再使用正交变换把线性相关的原始数据转换为线性无关的新数据（主成分）。主成分彼此正交并且能够最大化地保留原始数据的方差信息。主成分分析主要用于降维和发现数据的基本结构。

主成分分析可直观解释为对数据所在的原始坐标系进行旋转变换，将数据投影到新坐标系的坐标轴上，新坐标系的第一坐标轴、第二坐标轴等分别表示第一主成分、第二主成分等。数据在每一轴上的坐标值的平方表示相应变量的方差，并且这个坐标系是所有可能的新坐标系中，坐标轴上的方差的和最大的。

在数据总体上进行的主成分分析称为总体主成分分析，在有限样本上进行的主成分分析称为样本主成分分析。在实际问题中，通常需要在观测数据上进行主成分分析，也就是样本主成分分析。

传统的主成分分析通过协方差矩阵或相关矩阵的特征值分解进行。

• 协方差矩阵描述变量之间的方差和协方差，适用于未标准化的数据；
• 相关矩阵描述变量之间的标准化相关性，适用于标准化的数据。
• 特征值分解的结果给出了主成分的方向（特征向量）和每个主成分的方差（特征值）。

现在常用的方法是通过奇异值分解（SVD）进行主成分分析。