主成分分析法

主成分分析法简介
　　主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。依次类推，I个变量就有I个主成分。　
　　其中Li为p维正交化向量（Li＊Li＝1），Zi之间互不相关且按照方差由大到小排列，则称Zi为X的第I个主成分。设X的协方差矩阵为Σ，则Σ必为半正定对称矩阵，求特征值λi（按从大到小排序）及其特征向量，可以证明，λi所对应的正交化特征向量，即为第I个主成分Zi所对应的系数向量Li，而Zi的方差贡献率定义为λi／Σλj,通常要求提取的主成分的数量k满足Σλk／Σλj>0.85。主成分分析的主要目的
　　是希望用较少的变量去解释原来资料中的大部分变异，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始变量个数少，能解释大部分资料中的变异的几个新变量，即所谓主成分，并用以解释资料的综合性指标。由此可见，主成分分析实际上是一种降维方法。分析步骤
　　数据标准化;
　　求相关系数矩阵;
　　一系列正交变换，使非对角线上的数置0，加到主对角上;
　　得特征根xi（即相应那个主成分引起变异的方差),并按照从大到小的顺序把特征根排列;
　　求各个特征根对应的特征向量;
　　用下式计算每个特征根的贡献率Vi;
　　Vi=xi/(x1+x2+........)
　　根据特征根及其特征向量解释主成分物理意义。主成分分析法在社会调查中的应用
　　在社会调查中，对于同一个变量，研究者往往用多个不同的问题来测量一个人的意见。这些不同的问题构成了所谓的测度项，它们代表一个变量的不同方面。主成分分析法被用来对这些变量进行降维处理，使它们“浓缩”为一个变量，称为因子。
　　在用主成分分析法进行因子求解时，我们最多可以得到与测度项个数一样多的因子。如果保留所有的因子，就起不到降维的目的了。但是我们知道因子的大小排列，我们可以对它们进行舍取。那么多小的因子需要舍弃呢？在一般的行为研究中，我们常常用到的判断方法有两个：特征根大于1法与碎石坡法。
　　因为因子中的信息可以用特征根li来表示，所以我们有特征根大于1这个规则。如果一个因子的特征根大于1就保留，否则抛弃。这个规则，虽然简单易用，却只是一个经验法则(rule of thumb)，没有明确的统计检验。不幸的是，统计检验的方法在实际中并不比这个经验法则更有效(Gorsuch, 1983)。所以这个经验法则至今仍是最常用的法则。作为一个经验法则，它不总是正确的。它会高估或者低估实际的因子个数。它的适用范围是20-40个的测度项，每个理论因子对应3-5个测度项，并且样本量是大的 ( 3100)。
　　碎石坡法是一种看图方法。如果我们以因子的次序为X轴、以特征根大小为Y轴，我们可以把特征根随因子的变化画在一个坐标上，因子特征根呈下降趋势。这个趋势线的头部快速下降，而尾部则变得平坦。从尾部开始逆向对尾部画一条回归线，远高于回归线的点代表主要的因子，回归线两旁的点代表次要因子。但是碎石坡法往往高估因子的个数。这种方法相对于第一种方法更不可靠，所以在实际研究中一般不用。
　　抛弃小因子、保留大因子之后，降维的目的就达到了。因子旋转
　　在对社会调查数据进行分析时，除了把相关的问题综合成因子并保留大的因子，研究者往往还需要对因子与测度项之间的关系进行检验，以确保每一个主要的因子（主成分）对应于一组意义相关的测度项。为了更清楚的展现因子与测度项之间的关系，研究者需要进行因子旋转。常见的旋转方法是VARIMAX旋转。旋转之后，如果一个测度项与对应的因子的相关度很高（>0.5)就被认为是可以接受的。如果一个测度项与一个不对应的因子的相关度过高（>0.4），则是不可接受的，这样的测度项可能需要修改或淘汰。
　　用主成分分析法得到因子，并用因子旋转分析测度项与因子关系的过程往往被称为探索性因子分析。
　　在探索性因子分析被接受之后，研究者可以对这些因子之间的关系进行进一步测试，比用如结构方程分析来做假设检验。