因子分析模型

真挺难懂的

• 本质相同：将多个变量归结为几个综合因子（公共因子是用一个共同的因素来刻画几个高度相关的变量）
• 因子分析模型的解释比主成分更容易，因为因子分析中因子载荷的不唯一性有利于对公因子进行有效解释

因子模型的假设建立

首先因子模型首先上来就建立了一个模型x=u+Af+ω

不必质疑为什么这么建立，因为最后迟早要假设检验

继续看就行了

​​

​​

​​

这个假设建立推导出的结果（性质）：

我们发现x=u+Af+ω中唯一我们想要知道的就是 A，也就是a​_ij

那到底a​_ij到底满足什么条件即可满足那些假设你呢？

下面这些信息在后面解释结果的含义有用

​​

​​

a​_ij 的参数估计方法（因子载荷矩阵）

我们发现a​_ij​=cov(x​_i​,f​_i​)还是没讲清楚a​_ij怎么求，因为f​_i是未知的

所以下面讲清楚​**a​ij​到底怎么求**

但是数学原理非常复杂所以 SPSS 之间提供了以下的主流方法：

其中最大似然法和主轴因子法以及主成分法：

1. 主成分法（Principal Component Analysis, PCA） ：

2. 未加权最小平方法（Unweighted Least Squares, ULS） ：

   使得观测的相关矩阵和再生的相关矩阵之差的平方和最小，忽略对角元素

3. 综合最小平方法（Generalized Least Squares, GLS） ：

   类似于未加权最小平方法，但使用加权来处理各变量的重要性

4. 最大似然法 （Maximum Likelihood, ML） ：

   • 通过建立似然函数，假设观察数据为多元正态分布，利用极大似然估计求解因子载荷

5. 主轴因子法 （Principal Axis Factoring, PAF） ：

   • 具体步骤：

     1. 计算初始因子载荷和共同度。
     2. 将共同度平方放入相关矩阵对角线。
     3. 反复更新因子载荷和共同度，直到两次迭代之间的变化非常小（达到收敛条件）。

6. Alpha 因子法（Alpha Factor Method） ：

   • 具体步骤：

     1. 计算当前因子模型的 Alpha 值。
     2. 逐步调整因子载荷以提高 Alpha 值，直到提高不再显著。

7. 映像因子法（Image Factor Method） ：

   • 每个变量被视为其他各变量的线性回归，依此反推出因子载荷。

因子载荷矩阵旋转：

旋转能更好地解释每一个公共因子的实际意义，且减少解释的主观性

如果x经过了标准化，那么系数就在[-1,1]之间，旋转的目的就是为了新公共因子的载荷系数的绝对值尽可能接近 0 或 1

• 正交旋转：新的公共因子仍然保持彼此独立的性质
• 斜交旋转：得到的公共因子是相关的，其实际意义更容易解释。（违背了最初的假定，可以看作传统因子分析的拓展）​

​​

实际选择中选择方便解释最终因子的

最后计算因子得分

之前都是把x​_i拆成f，但是f才是因子，我们希望得到f是由哪些x​_i指标组成的

​​

KMO 检验和巴特利特球形检验

我说了起始有假设，后面必有假设检验

KMO 检验的基本原理

1. 简单相关系数与偏相关系数：

   • KMO 检验基于两个重要概念：简单相关系数和偏相关系数。
   • 简单相关系数：分别测量两个变量之间的线性关系。
   • 偏相关系数：在控制其他变量的情况下，测量两个变量之间的线性关系。

2. 计算 KMO 统计量：

   • KMO = \frac{\sum_{i,j} (r_{ij}^2)}{\sum_{i,j} (r_{ij}^2) + \sum_{i,j} (p_{ij}^2)}
   • 其中，(r_{ij} ) 是简单相关系数，(p_{ij} ) 是偏相关系数。
   • KMO 值在 0 到 1 之间，反映了变量之间的关系强度。

KMO 值的解释

• KMO > 0.9：非常适合进行因子分析，说明变量之间有很强的相关性。
• 0.8 < KMO < 0.9：适合进行因子分析，变量间的相关性较强。
• 0.7 < KMO < 0.8：一般适合进行因子分析，相关性存在，但不特别强。
• 0.6 < KMO < 0.7：不太适合进行因子分析，相关性较弱。
• KMO < 0.5：不适合进行因子分析，变量之间的相关性极弱，建议考虑数据的重新整理或变量的选择。

巴特利特球形检验的基本原理

1. 相关性矩阵与单位阵：

   • 巴特利特球形检验基于相关系数矩阵。其原假设是该相关系数矩阵是一个单位阵E​。
   • 备择假设是相关系数矩阵并不是单位阵，意味着变量之间存在某种相关性。
   • 我们目标就是推翻原假设

2. 检验统计量的计算：

   • 巴特利特检验的统计量由相关系数矩阵的行列式和样本量（n）计算得到，计算公式为：

     \chi^2 = -(n - 1 - \frac{2p + 5}{6}) \log|R|

   • 其中，n是样本大小，p是变量的数量，|R|是相关系数矩阵的行列式值。

   • 该统计量遵循卡方分布，自由度为\frac{p(p - 1)}{2}

巴特利特球形检验的结果解释

• 拒绝原假设：

  • 其对应的 p 值小于（一般为 0.05），那么应该拒绝原假设，认为相关系数不可能是单位阵，即原始变量之间存在相关性，适合于作因子分析

• 不能拒绝原假设：

  • 反之

补充：

1. 与 KMO 检验结合使用：

   通常与 KMO 检验一同使用，KMO 检验衡量的是变量的相关性强度，而巴特利特检验则检验相关性是否显著。

碎石检验确定因子数目

实际第一次操作其实是不知道要选取多少个因子数的，除非你真的很明确，如果你不是很明确就需要来一次碎石检验

碎石检验（scree test）通过直接观察特征值的变化来决定因子数

当某个特征值较前一特征值的值出现较大的下降，而这个特征值较小，其后面的特征值变化不大，说明添加相应于该特征值的因素只能增加很少的信息，所以前几个特征值就是应抽取的公共因子数

​​

得出因子数目后再去做正式的因子模型

因子分析的结果解释

回到第二大点（这个假设建立推导出的结果（性质））

那里就是因子分析的结果分析的重点

• **第一个解释：​h​i​$2$**​​

• 第二个解释：​g​_i​**^$2$**的逐个累加和​​

• 第三个解释： 旋转前和旋转后的因子载荷矩阵A（a​_ij)​​​​

• 第四个解释： 因子得分b​_ij​​

‍

二、因子分析模型流程总结：

1. 模型假设建立
2. 因子数量的确定（碎石检验）
3. 计算结果（因子载荷矩阵a​_ij和因子得分b​_ij）（因子载荷估计方法、旋转方法、得分计算方法）
4. 假设检验（两种）
5. 结果解释(最终归纳出了什么因子 + 各个参数的实际含义解释）

‍

‍