随机效应模型

随机效应模型 random effects model
　　随机效应模型(random effects models)是经典的线性模型的一种推广，就是把原来（固定）的回归系数看作是随机变量，一般都是假设是来自正态分布。如果模型里一部分系数是随机的，另外一些是固定的，一般就叫做混合模型（mixed models）。
　　虽然定义很简单，对线性混合模型的研究与应用也已经比较成熟了，但是如果从不同的侧面来看，可以把很多的统计思想方法综合联系起来。概括地来说，这个模型是频率派和贝叶斯模型的结合，是经典的参数统计到高维数据分析的先驱，是拟合具有一定相关结构的观测的典型工具。
　　随机效应最直观的用处就是把固定效应推广到随机效应。注意，这时随机效应是一个群体概念，代表了一个分布的信息 or 特征，而对固定效应而言，我们所做的推断仅限于那几个固定的（未知的）参数。例如，如果要研究一些水稻的品种是否与产量有影响，如果用于分析的品种是从一个很大的品种集合里随机选取的，那么这时用随机效应模型分析就可以推断所有品种构成的整体的一些信息。这里，就体现了经典的频率派的思想-任何样本都来源于一个无限的群体(population)。
　　同时，引入随机效应就可以使个体观测之间就有一定的相关性，所以就可以用来拟合非独立观测的数据。经典的就有重复观测的数据，多时间点的记录等等，很多时候就叫做纵向数据(longitudinal data)，已经成为很大的一个统计分支。
　　上述两点基本上属于频率派，分析的工具也很经典，像极大似然估计，似然比检验，大样本的渐近性等。但是，应该注意到把固定的参数看做是随机变量，可是贝叶斯学派的观念。当然，mixed models 不能算是完全的贝叶斯模型，因为贝叶斯学派要把所有的未知的参数都看作是随机的。所以有人把它看做是半贝叶斯的 or 经验贝叶斯的。在这个模型上，我们可以看到两个学派很好的共存与交流，在现代的统计方法里两种学派互相结合的例子也越来越多。
　　众所周知，随机效应有压缩(shrinkage)的功能, 而且可以使模型的自由度(df) 变小。这个简单的结果，对现在的高维数据分析的发展起到了至关重要的作用。事实上，随机效应模型就是一个带惩罚(penalty)的一个线性模型，有引入正态随机效应就等价于增加的一个二次惩罚。有趣的是，著名的岭回归(ridge regression) 就是一个二次惩罚，它的提出解决了当设计矩阵不满秩时最小二乘估计（LSE）无法计算以及提高了预测能力。于是，引入随机效应或者二次惩罚就可以处理当参数个数p 大于观测个数n的情形，这是在分析高维数据时必须面对的问题。当然，二次惩罚还有一个特性，如：计算简便，能选择相关的predictors，对前面的几个主成分压缩程度较小等。