UA STAT687 线性模型理论I 线性模型概述

线性回归
One-way ANOVA
Two-way ANOVA
- Nested Design
- Cross Design
ANCOVA

线性模型是统计中一类模型的总称，包括线性回归模型、ANOVA模型、线性时间序列模型等，因此线性模型理论研究的是这一类模型共同的性质。称解释变量XXX与被解释变量yyy之间满足
y=Xb+ey=Xb+ey=Xb+e

的模型为线性模型，其中bbb与X,yX,yX,y无关，eee是随机误差。

第I部分介绍一些常见的线性模型，这些模型在UA MATH571A与UA MATH571B这两个系列中都分别介绍过，只是这里再综合一下，让大家对线性模型具体指哪一类模型有一个总览性的认识，并且掌握用矩阵来描述分量形式表示的模型。

线性回归

XXX是一个N×kN \times kN×k的矩阵，表示解释变量，每nnn行表示第nnn组样本，每kkk列表示第kkk个解释变量的所有样本；yyy是NNN维列向量，表示被解释变量的所有样本，线性回归模型可以表示为：
y=Xβ+ey = X \beta + ey=Xβ+e

其中eee表示随机误差，通常假设Ee=0,Cov(e)=σ2INEe=0,Cov(e) = \sigma^2I_NEe=0,Cov(e)=σ2IN（Gauss-Markov假设）；另外，线性回归中的线性具体指的是β\betaβ关于yyy是线性的。线性回归模型要写成矩阵的形式是非常直观的。

One-way ANOVA

考虑一般情况，不平衡的RCD：
yij=μ+αi+eij,i=1,⋯,a;j=1,⋯,niy_{ij}=\mu+\alpha_i+e_{ij},i=1,\cdots,a; j=1,\cdots,n_iyij=μ+αi+eij,i=1,⋯,a;j=1,⋯,ni

这个模型可以改写成

需要注意的是yyy与eee是一个二阶的array，改写成矩阵的时候写成一个列向量，排序方式是先iii后jjj。αi\alpha_iαi表示treatment factor第iii个factor level的treatment effect，它与yi.y_{i.}yi.以及1ni\textbf{1}_{n_i}1ni对应。1\textbf{1}1填充的位置表示对应位置的response由哪些effect构成。

Two-way ANOVA

Nested Design

假设有两个factor X,YX,YX,Y，YYY嵌套在XXX中：XXX的取值为F,PF,PF,P，YYY的取值为A,B,D,E,MA,B,D,E,MA,B,D,E,M，其中D,MD,MD,M嵌套在FFF中，A,B,EA,B,EA,B,E嵌套在PPP中，则模型可以写为
yXYk=μ+αX+βY(X)+eXYky_{XYk}=\mu+\alpha_X+\beta_{Y(X)}+e_{XYk}yXYk=μ+αX+βY(X)+eXYk

改写成矩阵为：

Cross Design

考虑模型
yijk=μ+αi+βj+eijk,i=1,⋯,a,j=1,⋯,by_{ijk}=\mu+\alpha_i+\beta_j+e_{ijk},i=1,\cdots,a,j=1,\cdots,byijk=μ+αi+βj+eijk,i=1,⋯,a,j=1,⋯,b

改写为矩阵：

ANCOVA

在RCD中，如果试验单位存在重要的covariate时，可以用ANCOVA，把covariate也加入到模型中，与One-way ANOVA，模型要修正为
yij=μ+αi+βxij+eij,i=1,⋯,a;j=1,⋯,niy_{ij}=\mu+\alpha_i+\beta x_{ij}+e_{ij},i=1,\cdots,a; j=1,\cdots,n_iyij=μ+αi+βxij+eij,i=1,⋯,a;j=1,⋯,ni

改写成矩阵：

UA STAT687 线性模型理论I 线性模型概述相关推荐

UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计约束最小二乘估计的求解数值计算的思路系数估计量的解析式约束最小二乘估计的统计性质约束最小二乘估计的求解在线性模型y=Xβ ...
UA STAT687 线性模型II 最小二乘理论3 广义最小二乘
UA STAT687 线性模型II 最小二乘理论3 广义最小二乘 GLS GLS的统计性质 GLS 这一讲我们放松对随机误差的方差形式的假设,考虑模型 y=Xβ+ϵ,Eϵ=0,Cov(ϵ)=σ2Σ&g ...
实证会计理论与因果推断13 线性模型概述
实证会计理论与因果推断13 线性模型概述1 OLS GLS 大部分应用微观计量模型都在试图去计算causal effects,对这个causal effects有一个比较经典的定义:Causal ef ...
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降和正规方程对比
1.线性回归 1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数: 1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析.其中特点为一个或多个称为回归系数的模 ...
【学习笔记/PLL】锁相环PLL线性模型理论分析
锁相(phase locking)的概念是20世纪30年代提出的,距今已经100年左右了,尽管工艺在持续发展,振荡器的频率也越来越快,各种花样锁相环结构的文章层出不穷,但是发展至今,基本的锁相环结构几 ...
多元线性回归分析预测法概述
在市场的经济活动中,经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况,也就是一个因变量和几个自变量有依存关系的情况.而且有时几个影响因素主次难以区分,或者有的因素虽属次要,但也不能略去其作用 ...
机器学习Chapter-1（线性模型）
引言先验条件好了下面开始正文本节的主角是线性模型线性模型理论概述线性回归什么是回归什么是线性回归如何确定参数w和b 如何求解w和b 线性回归小结广义线性模型概述逻辑回归怎么用线 ...
机器学习（线性模型）
标签: 机器学习 python 线性模型逻辑回归线性判别分析 2017年08月12日 09:55:49776人阅读评论(0) 收藏举报分类: 机器学习(4) 版权声明:如果你觉得写得还可 ...
R语言多项式线性模型：最大似然估计二次曲线
全文链接:http://tecdat.cn/?p=18348 "应用线性模型"中,我们打算将一种理论(线性模型理论)应用于具体案例.通常,我会介绍理论的主要观点:假设,主要结果,并 ...

UA STAT687 线性模型理论I 线性模型概述

UA STAT687 线性模型理论I 线性模型概述

线性回归

One-way ANOVA

Two-way ANOVA

Nested Design

Cross Design

ANCOVA

UA STAT687 线性模型理论I 线性模型概述相关推荐

最新文章

热门文章