高斯 马儿可夫定理
高斯—马尔科夫假定（G***ss-Markov Assumptions）：一组假定（假定MLR.1至MLR.5或假定TS.1至TS.5），在这之下OLS是BLUE 。3 K7 {- ]; j! K' E2 {) y p% ?
高斯—马尔科夫定理（G***ss-Markov Theorem）：该定理表明，在五个高斯—马尔科夫假定下（对于横截面或时间序列模型），OLS估计量是BLUE （在解释变量样本值的条件下）。
高斯马尔科夫经典假设的内容是什么
高斯—马尔科夫假定（G***ss-Markov Assumptions）：一组假定（假定MLR.1至MLR.5或假定TS.1至TS.5），在这之下OLS是BLUE 。
高斯—马尔科夫定理（G***ss-Markov Theorem）：该定理表明，在五个高斯—马尔科夫假定下（对于横截面或时间序列模型），OLS估计量是BLUE （在解释变量样本值的条件下）。
广义最小二乘（GLS） 估计量（Generalized Least Squares (GLS) Estimator）： 通过对原始模型的变换，说明了已知结构的误差的方差（异方差性）和误差中的序列相关形式或两者兼有的估计量。
拟合优度度量（Goodness-of-Fit Measure）：概括一组解释变量有多好地解释了因变量或响应变量的统计量。
增长率（Growth Rate）：时间序列中相对于前一时期的比例变化。可将它近似为对数差分或以百分比形式报导。
高斯—马尔可夫定理的高斯-马尔科夫定理的具体内容
高斯-马尔可夫定理总共分为对OLS（Ordinary least square）普通线性方程有5个假设。
1.Assumption MLR.1（linear in parameters): 假设一要求所有的母集团参数（population parameters）为常数，用来保证模型为线性关系。即如果母集团方程为y=α+b1x1+b2x2+...+bkxk+u, 所有的a, b1,b2...bk必须为常数。同时u为无法检测的误差项，即实验过程中模型没有包含的因素。
2. Assumption MLR.2 (Random sampling)假设二： 假设我们有n个调查的样本，那么这n个样本必须是从母集团里面随机抽样得出的。以假设一的方程为例，{（xi1,xi2, xi3.....xik,yi): i=1,2,3...n}
3. Assumption MLR.3 （No perfect collinearity)假设三：在样本（母集团）中， 没有独立变量（independent variable）是常数，并且独立变量之间不能有完全共线性。（根据矩阵方程的定义，方程会无解）
4. Assumption MLR.4 (Zero conditional mean)假设四： 母集团方程的误差项的均值为 0，并且均值不受到独立变量的影响，可以表示为：E(U/ X1, X2...Xk)=0
5.Assumption MLR.5 (Homoscedasticity): 假设五：同方差性， 误差项u的方差不受到独立变量的影响为一个固定不变的值，可以表示为： Var(u/X1,X2...Xk)=σ
高斯－马尔可夫定理 以及为什么最小二乘法是***线性无偏估计
在做机器学习和线性回归的时候，经常会遇到不讲道理的最小二乘法，优化的目标是(yi-y)^2最小，这个结论非常暴力，为啥不是三次方，四次方，他的来源是什么呢？
本文参考的内容 高斯马尔科夫定理的证明
在 统计学 中， 高斯－马尔可夫定理(G***ss-Markov Theorem) 陈述的是：在 线性回归 模型中，如果误差满足零 均值 、 同方差 且 互不相关 ，则回归系数的***线性 无偏 估计 ( BLUE , Best Linear unbiased estimator)就是 普通最小二乘法估计 。
上面的理论言简意赅，但是很多名词的意思需要展开来理解。
1、什么是线性回归？
2、为什么要零均值、同方差、互不相关
3、什么是线性估计，什么是无偏估计？
4、什么是***估计，标准是什么？
回归就是利用测量到的数据去尝试计算真实值得一种方法，假设我们测量到了很多的数据，但是我们内心觉得这些数据可能是有线性关系的，那么我们可以利用这些数据去计算（估计）那条真实的“直线”。
线性回归有一些问题值得思考：
这个比较好理解，每一次测量，肯定是存在误差的，如果这个误差的均值是0，形象的理解就是误差可能大一点、也可能小一点，平均起来就是在真值附近变化，而且每次测量的行为都是独立互不影响的。我们就可以定义这个误差的期望是0，方差是一个固定值。
我们也不知道真实值，对误差的这种假设其实一种理想的假设。
线性估计的模型是这样的，beta是一个模型的真实值，他的维度是k维向量，X是我们的样本，他是一个N*K的矩阵，y是我们样本的结果，是一个N维矩阵，epsilon是我们每次测量和真实值的误差。
比如我现在测量了N个学生的身高、体重、起床时间、平时作业成绩。。。。等等这些参数（K个参数），我想知道这些参数和他们的期末考试成绩的线性关系是什么，他们的期末成绩就是y（N维向量），我现在需要估计的beta就是每个参数和期末成绩关系的矩阵。这个方程里面y和x是已知的。
如果N=K，那么这就是一个N元N次方程组，他只有一个解，我们用这个解就能得到一个beta。但是实际情况来说我们可以测量很多学生的值，N可以比K大很多，这种情况下方程组是无解的。（直观理解，那些点并不完全在一条直线、一个平面上）
在这种情况下我需要一种算法去计算一个beta的估计：
这里的C应该是和x有关系的。但是这个C可以有很多形式，他就是一种线性估计
无偏估计的定义大概是这样的：
看着很不直观，但是可以这样理解，无偏估计的意思是我抽取一批样本，然后根据这些样本估计出来的beta，是在真实beta的任意方向等可能存在的，直接一点来说，我把很多批次的估计再来求取一个平均，会更接近于真实的beta，在做无穷多次抽取之后可以任认为这些估计的均值就是真实值。
具体的例子：比如我们要估计总体均值theata，随机抽取一批数据得到样本的均值，这个均值就是无偏的，随着抽取的批次增加，E(E(x)) = theata，也就是均值的均值会得到真实值。
有偏估计是指这个估计的过程中引入了一些系统的误差，最终把很多批次的估计合计起来看，得不到真实的结果。
还有一个和无偏相关的概念——一致性：
关于无偏和一致性这篇文章讲得比较好 深入浅出讲解数理统计——（3）评价估计量的好坏
总结来说：
实际上真实世界中的测量都是有系统误差的，估计出来的值是有偏的，但是如果这个偏差比较小，而且是一致的，那么这个估计量就是有意义的。反之，就算这个估计是无偏的，但是没有一致性，那么只有在穷举之后才能得到那个真实值，这样的估计也是很不好的。
再重复一下开始的假设，在证明过程中，参数都是矩阵形式的、设计到矩阵运算的和矩阵的性质。
现在我们要估计K个系统中的参数，他们组成一个K维向量beta。
OLS（最小二乘法）的估计结果由上图所示，现在的目标就是要证明OLS估计是***的
证明如下，带入y，右边出现真值beta，由于epsilon是0均值的，所以OSL估计出来的beta就是真值beta
估计beta的方法有很多种，我们定义***的一种是，方差最小的，所以最小二乘法是平方而不是三次方、四次方。
也就是说上式中左边的估计方法要优于右边的估计方法，接下来就是证明为什么OSL最小二乘法的方差是最小的
要证明4.2中的不等式成立，那就是要证明下式是 半正定矩阵
假设一个任意的估计矩阵是C，那么这个估计矩阵和OSL的估计矩阵的差异，设为D矩阵，由于两个beta都是无偏估计，那么有：D矩阵性质是DX=0，这里有个条件概率E[DXbeta|X]，如果X是已知的，那么DX只是一个常量，这个常量必须恒等于一个k*k的0矩阵
利用了一下这个性质：
高斯马尔可夫定理
高斯—马尔可夫定理是指在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量的这一定理。
高斯--马尔可夫定理的意义在于，当经典假定成立时，我们不需要再去寻找其它无偏估计量，没有一个会优于普通最小二乘估计量。也就是说，如果存在一个好的线性无偏估计量，这个估计量的方差最多与普通最小二乘估计量的方差一样小，不会小于普通最小二乘估计量的方差。
统计意义：
在统计学中，高斯－马尔可夫定理是指在误差零均值，同方差，且互不相关的线性回归模型中，回归系数的***线性无偏估计就是最小方差估计。一般而言，任何回归系数的线性组合之BLUE就是它的最小方差估计。在这个线性回归模型中，其误差不需要假定为正态分布或独立同分布（而仅需要满足相关和方差这两个稍弱的条件）。
指在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量的这一定理。
高斯--马尔可夫定理的意义在于，当经典假定成立时，我们不需要再去寻找其它无偏估计量，没有一个会优于普通最小二乘估计量。也就是说，如果存在一个好的线性无偏估计量，这个估计量的方差最多与普通最小二乘估计量的方差一样小，不会小于普通最小二乘估计量的方差。
高斯马尔科夫定理名词解释
在统计学中，高斯-马尔可夫定理(G***ss-Markov Theorem)陈述的是：在线性回归模型中，如果误差满足零均值、同方差且互不相关，则回归系数的***线性无偏估计(BLUE, Best Linear unbiased estimator)就是普通最小二乘法估计。
这里***的意思是指相较于其他估计量有更小方差的估计量，同时把对估计量的寻找限制在所有可能的线性无偏估计量中。
值得注意的是这里不需要假定误差满足独立同分布(iid)或正态分布，而仅需要满足零均值、不相关及同方差这三个稍弱的条件。
高斯马尔科夫定理的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于高斯马尔科夫定理名词解释、高斯马尔科夫定理的信息别忘了在本站进行查找喔。