概率论与数理统计 第九章 回归分析

第九章 回归分析

9.1 回归分析的模型

一般来说，变量之间的关系可分为两类

1. 确定性关系，在数学上可表示为函数关系
2. 相关关系，即变量之间存在某种联系但没有达到可以相互确定的程度

设在一个问题中，因变量 的值由两部分构成：一部分是自变量的影响表现为 的函数 ；另一部分由其他未知的未加考虑的因素以及随机因素的影响，这一部分记为随机误差 ，于是得到模型 作为随机误差，通常要求均值为 ，方差存在，即 这样的假定下， 就是自变量 取值为 时，因变量 的数学期望 函数 称为 对 的回归函数，方程 称为 对 的回归方程

以上模型称为回归模型

只含一个自变量的回归分析称为一元回归分析，含有多个自变量的回归分析称为多元回归分析

9.2 一元线性回归

回归函数为线性函数的情形 其中 是未知常系数，这种情形叫做线性回归

这里讨论只有一个自变量 的情形，回归模型 称为一元线性回归模型，其中 为未知参数， 称为回归常数， 称为 对 的回归系数

确定自变量 的一组值 对 做 次独立观测试验，记实验结果为 ，则 由于各次观测独立，所以 独立同分布

有时进一步要求随机误差 服从正态分布，模型 称为一元正态线性回归模型，此时 可看做正态总体 的简单随机样本

一、对 的估计

估计值和观测值的偏离 称为在 处的残差，残差平方和 考虑使 最小的 作为 的估计值，这种估计方法称为最小二乘法

记 为 对 的经验回归方程，“经验”表示回归方程是由实验数据得到的区别于直接从模型得到的理论回归方程

利用多元函数求极值的方法，求 对 的偏导并使其等于零，得 整理后，得正规方程组 解此方程得 的估计值 其中 得到 的无偏估计为 其中 将观测数据点描绘在坐标平面上得到的图形称为散点图

二、估计量的统计性质

对正态回归模型，有 类似地 对于正态回归模型，有 有 对于正态回归模型

三、一元线性回归的显著性检验

1. 检验法

记 为总离差平方和，记 称 为残差平方和， 为回归离差平方和

对回归系数 进行检验，提出原假设 统计量 于是对于给定的显著性水平 ，原假设的拒绝域是 这里使用的方法是方差分析法

各离差平方和常用简便计算式

2. 相关系数检验法

以其矩估计量相关系数 进行检验 定义 $$

$$ 提出原假设

不难发现 于是 对于给定的 ，由 即得到样本相关系数临界值 的计算式