- 2022-08-09 发布 |
- 37.5 KB |
- 100页
申明敬告: 本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
文档介绍
[经济学]计量经济学第二章
第二章一元线性回归模型第一节一元线性回归模型及其古典假定第二节参数估计第三节最小二乘估计量的统计特性第四节统计显著性检验第五节预测与控制山东经济学院统计与数学学院计量经济教研室\n第一节回归模型的一般描述(1)确定性关系或函数关系:变量之间有唯一确定性的函数关系。其一般表现形式为:一、回归模型的一般形式变量间的关系经济变量之间的关系,大体可分为两类:(2.1)山东经济学院统计与数学学院计量经济教研室\n(2)统计关系或相关关系:变量之间为非确定性依赖关系。其一般表现形式为:(2.2)例如:函数关系:圆面积S=统计依赖关系/统计相关关系:山东经济学院统计与数学学院计量经济教研室\n若x和y之间确有因果关系,则称(2.2)为总体回归模型,x(一个或几个)为自变量(或解释变量或外生变量),y为因变量(或被解释变量或内生变量),u为随机项,是没有包含在模型中的自变量和其他一些随机因素对y的总影响。一般说来,随机项来自以下几个方面:1、变量的省略。由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有引入模型之中的对被解释变量有一定影响的自变量。山东经济学院统计与数学学院计量经济教研室\n2、统计误差。数据搜集中由于计量、计算、记录等导致的登记误差;或由样本信息推断总体信息时产生的代表性误差。3、模型的设定误差。如在模型构造时,非线性关系用线性模型描述了;复杂关系用简单模型描述了;此非线性关系用彼非线性模型描述了等等。4、随机误差。被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。若相互依赖的变量间没有因果关系,则称其有相关关系。山东经济学院统计与数学学院计量经济教研室\n对变量间统计关系的分析主要是通过相关分析、方差分析或回归分析(regressionanalysis)来完成的。他们各有特点、职责和分析范围。相关分析和方差分析本身虽然可以独立的进行某些方面的数量分析,但在大多数情况下,则是和回归分析结合在一起,进行综合分析,作为回归分析方法的补充。山东经济学院统计与数学学院计量经济教研室\n回归分析(regressionanalysis)是研究一个变量关于另一个(些)变量的具体依赖关系的计算方法和理论。其用意:在于通过后者的已知或设定值,去估计和(或)预测前者的(总体)均值。这里:前一个变量被称为被解释变量(ExplainedVariable)或因变量(DependentVariable),后一个(些)变量被称为解释变量(ExplanatoryVariable)或自变量(IndependentVariable)。山东经济学院统计与数学学院计量经济教研室\n回归与回归分析的内容(一)回归分析的基本思想和方法及“回归”名称的由来英国统计学家高尔顿(F.Galton,1822-1911)和他的学生皮尔逊(K.Pearson,1856-1936)在研究父母身高与其子女身高的遗传问题时,观察了1078对夫妇,以每对夫妇的平均身高作为,而取他们的一个成年儿子的身高作为,将结果在平面直角坐标系上绘成散点图,发现趋势近乎一条直线,计算出的回归直线方程为y=33.73+0.516x这一方程表明:父母平均身高每增减一个单位时,其成年子女的身高仅平增减0.516个单位。这项研究结果表明,虽然高个子父辈有生高个子儿子的趋势,矮个子的父辈有生山东经济学院统计与数学学院计量经济教研室\n矮个子儿子的趋势,但父辈身高增减一个单位,儿子身高仅增减半个单位左右。通俗地说,一群特高个子父辈的儿子们在同龄人中平均仅为高个子,一群高个子父辈的儿子们在同龄人中平均仅为略高个子;一群特矮个子父辈的儿子们在同龄人中平均仅为矮个子,一群矮个子父辈的儿子们在同龄人中平均仅为略矮个子,即子代的平均身高向中间回归了。所以高尔顿引用了“回归”(regression)一词来描述父辈身高与子代身高之间的关系。尽管“回归”这个名称的由来具有特定的含义,但是,人们在研究大量的经济变量间的统计关系时已远远超出了这一特定的含义了,我们现在使用回归这一名称仅仅是接受了高尔顿先生的回归分析基本思想和方法。山东经济学院统计与数学学院计量经济教研室\n(二)回归分析的主要内容一般认为,回归分析的主要内容包括以下三个方面:1、进行参数估计。即如何根据既定的样本观测值对回归模型的参数进行估计,求出具体的回归方程。2、进行统计显著性检验。即对回归方程、参数估计值进行显著性检验与校正,以便使回归方程或参数更加优良。3、进行预测和控制。如何根据回归方程进行适当的预测和控制是回归分析的最终目的。山东经济学院统计与数学学院计量经济教研室\n1、有相关关系并不意味着一定有因果关系;2、回归分析/相关分析研究一个变量对另一个(些)变量的统计依赖关系,但它们并不意味着一定有因果关系。3、相关分析对称地对待任何(两个)变量,两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性,即区分应变量(被解释变量)和自变量(解释变量):前者是随机变量,后者不是。▲注意:山东经济学院统计与数学学院计量经济教研室\n对于总体回归模型,(2.4)其中和为两个待定参数,为直线的截距,为直线的斜率。我们称(2.4)为一元线性总体回归模型。若给定的n次观察值,(1,2,3,…,n)代入模型(2.4),得(1,2,3,…,n)(2.5)特别地,当只有一个自变量且时,则有:二、一元线性回归模型山东经济学院统计与数学学院计量经济教研室\n一是被解释变量y与解释变量x之间为线性关系,即解释变量x仅以一次方的形式出现在模型之中。用数学语言表示为:二是被解释变量y与参数β之间为线性关系,即参数β仅以一次方的形式出现在模型之中。用数学语言表示为:线性回归模型”中的“线性”一词在这里有两重含义:山东经济学院统计与数学学院计量经济教研室\n就属于被解释变量y与解释变量x之间不为线性关系的情形,如果我们令在计量经济学中,我们更关心被解释变量y与参数β之间的线性关系。因为只要被解释变量y与参数β之间为线性关系,即使被解释变量y与解释变量x之间不为线性关系,我们也可以通过变量替换方便地将其化为线性。例如,模型此时非线性模型就变成线性模型了山东经济学院统计与数学学院计量经济教研室\n三、一元线性回归模型中随机项的假定在给定样本观测值(样本值),i=1,2,3,…,n后,为了估计(2.5)式的参数和,必须对随机项做出某些合理的假定。这些假定通常称为古典假定。山东经济学院统计与数学学院计量经济教研室\n假定1E(ui|xi)=0i=1,2,…,n;随机误差项u具有零均值.假定2Var(ui|xi)=E{[ui-E(ui)]2}=E(ui2)=u2i=1,2,…,n随机误差项u具有同方差.假定3Cov(ui,uj)=E{[ui-E(ui)][uj-E(uj)]}=0i≠j,i,j=1,2,…,n随机误差项u具有不序列相关性.假定4Cov(ui,xi)=0i=1,2,…,n随机误差项u与解释变量x之间不相关.假定5ui~N(0,u2)i=1,2,…,nu服从零均值、同方差的正态分布.山东经济学院统计与数学学院计量经济教研室\n注意:1、如果假设1、2满足,则假设3也满足;2、如果假设4满足,则假设2也满足;3、假定2,3称为高斯—马尔柯夫(Gauss-Markov)假定;4、在假定5成立的前提下,随机变量yi的条件分布也为正态分布,即:yi~N(β0+β1xi,u2)i=1,2,…,n以上假设也称为线性回归模型的经典假设或高斯(Gauss)假设,满足该假设的线性回归模型,也称为经典线性回归模型(ClassicalLinearRegressionModel,CLRM)。山东经济学院统计与数学学院计量经济教研室\n第二节参数估计一、样本回归方程二、普通最小二乘估计(OLS)三、一元线性回归模型参数的极大似然估计(ML)四、一元线性回归模型参数的矩估计(MM)山东经济学院统计与数学学院计量经济教研室\n一、样本回归方程对于一元线性回归模型,在满足古典假设条件下,两边取条件均值,得一元线性回归方程:简称总体回归线。其中总体回归系数和是未知的,实际上总体回归线是无法求得的,它只是理论上的存在,所以称为理论回归方程。山东经济学院统计与数学学院计量经济教研室\n我们称(2.8)为样本回归模型。它由两部分组成:称为系统分量,是可以被x解释的部分,也称为可解释分量;是不能被解释的部分,称为残差(Residual),它是随机项的代表值,也称为不可解释分量。(2.8)如果变量x和y之间存在线性相关关系,对于任意抽取的若干个观测(样本)点,有:山东经济学院统计与数学学院计量经济教研室\n将系统分量表示为:(2.9)(2.9)称为一元线性样本回归方程,简称样本回归方程。又因(2.9)式的建立依赖于样本观测值,所以我们又称其为经验回归方程。为样本回归系数。其中,是估计的回归直线在y轴上的截距,是总体回归系数的样本估计值;是直线的斜率,是总体回归系数的样本估计值。的实际意义为x每变动一个单位时,y的平均变动值,即x的变动对y变动的边际贡献率。是实际观测值的拟合值或估计值。山东经济学院统计与数学学院计量经济教研室\n二、普通最小二乘法(OLS)即在给定样本观测值之下,选择出使与之差的平方和最小。给定一组样本观测值(xi,yi)(i=1,2,…n)要求样本回归函数尽可能好地拟合这组值.普通最小二乘法(Ordinaryleastsquares,OLS)给出的判断标准是:二者差的平方和最小山东经济学院统计与数学学院计量经济教研室\n和应满足下列方程组:整理得正规方程组:(2.10)山东经济学院统计与数学学院计量经济教研室\n由克莱姆法则解得:由(2.10)或(2.11)估计出的和称为:普通最小二乘估计量(OrdinaryLeastSquaresEstimators---OLSE)其中:山东经济学院统计与数学学院计量经济教研室\n由最小二乘法确定的一元线性回归方程有以下性质:1、它是由所选取的样本唯一决定的。即对于一个给定的样本,只能估计出一个,但对于不同的样本,估计出的和可能不相等,即它们是服从某种分布的随机变量。3、残差与的大小无关,进而与的大小无关,即4、由知:。说明回归直线通过样本的平均点。2、残差的均值为零,即山东经济学院统计与数学学院计量经济教研室\n例2-1某汽车厂销售部经理认为,汽车的销售量与广告费用之间存在着密切的关系。为此,他收集了12个汽车销售分公司的有关数据如下表,试求样本回归方程。分公司名称销售量y广告费xx2xyy2A10003571274493570001000000B11003851482254235001210000C12504201764005250001562500D12804061648365196801638400E13604902401006664001849600F14805252756257770002190400G15006023624049030002250000H172065142380111197202958400I180073554022513230003240000J189072151984113626903572100K210084070560017640004410000M220092485377620328004840000合计18680705645382821177379030721400山东经济学院统计与数学学院计量经济教研室\n代入(2.11)式得:于是得一元线性回归方程:由上表计算知:山东经济学院统计与数学学院计量经济教研室\n三、参数的极大似然估计法(ML)对于一元线性回归模型:其密度函数可以写为:对于给定样本,有:山东经济学院统计与数学学院计量经济教研室\n解得:(2.12)山东经济学院统计与数学学院计量经济教研室\n矩方法(MM)的基本思想是通过让真实矩等于样本矩,解由此得到的方程组,就可以确定未知参数的估计量。三、参数的矩估计(MM)在一元线性统计模型里,因为我们假设有用样本数据表示这个矩条件就是解满足这个样本矩条件的就得到了参数的矩估计量.山东经济学院统计与数学学院计量经济教研室\n事实上,它就是最小二乘估计量,因为这些样本矩条件就是最小二乘估计量的正规条件。最大似然估计量也可看成是一个矩估计量。矩估计原理更多地应用在在工具变量模型里。如果矩条件的个数和未知参数的个数相等,使得我们刚好得到一个估计值,称为恰好识别。有的时候,矩条件的个数大于未知参数的个数,这就产生超识别问题,这时候用到广义矩方法(GMM)。山东经济学院统计与数学学院计量经济教研室\n第三节最小二乘估计量的统计特性线性性无偏性最优性随机项方差的样本估计回归系数的区间估计山东经济学院统计与数学学院计量经济教研室\n第三节最小二乘估计量的统计特性当模型参数估计出后,需考虑参数估计值的精度,即是否能代表总体参数的真值,或者说需考察参数估计量的统计性质。一个用于考察总体的估计量,可从如下几个方面考察其优劣性☆线性性,即它是否是另一变量的线性函数;☆无偏性,即它的均值或期望值是否等于总体的真实值;☆最优性,即它是否在所有线性无偏估计量中具有最小方差。山东经济学院统计与数学学院计量经济教研室\n这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量(bestlinerunbiasedestimator,BLUE)。当不满足小样本性质时,需进一步考察估计量的大样本或渐近性质:山东经济学院统计与数学学院计量经济教研室\n因为:所以:一、线性性其中:山东经济学院统计与数学学院计量经济教研室\n其中:同理可证也是yi的线性组合由于yi是随机变量,所以作为yi的线性组合的和也是随机变量,因而各有其概率分布、均值、方差、标准差及协方差。山东经济学院统计与数学学院计量经济教研室\n二、无偏性因为:所以:山东经济学院统计与数学学院计量经济教研室\n故即是的无偏估计,同理可证是的无偏估计,即进一步有这表明回归值是的无偏估计。山东经济学院统计与数学学院计量经济教研室\n三、最优性由(2.13)式和得:山东经济学院统计与数学学院计量经济教研室\n同理可以证明山东经济学院统计与数学学院计量经济教研室\n由(2.15)和(2.16)知,回归系数不仅与随机项的方差有关,而且还与自变量x取值的波动程度有关。要想使的估计值的方差小,在收集数据时,就应该考虑x的取值尽可能分散些,样本容量也尽可能大一些。山东经济学院统计与数学学院计量经济教研室\n对于给定的,则因为假定服从正态分布,所以yi也是一个服从正态分布的随机变量。又由于是因变量yi的线性函数,所以也服从正态分布,由前面的计算结果知:山东经济学院统计与数学学院计量经济教研室\n下面以为例,证明OLSE的最小方差性假定也是总体回归系数的线性无偏估计量,即有:显然,必须有:(2.21)(2.22)山东经济学院统计与数学学院计量经济教研室\n可见要使(2.22)的值最小,只有使,此时:OLSE的最小方差性得证。山东经济学院统计与数学学院计量经济教研室\n高斯—马尔可夫定理(Gauss-Markovtheorem)在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量。山东经济学院统计与数学学院计量经济教研室\n四、随机误差项方差的样本估计在上述推导与计算中我们多次用到了随机项ui的条件方差u2.实际上,u2是不可能知道的。在实际应用中,我们使用样本残差的方差Se2作为其无偏估计量,记为。可以证明,是u2的最小二乘估计量,是无偏估计量。山东经济学院统计与数学学院计量经济教研室\n对于,例题2-1山东经济学院统计与数学学院计量经济教研室\n五、回归系数的区间估计为了反映回归系数的估计精度,需给出其区间估计,即在置信水平为下的置信区间。置信区间长度越短,说明估计值与参数和就越接近,估计值就越精确;反之,就越不精确。由于:如果记:则有:山东经济学院统计与数学学院计量经济教研室\n可以证明β1在置信水平为1-α下的置信区间为:β0在置信水平为1-α下的置信区间为:即:即:山东经济学院统计与数学学院计量经济教研室\n其中=为置信度为1-α,自由度为n-2的t分布临界值。β0在置信水平为95%下的置信区间为:(224.5299891,502.8481466)对于例2-1,从输出结果可见:β1在置信水平为95%下的置信区间为:(1.802588122,2.255158812)山东经济学院统计与数学学院计量经济教研室\n第四节统计显著性检验一、回归系数的显著性检验二、拟合优度检验三、方程显著性检验四、三种检验的关系五、回归方程的标准记法\n回归分析是要通过样本所估计的参数来代替总体的真实参数,或者说是用样本回归线代替总体回归线。尽管从统计性质上已知,如果有足够多的重复抽样,参数的估计值的期望(均值)就等于其总体的参数真值,但在一次抽样中,估计值不一定就等于该真值。那么,在一次抽样中,参数的估计值与真值的差异有多大,是否显著,这就需要进一步进行统计检验。主要包括拟合优度检验、回归系数的显著性检验及方程显著性检验。山东经济学院统计与数学学院计量经济教研室\n一、回归系数显著性检验回归分析是要判断解释变量X是否是被解释变量Y的一个显著性的影响因素。在一元线性模型中,就是要判断X是否对Y具有显著的线性性影响。这就需要进行变量的显著性检验。变量的显著性检验所应用的方法是数理统计学中的假设检验。计量经计学中,主要是针对变量的参数真值是否为零来进行显著性检验的。山东经济学院统计与数学学院计量经济教研室\n1、假设检验所谓假设检验,就是事先对总体参数或总体分布形式作出一个假设,然后利用样本信息来判断原假设是否合理,即判断样本信息与原假设是否有显著差异,从而决定是否接受或否定原假设。假设检验采用的逻辑推理方法是反证法。先假定原假设正确,然后根据样本信息,观察由此假设而导致的结果是否合理,从而判断是否接受原假设。判断结果合理与否,是基于“小概率事件不易发生”这一原理的山东经济学院统计与数学学院计量经济教研室\n2、显著性检验—t检验由于真实的未知,在用它的无偏估计量替代时,可构造如下统计量:对于一元线性回归方程中的,已经知道它服从正态分布:其中:的标准差的样本估计值。山东经济学院统计与数学学院计量经济教研室\n检验步骤:(1)提出假设原假设H0:1=0,备选假设H1:10(2)以原假设H0构造t统计量,并由样本计算其值(3)给定显著性水平,查t分布表,得临界值t/2(n-2)(4)比较,判断,作出统计决策若|t|≥t/2(n-2),则拒绝H0,接受H1:认为1显著不为零,说明y对x的线性相关关系显著;若|t|查看更多