2023年最大似然估计李子奈高级应用计量经济学（教学课件）.ppt

第第2 2章章 非经典计量经济学模型估计方法非经典计量经济学模型估计方法 最大似然估计最大似然估计 广义矩估计广义矩估计 贝叶斯估计贝叶斯估计 分位数回归估计分位数回归估计 关于估计方法的说明关于估计方法的说明 计量经济学模型计量经济学模型(参数模型、均值回归模型、基于参数模型、均值回归模型、基于样本信息的样本信息的3 3类估计方法类估计方法 LSLS、MLML、MMMM 经典模型的估计经典模型的估计LSLS 非经典模型的估计非经典模型的估计MLML、GMMGMM 综合样本信息和先验信息的贝叶斯估计综合样本信息和先验信息的贝叶斯估计 分位数回归模型，分位数回归模型，Quantile Regression,QREGQuantile Regression,QREG 非参数模型的权函数估计、级数估计等非参数模型的权函数估计、级数估计等 2.1 2.1 最大似然估计最大似然估计 一、最大似然原理一、最大似然原理 二、线性模型的最大似然估计二、线性模型的最大似然估计 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 一、最大似然原理一、最大似然原理 最大似然方法最大似然方法(Maximum Likelihood，ML)当从模型总体随机抽取当从模型总体随机抽取n组样本观测值后，最合理的参组样本观测值后，最合理的参数估计量应该使得从模型中抽取该数估计量应该使得从模型中抽取该n组样本观测值的概组样本观测值的概率最大。率最大。将样本观测值联合概率函数称为样本观测值的似然函数。将样本观测值联合概率函数称为样本观测值的似然函数。在已经取得样本观测值的情况下，使似然函数取最大值的总体在已经取得样本观测值的情况下，使似然函数取最大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。该总体参数即是所要求的参数。通过似然函数极大化以求得总体参数估计量的方法被通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。称为极大似然法。二、线性模型的最大似然估计二、线性模型的最大似然估计 1 1、一元线性模型的最大似然估计、一元线性模型的最大似然估计 ),(210iiXNY2102)(2121)(iiXYieYP),(),(21210nYYYPL 21022)(21)2(1iinXYneYi的分布 Yi的概率函数 Y的所有样本观测值的联合概率似然函数 2102*)(21)2ln()ln(iiXYnLL0)(0)(21012100iiiiXYXY2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXYXYX对数似然函数 对数似然函数极大化的一阶条件 结构参数的ML估计量 0)(210212*222iinXYLneXYniii22102)(1分布参数的ML估计量 注意：注意：ML估计必须估计必须Y的分布。的分布。只有在正态分布时只有在正态分布时ML和和OLS的结构参数估计的结构参数估计结果相同。结果相同。如果如果Y不服从正态分布，不能采用不服从正态分布，不能采用OLS。例如：。例如：选择性样本模型、计数数据模型等。选择性样本模型、计数数据模型等。2、多元线性模型的、多元线性模型的最大似然估计最大似然估计 yxxxiiik ki i 01 1 2 2i=1,2,n 2(,)iY NiX 2(0,)iN)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin 结构参数估计结果与结构参数估计结果与OLSOLS估计相同估计相同*2()1(2)()()2M a x L L nLn L n YX YX()()Mi nYX YX YXXX1)(分布参数估计结果与分布参数估计结果与OLS不同不同 22()()iMLennY X Y X 2211iO L Sen kn k ee3 3、最大似然估计量的性质、最大似然估计量的性质 一致性一致性 渐近正态性渐近正态性 渐近有效性渐近有效性 不变性不变性 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 1、简单非线性模型的、简单非线性模型的最大似然估计最大似然估计 y fxiii(,)i=1,2,n 2(0,)iN),(2XifNYi222),(21212)2(1),(),(iinXfYnneYYYPL 面临面临NLSNLS同样的过程，得到相同的估计结果同样的过程，得到相同的估计结果。22*),(21)2()(iiXfYnLnLLnMaxL2),(iiXfYMin2.2.一般非线性模型的一般非线性模型的MLML估计估计 以上是一般非线性模型的完整描述。以上是一般非线性模型的完整描述。iiiuxgyh),(),(ni,1),0(),(21INuunkiiiixxxx21其中)(h和)(g是非线性函数，和是参数。随机项满足随机项满足经典假设经典假设 模型参数的一种估计方法是最小二乘法模型参数的一种估计方法是最小二乘法，即最小，即最小化化 2),(),(),(iiixgyhS 模型参数的另一种估计方法是最大似然法。得模型参数的另一种估计方法是最大似然法。得到广泛应用。到广泛应用。最大似然估计最大似然估计 yi的密度函数的密度函数 222/122),(),(exp)2(iiiixgyhyuiiiiiiJyyhyuyJ),(),(雅可比行列式雅可比行列式 雅可比行列式雅可比行列式正态分布密度函数正态分布密度函数 222/122),(exp)2(iixgyiiiuxgy),(因变量样本的对数似然函数为：因变量样本的对数似然函数为：iiyJnnL),(lnln22ln2ln2iiixgyh22),(),(21 很明显假设没有雅可比行列式项，参数的非线性很明显假设没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计；但是，如果雅可最小二乘估计将是最大似然估计；但是，如果雅可比行列式包括比行列式包括，最小二乘法不是最大似然法。，最小二乘法不是最大似然法。最大化对数似然函数的一阶条件为：最大化对数似然函数的一阶条件为：0),(1ln2iiixguL0),(11ln2iiiiiiyhuJJL0212ln2422iiunL 一般是得到中心化对数似然函数，然后最大化一般是得到中心化对数似然函数，然后最大化 iiiicunnnyJL21ln2)2ln(12),(lnln 如果变换的雅可比行列式是如果变换的雅可比行列式是1，那么不存在因变，那么不存在因变量的参数变换；如果变换的雅可比行列式包含量的参数变换；如果变换的雅可比行列式包含，那么称为因变量的参数变换模型。那么称为因变量的参数变换模型。iiun2213、说明、说明 非线性模型最大似然估计的性质非线性模型最大似然估计的性质 结构参数的最大对数似然估计是渐近无偏、一致估计且结构参数的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布；渐近地服从正态分布；分布参数的最大对数似然估计是渐近无偏和一致估计。分布参数的最大对数似然估计是渐近无偏和一致估计。非线性模型的最大对数似然估计一般不等价于非非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二线性最小二乘估计，而是一个加权非线性最小二乘估计乘估计。在特殊情况下，最大对数似然估计才等价于非线性最小在特殊情况下，最大对数似然估计才等价于非线性最小二乘估计。二乘估计。(,)()iifYYgiiX,X,四、异方差和序列相关的四、异方差和序列相关的最大似然估计最大似然估计 1、思路、思路 经典模型的异方差问题或者序列相关问题的处理经典模型的异方差问题或者序列相关问题的处理方法：方法：一类是变换模型，使之成为不再具有异方差性或一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用者序列相关性的模型，然后采用OLS进行估计，进行估计，例如例如WLS、GLS等；等；一类是修正一类是修正OLS估计量的标准差，纠正模型具有估计量的标准差，纠正模型具有异方差性或者序列相关性时异方差性或者序列相关性时OLS估计量的非有效估计量的非有效性，使得继而进行的统计推断例如显著性检验、性，使得继而进行的统计推断例如显著性检验、参数的置信区间估计等仍然有效，例如参数的置信区间估计等仍然有效，例如White修正、修正、Newey-West修正方法等。修正方法等。非线性非线性ML方法方法 将异方差问题或者序列相关问题看成一类非线性将异方差问题或者序列相关问题看成一类非线性问题，采用问题，采用NML估计，比较简单，可以同时得到估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。的分布参数估计量。2 2、异方差的最大似然估计、异方差的最大似然估计 iiiuxyf),(ni,1)(,0(),(21NuuUn其 中)(为 对 角 元 为 正 的 对 角 方 阵，且 依 赖 于 参 数),(21m.即iu不存在序列相关但存在异方差现象。被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为：)ln()2ln(21),|,(ln22 nxyLniiiyuUU121|)ln(|/21|)ln(|21将2用nUU/12代替得到中心化对数似然函数为：)ln()2ln(121),|,(lnnnxyLcniiiyuUUn11|)ln(|)ln(21|)ln(|21 对异方差的结构给出假定，可以对模型的参数和对异方差的结构给出假定，可以对模型的参数和异方差的结构参数进行最大似然估计。异方差的结构参数进行最大似然估计。针对不同的问题假定不同的异方差结构；针对同针对不同的问题假定不同的异方差结构；针对同一个问题假定不同的异方差结构，进行估计和比一个问题假定不同的异方差结构，进行估计和比较。较。典型的异方差结构及其对应的对数似然函数，见典型的异方差结构及其对应的对数似然函数，见教材。教材。),0(2iiNu)(22iih3、例题、例题 州 开支 收入 州 开支 收入 州 开支 收入 AL 275 6247 AK 821 10851 AZ 339 7374 AR 275 6183 CA 387 8850 CO 452 8001 CT 531 8914 DE 424 8604 DC 428 10022 FL 316 7505 GA 265 6700 HI 403 8380 ID 304 6813 IL 437 8745 IN 345 7696 IA 431 7873 KS 355 8001 KY 260 6615 LA 316 6640 ME 327 6333 MD 427 8306 MA 427 8063 MI 466 8442 MN 477 7847 uXXY2210MS 259 5736 MO 274 7342 MT 433 7051 NB 294 7391 NV 359 9032 NH 279 7277 NJ 423 8818 NM 388 6505 NY 447 8267 NC 335 6607 ND 311 7478 OH 322 7812 OK 320 6951 OR 397 7839 PA 412 7733 RI 342 7526 SC 315 6242 SD 321 6841 TN 268 6489 TX 315 7697 UT 417 6622 VT 353 6541 VA 356 7624 WA 415 8450 WV 320 6456 WI NA 7597 WY 500 9096 Coefficient Std.Error z-Statistic Prob.C 832.9144 327.2925 2.544862 0.0109 X-0.183420 0.082899-2.212588 0.0269 X2 1.59E-0