第七章参数估计.ppt

第七章第七章 参数估计参数估计 1 面临的问题：面临的问题：总体所服从的分布类型是知道的总体所服从的分布类型是知道的,而它的某些参数却是未知的而它的某些参数却是未知的.问题问题 解决的方法：解决的方法：构造构造“合理合理”的统计量来估计这的统计量来估计这些未知参数估计些未知参数估计.涉及到两个问题：1 1）估计的方法；）估计的方法；2 2）估计的评选标准）估计的评选标准.2 7.1 7.1 点估计点估计(Point Estimation)定 义定 义 7.1.17.1.1 设 总体X的 分 布 函 数 为);(xF,H,是未知参数,nXXX,21是来自X的样本,nxxx,21是样本观察值.选取一个统计量12(,)nX XX,以数值12(,)nx xx估计的真值,则称12(,)nX XX是的估计量估计量,称12(,)nx xx是的估计值估计值.本节介绍两个最基本的方法矩法矩法和极大似然法极大似然法 3 7.1.1矩法矩法(The Method of Moments)设nXX,1是来自总体X的样本,则knkkXXX,21相互独立且与kX具有相同的分布,于是,当kkXE)(存在时,由辛钦大数定律,对于任意给定的正数,有 01lim1nikkinXnP 即有 nikkikPXnA11.也就是说,当样本的容量趋于无穷时,样本样本 k 阶矩依概率阶矩依概率收敛于相应的总体收敛于相应的总体 k 阶矩阶矩.4 因此当样本容量n较大时可以用样本的用样本的k阶矩来作阶矩来作为总体的为总体的k阶矩的一个估计阶矩的一个估计,这时所得到的估计就是矩法估计矩法估计.矩法的优点是计算较简便,且当样本容量很大时,矩估计接近被估计参数真值的可能性很大.矩法的精髓矩法的精髓是替换是替换,即用样本矩替换总体矩即用样本矩替换总体矩.替换原理与矩法替换原理与矩法 5 1)计算出)(,),(),(2kXEXEXE,可记 12()(,),1,2,jjjkE Xjk .2)解上述方程组，将未知参数表示成总体矩的函数 12(,),1,2,jjkjk 3)用样本矩代替相应的总体矩，即得未知参数的矩法估计量 12(,),1,2,jjkA AAjk其中 1nkkiiAX矩法的基本步骤（一）矩法的基本步骤（一）6 1)计算出)(,),(),(2kXEXEXE,可记 12()(,),1,2,jjjkE Xjk .1211(,)njjkjiiAXn 1,2,jk2)近似替换,列出方程组有 3)解此方程组,若 kjXXXhnjj,2,1),(21 是方程组的解,则以),(21njXXXh作为j的估计量j,kj,2,1。矩法的基本步骤（二）矩法的基本步骤（二）7 例例 7 7.1.1.1.1 设总体X服从,0上的均匀分布,0是未知参数,(nXX,1)是X的样本,求的矩估计量.解解 因 2)(XE 令 X2 即得的矩估计量为X2 8 例例 7 7.1.2.1.2 设总体X的概率密度函数为 其它,0,1)(/)(xexfx 其中0,是未知参数,(nXX,1)是总体X的样本,求,的矩估计量.解解 因dxexXEx/)(1)(22/)(22221)(dxexXEx令 niiXnX12221229 解之得 niiXXn1221 niiXXnX1221即,的估计量分别为 niiXXn1221niiXXnX1221niiXnX122212210 7.1.2最大似然法最大似然法(The method of maximum likelihood)最大似然法最大似然法,也叫极大似然法极大似然法,它最早是由高高斯斯所提出的,后来由英国统计学家费歇费歇(R A Fisher)于1922年在其一篇文章中重新提出,并且证明了这个方法的一些性质.极大似然估计这一名称也是费歇费歇给的.它是建立在极大似然原理的基础上的一个统计方法.为了对极大似然原理有一个直观的认识,我们先来看一个例子.11 例例7 7.1 1.3 3设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这球是从哪一个箱子中取出的?分析分析:如果该箱是甲箱,则取得白球的概率为0.99；如果该箱是乙箱,则取得白球的概率为0.01因此，“该箱是甲箱”比“该箱是乙箱”更好地解释了“取出的球是白球”这一事实，因此甲箱“看起来更像”是真的.结论结论:这个箱子是甲箱.12 问题：问题：设总体X的概率密度为(,)f x,其中未知参数的可能取值有两个,即1和2,但不知道到底哪一个是参数的真值.现对总体做了一次观测,得到样本值0 x(如图),问应该等于1还是2？分析：分析：由于0102(,)(,)f xf x，因此直观上用1来解释“观察值为0 x”这一事实要比2更有说服力一些 结论：结论：的估计值为1.13 当X是离散型随机变量时,它的分布律设为);(xXPxp,x是X的各可能取值.当X是连续型随机变量时,它的概率密度设为(;)p x.称(;)p x为 X 的概率函数概率函数.定义定义 6.1.16.1.1 设),(21nXXX是 X 的样本,),(21nxxx是样本观察值.称 11()(;,)(,)nniiLLxxp x 为似然函数似然函数.14 联合分布与似然函数从形式上看确实是一回联合分布与似然函数从形式上看确实是一回事事,但是就变量之间的关系上看却又有实质上的但是就变量之间的关系上看却又有实质上的不同不同:前者是固定参数而看成是nxxx,21的函数,而后者则是固定nxxx,21(因为它是已经出现的一组样本观察值)而看成是的函数.15 在似然函数中可以看成是“原因”,而),(21nxxx则被看成是“结果”.导致结果),(21nxxx发生的所有原因的集合就是取值的可能范围H.因此似然函数可以看成是有似然函数可以看成是有了结果了结果),(21nxxx后后,这个结果是由原因这个结果是由原因导致的可能性的一种度量导致的可能性的一种度量（离散型时就是概率而在连续型时就是密度）.16 现在,因为试验结果),(21nxxx确实出现了,因此依据上面提到的极大似然原理,导致该结果出现的原因应该是使),;(21nxxxL达到最大值的.于是当固定样本观察值),(21nxxx时,在取值的可能范围H内,找一个使似然函数),;()(21nxxxLL达 到 最 大 值 的 点),(21nxxx,则这个),(21nxxx是取值的可能范围H内与的真值“看起来最像看起来最像”(这正是“极大似然”这四个字在字面上的意思)的那个值,因此,一个自然的想法就是用),(21nxxx作为的估计值.17 定义定义 7 7.1.2.1.2 设),;()(21nxxxLL是似然函数,若存在),(21nxxx使得)(max)(LL则称 ),(21nxxx是未知参数的极大似然估计值极大似然估计值),(21nXXX是未知参数的极大似然估计量极大似然估计量.18 例例7 7.1.4.1.4设总体X服从参数的泊松分布,0为未知参数,),(1nXX 是X的样本,nxxx,21是样本观察值,求的极大似然估计量.解解 X的分布律为(;)e,0,1,2,!xp xP Xxxx11111()(;)ee!niiixnnxniniiiiiLp xxx似然函数为 取对数,有 niniiixnxL11!lnln)(ln19 令 niinxL101d)(lnd解得 的极大似然估计值为 niixxn11所以其极大似然估计量为 X与矩估计法得到的结果一致。niniiixnxL11!lnln)(ln20 例例7.1.57.1.5 设总体 X 服从参数为 的指数分布,试求 的极大似然估计值.解解 设 是一组样本观测值,则似然函数为 nxxx,2111,0,1,()(,)0,elseinxniiiiexinLf x1,0,1,0,elseniixniexin所以,当),1(0nixi时,0)(L,取对数,得 niixnL1ln)(ln21 令 0d)(lnd1niixnL解得 的极大似然估计值为 xxnnii11 在本例中,如果n=12,样本观测值为 8,10,13,14,19,21,28,34,41,52 则 04494.0267121x 此时,如果总体 X 表示的是某种电子产品的寿命(单位:百小时),则该电子产品的寿命近似服从参数为0.04494的指数分布.22 解解 似然函数为 niiixnnnixeeL12222)(2112)(22121),(niinnxL122222lnln2)(21),(ln取对数得 例例 7 7.1.6.1.6 设总体),(2NX,),(1nXX 是来自总体X的样本,(nxxx,21)是样本观察值,求2,的最大似然估计量.23 0)(2)(12),(ln0)(1),(ln2212222122niiniixnLxL令 解之得,的最大似然估计值为 2,2211(),niixxxn2,的最大似然估计量为 X2211()niiXXn24 例例 7 7.1.7.1.7 设总体X的分布律为 2(1;)1,(2;)22(1),pP XpP X 2(3;)3(1)pP X 其中是未知参数（10）,这是在基因遗传中被称为 Hardy-Weinberg 比率的模型.设有样本观察值为1,2,1321xxx,求的最大似然估计值.解解 似然函数为 )1(2);1();2();1(),;(5321pppxxxL取对数得 )1ln(ln52ln)(lnL令 dln()10d1L解之得的最大似然估计值为 6525 解解 似然函数为 ninnnnixxxxxfL111,0,max,1,0,0,1);()(其它其它例例 7 7.1.8.1.8 设 总 体X服 从,0上 的 均 匀 分布,0是 未 知 参 数,nXX,1是X的 样本,nxx,1是样本观察值,求的最大似然估计量.因此,当,max1)(nnxxx时,0)(L且是的一个单值递减函数,因此要使似然函数达到最大,必须要使达到最小,从而)(nx是的最大似然估计值,于是)(nX即最大顺序统计量是参数的最大似然估计量.26 性质性质 设)(uu,H具有单值反函数)(u，Uu.若是总体分布中未知参数的极大似然估计,则)(uu 是u的极大似然估计.证明证明 因为是的极大似然估计,所以有下式成立),(max),;(2121nnxxxLxxxL其中nxx,1是总体的一组样本值,考虑到)(uu 有单值反函数,且有)(u,上式可以写成),);(max),(max),);(212121nUunnxxxuLxxxLxxxuL这就证明了)(uu 是u的极大似然估计.27 例如,在上例中 2u的极大似然估计为 2)(nXu 在例1中,已经求出参数的极大似然估计量X,再由上述性质,0eP X的极大似然估计量为0eeXP X.28 例例6.1.9 设总体X的概率密度为(1),01()0,elsexxf x1nXX,1是取自X的样本,是未知参数,试分别 用矩法和极大似然估计法给出 的估计量 解解 总体X 的数学期望为 1101()()d(1)d2E Xxf xxxx令 X21,得未知参数 的矩估计量为 XX11229 设 nxx,1是相应的样本值,则似然函数为 1(1),01(1,)()0,elsenniiixxinL当),1(10nixi时,0)(L且,ln)1ln(ln1niixnL1dlnln0d1niiLnx令 解得 的极大似然函数值为 niixn1ln1极大似然估计量为 niiXn1ln130 7.2 7.2 点估计的评价标准点估计的评价标准 对于同一个参数,用不同的方法可以得到不同的估计量.例如通过上一节我们知道,当总体为,0上的均匀分布时,用矩法和最大似然法可分别得到的不同的估计量.事实上.类似的情形还有很多.现在的问题是,当同一当同一参数出现多个估计量时参数出现多个估计量时,究竟哪一个更好呢究竟哪一个更好呢?这就涉及到用什么标准来评价估计量的问题.31 7.2.1 无偏性无偏性 定义定义 6 6.2.1.2.1 设),(nI