大连理工大学《概率论与数理统计》课件-第7章.pdf

第第7章章 参数的点估计及其优良性参数的点估计及其优良性一一.矩估计矩估计二二.极大似然估计极大似然估计三三.估计量的优良性和评选标准估计量的优良性和评选标准，抽样nXXX21,EXXP，构造niiXnX11 ，05.8x称为点估计量，XX记为，nXXX21,nxxx,.,21nXXXg,.,21，nXXXg,.,21nxxxg,.,21：参数为一组观察值，9.785,8.7的点估计值，称为05.8(只需估计总体分布中未知参数，我们所关注的特征值均为未知参数的函数只需估计总体分布中未知参数，我们所关注的特征值均为未知参数的函数)1.矩法2.极大似然法点估计：点估计：设总体设总体 X 的分布函数的分布函数 F(x,)形式已知，其中含有未知参数形式已知，其中含有未知参数。从总体中抽取样本从总体中抽取样本 为样本观察值。为样本观察值。作为作为 的估计量的估计量。记为：记为：是是 的估计值。的估计值。，2A.,.,21nXXX抽样EXAP1,baUX例如：niiXnX11niiXnA12212?2EXA2baEX3222babaEXEXA 122EXA 322221bbaaAbaA有2121-3-3niiniiXXnXbXXnXa解得2X设总体2EX期望为22221,nXXX抽样niiXn121构造样本均数.22EXAP由大数定律1AEXXP由大数定律P可令足够大只要,n辛钦大数定律tttttEXEXEX,212122211tAAA21，则样本均数niiXn11由大数定律P，nikikXnA11EXAP1kPkEXA,21txF是样本，nXXX21,个参数阶样本矩构造前tt存在是未知参数的函数阶总体矩求出前kEXtnXXXEXX21,抽样期望总体kkkkknXXXEXX21,抽样期望总体，则样本均数nikiXn11tk2,1，令kkEXA t,21从中解出212-1niiXXnB而222因为EXEXXEXEDX，或者 2DXBEXX，221EXAEXAtttttAAA,212122211得212AA 2121XXnniiDXBp2个参数，可令一般的分布，若只有两22BXXnmm,解出2mmXBXp)1(2ppnBpnXm得DXBEXXm2令2B，构造mX，抽样mXXX21,)1(pnpDXnpEX。得Xp ，令EXX 2122AAB22或令EXAEXXm22EXDXEX22)1(pnppnApnXm得的矩估计。求例ppBX,1.1的矩估计。求例ppnBX,.2，令EXX EX解：221312223，解得23 XX 而65234323X，得23 X22112321 .3X例的估计值为：得 的矩估计。，求，抽样 12,1，343121的矩估计。，求例其他0101,.4xxxfEX解：dxx1101dxxx101为样本，nXXX,.,21EXX 令，解：构造1A，XA 1，或构造2B，令221EXAEXA2212BAAXDXXE得，令2BXDXXE121XX，21DX 方差，2A，期望设总体例EXX,.5。求期望和方差的矩估计kkXEXEBkkEXA 令关于矩估计的几个问题：关于矩估计的几个问题：1.大样本精确，小样本不可用。大样本精确，小样本不可用。2.或或者者 阶阶数要相同。数要相同。3.使用前使用前 K 阶矩，阶矩，。4.矩估计缺点：必须总体矩存在，且浪费了分布的信息。矩估计缺点：必须总体矩存在，且浪费了分布的信息。，得53 p011，0,154321，X，XXXXP 的极大值，求令pLdppdL0 231pppL设231pp5432ppp例例1.总体总体 XB(1,p)分布，抽样得（分布，抽样得（1,0,1,1,0），），的极大似然估计。称其为p。该样本点发生的概率为：该样本点发生的概率为：，总体分布列,.2,1,ip，xXPii 0lndLd是容量nXXX21,为样本观察值，nxxx21,ixXP niL1 niixXPL1lnln的极大似然估计。求参数 似然函数：步骤：1 对数似然函数：2 的极大似然估计。得到 先整理称号再取对数的样本，为nniixXP1ln（3）求导数求极值：求导数求极值：是样本，nXXX21,是样本观察值，nxxx21,，1,0,1-1kppkXPkk nipL1iixxpp11 dppLd lnp 1Xp 解得nnAniixp1 pLlnniix1,1.1pBX总体例的极大似然估计。求参数 p解：似然函数：niixnp11plnniixn1p1lnniix1niixn1p 110。，求极大矩niix1!1neniix1)!ln(ln1ninxxeLniiniix1 dLd ln令。得X极大，例PX.2，解：EXX矩则 niL1似然函数exixi!lnn01niixnniix1!1lnmmXBXp2矩，抽样mXXX21,pnBX,mipL1iiixnxxnppC1miixp1miixnmp11mixniC1 dppLd lnp 1 pLlnmiix1plnmiixnm1p1lnmiix1miixnm1p 110mixniC1lnmmiiXnxnmp111极例例3.求求 p 的极大似然估计。的极大似然估计。解：解：mXn1nXp1矩，,抽样21nXXX pGX nipL111ixppnpnxniip11 dppLd lnpn pLlnplnnxnii1p1lnp 110nniiXxnp11极例例4.求求 p 的极大似然估计。的极大似然估计。解：解：nnxnii1。得65，112321.5例22X L解：26522 dLd ln令121321，X，XXP122 121321XPXPXP410512,0抽样抽样(1,2,1)，求，求 的极大似然估计。的极大似然估计。nxxx21,xfnXXX21,niixf1,nxxxfL,.,21 niixfL1,lnln 0lndLd令nxxx21,总体总体 X 的分布密度的分布密度 (为未知参数为未知参数),为总体的样本，为总体的样本，为样本观察值。为样本观察值。似然函数：1 对数似然函数：2 求极值：3的极大似然估计。得到 先整理称号再取对数多个参数求偏导，例eX.1计。的矩估计和极大似然估求nX1矩得EX,1，令EXXn Lni 1niixne1 Lln dLd ln令极大nX1ixe的极大似然估计量，是若 的估计量。是则 gg 矩估计：解：1 极大似然估计：2lnn；niix1nniix10212,.2NX例的极大似然估计。求参数2，22矩矩BXn，niL12,解：n22,lnL22,lnL22极大极大得BX2,ln L22nniixe122212lnn2ln2nniix12221222ixeniix122201nxnii22nniix124210极大22B，例其他,010,1,.3xxxf niL1解：ix1niinx11 Lln1lnn dLd lnniixn1极大ln1得的极大似然估计。求，ln1niix1nniix1ln0，,.5例baUX其他01,bxaabxfnibaL1,解：，nab是观察值，nxxx21,是样本，nXXX21,ab 1无解或参数消失0,abaL令也不是求导，我们的目的不是取对数越小ab 越大，baL,，但bXXXan21,bXXXan21，1极大Xa nXb极大的极大似然估计。求参数ba,最大。目的是样本点发生概率取最大值。即似然函数nabbaL,例例6.某种电子元件的使用寿命某种电子元件的使用寿命 X 的密度函数为：的密度函数为：xxexfx ,0,2,2求求 的极大似然估计。的极大似然估计。解：解：nixieL122niixne122 Lln；22ln1niinx dLd ln参数参数 消失消失 越大越大L()越大越大，但但x 1X极大构造前构造前t t个个 ，kEX。令kkEXA，kA（1 1）似然函数）似然函数 niL1ixXP,或ixf Lln（2 2）对数似然函数）对数似然函数 0lndLd令（3 3）求极大值）求极大值求出前求出前t t个个 若连续型试验中若连续型试验中(3)式无解，则直接求式无解，则直接求L()的极大值的极大值.，的估计量若nXXX21,，满足E的无偏估计量。是则称 问下列估计量哪一个是的一个样本，是总体例XXXX321,.1XXX719231213,5152523212XXX,2131613211XXX的无偏估计量？总体均数3212515252)(EXEXEXE3211213161)(EXEXEXE解：无偏无偏EXXnXnii 11niinXnEXE11证：,11EXEXnnii的无偏估计量。是则EXXn例例2.证明证明 是是 的无偏估计量。的无偏估计量。3213719231)(EXEXEXE6344有偏2121nniiXXnnininiXXXXn122212121niniXXnBniiXn1212121)(niniXXnEBE2121nniiXXnE22nXEEXniinXnX1122nX212AA 2121nniiXEEXn例例3.证明证明 是是 的无偏估计量，的无偏估计量，2S2 是是 的有偏估计量。的有偏估计量。2B2证明：证明：,22的有偏估计量是B，有21211niniXXnS,2B修正nn21222nnXEXD，令221BnnS无偏22ES2EXDX 21Bnn2 E222nXEEXEB22n 1D如果，2D的一个估计量，是定义：设,.,21nnXXXg有若对01limnnPn无偏估计量，是，定义：设 21更有效。比则称21pn矩估计都是一致估计，极大似然估计是否是一致估计需要验证。则称 是 的一致估计。问下列估计量哪一个是3213719231)(EXEXEXE的一个样本，是总体例XXXX321,.13212515252)(EXEXEXE3211213161)(EXEXEXE解：XXX719231213,5152523212XXX,2131613211XXX6344无偏无偏有偏的无偏估计量？总体均数DXD3614)(1DXD259)(2)()(21DD例例2.设总体设总体XU(0，)，求，求 矩估计，极大似然估计，验证无偏性，矩估计，极大似然估计，验证无偏性，比较有效性。比较有效性。niL1，令EXX EX解：。得X2矩。则nX极大)(矩E，令nXZ极大，nEXE极大 dzzzfEZZ1，n1 xL00，但极大，需若使01n验证无偏性：无偏矩,2)2(XEXE2；矩估计是无偏估计，极大似然估计是有偏估计，矩估计是无偏估计，极大似然估计是有偏估计，zZPzFznz 其他。,00 ,zn1-nxnxfz0n1-n极大zdzznEZEnzET zFxfzz，修正极大1nnT，1nnzXXXPn,max21nzXP)(zXzXzXPn,21n1-nzn xxF无偏。修正后的 T)(矩DXD4nDX4nn3124220n1-n22zdznzEZ22nn极大DDZ22)(EZEZ22nn2212nnnDT2222121nnnnn22nn比矩估计更有效。修正后的极大似然估计时，当,321nnnn21nn极大1nnD)2(XD