极大似然估计法算法简介

《概率论与数理统计》典型教案教学内容极大似然估量法教学目的通过本节内容的教学，使同学

1、明确极大似然估量法是在总体分布类型已知的状况下的一种常用的参数估量方法；

2、理解极大似然思想；

3、把握求极大似然估量值的一般步骤，会求常见分布参数的极大似然估量值.教学重点

1、对极大似然思想阐述；

2、极大似然估量值的求解.教学难点对亲能通过求导方法获得极大似然估量的值的确定.教学时数2学时.教学过程弓I例某位同学与一位猎人一起外出打猎，一只野兔从前方窜过.只听一声枪响，野兔应声到下，假如要你推想，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的.这个例子所作的推断就体现了极大似然法的基本思想.

一、极大似然思想一般地说，大事A与参数夕£®有关，e取值不同，则尸（A）也不同.若a发生了，则认为此时的值就是e的估量值.这就是极大似然思想.看一例子例

1、设袋中装有很多黑、白球，不同颜色球的数量比为3:1试设计一种方法，估量任取一球为黑球的概率尸.分析易知产的值无非是1/4或3/

4.为估量尸的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则X〜伙3P）.按极大似然估量思想，对P的取值进行估量.解对尸的不同取值，X取Z=0123的概率可列表如下X0123尸=%%4%4在上面的例子中，尸是分布中的参数，它只能取两个值1/4或3/4需要通过抽样来打算分布中参数毕竟是1/4还是3/

4.在给定了样本观测值后去计算该样本消失的概率这一概率依靠于P的值，为此需要用1/

4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个.

二、似然函数与极大似然估量

1、离散分布场合设总体x是离散型随机变量，其概率函数为p（x；e）其中e是未知参数.设X”X2…X”为取自总体X的样本.X]X2…X的联合概率函数为[[〃（乂*），这里，是常量，乂]X2，-小〃是变量.若我们已知样本取的值是玉々…招，则大事%=玉*2=//*”=%｝发生的概率为[[〃（巧;）.这一概率随的值而变化.从直观上来看，既然样本值玉々，…，相消失了，它们消失的概率相对来说应比较大，应使立〃（为；）取比较大的值.换句话说，夕应使样本值玉z…Z的消失具有最大的概率.将上式看作的函数，并用L

（9）表示就有L（e）=心（玉%，…，％；°）=IIpg；e）i=\称L（e）为似然函数.极大似然估量法就是在参数的可能取值范围内选取使L（e）达到最大的参数值仇作为参数的估量值.即取，使6g0因此，求总体参数的极大似然估量值的问题就是求似然函数的最大值问题.这可通过解下面的方程竺=0

（3）d0来解决.由于ln£是£的增函数，所以InL与L在的同一值处取得最大值.我们称/（0=lnL（e）为对数似然函数.因此，常将方程

（3）写成:dIn八二0d0方程

（4）称为似然方程.解方程

（3）或

（4）得到的就是参数的极大似然估量值.假如方程

（4）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估量值.有时，直接用

（4）式行不通，这时必需回到原始定义

（2）进行求解.

2、连续分布场合设总体x是连续离散型随机变量，其概率密度函数为/（x；e）若取得样本观看值为国毛，…，斗，则由于随机点（X]X2，・・・X〃）取值为…，z）时联合密度函数值为n/a；e）.所以，按极大似然法，应i=\选择的值使此概率达到最大.我们取似然函数为L（e）=n/（x；），再按前述方法求参数的极大似然估量值・1=1

三、求极大似然估量的方法

1、可通过求导获得极大似然估量当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值.例

2、设某工序生产的产品的不合格率为p抽〃个产品作检验，发觉有T个不合格，试求p的极大似然估量.分析设X是抽查一个产品时的不合格品个数，则X听从参数为p的二点分布仇lp.抽查〃个产品，则得样本X]X2…X，其观看值为了1，%2…工〃，假如样本有一个不合格即表示国％2…，X〃中有有个取值为1〃-7个取值为

0.按离散分布场合方法，求P的极大似然估量.解1写出似然函数£p=npi—尸尸1=12对£p取对数，得对数似然函数/夕3由于/p对p的导数存在，故将/p对p求导，令其为0得似然方程当包=—产+£+4=—4+/^£a二°dp1—pmP1-P1-PpQ-pi=ii〃_4解似然方程得p=^yXi=x〃/=i5阅历证，在力=提时，式犁0这表明力=7可使似然函数dp-达到最大6上述过程对任一样本观测值都成立，故用样本代替观看值便得〃的极大似然估量为P=X将观看值代入，可得p的极大似然估量值为p=x=-其中nr=i若总体x的分布中含有多个未知参数q%，・4时，似然函数乙是这些参数的多元函数L（4…4）.代替方程

（3）我们有方程组%g=0（1=12…Q由这个方程组解得第囱…分别是参数oOi*包…仇的极大似然估量值.例

3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差听从N（（y2）其中Q未知.为估量〃2从中随机抽取〃=100根轴，测得其偏差为七々，…，玉

00.试求〃，/的极大似然估量.分析明显，该问题是求解含有多个（两个）未知参数的极大似然估量问题.通过建立关于未知参数的似然方程组，从而进行求解.解

（1）写出似然函数

（2）写出对数似然函数

（3）将分别对小〃求偏导，并令它们都为0得似然方

（4）解似然方程组得:

（5）阅历证A，＞使达到极大

（6）上述过程对一切样本观看值成立，故用样本代替观看值，便得的极大似然估量分别为

2、不行通过求导方法获得极大似然估量当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估量，这时可从定义

（2）动身直接求〃夕）的极大值点.例

4、设总体X听从匀称分布（0J）从中获得容量为〃的样本XX，…X”其观测值为匹乙，试求的极大似然估量.分析当写出其似然函数L（e）时，我们会发觉L（e）的非零区域与e有关，因而无法用求导方法来获得的极大似然估量，从而转向定义

（2）直接求力的）的极大值.解写出似然函数为使达到极大，就必需使e尽可能小，但是e不能小于％⑺，因而取工⑺时使g达到极大，故3的极大似然估量为=x（〃）♦进一步，可争论估量的无偏性由于总体x〜u（oe）其密度函数与分布函数分别为0x0-^xe从而=x（〃）的概率密度函数o）\x0为Pj=〃[b（丁）广4（丁）=^^0丁0这说明的极大似然估量3=X（〃）不是的无偏估量，但对0作一修正可得的无偏估量为@=Sx（〃）.n通过修正获得未知参数的无偏估量，这是一种常用的方法.在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产力量的无偏估量.综上，可得求极大似然估量值的一般步骤.、求极大似然估量的一般步骤

1、由总体分布导出样本的联合概率函数（或联合密度）；

2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作自变量，得到似然函数〃e）；

3、求似然函数L

（9）的最大值点（常转化为求对数似然函数/（）的最大值点）；4品最大值点的表达式中，用样本值代入就得参数的极大似然估量值.

五、极大似然估量的不变性求未知参数的某种函数g（e）的极大似然估量可用极大似然估量的不变原则，证明从略.定理（不变原则）设是的极大似然估量，g（e）是的连续函数则g（e）的极大似然估量为.例

5、设某元件失效时间听从参数为丸的指数分布，其密度函数为f（x;A）=Ae^x0%未知.现从中抽取了〃个元件测得其失效时间为玉々…乙，试求丸及平均寿命的极大似然估量.分析可先求力的极大似然估量，由于元件的平均寿命即为X的期望值，在指数分布场合，有口X）=；它是；I的函数，故可用极大似然A估量的不变原则，求其极大似然估量.几-A/Xj解

（1）写出似然函数L

（2）=[pe-*=/I

（2）取对数得对数似然函数/（㈤二“足几-几2巧⑶将，⑷对/求导得似然方程为:与二4解似然方程得2=3/i=l阅历证，夕能使//I达到最大，由于上述过程对一切样本观看值成立，故丸的极大似然估量为A==;X依据极大似然估量的不变原则，元件的平均寿命的极大似然估量为:1—EX=r=X.A

五、小结

1、极大似然估量的思想；

2、求解未知参数极大似然估量的一般步骤；

3、极大似然估量的不变原则.

五、作业见参考文献1的第278页第456页.参考文献

1、苏均和主编概率论与数理统计，上海财经高校出版社.1999年1版.

2、的诗松等编著概率论与数理统计，中国统计出版社.1999年1版.

3、魏振军编概率论与数理统计三十三讲，中国统计出版社.2000年1版.

4、唐生强主编概率论与数理统计复习指导，科学出版社.1999年1版.。