河北北方学院09级信息与计算科学毕业论文
毕 业 论 文 题 目：
作 者：
指导教师：
职 称：
院 系：
专 业：
班 级：
日 期：
评价估计量好坏的标准 赵 鹏 阁 左 振 钊 副教授 理学院数学系 信息与计算科学 2009级01班 20xx年06月
河北北方学院09级信息与计算科学毕业论文
评价估计量好坏的标准
摘要:未知参数的估计通常有很多种，一个好的估计量应该在多次观测中，其观测值围绕被估计参数的真值摆动。 人们总是希望估计量能代替真实参数，为正确评价估计量，要建立判别估计量好坏的标准.根据不同的要求，评价估计量可以有各种各样的标准。所以，对于一个估计量的优良性进行判别显得尤为重要。本文主要总结估计量优良性的若干判别准则，如无偏性、有效性、一致性、一致最小方差无偏估计、均方误差，这些常见的判别方法被我们所学习和使用，但是都只是在理论上具有可行性，而在实际生活学习和使用中，并没有人对这些常见的判别方法给出实用性的充分证明。通过本文的研究，进一步了解了估计量优良性的一些判别准则，为今后更好地学习与应用估计量打下了基础。
关键词:无偏性;一致性;有效性;一致最小方差无偏估计;均方误差
河北北方学院09级信息与计算科学毕业论文
The evaluation criterion of the criterion of estimation
Abstract: estimates of the unknown parameters usually has many kinds, a good
estimation should be in multiple observations, the observations on the true values of parameters are estimated to swing. People always want to replace the real parameter
estimation, estimation is evaluated correctly, to establish discriminant estimation quality standards. According to different requirements, evaluation estimator can have a variety of standard. So, is very important for a good estimate of the amount of discrimination is. This paper summarizes the estimator optimality criteria, such as unbiasedness,
efficiency, consistency, uniformly minimum variance unbiased estimator, mean square error, these common discriminant method is we have to learn and use, but are only is feasible in theory, but in real life, to learn and use, no one of these discriminant and give a practical method of common fully proved. Through this research, the further
understanding of the estimator and benign some criteria, for further study and
application of estimation of foundation.
河北北方学院09级信息与计算科学毕业论文
Keywords: unbiased; consistency; effectiveness; the uniformly minimum variance unbiased estimate; mean square error
目 录
引 言.........................................................................................1 评价估计量好坏的标准.................................................................2
1 估计量的无偏性...................................................................2
1.1 无偏估计量的定义及定理................................................2
1.2 无偏估计量的举例说明...................................................3 2 估计量的有效性...................................................................4
2.1 有效估计量的定义..........................................................4
2.2 关于有效估计量的举例说明.............................................5 3 估计量的一致性...................................................................7
3.1 一致估计量的定义..........................................................7
3.2 一致估计量的举例说明...................................................7 4 一致最小方差无偏估计..........................................................8
4.1 最小方差无偏估计的定义及定理.......................................8 5 均方误差准则.....................................................................10
河北北方学院09级信息与计算科学毕业论文
5.1 均方误差准则的定义.....................................................10
5.2 关于均方误差准则的举例说明.........................................10 结 束 语.......................................................................................11 致谢.............................................................................................12参 考 文 献..................................................................................13
河北北方学院09级信息与计算科学毕业论文
引言
对于评价估计量好坏的标准的研究，国内外更多的是将其依托于一个具体的实验或具体的实际问题中去进行比较研究，如在19xx年《数学杂志》中，刘学圃写了一篇名为《一类平稳时间序列谱密估计量的优良性质》文章，又如在《统计与信息论坛》中，写了一篇《系统样本差估计量的优良性》，所以说对其的研究更多的是依据于是研究中，通过其试验来体现一个估计量的优良性.当然，单纯对于评价估计量好坏的研究国内有一篇很是经典的文章—王力宾的《对估计量优劣性评价标准的研究》，他在此文中比较详细地介绍了若干判别准则，大致上分为两类：一类是小样本估计量优良性的若干判别准则，另一类是大样本估计量优良性的判别准则。他也同样在文中详细地叙述了两类之间的联系.其实，一直以来，我国的统计工作者，一直都是把无偏性，有效性，一致性看作是评价估计量优良性的三大标准，但对于其实用性并未进行过较为系统的研究.
评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验的结果来衡量.这是因为估计量是样本的函数，是随机变量。由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出估计量的好坏.对于一个特定的应用，选择好的估计量与许多因素有关系，最基本的考虑因素就是选择一个好的数据模型，它的复杂性应该足以描述数据的基本特征，但是与此同时要简单的足以允许估计量是最佳的且易于实现.举个简单的例子，对于信号的处理问题，选择一个合适的估计量要从易于现实的最佳估计量开始.如果这种寻找没有效果，那么就应该考察准最佳估计量.对于同一参数，用不同的估计法得到的点估计量不一定相同，那么用哪一种估计法好呢？并且，人们总是希望估计量能代替真实参数．为正确评价估计量，要建立判别估计量好坏的标准.根据不同的要求，评价估计量可以有各种各样的标准．所以，对于一个估计量的优良性进行判别显得尤为重要.对于估计量好坏若干判别准则的研究，为了以后我们进一步的学习和工作都奠定了良好的基础.
- 1 -
河北北方学院09级信息与计算科学毕业论文
评价估计量好坏的标准
1估计量的无偏性
1.1无偏估计量的定义及定理
??T?ξ,ξ,?,ξ?是未知参数θ的一个估计量，若 定义 设θ12n
??θ, ?θ?Θ Eθ??
??T?ξ,ξ,?,ξ?为θ的无偏估计量. 则称θ12n
在这里我们要接触一个新的名词：统计量，到底什么是统计量，下面我们来简单介绍一下统计量的定义.
统计量 是统计理论中用来对数据进行分析、检验的变量。宏观量是大量微观量的统计平均值，具有统计平均的意义，对于单个微观粒子，宏观量是没有意义的．相对于微观量的统计平均性质的宏观量也叫统计量．需要指出的是，描写宏观世界的物理量例如速度、动能等实际上也可以说是宏观量，但宏观量并不都具有统计平均的性质，因而宏观量并不都是统计量．
定理1 设总体X的均值为?,方差为σ2,X1,X2,?,Xn为来自该总体的简单随机样本.
1n
X??Xini?1
1n?Xi??S??n-1i?1 22
则
E???μ, ES2?σ2
即样本均值和样本方差是?和?2的无偏估计.
证明 σ2
E???μ2, Var??? n
2??1n
E?S??E? X????i??n-1i?1?2??
- 2 -
河北北方学院09级信息与计算科学毕业论文
2?n?1E???Xi??? ??n-1??i?1?
n1?n2??E??Xi?2?Xi?nX2?i?1? n?1?i?1
1?n2??E??Xi?nX2?? n-1?i?1
1nn2?E(X)?EX2?in?1 n?1i?1 1nn2???????VarX?EX?VarX?EX?iin?1 n?1i?1
?nn?122?σ2?μ2??σ?μ?n?1n?1?n? ?????????2 ??
?σ
1.2 无偏估计量的举例说明
例1 设X1,X2,?,Xn为抽自均值为?的总体X的样本,考虑?的估计量. 2
?1?X1， 解 ?
因为
?1??E?X1??μ, E?μ
?1是无偏估计 所以?
?2?μX1?X2, 2
因为
?X?X2??2??E?1E?μ?, 2??
所以
?3?μ?2?是无偏估计 X1?X2???Xn-1?Xn（假设n?4）， n
因为
- 3 -
河北北方学院09级信息与计算科学毕业论文
E?μ???E??X1?X2???Xn-1?Xn?
3?n???μ, 所以??3是无偏估计
??4?2X1,
因为
E?μ?4??E?2X1??2μ,
所以??4不是无偏估计
??X1?X2
5?3,
因为
E?μ???X1?X2?
?3???2
5??E3μ,
所以??5不是无偏估计.
例2 设总体?~U?0,??,求未知参数???0?的无偏估计量. 解 设??1,?2,?,?n?为取自总体的样本.由替换原则有
E????,
而已知E?????
2，故得?的矩估计量为
θ??2ξ?2n
n?ξi，
i?1
由于
E?θ???E?2??2E???2E?ξ??2?θ
2?θ, 故???2是?的无偏估计量.
2 估计量的有效性
2.1有效估计量的定义
定义 设θ?1?θ1?X1,X2,?,Xn? , θ?2?θ2?X1,X2,?,Xn? 都是总体参数?
- 4 - 的无偏估计
河北北方学院09级信息与计算科学毕业论文
??Dθ? ，则称??比??更有效. 量,且Dθ1212
????
2.2关于有效估计量的举例说明
例3 已知总体的数学期望?和方差D都存在,X1,X2,X3是总体的样本.
111111 设g1?x1?x2?x3,g2?x1?x2?x3
333236
证明g1和g2都是?的无偏估计. 试判断g1和g2哪一个更有效.
11??1
解 （1） E?g1??E?X1?X2?X3?
33??3111
?E?X1??E?X2??E?X3?
333111
??????
333
??
11??1
E?g2??E?X1?X2?X3?
36??2111
E?X1??E?X2??E?X3?
36 2
111??????
36 2
??
?
所以g1和g2都是?的无偏估计.
11??1
（2） D?g1??D?X1?X2?X3?
33??3111
D?X1??D?X2??D?X3? 9991
?σ2
3
?
11??1
D?g2??D?X1?X2?X3?
36??2
?
111
D?X1??D?X2??D?X3?4936
- 5 -
河北北方学院09级信息与计算科学毕业论文
111??2??2??2
936 4
7??2
18
因为D?g1?＜D?g2? ，所以g1较g2更有效.
??2是?的无偏估计量. 例 4 设总体?~U?0,??，在例2中已经证明?的矩估计量?1
（1）证明θ?2?n?1
nξ?n?是?的无偏估计量；
（2）比较??1与??2的有效
解 （1） 在我们已经学习的知识中我们很容易算得 E?ξ?n???1
n?1θ，
由此立得
E?θ?2??E??n?1
?nξ?
?n????θ， 所以θ?2?n?1
nθ是?的无偏估计量.
计算??1，??2的方差，有：
D?θ?14θ2θ2
1??D?2??4D???4?nD?ξ??n?12?3n；
D?θ?n?1?
2?2?D???nξ?n??????n?1?
?n???E?ξ2?n????E?ξ?n???2?
?n2
???1???θn-1
2nx?n?2
?n???θ?
??0x?θndx-??n?1?????
θ2θ2
?nn?2?3n
所以??1较??2为有效.
3 估计量的一致性
3.1一致估计量的定义
定义 设 θ??θ(X1,X2,?,Xn)是总体参数?的估计量.
- 6 - 若对于任意的??R , 当
河北北方学院09级信息与计算科学毕业论文
??θ)?ε)?0，则称??是总体n??时, ??依概率收敛于?, 即对于任意正数?，有limP(θn??
参数?的一致估计量.
3.2一致估计量的举例说明
例5 设总体X服从参数为?的指数分布，证明X 是?的一致估计量. 证明 由总体X服从参数为?的指数分布可知：
而
lnf?x,θ???lnθ?x
θ
2x?1?θ?ef(x;θ)??θ?0?x?0,x?0E(?E?X??θD?X?θ2D????nn????1x?（x?θ）2
??θlnf?x,θ?????θ?θ2??θ4????
??X?θ?2??E??4θ??
1???2E?lnf?X,θ???4E?X????1D?X???θ?θθ4 ?1
θ21???nE?lnf?X,θ????θ? 22
θ2? n?D(
又由辛钦大数定律可知：
- 7 -
河北北方学院09级信息与计算科学毕业论文 ??limlimPX?μn??n???1n?P??Xi-μ??1?ni?1? 所以X是? 的一致估计量.
4 一致最小方差无偏估计
4.1致最小方差无偏估计的定义及定理 定义 设g?θ? 为可估参数,如果T?X? 是g?θ? 的无偏估计,且对Ug 中任一个估计??X?,有
Var?T?θ???Varθ???X?? ?? ?Θ 则称为T?X?为g?θ? 的一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estimate) ,简记为UMVUE .
引理 1 设S?X?是分布族?f?X,θ?,θ?Θ?的充分统计量,??X?是g?X?的无偏估计,令
T?X??E???XS?X?? ,
则T?X? 也是g?θ?的无偏估计, Varθ?T?X???Varθ???X?? ???Θ. 引理 2 设S?X?是分布族?f?X,??, ????的完备统计量,g?θ?为可估参数,则g?θ? 的UMVUE存在,它是S?X?的函数且在几乎处处意义下是唯一的.
定理2 设T?X?是g?θ?的无偏估计,Varθ?T?X????,则T?X?为g???的 UMVUE的充要条件是对任一?的无偏估计??X? ,若
Var???X??＜?,
则有
Covθ???X?,T?X???0.
证明
令
- 8 -
河北北方学院09级信息与计算科学毕业论文
U??φ?X?:E0???X???g?X?,Var ??X?＜??， ???Θ?U0????X?:E0???X???0,Var ??X?＜??， ? ??? ?T?X?是g?θ? 的UMVUE,任取??X??U0及??R ,则 ???X?????X??T?X? ?U, 且有
Varθ?T?????Var?????X??T?X??, 即
λVarθ???X???2?Cov???X?,T?X???0, 由??R的任意性知
Cov????X?,T?X???0, ????, 反之,设??X??U0都有
Cov????X?,T?X???0, ????, 要证T?X? 是g??? 的 UMVUE,若???X??U,则有 T?X?????X??U0.
由假设条件得
Cov??T?X?????X?,T?X???0E???T?X?????X??T?X???0
?? E?T2?X??E??T?X?????X??0由许瓦兹不等式得
?E?T2?X???2?E??T?X????X???E??T2?X??E?????X?? 2??2??从而
E??T2?X???E?????X?? 2??
又因为
- 9 -
河北北方学院09级信息与计算科学毕业论文
Eθ?T?X???Eθ????X???g?θ?
所以
Var?T?X???Var????X??
由????X???U(之任意性可知,T?X?是g??? 的 UMVUE.
5 均方误差准则
5.1均方误差准则的定义
?，这时两个估计中哪一个估计的均方误差小,我们就把哪定义 假如有两个估计??1和?2
一个估计看作比较优,这种判定估计量的准则叫均方误差准则.
5.2关于均方误差准则的举例说明
例6 设X1,X2,?,Xn为抽自均值为?的总体,考虑?的如下两个估计
??Xμ
1n??i?μXj?n?1j?1j?i
?-i表示去掉第i个样本式后，对其余n-1个样本所求的样本均值. 这里μ
我们看到:
显然两个估计都是?的无偏估计.
再计算其方差:
之前我们证明过
σ2
Var?X??n
?1??-i???Var?μ??n-1?2nσ2Var?Xj???n-1j?1j?i ??i的方差小，因而X比μ?-i更优. 我们看到X比?
这表明,当我们用样本均值去估计总体均值时,使用全体样本总比不使用全体样本要好.
- 10 -
河北北方学院09级信息与计算科学毕业论文
结 束 语
常见的评价估计量好坏的判别准则也就此论文中所提到的五中常用方法：一致性，有效性，无偏性，均方误差准则，一致最小方差无偏估计，其它的判别方法虽然也有不少，但是在我们日常的生活学习中并不常见，所以在此就不用再做过多的详细介绍.虽然这些常见的判别方法被我们所学习和使用，但是都只是在理论上具有可行性，而在实际生活学习和使用中，并没有人对这些常见的判别方法给出实用性的充分证明，所以，现在很多的数学工作者，正在对这些常见方法的可行性进行较为系统严密的论证中.
- 11 -
河北北方学院09级信息与计算科学毕业论文
致 谢
时光如白驹过隙眨眼即逝，四年的大学生活就要结束了，我依然记得刚踏进校门的那一刻和大学里四年生活的点点滴滴，四年的大学生活让我收获了生存的知识，收获了良师和益友，交给了我以后自己的人生该怎样去走。值此离别时刻，我怀着对母校对老师和朋友的思念，感谢你们，感谢你们陪我度过了这充满激情和辉煌的四年岁月。
本论文是在我的指导老师左振钊老师的亲切关怀和悉心指导下完成的.左老师严谨的治学精神,精益求精的工作作风,深深地感染和激励着我。从一开始论文题目的选择到写作的最终完成,左老师都始终给予我细心的指导和不懈的支持.在此谨向左老师致以诚挚的谢意和崇高的敬意。
此外,我还要感谢我的同学们,由于你们的帮助和支持,我才能克服一个个的困难和疑惑,直到本文顺利完成。在此将要离别之际，道一声珍重，未来我们一路同行。
最后我还要感谢我那伟大的父母，由于你们的支持你们的付出我才能顺利完成学业，我不会辜负你们对我的期望，我会用我的努力来回报你们，祝愿父母永远健康。
我要再次深深感谢所有的人,你们的帮助与支持是我不断前进的动力.祝你们身体健康,工作顺利.
谢谢.
- 12 -
河北北方学院09级信息与计算科学毕业论文
参考文献
[1]魏宗舒. 概率论与数理统计[M]. 高等教育出版社2008. P298-P303
[2]戴朝寿. 概率论简明教程[M]. 高等教育出版社2008. P141-P144
[3]中山大学数学组. 概率论与数理统计[M]. 高等教育出版社2009. P263-P270
[4]西北工业大学. 概率论与数理统计[M]. 西北工业大学出版社2004. P132-P136
[5]茆诗松. 高等数理统计[M]. 高等教育出版社2005. P73-P77
[6]Jan kmenta, Elernents of Economitrics[M]. Macmiuan Pubilish co.Inc 1971.
P14-P19
[7]沈恒范 . 概率论与数理统计教程[M]. 高等教育出版社 2003. P171-P174
- 13 -