充分统计量的贝叶斯定义及其应

范文一：充分统计量的贝叶斯定义及其应用

充分统计量的贝叶斯定义及其应用

翟艳敏

( )西南交通大学应用数学系 , 四川成都 610031

摘要 :充分统计量在简化统计问题中是一个非常重要的概念 . 在经典统计中 ,它的定义是使用数学期望

来叙述的 ,用到的数学知识较多且不易理解 ,而使用 Bayes 统计的观点定义充分统计量 ,从而证明有关充分

统计量的等价命题 ,为判断一个统计量的充分性提供了简单有效的方法 .

关键词 :充分统计量 ; 先验分布 ; 后验分布 ; 条件期望

() 文章编号 :100128395 20020520515203 中图分类号 :O212. 8 文献标识码 :A

3 ( ) ( ) 其中 p 是 p 的诱导测度 . 则称 g tf xt 的为对 0 引言

条件数学期望 ,记为 E ( f ( x) | t) . ( 统计学中有二个主要学派 : 经典学派或频率 )( 定义 2充分统计量设 X = X, X, , X 1 2 n ) 学派和贝叶斯学派 . 他们之间有共同点 ,又有不同 ( θ) ( ) 是来自密度函数 p x | 的样本 ,称 T = T x是充分点 . 而充分统计量是经典统计学派和贝叶斯学派相的 ,如果对 θ任意先验分布 π(θ) , 相应的后验分布一致的少数几个论点之一 . π(θ| x) 总可表示为与θ, T ( x) 有关的函数形式. 统计量的充分性是费希尔于 1922 年提出的 ,

但充分性的严格叙述和证明是 P. R. Halmos 和 L . 2 主要命题

J . Savage 在 1949 年完成的 . 充分统计量直接的、模

命题 1(Ω ) ( 设 , F , P, X = X,是概率空间 1 糊的说法就是“不损失信息”的统计量. 在经典统计

) ( θ) X, , X是来自密度函数 p x | 的一个样本 , 2 n θ中 ,充分统计下 ,样本 X 的条件分布不依赖于. 文

( ) (Ω ) ( ) T = T x是 , F , P到 R , B的统计量 ,密度函 1 证明了统计量的充分性和因子分解定理都是比 T T ( θ) 数为 pt | , p是 p 的诱导测度 ,则以下条件是较复杂且不易理解 . 文 2 使用贝叶斯统计的观点等价的 : 定义了充分统计量 ,本文利用此种定义证明与因子 (i) T ( x) 是参数 θ的充分统计量 ; 分解定理的等价性以及贝叶斯统计中充分统计量

() ( θ) (θ( ) ) ( ) iip x | = g , T x?h x. 即样本的联的等价条件 ,整个证明过程简单且易理解 . 最后讨

θ( ) 合密度可分解成只与, T x有关的函数和只与论说明与经典统计中的定义是等价的 ,并且举例说

x 有关的函数的乘积 ; 明其应用性 .

T () π(θ) π (θ) | x= | t,即由样本算出的后iii 1 基本概念验分布与由统计量算得的后验分布相同 . 定义 1 条件期望在初等概念中 ,条件期望 () () ( ) θ证明由 . 若 T x是的充分统计 i证明 ii

是通过事件定义的 ,现把这一概念推广到一般的情 (θ) π量 ,取先验分布 ,则由定义 2 可知 ,后验分布是 0 3: θ( ) (θ( ) ) 况关于 , T x的函数 ,不妨记为 f , T x, 有设 (Ω , F , P) 为一概率空间 , f ( x) 是定义在 Ω π (θ) ( θ)p x | 0 (θ( ) ) π(θ) f , T x= | x= . ( ( ) ) ( 上 F 的可测函数 , E f x存在且有限 , 又设 R , π(θ) ( θ) θp x | d 0 θ? ) ( ) (Ω ) ( ) B为一可测空间 , t x为 , F , P到 R , B的

令 ( ) 映射 , g t是 B 可测 ,且满足

(θ( ) ) f , T x3 (θ( ) ) g , T x= ,( ) ( ) ( ) ( ) f xd p x= g td p t, Π B ? B , - 1 π(θ) 0 ( )?t B ?B

- - 收稿日期 :2002 02 27

作者简介 :翟艳敏 (19772) ,女 ,硕士生

()四川师范大学学报自然科学版 25 卷516

3 讨论 π ( ) (θ) ( θ) θh x= p x | d,0 θ ?

从以上命题中可看出 : 则上式可化为

() 1经典统计只使用样本信息 , 而贝叶斯统计 p ( x | θ) = g (θ, T ( x) ) ?h ( x) .

是把先验信息和样本信息综合起来 , 形成后验信由 (ii) 证明 (iii) . 若

息 . 定义 2 正反映了贝叶斯学派的主要观点 ,并且这 p ( x | θ) = g (θ, T ( x) ) ?h ( x) ,

一定义明确的表明统计量 T ( x) 和样本 X 所含的θ 则在 X = x 的条件下 ,参数 θ的后验分布为

信息一样多 ; π(θ) ( θ)p x | π(θ) = | x= () 2定义 2 与因子分解定理具有等价性 , 说明 π(θ) ( θ) θp x | d θ? 此定义与经典统计中的定义是一致的 ,从而表明经 π(θ) ( ( ) )g x , T x ()1 . 典统计与贝叶斯统计在充分统计量上是一致的 ; π(θ) ( ( ) ) θg x , T xd θ? () () () () 3由 iii可证明 i,故条件 iii也可作为充 T 对 Π B ? B 的 ,因 p为 p 的诱导测度 ,故分统计量的一种贝叶斯定义 ,据此直接易证因子分 T - 1 (( )( ) ) pB pT θ = θ B , 解定理 ;

即 (4) 在一般情况下 , 若证明一个统计量 T ( x)

T T 的充分性 , 既可从定义出发 , 也可利用因子分解定 ( θ) ( θ) p t | d p = p x | d p , - 1 Γ( )?B?B ( θ) 理 ,或者证明其由样本分布 p x | 导出的后验分

π(θ) (θ( ) )g , T x ) ( 例, X 设 X = X, X, 是来自泊松分布 1 2 n ()2 .

π(θ) (θ( ) ) θg , T xd (λ) p 的一个样本 ,则样本的联合密度为 θ? n x?i () () 12由和式可得 i = 1 λ - nλ ( λ)p x | = e . n T π(θ) ) π(θ| t . x= | ( )x! i ?i = 1 () () 由 iii证明 i. 若

T ( ) λ量 . 由泊松分布的可加性知 , T x服从参数为 n (θ) π(θ) p t | π(θt ) = . | T 的泊松分布 ,即 ( θ) π(θ) θp t | d t θ? ( λ) λ n- n ( λ)p t | e .= ( ) θ显然 ,上式的右端可表示为关于 , T x的函数形 t !

( ) λλ式 ,由定义 2 可得 T ( x) 是充分统计量 . 证毕. 若取的先验分布为 Ga a , b, a , b 已知 ,则的后

第 5 期翟艳敏 : 充分统计量的贝叶斯定义及其应用517

n 从而 ( ) 验分布可使用充分统计量 T x= x算出. 即i 3 ? π(λ) π(λ)π(λ) | x= | t = | t . i = 1 λλ t - na - 1 - b3 π(λ| T = t) ? ( nλ) e λe ? ( ) λ故T x也是的充分统计量. )λ ( a + 1 - 1 - n + b) ()λ( t , n + b, 3 e , Ga a + θ同理 ,在给定 X = x 的条件下 ,后验分布为 1 1

a + x - 1 - ( b + 1)λ 1 即后验分布服从以 a + t , n + b 为参数的伽玛分布. (λ) πλe , | x? 1

若令 ( ) ()Ga a + x, b + 1. 4 1

参考文献

1 陈希儒 . 数理统计引论 M . 北京 :科学出版社 ,1997. 58,74.

张尧庭 ,陈汉峰 . 贝叶斯推断 M . 北京 :科学出版社 ,1991. 19,20. 2

严士健 ,王隽骧 ,刘秀芬 . 概率论基础 M . 北京 :科学出版社 ,1999. 300,308. 3

Bayes’Definition of Sufficient Statistics and Its Application

ZHAI Yan2min

( )Depterment of Application Mathematics , Southwest Jiaotong University , Chengdu 610031 , Sichuan

Abstract : Sufficient statistic is a very important concept in studying the statistical problems. In the classical statistics , its definition is de2 scribed by means of expectation , which involves much mathematical knowledge and can not be easily understood. In this paper this concept is redefined from the point of view of Bayes’statistics and an equivalent proposition is proved by this definition. A simple and efficient method determing whether or not a statistic is sufficient .

Key words : Sufficient statistics ; Prior distrbution ; Posterior distrbutionp ; Conditional expection

2000 MSC :62F15

(编辑刘刚)

范文二：充分统计量的贝叶斯定义及其应用

　2002年9月　第25卷　第5期四川师范大学学报(自然科学版)

　Journal of Sichuan Normal University (Natural Science ) Sept . , 2002　

Vol . 25, No . 5　

充分统计量的贝叶斯定义及其应用

翟艳敏

(西南交通大学应用数学系, 四川成都610031)

　　摘要:充分统计量在简化统计问题中是一个非常重要的概念. 在经典统计中, 它的定义是使用数学期望来叙述的, 用到的数学知识较多且不易理解, 而使用Bayes 统计的观点定义充分统计量, 从而证明有关充分统计量的等价命题, 为判断一个统计量的充分性提供了简单有效的方法.

关键词:充分统计量; 先验分布; 后验分布; 条件期望

中图分类号:O212. 8　　文献标识码:A 　　文章编号:1001-8395(2002) 05-0515-03

0　引言

统计学中有二个主要学派:经典学派(或频率学派) 和贝叶斯学派. 他们之间有共同点, 又有不同点. 而充分统计量是经典统计学派和贝叶斯学派相一致的少数几个论点之一.

统计量的充分性是费希尔于1922年提出的, 但充分性的严格叙述和证明是P . R . Halmos 和L . J . Sava ge 在1949年完成的. 充分统计量直接的、模糊的说法就是“不损失信息”的统计量. 在经典统计中, 充分统计下, 样本X 的条件分布不依赖于θ. 文[1]证明了统计量的充分性和因子分解定理都是比较复杂且不易理解. 文[2]使用贝叶斯统计的观点定义了充分统计量, 本文利用此种定义证明与因子分解定理的等价性以及贝叶斯统计中充分统计量的等价条件, 整个证明过程简单且易理解. 最后讨论说明与经典统计中的定义是等价的, 并且举例说明其应用性.

其中p 是p 的诱导测度. 则称g (t ) 为f (x ) 对t 的条件数学期望, 记为E (f (x ) |t ) .

定义2　充分统计量　设X =(X 1, X 2, …,X n ) 是来自密度函数p (x |θ) 的样本, 称T =T (x ) 是充分的, 如果对θ任意先验分布π(θ) , 相应的后验分布π(θ|x ) 总可表示为与θ, T (x ) 有关的函数形式.

＊

2　主要命题

命题1　设(Ψ, F , P ) 是概率空间, X =(X 1, X 2, …,X n ) 是来自密度函数p (x |θ) 的一个样本, T =T (x ) 是(Ψ, F , P ) 到(R , B ) 的统计量, 密度函数为p (t |θ) , p 是p 的诱导测度, 则以下条件是等价的:

(i ) T (x ) 是参数θ的充分统计量;

(ii ) p (x |θ)=g (θ, T (x ) ) ·h (x ) . 即样本的联合密度可分解成只与θ, T (x ) 有关的函数和只与x 有关的函数的乘积;

(iii )π(θ|x ) =π(θ|t ) , 即由样本算出的后验分布与由统计量算得的后验分布相同.

证明　由(i ) 证明(ii ) . 若T (x ) 是θ的充分统计量, 取先验分布πθ) , 则由定义2可知, 后验分布是0(关于θ, T (x ) 的函数, 不妨记为f (θ, T (x ) ) , 有f (θ, T (x ) )=π(θ|x )=令

π0(θ) p (x |θ)

1　基本概念

定义1　条件期望　在初等概念中, 条件期望是通过事件定义的, 现把这一概念推广到一般的情况

[3]

设(Ψ, F , P ) 为一概率空间, f (x ) 是定义在Ψ

上F 的可测函数, E (f (x ) ) 存在且有限, 又设(R , B ) 为一可测空间, t (x ) 为(Ψ, F , P ) 到(R , B ) 的映射, g (t ) 是B 可测, 且满足

∫

. πθ) p (x |θ) d θ0(

∫

-1

(B )

f (x ) d p (x )=

∫

g (t ) d p (t ) , B ∈B ,

＊

g (θ, T (x ) )=

f (θ, T (x ) )

0(θ)

　　收稿日期:2002-02-27

　　516

四川师范大学学报(自然科学版) 25卷

h (x )=

则上式可化为

∫

π0(θ) p (x |θ) d θ, θ

3　讨论

从以上命题中可看出:

(1) 经典统计只使用样本信息, 而贝叶斯统计是把先验信息和样本信息综合起来, 形成后验信息. 定义2正反映了贝叶斯学派的主要观点, 并且这一定义明确的表明统计量T (x ) 和样本X 所含的θ信息一样多;

(2) 定义2与因子分解定理具有等价性, 说明此定义与经典统计中的定义是一致的, 从而表明经

(1)

典统计与贝叶斯统计在充分统计量上是一致的;

(3) 由(iii ) 可证明(i ) , 故条件(iii ) 也可作为充分统计量的一种贝叶斯定义, 据此直接易证因子分解定理;

(4) 在一般情况下, 若证明一个统计量T (x ) 的充分性, 既可从定义出发, 也可利用因子分解定理, 或者证明其由样本分布p (x |θ) 导出的后验分布π(θ|x ) 和统计量T (x ) 导出的后验分布π(θ|t ) 相同; 反之, 若

π(θ|x )≠π(θ|t ) ,

则T (x ) 不是充分统计量;

(5) 若已知T (x ) 是充分统计量, 则在求后验分布时, 可用统计量算出, 从而简化后验分布的计算.

p (x |θ)=g (θ, T (x ) ) ·h (x ) .

　　由(ii ) 证明(iii ) . 若

p (x |θ)=g (θ, T (x ) ) ·h (x ) ,

则在X =x 的条件下, 参数θ的后验分布为

π(θ|x )=

π(θ) p (x |θ)

∫

θT

π(θ) p (x |θ) d θ

∫

θT

π(θ) g (x , T (x ) ) d θ

π(θ) g (x , T (x ) )

对 B ∈B 的, 因p 为p 的诱导测度, 故

p (B )=p θ(T (B ) ) ,

即

-1

∫

T B T

p (t |θ) d p =

∫

-1

Γ(B )

p (x |θ) d p ,

B ∈B .

由定义1可知

p (t |θ)=E (p (x |θ) |T =t )=E (g (θ, T (x ) ) ·h (x ) |T =t )=g (θ, T (x ) ) E (h (x ) |T =t ) .

于是, 在T =t 的条件下, 参数θ的后验分布为

π(θ|t )=

∫

T θ

p (t |θ) π(θ) d θ

(2)

(t |θ) π(θ)

4　应用

例　设X =(X 1, X 2, …,X n ) 是来自泊松分布p (λ) 的一个样本, 则样本的联合密度为

p (x |λ)=

令

i =1-n λe . x i ! ) ∏(

∫

π(θ) g (θ, T (x ) ) d θ

π(θ) g (θ, T (x ) )

由(1) 和(2) 式可得

π(θ|x )=π(θ|t ) .

　　由(iii ) 证明(i ) . 若

π(θ|x )=π(θ|t ) ,

又

π(θ|t )=

故

π(θ|t )=

T T

∑x i

i =1

g (λ, T (x ) )=λ　e

∑x i

-n λ

∫

θT θ

, T

p (t |θ) π(θ) d θ

h (x )=(x i ! ) ) , ∏(

i =1

-1

由因子分解定理可知, T (x )=∑x i 是λ的充分计

i =1

∫

. T p (t |θ) π(θ) d θ

p (t |θ) π(θ)

量. 由泊松分布的可加性知, T (x ) 服从参数为n λ的泊松分布, 即

(n λ) -n λ

p (t |λ)=e .

t !

a b , t

显然, 上式的右端可表示为关于θ, T (x ) 的函数形式

第5期翟艳敏:充分统计量的贝叶斯定义及其应用

　　517

验分布可使用充分统计量T (x )=

π(λ|T =t )∝(n λ) e λ若令

T (x )=

＊

a +1-1

-(n +b ) λ

i =1

-n λa -1-b λ

即∑x i 算出.

∝

(3)

从而

π(λ|x )=π(λ|t )=π(λ|t ) .

故T (x ) 也是λ的充分统计量.

同理, 在给定X 1=x 1的条件下, θ后验分布为

π(λ|x 1)∝λ

比较(3) 和(4) 式可得

π(λ|x )=π(λ|t )≠π(λ|x 1) ,

故x 1不是充分统计量.

a +x -1-(b +1) λ

＊

λe

＊

e ～Ga (a +t , n +b ) ,

即后验分布服从以a +t , n +b 为参数的伽玛分布.

T (x ) , n

e ～

(4)

G a (a +x 1, b +1) .

同计算π(λ T =t ) 一样可得

＊＊＊

π(λ|T =t )～G a (a +nt , n +b ) , 参考文献

[1]陈希儒. 数理统计引论[M ]. 北京:科学出版社, 1997. 58～74. [2]张尧庭, 陈汉峰. 贝叶斯推断[M ]. 北京:科学出版社, 1991. 19～20.

[3]严士健, 王隽骧, 刘秀芬. 概率论基础[M ]. 北京:科学出版社, 1999. 300～308.

Bayes ' Definition of Sufficient Statistics and Its Application

ZHAI Yan -min

(De pte rment of Application M athe matics , Southwes t Jiaotong Uni vers ity , Chengdu 610031, S i chuan )

A bstract :Sufficient statistic is a very important concept in studying the statistical problems . In the classical statistics , its definition is de -scribed by means of expectation , which involves much mathematical knowledge and can not be easily understood . In this paper this concept is redefined from the point of view of Bayes ' statistics and an eq uivalent proposition is proved by this defin ition . A simple and efficient method determing whether or not a statistic is sufficient .

Key words :Sufficient statistics ; Prior distrbution ; Posterior distrbutionp ; Conditional expection 2000MSC :62F15

(编辑　刘　刚)

范文三：充分统计量

§6.4 充分统计量

我们先分析一下上节中导出的罗—克拉美不等式中等号成立的充要条件（6.26）。

∑

i =1

?log f (ξi ；θ)

?θ

=K （η-θ）

其中K 不依赖于ξ1，ξ

，?，ξ

而可能依赖于θ。对这等式两端求对θ的积分，

，?，ξ

?∑

或者

?log f (ξi ；θ)

?θ

θ=A (θ) η+B (θ) +C （ξ1，ξ

）

i =1

logL =log ∏f (x ；θ) =A (θ) y +B (θ) +C ( x1，x 2，? ，x n ) （6.43）

i =1

这里y =u (x 1，x 2，? ，x n ) 。由此得出，似然函数L （x 1，x 2，? ，x n ）有形状

L=e

A (θ)

+B (θ)

h （x 1，x 2，? ，x n ）（6.44）

，xn ）

这里h （x 1，x 2，? ，x n ）=e

C （（x，

不依赖于θ，A (θ) 和B (θ) 只是θ的函

数，所以使罗—克拉美不等式中等号成立的条件有下列两个：（1）似然函数L 能分解成两个因子，即

L （θ; x 1, ?, x n ）=g (y; θ) h （x 1，x 2，? ，x n ）（6.45）

其中第一个因子只依赖于y 和θ, 第二个因子在y 值已知时不依赖于θ；

（2）第一个因子有指数型分布

g (y; θ)=e

A (θ) y +B (θ)

（6.46）

满足条件(1)的统计量η称为参数θ的充分统计量。满足条件(2)的η的分布为指数型分布。反过来，如果一个无偏估计是充分的，且其分布为指数型，那么这个就是一个有效估计。

下面我们将分别研究充分统计量和指数型分布。

在引入充分统计量的概念以前，我们先说明了的直观含义。我们知道统计量是子样的函数，它把子样中所含的有关所研究问题的信息集中起来作为我们进行统计推断的依据。由于统计量有很多，那么怎样的统计量是最佳的呢？直观的想法是，一方面要尽可能地简单，另一方面又要能提供子样所含的“全部信息”。怎样理解“全部信息”呢？在数理统计学中，子样ξ1，ξ

，?，ξ

给我们提供了母

体的信息。如果母体的概率函数依赖于参数θ，子样当然也包含θ的信息，但是依赖于子样的统计量η却不一定包含θ的全部信息。例如在一般情形下，子样的联合概率函数（即似然函数）能分解成

L （θ; x 1, ?, x n ）=g (y; θ) h （x 1，x 2，? ，x n ）

h （x 1, x ?, x n ; θ）是条件η=y 下的条件概率函数，它一般是依赖于θ的函数。如

果θ未知，h （x 1, x ?, x n ; θ）也就不可能知道，这时统计量η并没有反映子样所含有的“全部信息”，只有在不依赖于θ时，统计量η才反映了子样的“全部信息”。正因为这一点，费歇命名这种反映“全部信息”的统计量为充分统计量。

例6.15（略）

从上面（6.44）式和例6.15看到，η为θ的一个充分统计量，子样的联合概率函数L 应该分解成两个因子，一个因子与η的概率函数有关，它可以依赖于未知参数θ，而另一个因子应该是η条件下子样ξ1，ξ引出充分统计量的定义。

，?，ξ

的条件概率函数，它与θ无关。由此我们

定义6.7 设ξ1，ξ

，?，ξ

是取自具有概率函数f (x ; θ) ，θ∈Θ的母体ξ

ξ的一个容量为n 的子样。设η=u(ξ1，

若

ξ，?，

) 是一个统计量，有概率函数g (y ; θ) 。

f (x 1; θ) f (x 2; θ) f (x n ; θ)

g [u (x 1, , x n ); θ]

=h(x

, ?, x n ) （6.47）

成立，且每当y=u(x 1，? ，x

) 取一固定值时，η=y发生条件下的条件概率函数h

（x 1, x ?, x n ）不依赖于θ，则称η为θ的一个充分估计量。例6.16 设母体ξ有密度函数

?e -(x -θ) , θ<∞, θ∈θ="(-∞,">

f (x ; θ) =?

0, 其他?

和ξ

(1)

<ξ(2)><><ξ(n )="">

(1)

由第五章定理5.5系2知最小次序统计量ξ

的密度函数为

?ne

g (y ; θ) =?

于是

-n (y -θ)

, θ<>

0, 其他

f (x 1; θ) f (x 2; θ) f (x n ; θ)

g (y ; θ)

e -=

∑

i =1

x i +n θ

e -ne

∑

i =1

x i

-n (y -θ)

-n (minx i )

（, 1

由于对一切i,i=1,2, ?，n ，x i ≥y=minx j , 所以当y=minx j 取固定值时，（6.48）右端的式子不依赖于θ，且x i 的值域x i ≥y 也不依赖于θ。从而证明了η=ξ

例6.17（略）

(1)

是θ的充分统计量。

定理6.2 设ξ1，ξ

，?，ξ

是取自具有概率函数f (x ; θ) ，θ∈Θ的母体ξ

的一个子样，则统计量η=u1(ξ1，?，ξ负函数K 1和K 2，使得等式

) 一是个充分统计量的充要条件是存在两个非

f (x 1; θ) f (x 2; θ) ?f (x ; θ)

= K1[ u1( x1? ，x n ) ; θ] K2( x1? ，x n ) （6.48）成立，并且当y 1=u1(x 1，? ，x n ) 取一定值时，函数K 2(

? ，x n ) 不依赖于θ。

（证明略）

例6.18（略）例6.19（略）

我们知道达到罗—克拉美不等式下界的统计量的分布有指数形状。下面我们来研究形式略为普遍一点的的指数分布族。这种分布族包括正态分布族，二分布族，单参数分布族等许多常见的重要分布族，而且以后还会见到它们所含的参数具有充分统计量，因此在许多近代数理统计理论中起着重要作用。在这里我们只介绍单参数情形。一个分布族{f (x ; θ) ：θ∈Θ}，Θ={?：r

<><δ}，其中r>

数指数族分布，如果存在定义在Θ上的实值函数c (θ) 、d (θ) 和定义在空间a

?exp[c (θ) T (x ) +d (θ) +S (x )],a <>

f (x ; θ) =? （6.52）

0, 其他?

这里f (x ; θ) 为概率函数。

注意：这里T (x)和S (x)可以不唯一，但要强调的是a 和b 不能依赖于参数θ。

例6.20（略）例6.21（略）

定理6.3 设随机变量ξ具有单参数指数族分布(6.52)。ξ1，ξ

，?，ξ

为取

自母体ξ的一个子样，则统计量∑T (ξi ) 是参数θ充分统计量。（证明书略）

i =1

定理6.4 设母体ξ具有概率函数f (x ; θ) ，θ∈Θ，ξ1，ξ

自这一母体的子样。若未知参数θ有一个充分统计量η=u(ξ1，ξ

，?，ξ

为取

，?，ξ

) 存在，

则似然方程

?log L ?θ

=0 （6.53）

的解一定是y=u(x 1，x 2，? ，x n ) 的函数。（证明略）

范文四：8.充分统计量

充分统计量

定义2.6 设X1,X 2,…，Xn 是来自总体F(x,θ)的简单随机样本(θ∈Θ)，称

U =?(X 1, L , X n )（?可以是向量值的函数）是θ的充分统计量。若X1,X 2,…，X n 的

联合密度函数（或概论函数）L（X1,X 2,…，Xn ；θ）有分解式：

L (x 1, L , x n ; θ)=q ???(x 1, L , x n ), θ??h (x 1, L , x n )

（2.1）

充分统计量概括了样本中所含未知参数的信息。充分统计量不止一个，例如样本本身（X 1, L , X n ）就是未知参数的一个充分统计量（这从（2.1）直接看出）。什么样的充分统计量最有价值呢？显然，充分统计量

?=(?1(X 1, L , X n ), L , ?l (X 1, L , X n )) 的维数l 越小就越有价值，因为我们用尽可

能少的量概括了样本中提供的信息。倒如设样本值x 1, L , x n 来自正态分布，我们

可用两个量，∑(x i ?) 2来概括n 个原始数据提供的信息。以上的几个例子

n 1里都存在降维（即维数小于样本量）的充分统计量，而且不管样本量多么大，永远有维数与未知参数个数相等的充分统计量，这当然是好事。

但要注意的是，并不是任何分布族永远有降维的充分统计量。例如著名的威布尔分布，其密度函数为

????x ???m m ?1

f (x ; m , η) =I (0,∞) (x ) η?mx exp ?????

????η??

（m >0, η>0）。可以证明，当n ≥3时任何统计量

?=(?1(X 1, L , X n ), L , ?l (X 1, L , X n )) (l

还有一个重要概念是所谓完全性。称统计量?(X 1, L , X n ) 是完全的，若对任何（Borel 可测）函数u (?) ，只要E θu [?(X 1, L , X n )]=0（对一切θ）就可推出

P 。这里P θ(u [?(X 1, L , X n )]=C ) =1（对一切θ）θ是与参数θ相应的概率，E θ是与P θ相应的数学期望。

可以证明，前面几个例子中给出的充分统计量都是完全的。

范文五：充分统计量

?6.4 充分统计量

我们先分析一下上节中导出的罗—克拉美不等式中等号成立的充要条件(6.26)。

n,,,log()f,i,=K(-) ,,,,i,1

,,,，，?，而可能依赖于。对这等式两端求对的积分，其中K不依赖于,,n12

n,,,logf(,)i,,,d,=(，，?，) A(,),，B(,)，Cn,12,,,,1i

或者

f(x,,) logL=log=( x，x，? ，x) (6.43) A(,)y，B(,)，C,n21i,1

=u(x，x，? ，x)。由此得出，似然函数(x，x，? ，x)有形这里yLnn2211

状

A(,)，B(,)y L=eh(x，x，? ，x) (6.44) n21

C，，x,？,x，ne这里h(x，x，? ，x)=不依赖于，A()和B()只是的函,,,,n21

数，所以使罗—克拉美不等式中等号成立的条件有下列两个:

(1)似然函数L能分解成两个因子，即

L(,;x,?,x)=g(y;,)h(x，x，? ，x) (6.45) nn211

其中第一个因子只依赖于y和,,第二个因子在y值已知时不依赖于,;

(2)第一个因子有指数型分布

A(,)，B(,)yeg(y;,)= (6.46)

,,满足条件(1)的统计量称为参数,的充分统计量。满足条件(2)的的分布为指数型分布。反过来，如果一个无偏估计是充分的，且其分布为指数型，那么这个就是一个有效估计。下面我们将分别研究充分统计量和指数型分布。

在引入充分统计量的概念以前，我们先说明了的直观含义。

我们知道统计量是子样的函数，它把子样中所含的有关所研究问题的信息集中起来作为我们进行统计推断的依据。由于统计量有很多，那么怎样的统计量是最佳的呢,直观的想法是，一方面要尽可能地简单，另一方面又要能提供子样所含的“全部信息”。

,,,怎样理解“全部信息”呢,在数理统计学中，子样，，?，给我们提供了母n12

,,体的信息。如果母体的概率函数依赖于参数，子样当然也包含的信息，但是依赖于子

,,样的统计量却不一定包含的全部信息。例如在一般情形下，子样的联合概率函数(即似然函数)能分解成

,,L(;x,?,x)=g(y;)h(x，x，? ，x) nn211

,h(x,x?,x;)是条件=y下的条件概率函数，它一般是依赖于的函数。如,,n1

,果未知，h(x,x?,x;)也就不可能知道，这时统计量并没有反映子样所含有的,,n1

,“全部信息”，只有在不依赖于时，统计量才反映了子样的“全部信息”。正因为这一点，,

费歇命名这种反映“全部信息”的统计量为充分统计量。例6.15(略)

,从上面(6.44)式和例6.15看到，为的一个充分统计量，子样的联合概率函数L,

,应该分解成两个因子，一个因子与的概率函数有关，它可以依赖于未知参数，而另一个,

,,,,因子应该是条件下子样，，?，的条件概率函数，它与无关。由此我们,n12

引出充分统计量的定义。

,,,,f(x;,)定义6.7 设，，?，是取自具有概率函数，?的母体,,n12

,,,,g(y;,)的一个容量为n的子样。设=u(，，?，)是一个统计量，有概率函数。n12

若

,,,f(x;)f(x;)？f(x;)12n =h(x,?,x) (6.47) n1g[u(x,？,x);,]1n

,成立，且每当y=u(x，? ，x)取一固定值时，=y发生条件下的条件概率函数hn1

,(x,x?,x)不依赖于，则称为的一个充分估计量。 ,,n1

, 例6.16 设母体有密度函数

,(x,,),e,x,,,,,,,,,(,,,,)fx(;),, ,0,其他,

,,,和<><是取自这个母体的子样的次序统计量。>

, 由第五章定理5.5系2知最小次序统计量的密度函数为 (1)

,n(y,,),,,,,ne,y

g(y;,)= ,0,其他,

于是

exnex,，,,,,iif(x;)f(x;)？f(x;),,,12ni,1i,1,, ,(1<>

由于对一切i,i=1,2, ?，n，x?y=minx,所以当y=minx取固定值时，(6.48)右端的式jji

,,子不依赖于，且x的值域x?y也不依赖于。从而证明了=是的充分统计量。 ,,,(1)ii

例6.17(略)

,,,,f(x;,)，，?，是取自具有概率函数，?的母体定理6.2 设,,n12

,,,的一个子样，则统计量=u(，?，)一是个充分统计量的充要条件是存在两个非n11

负函数K和K，使得等式 21

f(x;,)f(x;,)f(x;,)? 12

= K[ u( x? ，x);] K( x? ，x) (6.48) ,nn21111

=u(x，? ，x)取一定值时，函数K( x? ，x)不依赖于。成立，并且当y,nn21111(证明略)

例6.18(略)

例6.19(略)

我们知道达到罗—克拉美不等式下界的统计量的分布有指数形状。下面我们来研究形

式略为普遍一点的的指数分布族。这种分布族包括正态分布族，二分布族，单参数分布族等

许多常见的重要分布族，而且以后还会见到它们所含的参数具有充分统计量，因此在许多近

代数理统计理论中起着重要作用。在这里我们只介绍单参数情形。

,,,,f(x;,):,,,,:r,,,, 一个分布族，=，其中r和是常数，称做单参,,数指数族分布，如果存在定义在上的实值函数c()、d()和定义在空间a<>

,,exp[c()T(x)，d()，S(x)],a,x,b,f(x;),, (6.52) ,0,其他,

f(x;,)这里为概率函数。

注意:这里T(x)和S(x)可以不唯一，但要强调的是a和b不能依赖于参数。 ,

例6.20(略)

例6.21(略)

,,,,定理6.3 设随机变量具有单参数指数族分布(6.52)。，，?，为取n12

,T(,)自母体的一个子样，则统计量是参数充分统计量。(证明书略) ,,ii,1

,,,,f(x;,)定理6.4 设母体具有概率函数，?，，，?，为取,,n12

,,,,自这一母体的子样。若未知参数有一个充分统计量=u(，，?，)存在，,n12

则似然方程

,logL (6.53) ,0,,

，x，? ，x)的函数。(证明略) 的解一定是y=u(xn21

转载请注明出处范文大全网 » 充分统计量的贝叶斯定义及其应