范文一:西北工业大学数理统计(复习)
数理统计复习
第一章 基础知识
一、多维随机变量及分布
分布函数: X ~F (x )=P {X ≤x },-∞
(X , Y )T ~F (x , y )=P {X ≤x , Y ≤y }
X =(X 1, X 2, , X n )T ~F (x 1, x 2, , x n )=P {X 1≤x 1, X 2≤x 2, , X n ≤x n } +∞),F Y (y ) =F (+∞, y ) 边缘分布: F X (x ) =F (x ,
+∞
f X (x ) =
-∞
?f (x , y ) dy , f
+∞
Y
(y ) =
-∞
?f (x , y ) dx
随机变量的独立性:
F (x 1, x 2, , x n )=F X 1(x 1)F X 2(x 2) F X n (x n ) f (x 1, x 2, , x n )=f X 1(x 1)f X 2(x 2) f X n (x n )
P {X 1=x 1, X 2=x 2, , X n =x n }=P {X 1=x 1}P {X 2=x 2}?P {X n =x n }
随机变量函数的分布:
1、已知X ~f X (x ) ,则Y =g (X ) 的分布密度为
f Y (y ) =f X (h (y )) |h '(y ) |
其中x =h (y ) 为单调函数y =g (x ) 的反函数。 2、和的分布:求Z =X +Y 的f Z (z )
f Z (z )=
+∞
-∞
?f (x , z -x )dx =?f (z -y , y )dy
-∞
+∞
X , Y 独立+∞
=
-∞
?f (z -y )f (y )dy
X
Y
3、商得分布:求Z =
X
的f z (z ) Y
X , Y 独立+∞
f Z (z )=
+∞
-∞
?y f (yz , y )dy
=
-∞
?y f (yz )f (y )dy 。
X
Y
4、随机向量变换的分布:
设 (X 1, X 2) ~f (x 1, x 2) , 令 ?
?Y 1=g 1(X 1, X 2)
?Y 2=g 2(X 1, X 2)
求 (Y 1, Y 2) 的分布密度q (y 1, y 2) 。 求解步骤:
(1) 求反变换:
?X 1=h 1(Y 1, Y 2)
?,
X =h (Y , Y ) 212?2
?x 1=h 1(y 1, y 2)
?
x =h (y , y ) 212?2
(2) 求雅可比行列式J ,即
?x 1
?y 1
J =?
x 2?y 1
?x 1?y 2
?x 2?y 2
(3) 所求分布密度为:
q (y 1, y 2) =|J |?f [h 1(y 1, y 2), h 2(y 1, y 2)]
条件密度和条件期望: f (y |x ) =
f (x , y ) f (x , y )
,f (x |y ) = f X (x ) f Y (y )
?
E (X |y ) =?xf (x |y ) dx =g (y ) ,E (X |Y ) =g (Y ) .
-∞
?+∞
性质:
?n ?n
1、 E ∑a i X i |y ?=∑a i E (X i |y )
?i =1?i =1
2、 E [h (X ) |y ]=?-∞h (x ) f (x |y ) dx 3、 E [E (X |Y )]=EX
多元正态分布: X =(X 1, X 2, , X n )~N (μ,Σ)
T
+∞
f (x )=
?1?T -1
()()exp -x -μΣx -μ?? 1n
?(2π2Σ?2
T
1
g (t )=Ee i t
X
1??
=exp ?i μT t -t T Σt ?
2??
其中μ=E X . Σ=Cov (X, X ).
性质1. 若X =(X 1, X 2, , X n )~N (μ,Σ),则X 的子向量均服
T
从正态分布, 特别X i ~N (μi , σii ) ,i =1, 2, , n .
性质2. 若X =(X 1, X 2, , X n )~N (μ,Σ),则
T
X 1, X 2, ?, X n 独立?两两不相关.
??μ1??Σ11Σ12???X 1?
?,则 ?性质3. 设X = X ??~N Σ? μ??, ?
?2???2??21Σ22??
X 1~N (μ1, Σ11) X 2~N (μ2, Σ22) Σ12=Cov (X 1, X 2)
且 X 1, X 2独立?Cov (X 1, X 2)=Σ12=0 性质4. 若X =(X 1, X 2, , X n )~N (μ,Σ),则
T
Y =CX ~N C μ,C ΣC T .
随机向量的数字特征: X =(X 1, X 2, , X n )
T
()
E X =(EX 1, EX 2, , EX n )T
Σ=Cov (X, X )=E (X -E X )(X -E X )=σij
T
()
n ?n
其中:σij =E (X i -EX i )X j -EX j
Σ=Cov (X, X )=σij
()
()
n ?n
是对称非负定矩阵。
?1r 12 r 1n ??r 1 r ?
2n ?R =?21为X 的相关系数矩阵.
? ???r r r ?n 1n 2nn ?
其中r ij =
σij
为X i , X j 的相关系数 ii jj
+∞
二、随机变量的特征函数及性质
特征函数: g X (t )=Ee itX =e itx dF (x )
-∞
?
常见分布的特征函数:
1.
X ~B (n , p ),则有g (t )=pe it +q
n
it
()
2. X ~P (λ),则有g (t )=e λ(e 3. X ~U [a , b ],g (t )=
-1
)。
1
e itb -e ita
it b -a ()
4.
?σ2t 2?
X ~N μ, σ,则有g (t )=exp ?i μt -?
2??
(
2
)
特征函数性质:
性质1. 设X , Y 独立, Z =X +Y , 则g Z (t )=g X (t )g Y (t )。 性质2. Ex k =
1(k )
g (0)。 i X
性质3. 设Y =aX +b ,则g Y (t )=e ibt g X (at ) 多元特征函数:X =(X 1, X 2, , X n )
T
g X (t )=Ee i t X =E e i (t 1X 1+t 2X 2+ +t n X n )
T
其中 t =(t 1, t 2, , t n )
T
性质: 设(X 1, X 2, , X n )~g (t 1, t 2, , t n ),且X i ~g i (t ),i =1, 2, , n
则X 1, X 2, , X n 独立?g (t 1, t 2, , t n )=g 1(t 1)g 2(t 2)?g n (t n ) 三、常用分布族
1、Γ分布族:X ~Γ(α, β)。
?βαα-1-βx
x e , x >0设X 的分布密度为f (x )=?Γα
?0, x ≤0?
特征函数为g (t )=(1-it β)
-α
性质:Γ分布的可加性:若X i ~Γ(αi , β),i =1, 2, , n 且独立,
?n ?
则 ∑X i ~Γ ∑αi , β?。
i =1?i =1?Γ分布引出二个特殊分布:
1. Γ(1, β)=e (β), 2. Γ , ?=χ2(n )
n
?n 1?
?22?
2、χ2分布
定义:设X 1, X 2, , X n 独立且每个X i ~N (0, 1)
则
∑X
i =1
n
2i
~χ2(n ).
其分布密度和特征函数为:
n x -1-?122x e , x >0?2?n ?
f (x ) =?2Γ ?
?2???x ≤0?0,
g (t )=(1-2it )
-
n
2
χ2(n )性质: 设X ~χ2(n )
1. EX =n , DX =2n
2. 可加性:X ~χ2(n ), Y ~χ2(m ), 且X 、Y 独立,
则 X +Y ~χ2(n +m )
3、t 分布
定义:设X ~N (0, 1),Y ~χ2(n ),且X , Y 独立,
则 T =
4、F 分布
定义:设X ~χ2(n 1), Y ~χ2(n 2),且X , Y 独立,
X
~t (n ) 则 F =
12
~F (n 1, n 2) 1
~F (n 2, n 1) F
性质1 设F ~F (n 1, n 2),则
性质2 若T ~t (n ),则T 2~F (1, n ) 四、例题
1、设X ~B (N , p ) ,Y ~N (μ, σ2) 且X , Y 独立,则2X +3Y 的特征函数为 。
i 2t
g (t ) =g (2t ) g (3t ) =(pe +q ) e 解:2X +3Y X Y
1
i μ3t -σ29t 2n 2
2、设总体X ~χ2(m ), 样本X 1, X 2, , X n ,则样本均值 的特征函数为 。 解:g (t ) =g 1
11?2it ?
(t ) =g n (t ) =[g X i (t )]n = 1-?X i n n ?X i n ?∑∑i =1i =1
-
mn
2
?X 1?
(∑)3、设 X = ,其均值 2μ, X ??服从二维正态分布 N
?2?
向量 μ= ??,协方差阵为 ∑=
?0?
?1??12?
?,则X 的分布密度为 。 ??28?
解:
?1?T -1
()()exp -x -μ∑x -μ?? f (x 1, x 2)=1n
2?(2π)2∑2?
1
T -1???x 012?????x 1??0???1?1 1????? ? ? ? ? ? ?exp --- =? x ? 1?? 28? x ? 1??? 22???2??????122???2??????(2π28
=
1112111??
exp ?-x 12+x 1x 2-x 2-x 1+x 2-? 4π28248??
4、设随机变量X ,Y 独立,分别服从χ2(m ) 和χ2(n ) 分布,令 U =X +Y ,V =
X /m
, Y /n
(1) 问U ,V 是否相互独立?为什么? (2) 设X 1, X 2, , X N 是来自X 样本,求T =
和密度函数。
解:
m x n y -1--1-11x 2e 2n y 2e 2 (1) (X , Y ) ~f (x , y ) =f X (x ) f Y (y ) =m
?m ??n ?22Γ ?22Γ ?
?2??2?
∑X
i =1
N
i
的特征函数
muv ??u =x +y x =??mv +n ?
, ?v =x /m 的反变换为 ?
?y =nu ?y /n ??mv +n ?
?x
J =?u
?y ?u
?x
?v =-mnu
?y (mv +n )
?v
muv nu muv nu
, ) =|J |f X () f Y () (U , V ) ~f UV (u , v ) =|J |f (
mv +n mv +n mv +n mv +n
X /m
~F (m , n ) U =X +Y ~χ2(m +n ) , V =
Y /n ?m +n ?m n m
-1Γ ?m +n u n v -1-1m 2?
f UV (u , v ) =u 2e 2??=f U (u ) f V (v ) ?????m +n ?Γ ?Γ ?(mv +n ) 222Γ ?
?2??2??2?
故
U ,V 相互独立。
(2)g T (t ) =g N
N
∑i =1
X i
(t ) =g X 1(t ) g X 2(t ) g X N (t ) =[g X (t )]=(1-2it )
N
-
mN
2
T =∑X i ~χ2(Nm )
i =1
Nm t -1-?1
t 2e 2, t >0???Nm ? f T (t ) =?22Γ ?
2???
?t ≤0?0,
第二章 统计量与抽样分布
一、 基本要求
总体X ,样本(X 1, X 2, , X n ),样本值:(x 1, x 2, , x n ) 简单随机样本:X 1, X 2, , X n 独立同分布且与总体X 同分布 此时:EX i =EX , DX i =DX , EX i k =EX k 。
统计量:样本的函数f (X 1, X 2, , X n )且f 不含未知参数。
样本矩:
21n 1n 1n 222
=∑X i S n =∑(X i -) =∑X i -
n i =1n i =1n i =1*
S n =
2
n 22
S n S n =S n n -1
1n k 1n
A k =∑X i B k =∑(X i -) k
n i =1n i =1
样本矩性质:
P P 2
1、 ??→EX , S n ??→DX
1n -12*2
DX , ES n =DX 。 2、 E =EX , D =DX , ES n =
n n
经验分布函数:
?0x
=x (k )≤x
??1x ≥x (n )
F n (x )的性质:nF n (x )~B (n , F (x ))。
E (F n (x ))=F (x ), D (F n (x ))=F (x )(1-F (x ))。 充分统计量:(X 1, X 2, , X n )的条件分布f (x 1, x 2, , x n T =t )
与θ无关,称T 为θ的充分统计量。
判别(因子分解定理):
T 是θ的充分统计量?∏f (x i , θ)=h (x 1, x 2, , x n )g (T , θ)
i =1n
1
n
完备统计量:若Eg (T )=0时,有g (T )=0, a . s 。
称T 是完备统计量。
指数型分布族:
?m ?
若∏f (x i , θ)=C (θ)h (x 1, x 2, , x n )exp ?∑b i (θ)T i (x 1, x 2, , x n )? i =1?i =1?
n
称{f (x , θ), θ∈Θ}为指数型分布族。 充分完备统计量判别: 对上述指数型分布族有
T =(T 1, T 2, , T m )为θ=(θ1, θ2, , θm )的联合充分完备统计量。
特别:m =1时,T 1为θ的充分完备统计量 。
m =2时,(T 1, T 2)为(θ1, θ2)的联合充分完备统计量。
2S n 正态总体下的分布:
?σ2?1n
μ, ?1、 =∑X i ~N ?, n i =1n ??
nS (n -1)S 2
(n -1), =~χ 2、 2
σσ
2n 2
*2n
2*
3、S n (或S n ) 独立。
2
4、T =
-μ
~t (n -1) *
S n ?σ2σ2?
5、-~N μ1-μ2, n +n ??
12??
6、T =
--(μ1-μ2)
n 1-1S n *+n 2-1S n *
21
2
2
1212~t (n 1+n 2-2)
n 1+n 2
7、F =
S
*2n 1
2
*S n 2
12
~F (n 1-1, n 2-1) 22
?
DX ?
? n ?
8、~N ? EX ,
近似
次序统计量:(X (1), X (2), , X (n ))
X (1)=min {X i } X (n )=min {X i }
1≤i ≤n
1≤i ≤n
次序统计量的分布:
1. X (1)的分布密度为f X ()(x )=n (1-F (x ))n -1f (x )
1
2. X (n )的分布密度为f X ()(x )=n (F (x ))n -1f (x )
n
样本中位数:
?X n +1?(2) ~
X =??1??
??X ?n ?+X ?n ??
? +1??2? ??2??2????
n 为奇数
n 为偶数
样本极差: R =X (n )-X (1) 二、例题
?3x 2, 0≤x ≤1
1、 设总体X ~p (x ) =?,样本X 1, X 2, , X n ,
其他?0,
2
=。 则D (X i +) = ;ES n
1
332
解:EX =?3x dx =; EX =?3x 4dx =;
4500
3
1
DX =EX 2-(EX ) 2=-
393
= 51680
??n (n +1) X 1(n +1) 2DX +(n -1) DX i ??D (X i +) =D +∑X j =?n n j =1?n 2
??j ≠i ??
n +33(n +3) =DX =n 80n n -13(n -1)
DX = ES n 2= n 80n
2、 设总体X ~N (0, σ2) ,样本X 1, X 2, , X 7,为使
?3??7?
Y =c 1 ∑X i ?+c 2 ∑X i ?服从χ2分布, 则
?i =1??i =4?
2
2
c 1=;c 2= 解:∑X i ~N (0, 3σ) ;∑X i ~N (0, 4σ2)
2
i =1
i =4
37
?3??7? ∑X i ? ∑X i ?
i =1?~χ2(1) ; i =4?~χ2(1) ; ? ? ? ?????
22
1?31?7??
X +X ? ?~χ2(2) 2∑i 2∑i
3σ?i =1?4σ?i =4?c 1=
13σ
22
c 2=2
14σ
2
。
3、 设总体X ~U [0,1],样本X 1, X 2, , X n ,
2
(1) 证明:Y =-2ln X ~χ(2) ;
(2) 求统计量T =-2∑ln X i 的概率分布。
i =1
n
?1, 0≤x ≤1解:(1) X ~p X (x ) =?
0, 其他?
Y =-2ln X 的反函数为 x =e
p Y (y ) =p X (e ) |(e ) '|
y
-y --
y 2
,故
2-1-y y ?1?1-2y e , y >0 ?e , y >0=?2=?2Γ(2)
??0, y ≤0?y ≤0?0,
即
Y =-2ln X ~χ2(2) ;
(2)由于样本X 1, X 2, , X n 独立且于U [0,1]同分布, 由(1)得:-2ln X 1, -2ln X 2, , -2ln X n 独立且于χ2(2) 同分布; 由χ2分布的可加性,得
2
T =-2∑ln X i ~χ(,即 2n )
i =1
x
-?1n -1x e , x >0?
T ~p (x ) =?2n Γ(n )
?0, x ≤0?
n
4、 设总体X ~N (2, 2) ,样本X 1, X 2, , X 7
17
求统计量 Y =∑(X i -2) 2的分布密度。
7i =1
27X i -22222
~χ2(7) 解: Y =∑() =χ7,其中 χ7
7i =17p Y (y ) =p χ72(
7y 7y 77y
) |() '|=p χ72() 2222
7y -1-?77y 722() e ?2, y >0 ?7
?
=?2?2Γ(7) 2
2?
?y ≤0?0,
5、 设总体X ~N (0, σ2) ,样本X 1, X 2, , X n ,X n +1,求
21?m 21?n +1??
(1)Y =?∑X i + ∑X i ??的概率分布及EY , DY ;
σ?n -m +1?i =m +1???i =1?
12m
(X m +1-∑X i ) 2
m i =m +1
(2)Z =的概率分布。 S m
1?n +1?22
X ~χ2(1) 解: (1)∑X i ~χ(m ), ∑i ?i =1(n -m +1) ?i =m +1?
1
且两者独立,故
2
1?m 21?n +1??
Y =2?∑X i + ∑X i ??~χ2(m +1)
σ?n -m +1?i =m +1???i =1?
m
2
EY =m +1DY =2(m +1)
112m
(2) (X m +1-∑X i ) ~N (0, (1-) σ2)
m m i =m +1
m 12m
(X m +1-∑X i ) 2~χ2(1) 2
(m -1) σm i =m +1
2mS m
σ
2
~χ2(m -1) 且两者独立,故
12m
(X m +1-∑X i ) 2
m i =m +1
Z =~F (1, m -1) 2
S m
第三章 参数估计
1、 估计量评价标准
?=θ 无偏估计: E θ
?=θ lim E θ渐进无偏估计: n
→∞
?, θ=E θ?-θ均方误差: MSE θ
()()
?
2E θ=θ
?, =D θ
求均方误差最小意义下的最优估计。
?1
最小方差无偏估计(MVUE ) :在无偏估计中方差最小者.
P ???-θ<ε=1。 θ?→θ,即lim="" p="">ε=1。>
n →∞
}
?=0, ?=θ, lim D θE θ相合估计判别:lim
n →∞n →∞
?) =(θ) 效率:e (θ
D θ
?=θ,D θ?= 有效估计判别: E θ
2
1?) =1。 或e (θ
nI (θ)
??2ln f (X , θ) ???ln f (X , θ)?
其中I (θ)=E >0. ?或I (θ) =-E ??2
?θ?θ?????) =1 ?=θ,lim e (θ渐进有效估计判别: E θn →∞
2
'()[]g θ?)]≥罗—克拉美不等式: D [g (θ nI θ 2、点估计量求法 求参数的矩估计:
(1)求总体矩,(2)样本矩代替总体矩,(3)解出矩估计。 求参数的最大似然估计:
(1) 求似然函数 L (θ)=∏f (x i )或L (θ) =∏P {X =x i }
i =1
i =1
n
n
(2) 一般地 :ln L (θ)=∑ln f (x i ),
i =1
n
?ln L (θ)
?=0, θ=θ
?θ
?=max L (θ) 特殊地: L θ
θ
()
?=θ?(x 1, x 2, , x n ) (3)解似然方程得θ
?=θ?(X 1, X 2, , X n )。 (4)得到最大似然估计量:θ
求参数的MVUE : (1)直接法:
①求出θ的充分完备统计量T ,
?=f (T )满足E θ?=Ef (T )=θ ②用T 构造θ
?=f (T )为θ的MVUE 。 ③ θ
(2) 间接法:
①求出θ的矩估计或最大似然估计θ?
?=θ,D θ?= ②验证 E θ
1
nI (θ)
求参数的有效估计:
(1) 直接法:
① 求参数θ的最大似然估计θ?; ② 将θ?表成:
?ln L (θ) ?-θ]; =C (θ)[θ
?θ
?是θ的充分估计量。 ③ 验证θ
(2)间接法:
①求出θ的矩估计或最大似然估计θ?;
?=θ,D θ?= ②验证 E θ
1
。 nI (θ)
求g (θ) 的估计:
?是θ的最大似然估计(或矩估计)若θ,g (x )连续,
则g (θ?) 是g (θ) 的最大似然估计(或矩估计)。 3、求参数的区间估计 一般方法:
(1) 从参数的点估计出发,构造一个合适的估计量; (2) 给定置信度1-α,构造一个大概率事件; (3) 解大概率事件得到参数的置信区间。
(一) 正态总体X ~N (μ, σ2) 参数的置信区间 (1)σ2已知, μ∈? -u ?
σ
, +u α
σ?
?
?
μ∈? -∞, +u α
?
2
σ?
σ??
, +∞? ?,μ∈ -u α
n ?n ??
**??S n S n
?-t (n -1) , +t (n -1) (2)σ未知, μ∈ ???
?(n -1) S *2(n -1) S *2?
n n ?(3)μ未知, σ2∈ , (n -1) χ1-α(n -1) ? χα?
??
n
?n ?2
∑(x i -μ) ∑(x i -μ) 2?i =1? , i =1(4)μ已知, σ2∈ χ(n ) χ1-(n ) ?
???
(二)两正态总体参数的置信区间
2
(1)σ12, σ2已知,
2222??σσσσ1212? --u +, -+u + μ1-μ2∈
n 1n 2n 1n 2???
2
(2)σ12=σ2,
?12*2*2
μ1-μ2∈ --t (n +n -2) (n -1) S +(n -1) S , α121n 12n 2 n n (n +n -2) 1212?
?12*2*2
?-+t α(n 1+n 2-2) (n 1-1) S n 1+(n 2-1) S n 2
n 1n 2(n 1+n 2-2) ??
*2*2??S S σ n 1?1
(3) , F (n -1, n -1) ∈F α(n 2-1, n 1-1) n α2122?** 1-σS n 2S n 2?2?2
2
122
4、例题
1、设总体X ~U [θ-1,θ+1],样本X 1, X 2, , X n ,则 θ的矩估计为;θ的最大似然估计为。 解: EX =
2θ?,θ?=; =θ,=θ
2
n
?1
?, θ-1≤x 1, x 2, , x n ≤θ+1
L (θ) =∏p (x i ) =?2n
i =1?其他?0, ?1
{x i },max{x i }≤θ+1?, θ-1≤min 1≤i ≤n =?2n 1≤i ≤n
?其他?0, ?1
{x i }+1, ?, max{x }-1≤θ≤min 1≤i ≤n =?21≤i ≤n i
?其他?0,
?∈?max{x i }-1, min {x i }+1? θ??1≤i ≤n ?1≤i ≤n ?
3x 2
2、 设总体X ~p (x ) =3, 0≤x ≤θ, θ>0,样本X 1, X 2, , X n ;
θ?; (1) 求θ的最大似然估计θ
?估计量中的最优估计量。 (2) 在均方误差意义下,求形如T c =c θ
n
解:(1)L (θ) =∏p (x i ) =
i =1
3(∏x i ) 2
n
n
θ
i =1
3n
, 0≤x 1, x 2, , x n ≤θ
=
3(∏x i ) 2
n
n
θ
3n
, max{x i }≤θ
1≤i ≤n
{x i }时,L (θ) 达到最大,故 当 θ=max 1≤i ≤n
?=max {X i }=X (n ) θ
1≤i ≤n
x <>
?3x
x
(2)F (x ) =?p (x ) dx =??3, 0≤x ≤θ
-∞?θ
x >θ??1,
?3nx 3n -1
, 0≤x ≤θ?=X (n ) ~p (x , θ) =n [F (x )]n -1p (x ) =? θ ??0, 其他?
?-θ) 2 MSE (T c , θ) =E (T c -θ) 2=E (c θ?-2c θ?θ+θ]=c =E [c θ
22
2
θ2
?
3nx 3n +1
θ3n
dx -2c θ?
θ
3nx 3n
θ3n
dx +θ2
=(c 2
3n 6n
-c +1) θ2 3n +23n +1
2
令 g (x ) =c
3n 6n
-c +1,g '(x ) =0 3n +23n +1
3n +2
时,T c 为θ的最优估计。 3n +1
当 c =
?θαα-1-βx
x e , x ≥03、 设总体X ~p (x ) =?Γ(α) , α>0已知, 样本X 1, X 2, , X n ;
?0, x <>
(1)求θ的最大似然估计, (2)求θ的最小方差无偏估计。
n
?θn αn -θ∑x i
n α-1i =1?x ?e , x 1, x 2, , x n ≥0 ∏i n 解:(1)L (θ) =∏p (x i ) =[Γ(α)]i =1i =1?
其他?0,
ln L (θ) =n αln θ-n ln Γ(α) -ln ∏x i
i =1
n
α-1
-θ∑x i
i =1
n
?ln L (θ) n αn
=-∑x i =0 ?θi =1
?=α ?=n α=α,即 θ θ∑x
i =1
i
(2)有L (θ) 知,T =∑X i 是θ的充分完备统计量,且
i =1
n
T =∑X i ~Γ(n α, θ)
i =1
n
?θn αn α-1-βx
x e , x ≥0 T ~p T (x ) =?Γ(n α) ,
?0, x <>
?=θ,求c ?=f (T ) =c ,使E θ 构造 θ
T
+∞+∞n α
111θ1n α-1-βx ?=cE () =c E θp (x ) dx =c ?x e dx =c θ=θ T ??T x x Γ(n α) n α-1-∞0
c =n α-1
?=n α-1是θ的最小方差无偏估计。 故 θ
T
4、设总体X ~N (μ,σ2) , ,X n , σ2未知,样本X 1,X 2,
μ已知,求σ2置信度为1-α的置信区间。
1n
?=∑(X i -μ) 2估计σ2 解法:用σ
n i =1
2
构造 χ2=
2
(X -μ) ∑i i =1
n
~χ2(n )
给定 1-α,使P {λ1<><λ2}=1-α 取="" p="">λ2}=1-α><λ1}=p {χ2="">λ2}=
α
2
2
(n ) , λ1=χ12-(n ) 可得: λ2=χn
??2
(X -μ) ∑i ???2?2i =1
<χ(n )="1-α" 代入得:="" p="" ?χ1-α(n="" )="">χ(n><>
n
?n 22?(X -μ) (X -μ) ∑∑i i ???i =1?2i =1
<><解得: p="" ??="1-α" χ1-(n="" )="" ??χα(n="" )="">解得:>
?n ?2
∑(X i -μ) ∑(X i -μ) 2?
? , i =1故 σ2的置信区间为: i =1 χα(n ) χ1-(n ) ?
???
第四章 贝叶斯估计
1、基本概念
统计决策问题的三要素:(1)样本空间与分布族, (2)决策空间与决策函数;(3)损失函数与风险函数。 损失函数:L (θ, d )≥0, θ∈Θ, d ∈A,
风险函数:R (θ, d )=E θ[L (θ, d (X ))]=?L (θ, d (x )) f X (x ) dx ,
Ω
贝叶斯风险:B (d )=E [R (θ, d )]=?R (θ, d )π(θ)d θ。
Θ
2、贝叶斯点估计
定理:设总体X ~p (x , θ)=p (x ), 先验分布θ~π(θ), θ∈Θ,
样本X =(X 1, X 2, , X n ), x =(x 1, x 2, , x n ),
?=E {θx }=θh (θx )d θ。 (1)损失函数为L (θ, d )=(θ-d )2,则 θ?
Θ
?=(2)损失函数为L (θ, d )=λ(θ)(θ-d )2,则 θ
E {λ(θ)θx }
E x 计算步骤:
(1)、求样本X =(X 1, X 2, , X n )的分布:q (x )=∏p (x i );
i =1n
(2)、求X , θ的联合分布:f (x , θ)=q (x )π(θ), θ∈Θ; (3)、求f (x , θ)关于样本x 的边缘分布:g (x )=?f (x , θ)d θ
Θ
(4)、求θ的后验分布:h (θx )=
f (x , θ), θ∈Θ
g x Θ
?=E {θx }=θh (θx )d θ (5)、求θ的贝叶斯估计: θ?
(6)、计算贝叶斯风险:
?R θ, θ?=E θθ-θ?2
??B θ?=E R θ, θ?=R θ, θ?π(θ)d θ
??
Θ?
()()
(){()}()
注:积分中常用两个特殊函数:
(1)Γ函数: Γ(α) =?x α-1e -x dx ,α>0;
0+∞
Γ(α) =(α-1) Γ(α-1), Γ(n ) =(n -1)! , Γ(1) =1。 (2)β函数: B (α, β) =?x α-1(1-x ) β-1dx ,α>0, β>0;
01
B (α, β) =3、C (θ) 的贝叶斯估计
Γ(α) Γ(β)
Γ(α+β)
定理 取损失函数为L (θ, d )=(C (θ) -d )2, 则C (θ) 的贝叶斯估计为: d (x )=E (C (θ) x )=?C (θ) h (θx )d θ,
Θ
其中h (θx )为θ的后验分布密度。
4、例题
?e -λ, λ>0
1、设总体X ~P (λ) , λ~π(λ) =?, 样本X =(X 1, X 2, , X n ),
0, λ≤0?
损失函数L (λ, d )=(λ-d )2, 求参数λ的贝叶斯估计和贝叶斯风险。
解:①q (x λ)=∏P (X =x i )=∏
i =1
i =1
n n
λ
x i
x i !
e -λ=
-n λ ∏x i !
n i =1
λ
x i ∑i =1
n
②
?e -λ, λ>0
λ~π(λ)=?
0, 其它?
f (x , λ)=q (x λ)π(λ)=
λ
x i ∑i =1
n
∏x !
i i =1
n
e -(n +1) λ,λ>0
③g (x )=?f (x , λ)d λ=?0
Θ
∞
λ
x i ∑i =1
n
∏x !
i
i =1
n
e -(n +1) λd λ
t =(n +1) λ
=
n
??n Γ1+x ∑i ?∞x i ∑1?i =1? -t i =1
t e dt =n n ?1+∑x i n 1+∑x i n 0
(n +1) i =1∏x i ! (n +1) i =1∏x i !
i =1
i =1
-(n +1) λ
(n +1) λe f (x , λ)④h (λx )==,λ>0 n
??g x Γ 1+∑x i ?
i =1??
1+
1+
∑i =1
n
x i
x i ∑i =1
n
?=E (λx )=λh (λx )d λ=⑤λ?0?
Θ
∞
(n +1)
e -(n +1) λ
d λ n
??Γ 1+∑x i ??i =1?
∑i =1
n
x i
λ
1+
x i ∑i =1
n
n n ??n
Γ 2+∑x i ?1+∑x i ∞1+x i t =(n +1) λ∑1i =1=i =1 -t i =1
==t e dt n n
??n +1???0
(n +1) Γ 1+∑x i ?(n +1) Γ 1+∑x i ?
?i =1??i =1?
?=1+n 即 λ
n +1
1+n ??=E λλ-λ?=E ? ?⑥ R λ, λλ-λ ? n +1??
2
()()
2
?1+n ???1+n ???1+nE ?n 2
? ? =D λ λ-+E λ-=)+λ-? ??? ??n +1n +1?n +1???n +1????n ?1+n λ?λ2+(n -2) λ+1
=λ+ λ- ?=22
(n +1) n +1?n +1?
2
2
2
?=E R λ, λ?=R λ, λB λ??π(λ)d λ
Θ
()(())
∞0
()
=?
λ2+(n -2) λ+1-λΓ(3) +(n -2) Γ(2) +Γ(1) 1
。 e d λ==22
(n +1) (n +1) n +1
?4x 3
?3θ2, 0<><14,>14,>
2、设总体X ~p (x , θ) =?θ,θ~π(θ) =?
0, 其他??0, 其他?
样本X =(X 1, X 2, , X n ),损失函数L (θ, d )=(θ-d )2, 求参数θ的贝叶斯估计。 解:①q (x )=∏p (x i , θ) =∏
i =1n
n
4x i 3
4=
n
3
x ∏i i =14n
n
i =1
θ
4
θ
, 0
?3θ2, 0<><>
②θ~π(θ)=?
?0, 其它
f (x , θ)=q (x θ)π(θ)=
4
n
∏x
i =1n
n
3i
?3θ2
, x (n ) <>
2
4
n
③ g (x )=?f (x , θ)d θ=
Θ
x (n )
?
1
∏x ?3θ
3i θ4n
?1?1 d θ=3?4∏x ?-1? 4n -3 ?4n -3?x (n ) i =1?
n n
3
i
4n -3
f (x , θ)4n -3x (n )
?4n -2,x (n ) <><1 ④="" h="" (θx="" )="=4n">1>
g x 1-x (n ) θ
4n -34n -4
(4n -3) x x (1-x d θ4n -3(n ) (n ) (n ) ) ??4n -3=?⑤ θ=E (θx )=?θh (θx )d θ=?x 4n -34n -3(n ) 1-x θ4n -41-x (n ) (n ) Θ
1
第五章 假设检验
一.参数检验: 一般方法:
(4) 从参数的点估计出发,构造一个合适的统计量; (5) 给定检验水平α,构造一个小概率事件; (3)小概率事件即为拒绝域。
1、单正态总体:总体X ~N (μ, σ2) (1)σ2已知:
??-μ0??
≥u α? H 0:μ=μ0 W =?x σ?2???
H 0:μ≥μ0
??-μ0?
W =?≤-u α? ?x :???????-μ0?
W =?x :≥u α?
????
H 0:μ≤μ0
(2)σ2未知:
?????-μ0?
≥t α(n -1) ? H 0:μ=μ0 W =?x :*
?S n ???n ??
(3)μ未知:
*2*2????(n -1) S (n -1) S ????2222n n ≤χ(n -1) ≥χ(n -1)H 0:σ=σ0 W =α??? 221-α
????σ0???σ0?2
2、两正态总体:X ~N (μ1, σ12) Y ~N (μ2, σ2)
(1)方差未知但相等: H 0:μ1=μ2
?
-?
W =?
*2*2
?(n 1-1) S n +(n -1) S 2n 21??
n 1n 2(n 1+n 2-2) ?
≥t ()αn 1+n 2-2? 2n 1+n 2
??
2
(2)μ1、μ2未知: H 0: σ12=σ2
*2*2????S S ?n 1??n 1?W =?2≤ F 1-α(n 1-1, n 2-1) ? 2≥ F α(n 1-1, n 2-1) ? **S S ????n n ?2??2?
公式: F (=αn ,m )
1
F 1-(m ,n )α
3、效函数和两类错误:
效(势) 函数:β(θ)=E θδ(X )=P X ∈W }, θ∈Θ θ{两类错误: 对检验H 0:θ∈Θ0H 1:θ∈Θ1 第一类错误——“弃真”:即H 0正确而被拒绝, 犯这类错误的概率为:
}=P θ{X ∈W θ∈Θ0}=β(θ),θ∈Θ0 P {拒绝H 0H 0为真
第二类错误——“取伪”:即H 0不正确而被接受, 犯这类错误的概率为:
}=P θ{X W ∈Θ1}=1-β(θ),θ∈Θ1P {接受H 0H 0不真
二、分布检验: (1)χ2拟合优度检验 H 0:F (=F 0(x ;θ) X x )
2
?m (n i -n p ??i )2
≥χα(m -r -1) ? W =?∑i n p ?i =1?
(2)柯尔莫哥洛夫检验
H 0:F (=F 0(x ;θ) X x )
? W =??sup |F n (x ) -F 0(x ) |>D n , α?
?-∞
?
(3)斯米尔诺夫检验
H 0:F (=G Y (x ) X x )
? 拒绝域W =??sup |F n (x ) -G n (x ) |>D n ,n ,α?
?-∞
1
2
1
2
?
(4)独立性检验 H 0:X ,Y 独立 拒绝域
2
??n i ?n ?j ??
n -????m k ij n ??>χ2((m -1)(k -1)) ? W =?∑∑??α
i ??j i =1j =1??
??n ??
二、例题
1、柯尔莫哥洛夫检验的统计量为,拒绝域为
2
2、两正态总体的样本容量为n 1,n 2,则检验H 0:的 σ12≤σ2
统计量为
*2*2????S S ?n 1??n 1
解:W =*2≤ F 1-α(n 1-1, n 2-1) ? ?*2≥ F α(n 1-1, n 2-1) ?? 22
????S n 2???S n 2?*2*2??S n S ??n 11
F =2 W =*≥ F α(n 1-1, n 2-1) ? *
S n ???S n 2?2
3、对某农作物两个品种A,B 计算了8个地区的亩产量如下: 品种A :86,87,56,93,84,93,75,79 品种B :79,58,91,77,82,74,80,66
假定两个品种的亩产量均服从正态分布,试问品种A ,B 的 亩产量有无显著差异?
(α=0. 05, t 0. 05(14) =1. 7613, F 0. 05(7, 7) =3. 79, F 0. 025(7, 7) =4. 99)
解: 设X 表示品种A 的亩产量,Y 表示品种B 的亩产量;
2
则 X ~N (μ1, σ12) Y ~N (μ2, σ2) 2
σ12=σ2(1) 检验 H 0:
F =
*S n 1
2
H 0成立
S
*2n 2
~ F (n 1-1, n 2-1)
1n 1653=∑x i ==81. 63,
n 1i =18s
*2n 12
1n 2607=∑y i ==75. 88 n 2i =18
1n 121013. 34
=[∑x i -n 12]=n 1-1i =171708. 8
[∑y i 2-n 22]=n 2-1i =17
*
s n 1
2n 2
*s n =2
F =
s
*2
n 2
=1. 4292
1
=F 0. 975(7, 7)
2
σ12=σ2接受 H 0:
(2)检验 H 0:μ1=μ2 T =
-**
(n 1-1) S n +(n 2-1) S n
12
2
2
1212H 0成立
~t (n 1+n 2-2)
n 1+n 2
T =
81. 63-75. 88=1. 0368 16. 34+708. 8
|T |=1. 0368<2. 1448="t" 0.="" 025(14)="" 接受="" h="" 0:μ1="">2.>
4、设总体X ~N (μ,σ2) , ,X n σ2未知,样本X 1,X 2,
(1)求检验H 0:μ=μ0H 1:μ>μ0的拒绝域; (2)求检验H 0:μ≤μ0H 1:μ>μ0的拒绝域; 解法:(1)构造合适的统计量:
-μ0H 0成立
~t (n -1) T =*
S n
当H 0不成立时,T 有偏大特征。 构造小概率事件:给定显著水平α ,使 P {T ≥t ()}=α αn -1
??
?-μ0?
拒绝域 W =?x :≥t α(n -1) ?
S n ??
??
(2)构造合适的估计量: T *=
-μ
~t (n -1) *
S n
构造小概率事件:给定显著水平α ,使
)}=α P {T *≥t (αn -1
构造更小的小概率事件:由于μ未知,T *无法计算,
-μH 0成立-μ0≥=T 利用 T =S n S n
*
}?{T *≥t (},故 ))由于 {T ≥t (αn -1αn -1
)}=α P {T ≥t ()}≤P {T *≥t (αn -1αn -1
即 P {T ≥t ()}≤α αn -1
???-μ0?
≥t α(n -1) ? 拒绝域 W =?x :S n ??
??
第六章 方差分析与试验设计
一、 单因数方差分析
?X ij =μi +εij i =1, 2, , r ?
(1)数学模型: ?εij ~N (0, σ2) j =1, 2, , n i
?
?各εij 相互独立
H 0:μ1=μ2= =μr
(2) 推导拒绝域: 总离差平方和分解:
Q T =∑∑(X ij -) =∑∑(X ij -i ) +∑∑(i -) 2=Q E +Q A
2
2
i =1j =1
i =1j =1
i =1j =1
r
n i
r
n i
r
n i
构造统计量:F =
Q A E
~F (r -1, n -r )
H 成立
-r
在H 0不成立时,统计量F 有偏大的特征;
构造小概率事件: P {F ≥F α(r -1, n -1)}=α
?Q A ?
??
≥F α(r -1, n -r ) ? 拒绝域 W =?
E ???-r ?
(3)Q A ,Q E 的计算方法
r r n i
1r n i 1n i 222
记 P =∑∑X ij ), Q =∑∑X ij ),R =∑∑X ij
n i =1j =1n i =1i j =1i =1j =1
则有 Q A =Q -P ,Q E =R -Q ,Q T =R -P (4)参数估计:设总体 X i ~N (μi , σ2) ,i =1, 2, ,r
?2=?i =i σ μ
Q E
n -r
二、两因素非重复试验的方差分析
?X ij =μ+αi +βj +εij
2
(1)数学模型: ??εij ~N (0, σ), i =1, 2, , r
?各ε相互独立, j =1, 2, , s ?ij
H 01:α1=α2= =αr =0
H 02:β1=β2= =βs =0
(2)、构造统计量:
F A =
Q A
r -1) E
H 01成立
~F (r -1, (r -1)(s -1))
F B =
E
s
r -1)(s -1)
Q B
s -1) H 02成立
~F (s -1, (r -1)(s -1)) r -1)(s -1)
2
r
s
2
(X ij -,Q A =∑∑(i ?- 其中:Q T =∑∑
i =1j =1r
s
i =1j =1
r
2
Q B =∑∑(?j -,Q E =Q T -Q A -Q B
i =1j =1
W A ={F A >F α(r -1, (r -1)(s -1))}
(3)、拒绝域:
W B ={F B >F α(s -1, (r -1)(s -1))}
三、 正交试验设计
① 数学模型(由正交表写出模型):
Y 1=μ+a 1+b 1+c 1+ε1, ?
Y 2=μ+a 1+b 2+c 2+ε2, ?? Y 3=μ+a 1+b 3+c 3+ε3, ??
?
?
Y 9=μ+a 3+b 3+c 2+ε9??
②参数估计:
Ⅰ?1=A - a
3
?=ⅠB - b 1
3
?2=a
ⅡA
3
-?3=a
ⅢA
3
-
?=ⅡB -b 2
3?2=c
?=ⅢB - b 3
3?3=c
Ⅰ
?1=C - c
3
ⅡC
3
-ⅢC
3
-
③方差分析:S i 2和f i 的计算公式为:
T 2
S =-
第i 列水平重复次数数据总个数
f i =第i 列水平数-1
2i
Ⅰi 2+Ⅱi 2+Ⅲi 2
S e 2=未排因数列的S i 2之和;
f e =未排因数列的f i 之和;
S i 2/f i
>F (,则第 i 列因素显著。 f e )F i =2αf i ,S e /f e
④、求最优预测值
?=+显著因素最优水平效应的估计值 Y 优
四、 例题
1、 两因素非重复试验方差分析的数学模型为。
?X ij =μ+αi +βj +εij
2
??εij ~N (0, σ), i =1, 2, , r
?各ε相互独立, j =1, 2, , s ?ij
H 01:α1=α2= =αr =0
H 02:β1=β2= =βs =0
2、 在下列正交试验设计中:
试验数据的数学模型为 。
?Y 1=μ+a 1+b 1+ε1
?Y =μ+a +b +ε2122
? ?
?Y 3=μ+a 2+b 1+ε3??Y 4=μ+a 2+b 2+ε4
3、单因数方差分析的数学模型为:
?X ij =μi +εij i =1, 2, , r
?
?εij ~N (0, σ2) j =1, 2, , p ?各ε相互独立?ij
(1)求总离差平方和Q T 的分解式,并求DQ T ; (2)求假设 H 0:μ1=μ2= =μr 的拒绝域; (3)求 σ2的无偏估计。
解:(1) Q T =∑∑(X ij -) =∑∑(X ij -i +i -) 2
2
i =1j =1
i =1j =1
r p r p
=∑∑(X ij -i ) +2∑∑(X ij -i ) (i -) +∑∑(i -) 2
2
i =1j =1
i =1j =1
r p r p r
p
i =1j =1
=∑∑(X ij -i ) +∑∑(i -) 2=Q E +Q A
2
i =1j =1
i =1j =1p
r p r p
1
Q T =
1
∑∑(X
i =1j =1
r
ij
-) 2~χ2(rp -1)
DQ T =2(rp -1) σ4 (2)构造统计量
F =
Q A E
~F (r -1, rp -r )
H 成立
-r
在H 0不成立时,统计量F 有偏大的特征 给定显著水平α ,使 P {F ≥F α(r -1, rp -r )}=α
?Q A ?≥F (r -1, rp -r ) ? 拒绝域为 W =??αE ?-r ???
(3)
p r ?r p 22?2
EQ E =E ∑∑(X ij -i ) =E ?∑(∑X ij -p i ) ?=∑(∑EX ij -pE i 2)
i =1j =1?i =1j =1?i =1j =1
2p r r
σ
=∑(∑(σ2+μi 2) -p (+μi 2)) =∑(p σ2-σ2) =(rp -r ) σ2
p i =1j =1i =1
r
p
2
?2= σ
Q E
为σ2的无偏估计。 rp -r
4、设用3台机器A ,B ,C 生产同一种产品,每台机器 的日产量如下:
A 1:41,48,41,57,49 A 2:65,57,54,72,64 A 3:45,51,56,48,48
问在日产量上,各台机器是否有显著差异?(α=0. 05) 解: 设X i 表示第A i 台机器的日产量,X i ~N (μi , σ2) i =1, 2, 3 H 0:μ1=μ2=μ3 r =3p =5
1r p 12
P =∑∑X ij )=?7962=42241. 07,
rp i =1j =13?51r p 12Q =∑(∑X ij )=?214544=42908. 8,
p i =1j =15
2
=43356 R =∑∑X ij
i =1j =1r
p
则有 Q A =Q -P =667. 73,Q E =R -Q =447. 2,Q T =R -P =1114. 93
即各台机器日产量有显著差异.
5、某农药的收率的正交试验设计方案及试验数据如下表, 试对试验结果进行方差分析,并对最优生产条件进行预测。
已知
F 0. 05(1, 2) =18. 5F 0. 01(1, 2) =98. 5
2i
解: 由S =
Ⅰi 2+Ⅱi 2T 2
4
-8
求出上表最后一列
f i =第i 列水平数-1=1
A 2B 1的搭配的平 均收率最高, 故取A=A2,B=B1, 因此, 最 优生产条件为A 2B 1C 2D 2.
4?134??124??=90++c ??Y +(a b ) =90++ -?+ -?=95. 75 221优
8?48??48?
6、设有线性模型Y i =β0+β1x i +β2x i 2+εi , i =1, 2, 5,
εi ~N (0, σ2) 且独立,x 1=-1, x 2=0, x 3=1, x 4=-2, x 5=2 。 求:(1)β0,β1,β2的最小二乘估计;
?0-3β?1+9β?2的概率分布。 ?0=β (2)Y
?1-11?
??Y 1?
?100?β0? ? ? Y 2? ? 解:(1) Y = ?X = 111?β= β1? β? ?1-24 ??2? Y ?
124??5?
??
1??17
0-? 357??5010? ?1
X T X = 0100?, (X T X ) -1= 00? ?10 10034? 11???
0 -?714??
?1?
(12Y +17Y +12Y -3Y -3Y ) 12345??0??β35 ? ?
1? ?= β?1?=(X T X ) -1X T Y = β(-Y 1+Y 3-2Y 4+2Y 5) ? ?10
?? 1? β?2?(-Y 1-2Y 2-Y 3+2Y 4+2Y 5) ?
14???~N (β, σ2(X T X ) -1) (2)由于 β
?0-3β?1+9β?2=(1-39) β?服从正态分布,又 ?0=β 故 Y
?=(1-39) β=β0-3β1+9β2 ?0=(1-39) E β E Y
?1??1? ???, β?) -3?=(1-39) σ2(X T X ) -1 ?0=(1-39) cov(βD Y -3 ? 9? 9?????
1??170- ?3571? ?? ?12 ? =σ(1-39) 00 -3?=4. 6σ2 ? ?10 11??9?-0 ?
14??7
?0~N (β0-3β1+9β, 4. 6σ2) 故 Y
范文二:[工学]西北工业大学数理统计复习
数理统计复习
第一章 基础知识 一、多维随机变量及分布
,分布函数: X~, ,,,,,,,x,,,FxPX,x
T= ,,X,Y,,,,,Fx,yPX,x,Y,y
TX=,,= X,X,?,X,,,,,Fx,x,?,xPX,x,X,x,?,X,x1212n1122nnn
边缘分布: =,= ,,,,F(x)Fx,,,F(y)F,,,yXY
,,,,
=, = f(x)f(x,y)dyf(y)f(x,y)dxXY,,,,,,随机变量的独立性:
=,,,,,, FxFx?Fx,,Fx,x,?,xX1X2Xn12n12n
=,,,,,, fxfx?fx,,fx,x,?,xX1X2Xn12n12n
=? ,,,,PX,x,X,x,?,X,xPX,x,,,,PX,xPX,x1122nnnn1122随机变量函数的分布:
g(X)Y1、已知,则=的分布密度为 X,f(x)X
, f(y)f(h(y))|h(y)|,YX
x,h(y)y,g(x) 其中为单调函数的反函数。
Z,X,Y2、和的分布:求的 ,,fzZ
,,,,,,X,Y独立
,== ,,,,,,,,,,fzfx,z,xdxfz,y,ydyfz,yfydyXYZ,,,,,,,,,
XZ,3、商得分布:求的 ,,fzzY
,,,,X,Y独立
,=。 ,,,,,,,,fzyfyz,ydyyfyzfydyXYZ,,,,,,
4、随机向量变换的分布:
,(,)YgXX,1112 设 , 令 (X,X),f(x,x),1212Y,g(X,X)2212,
求 的分布密度。 (Y,Y)q(y,y)1212
求解步骤:
(1) 求反变换:
,(,)XhYY,(,)xhyy,,11121112 , ,,,(,),(,)XhYYxhyy22122212,,
(2) 求雅可比行列式,即 J
,x,x11
,y,y12 J, ,x,x22
,y,y12
(3) 所求分布密度为:
q(y,y),|J|,f[h(y,y),h(y,y)]12112212
条件密度和条件期望:
f(x,y)f(x,y)f(y|x)f(x|y),, , f(x)f(y)XY
,,,,
,. E(X|y),xf(x|y)dx,g(y)E(X|Y),g(Y),,,
性质:
nn,, 1、 EaX|y,aE(X|y),,,,iiii,1,1,,ii
,, 2、 E[h(X)|y],h(x)f(x|y)dx,,,
E[E(X|Y)],EX 3、
TX,,X,X,?,X,多元正态分布: = ,,Nμ,Σ12n
11,,T,1=exp,,, ,,fxxμ,,,,Σxμ,,1n2,,22,,,2Σ
T1,,TTitX,expiμt,tΣt= ,,gtEe,,2,,
μ,EX 其中.. ,,Σ,CovX,X
T性质1. 若X=,,,则的子向量均服 X,X,?,X,X,,Nμ,Σ12n
i,1,2,?,n从正态分布,特别 ,. ,,X~N,,,iiii
T性质2. 若X=,,,则 X,X,?,X,,,Nμ,Σ12n
,,?,独立两两不相关. XX,Xn12
,,μΣΣX,,,,,,111121,,,,,,,,N,性质3. 设,则 X,~,,,,,,,,ΣΣμX21222,,,,2,,,,
,,X,N(μ,Σ)X,N(μ,Σ)Σ,CovX,X111122221212
且 ,独立 ,,,XCovX,X,Σ,0X121212
TX,,性质4. 若=X,X,?,X,,则 ,,Nμ,Σ12n
T . Y,CX~N,,Cμ,CΣC
TX,,X,X,?,X 随机向量的数字特征: = 12n
TEX,,EX,EX,?,EX= 12n
T,,Σ,, ,,,,,,= CovX,X,EX,EXX,EXijn,n
,,,,其中:,,EX,EXX,EX ijiijj
,,,Σ, =是对称非负定矩阵。 ,,CovX,Xijn,n
1r?r,,121n,,1r?r212n,,RX,为的相关系数矩阵. ,,???
,,rr?rn1n2nn,,
,ijr,X,X其中为的相关系数 ijij,,iijj
二、随机变量的特征函数及性质
,,itXitx 特征函数: ,,,,gt,Ee,edFxX,,,
常见分布的特征函数:
nit,,pe,q1. ,则有 ,,,,X~Bn,pgt,
it,,,e,12. ,则有。 ,,,,X~P,gt,e
1itbita,,e,e3. , ,,X~U,,a,bgt,,,itb,a
22,,,t24. ,则有 exp,X~N,,,,,,,gt,it,,,2,,
特征函数性质:
X,YZ,X,Y性质1. 设独立,,则。 ,,,,,,gt,gtgtZXY
1k,,k性质2. 。 ,,Ex,g0Xki
ibt性质3. 设,则 Y,aX,b,,,,gt,egatYX
TX,,多元特征函数:=X,X,?,X 12n
Ti,,tX,tX,?,tXitX1122nneE ,,gt,Ee= X
T,,t,t,?,t其中 = t12n
i,1,2,?,n性质: 设,且, ,,,,,,X,X,?,X~gt,t,?,tX~gt12n12nii
则独立=? ,,gt,t,?,t,,X,X,?,Xgt,,,,,gtgt12n12nnn1122
三、常用分布族
1、,分布族:。 ,,X~,,,,
,,,,,1,,xxe,x0,,X设的分布密度为fx ,,,,,,,,
,0,x0,,
,, 特征函数为,,,, gt,1,it,
i,1,2,?,n 性质:,分布的可加性:若,且独立, ,,X~,,,,ii
nn,, 则 。 X~,,,,,,,,iii,1i,1,,
,分布引出二个特殊分布:
1n,,2,,,,,,n1. , 2. ,,,,,1,,,e,,,22,,
22、分布 ,
定义:设独立且每个 X,X,?,XX~N(0,1)12ni
n22,,X~,n则 . ,ii,1
其分布密度和特征函数为:
nx,,,1122xe,x,0,nn,,,2f(x), 2,,,,2,,,
,0,x0,,
n,2 ,,,,gt,1,2it
22 性质: 设 ,,,,,nX~,n
EX,n,DX,2n1.
222. 可加性:,,且独立, X、Y,,,,X~,nY~,m
2则 ,,X,Y~,n,m3、分布 t
2X,Y定义:设,,且独立, ,,,,Y~,nX~N0,1
X则 ,,T,~tn
YnF 4、分布
22X,Y 定义:设,且独立, ,,,,X~,n,Y~,n12
Xn1则 ,,F,~Fn,n12Yn2
1,, 性质1 设,则 ~Fn,n,,F~Fn,n2112F
2 性质2 若,则 ,,,,T~F1,nT~tn
四、例题
2X,B(N,p)X,Y2X,3Y1、设,且独立,则 Y,N(,,,)的特征函数为 。
122i,3t,,9ti2tn2g(t),g(2t)g(3t),(pe,q)e解: 2X,3YXY
2X样本,则样本均值 2、设总体X,X,?,XX~,(m),12n
的特征函数为 。
mn,2112it,,ngtgtgtgt(),(),(),[()],1,解: ,,n1XXiXinnn,X,,i,n,1i,1i
X,,1,,3、设 服从二维正态分布 ,其均值 X,N(,,,)2,,X2,,
120,,,,向量 ,协方差阵为 ,则的分布密度为 。 X,,,,,,,,,,,,128,,,,
11,,T,1exp,,,,x,,,,,x,,,,,fx,x解:= 1n122,,2,,2,2,
T,1,,,,,,xx0120,,,,,,,,,,11,,11,,,,,,,,,,,,,,,,,, exp ,,1,,,,,,,,,,,,,,x128x122,,,,,,22,,,,,,,,,,212,,2(,)228
111111,,22,exp,,,,,,xxxxxx ,,1122124,28248,,
224、设随机变量X,Y独立,分别服从和分布,令 ,(m),(n)
X/mU,X,Y,V, , Y/n
U,V(1) 问是否相互独立,为什么,
N
T,XX(2) 设是来自样本,求的特征函数 X,X,?,X,i12N,1i和密度函数。
解:
mxny,,,,11112222XYfxyfxfyxeye,,(,)~(,)()()(1) XYmnmn,,,,22,,22,,,,22,,,,
muv,u,x,y,x,,,,mv,n 的反变换为 , x/m,,v,nu,,y,y/n,,mv,n,
,x,x
mnu,u,v J,,,2,y,y(mv,n)
,u,v
muvnumuvnu,, (U,V)~f(u,v)|J|f(,)|J|f()f()UVXY,,,,mvnmvnmvnmvn
X/m2 , U,X,Y~,(m,n)V,~F(m,n)Y/n
m,n,,mnm,1,,,m,nu222,,11mnv2,,22f(u,v),ue,= f(u)f(v)UVUVm,nm,nmn,,,,m,n,,22,,,,,,2,(mv,n),,222,,,,,,
故 相互独立。 U,V
mN,N2g(t),g(t),g(t)g(t)?g(t),[g(t)],(1,2it)(2) NTXXXX12NXi,,i1
N2T,X ~,(Nm),i,1i
Nmt,,1,122te,t,0,Nm,Nm,,2 f(t), 2,,,,T2,,,
,0,t,0,
第二章 统计量与抽样分布
一、 基本要求
X总体~样本,,~样本值:,, x,x,?,xX,X,?,X12n12n
X简单随机样本:独立同分布且与总体同分布 X,X,?,X12n
kkEX,EX,DX,DX,EX,EX 此时:。 iii
f统计量:样本的函数,,且不含未知参数。 fX,X,?,X12n
样本矩:
nnn2111222X,XS,(X,X),,XX ,,,iniinnn,1,1ii,1i
2n*22 S,SS,Snnnn1n,
nn11kkA,XB,(X,X) ,,kikinn,1,1ii
样本矩性质:
PP21、 X,,,EX,S,,,DXn
21n,12*2、 。 EX,EX,DX,DX,ES,DX,ES,DXnnnn经验分布函数:
0x,x,,,1,,,Vxk,n,,? Fx,,x,x,x,k,1,2,,n,1 ,,,,,nkk,1nn,
1xx,,,,n,
的性质:。 ,,,,,,,,FxnFx~Bn,Fxnn
1 。 ,,,,,,,,,,,,,,,,EFx,Fx,DFx,Fx1,Fxnnn
,,fx,x,?,xT,t充分统计量:的条件分布 ,,X,X,?,X12n12n
T与无关~称为的充分统计量。 ,,
判别,因子分解定理,:
n
,,,,,,T是,fx,,,hx,x,?,xgT,,的充分统计量 ,,i12n,i1
完备统计量:若时~有。 ,,,,EgT,0gT,0,a.s
T称是完备统计量。 指数型分布族:
nm,,,若 ,,,,,,,,,,fx,,C,hx,x,?,xexpb,Tx,x,?,x,,,iniin,1212i,i,,,11
称为指数型分布族。 ,,{fx,,,,,,}
充分完备统计量判别: 对上述指数型分布族有
为的联合充分完备统计量。 ,,T,T,T,?,T,,,,,,,,?,,12m12m
特别:时~的充分完备统计量 。 m,1T为,1
时~的联合充分完备统计量。 m,2,,,,T,T为,,,1212
2的分布: 正态总体下X,Sn
2n,,1,,,1、 , XXN,~,,,i,,nn,i1,,
22*,,nSn,1S2nn,,,~,n,1 2、 , 22,,
2*2S3、(或)独立。 X与Snn
X,, 4、 T,~t(n,1),Snn
22,,,,,,5、 X,Y~N,,,,,12,,nn12,,
,,,,,,X,Y,,nnn,n,21212126、 T,~t(n,n,2)1222**n,n12,,,,n,1S,n,1S12nn12
2*2,Sn117、 ,,F,~Fn,1,n,1212*2,Sn22
近似DX,,、8X~NEX, ,,n,,
,,X,X,?,X次序统计量: ,,,,,,12n
,,,,X,minXX,minX ,,1i,,ni1,,in1,,in次序统计量的分布:
n,1,,,,,,,,fx,n1,FxfxX 1. 的分布密度为 X,,1,,1
n,1,,,,,,,,fx,nFxfxX 2. 的分布密度为 X,,n,,n
样本中位数:
Xn为奇数,n1,(),2~,,X ,,,1,X,Xn为偶数,,nn,,,,1,,,,,2,,,22,,,,,,,
样本极差: R,X,X,,,,n1
二、例题
2,3,0,,1xx~(),1、 设总体Xpx,样本, X,X,?,X,12n0,其他,
2 ; 。 则D(X,X),ES,in
1133324 解:3; 3; EX,xdx,EX,xdx,,,4500
39322() DX,EX,EX,,,51680
,,2n(n1)X,1(n,1)DX,(n,1)DXi,,D(XX)DX,,,,,ij2,,nnn,1j ,,,ji,,
,,n33(n3),DX,n80n
n13(n1),,2ESDX ,,nn80n
22、 设总体,样本,为使 X~N(0,,)X,X,?,X127
2237,,,,2 则 Y,cX,cX服从,分布,,,,,,,ii12i,i,14,,,,
; 。 c,c,12
3722X~N(0,3,)X~N(0,4,)解:; ,,iii,i,14
2237,,,,,,,,XX,,ii22i,1i,4,,,,~,(1)~,(1);; ,,,,34,,,,,,,,,,
22371,,1,,2 X,X~,(2),,,,,,ii2234,,i,i,14,,,,
11 。 c,c,12223,4,
X~U[0,1]3、 设总体,样本, X,X,?,X12n
2Y,,2lnX~,(2)(1) 证明:;
n
T,,2lnX(2) 求统计量的概率分布。 ,i,1i
1,0,x,1,解:(1) X~p(x),,X0,其他,
y,2Y,,2lnX 的反函数为 ,故 x,e
yy,,22,p(y)p(e)|(e)|,YX
y21y,1,,22,,1ye,y,0 22,e,y0,,22,,,2,2(),2,,,0,y0,0,y0,,
2Y,,2lnX~,(2) 即 ;
U[0,1]2)由于样本(独立且于同分布, X,X,?,X12n
2由(1)得:独立且于同分布; ,2lnX,,2lnX,?,,2lnX,(2)12n
2 由分布的可加性,得 ,
n2T,,2lnX ,即 ,,(2n),i,1i
x,,1,1n2xe,x0,,nTp(x), ,2(n),,
,0,x0,,
X~N(2,2)4、 设总体,样本 X,X,?,X127
712Y,(X,2) 求统计量 的分布密度。 ,i7i,1
7222,X2222i(),,,Y解: ,其中 ,~,(7),77772i,1
7y7y77y,p(y),p()|()|,p()22Y,,772222
77y,1,,77y22,2 ()e,y,0,7,272,2,2,(),2,
,0,y,0,
25、 设总体,样本,求 X~N(0,,)X,X,?,X,X12nn,1
2mn,1,,11,,2EY,DY(1)的概率分布及; YXX,,,,,,,,ii2nm,1,,i,1i,m,1,,,,,,
m212XX(,),mi1,mim,,1(2)的概率分布。 Z,2Sm
21mn,11,,222解: (1) X~,(m),X~,(1),,,,ii22(n,m,1),,11i,,i,m,,
且两者独立,故
2mn,1,,11,,22 ,, ~,(m,1)YXX,,,,,,ii2,,,1nm,,i,1i,m,1,,,,
EY,m,1DY,2(m,1)
2m112(X,X)N,(2) ~(0,(1),),,m1imm,,im1
2mm122(X,X)~,(1) ,,1mi2(m,1)m,,,1im
2mS2m~,(m,1) 且两者独立,故 2,
m212XX(,),mi1,mim,,1~F(1,m,1)Z ,2Sm
第三章 参数估计
1、 估计量评价标准
?无偏估计: E,,,
?渐进无偏估计: ,,,limEn,,
?E,,,2???, 均方误差: ,,,,MSE,,,E,,,,D,,
求均方误差最小意义下的最优估计。
?????? 有效性: (与均为无偏估计),称比有效。 D,,D,,,,,121212
(MVUE) 最小方差无偏估计:在无偏估计中方差最小者.
P??,,,,,相合估计(一致估计):,即。 ,,limP,,,,,,1n,,
??相合估计判别:, , ,,,limD,,0limEn,,n,,
1,nI()?,e(), 效率: ?D,
1???, 有效估计判别: ,D,或。 E,,,e(,),1nI(,)
22,,,,,ln,,ln(,)fX,,fX,,,,,,其中,(),,,0. IE或IE,,,,2,,,,,,,,
??渐进有效估计判别: , E,,,lime(,),1n,,
2,,,,,,g?,,,,,Dg,罗—克拉美不等式: ,,nI,
2、点估计量求法
求参数的矩估计:
(1)求总体矩,(2)样本矩代替总体矩,(3)解出矩估计。 求参数的最大似然估计:
nn
,,,,L,,fx或L(,),P{X,x}(1) 求似然函数 ,,ii,1,1ii
n,,,,lnL,,,,lnL,,lnfx(2) 一般地 :,, ,0,i?,,,,,i,1
?特殊地: ,,,,L,,maxL,,
??,,(3)解似然方程得 ,,,x,x,?,x12n
??,,(4)得到最大似然估计量:。 ,,,X,X,?,X12n
求参数的: MVUE
(1)直接法:
T ?求出的充分完备统计量, ,
??T?用构造满足 ,,,,,,fTE,,EfT,,
?? 为的。 ,,MVUE,,fT,
(2) 间接法:
? ?求出的矩估计或最大似然估计 ,,
1??, ?验证 ,D, E,,,nI(,)
求参数的有效估计:
(1) 直接法:
?? 求参数,的最大似然估计; ,
,,lnL()??? 将表成:; ,C(,)[,,,],,,
?? 验证的充分估计量。 ,是,
(2)间接法:
? ?求出,的矩估计或最大似然估计; ,
1??,D, ?验证 ,。 E,,,nI(,)g(,)求的估计:
?若是的最大似然估计(或矩估计),连续, ,,,gx,
?g(,)则是的最大似然估计(或矩估计)。 g(,)
3、求参数的区间估计
一般方法:
(1) 从参数的点估计出发,构造一个合适的估计量; (2) 给定置信度,构造一个大概率事件; 1,,
(3) 解大概率事件得到参数的置信区间。
2(一) 正态总体参数的置信区间 X~N(,,,)
,,,,2,(1)已知, ,,X,uX,u,,,,,22nn,,
,,,,,, , ,,,,X,u,X,u,,,,,,,,,,,nn,,,,
,,,,SS2nn,,,(2)未知, ,,XtnXtn,(,1),,(,1),,,,22nn,,
22,,,,(n,1)S(n,1)S,,2nn,,,(3),未知, 22,,,(n1),(n1),,,,,,1,22,,
nn,,22,,,,(x)(x),,,,ii2,,11,,ii,(4)已知, , ,,22,,,(n),(n),,,122,,,,
(二)两正态总体参数的置信区间
22(1)已知, ,,,12
2222,,,,,,1212,, ,,,,,,,,XYu,XYu,,12,,,,22nnnn1212,,
22(2), ,,,12
,n,n22,,12,,,,,X,Y,t(n,n,2)(n,1)S,(n,1)S,,nn12121212,2nn(n,n,2)1212,
,22n,n,,12,X,Y,t(n,n,2)(n,1)S,(n,1)S,nn121212,2nn(n,n,2)1212,
22,,2,,SS,nn,,111FnnFnn(,1,,1),(,1,,1)(3) ,,21,21222,,,,1,,SS222nn22,,
4、例题
X~U[,,1,,,1]、设总体,样本,则 1X,X,?,X12n
的矩估计为 ;的最大似然估计为 。 ,,
,2?? 解: ,,; EX,,,,,,XX,2
1,,,n?xxx,,1,,,,,,1,12n,nLpx(),(),2,,ii,1,0,其他,
1,,,xx,,1,min{},max{},,1,iin1,i,n ,21,i,n,
,0,其他,
1,x,x,max{},1,,min{},1,,iin1,i,n,21,i,n,
,0,其他,
,,?,,, ,max{x}1,min{x}1ii,,1,i,n1,i,n,,
23xX~p(x),,0,x,,,,,02、 设总体,样本; X,X,?,X12n3,
?,(1) 求的最大似然估计; ,
?2) 在均方误差意义下,求形如,,估计量中的最优估计量。 (Tcc
n2n3(x),in1i, 解:(1)L,(),p(x),,0,x,x,?,x,, 12in,3n,1i,
nn23(x),ii,1,,max{x},, i3n1,i,n,
L(,),,max{x} 当 时,达到最大,故 i1,i,n
? ,,max{X},Xi(n),,1in
,0,x0,
,x3x,,F(x),p(x)dx,,0,x,(2) ,3,,,,,
1,x,,,,
3n1,,3nx,0,,x,,n1,3n?~(,)[()](),,,XpxnFxpx ,,,,(n)
,0,其他,
22?MSE(T,,),E(T,,),E(c,,,) cc
,,nn313,nxnx3322222?? ,Ec,,,c,,,,cdx,c,dx,,[2]2nn33,,,,00
3n6n22 ,(c,c,1),3n,23n,1
3n6n2g(x),c,c,1,g(x),0令 , 3n,23n,1
3n,2c, 当 时,为,的最优估计。 Tc3n,1
,,,,,1,,xxe,x,0,3、 设总体,,,0已知,样本; X,X,?,XX~p(x),,,(),12n
,0,x,0,
(1)求,的最大似然估计, (2)求,的最小方差无偏估计。
n,n,nx,,,i,n1,,,1i,,,,,0,,,xexx?x,i12nn解:(1)()() ,,,Lpx,[()],,,ii1,i1,,0,其他,
nn,1,lnL,(),,nln,,nln,,(),lnx,,x ,,ii,1,1ii
n,,,lnL()n,,x,0 ,i?,,,i,1
n,,,?? ,即 ,,,,,nXxx,i,1i
n
L(,)T,X (2)有知,是的充分完备统计量,且 ,,i,1i
n
T,X,(n,,,) ~ ,i,1i
,n,,n,,1,,xxe,x,0, , T~p(x),,,(n),T
,0,x,0,
c??,f(T), 构造 ,使,求 ,cE,,,T
,,,,,n1111,1n,,x,,?EcE()cp(x)dxcxedxc ,,,,,,,,,T,,Txx(n)n1,,,,0,,
c,n,,1
,n,1?故 的最小方差无偏估计。 ,是,,T
224、设总体未知,样本, X,X,??,XX,N(,,,),,12n
2, 已知,求置信度为的置信区间。 ,1,,
n1222?,,(X,,),解法:用估计 ,in,1i
n2,,(X),i22,1i,~,(n),构造 2,
2给定 1,,,使 P,,,,,,,,1,,12
,22{}{}取 P,,P,,,,,,122
22可得: ,,,(n),,,,(n),,21,122
n,,2,(X,),i,,,,22,1i代入得: P,(n),,,(n),1,,,,,,21,22,,,
,,,,
nn,,22,,XX(,)(,),,ii,,,,2,,11ii解得: P,,,,1,,,,22nn()(),,,,,,,122,,,,
nn,,22,,,,(X)(X),,,,ii2,,11,,ii,故 的置信区间为: ,22,,,(n),(n),,,122,,,,
第四章 贝叶斯估计
1、基本概念
统计决策问题的三要素:(1)样本空间与分布族, (2)决策空间与决策函数;(3)损失函数与风险函数。
,,,,d,, 损失函数:, , ,,L,,d,0
风险函数:, ,,,,,,,,R,,d,EL,,dX,L(,,d(x))f(x)dx,X,,
贝叶斯风险:,,,,,,,,。 Bd,E[R,,d],R,,d,,d,,,
2、贝叶斯点估计
,,,,X~px,,,px,定理:设总体, 先验分布,,,,, ,,,~,,
样本,,,,,, X,X,X,?,Xx,x,x,?,x12n12n
2?(1)损失函数为=,,,则 。 ,,d,,,,,,,,E,x,,h,xd,L,,d,,
,,,Ex,,,,2?,)损失函数为=,,,,,则 (2,,,,d,,,L,,d,,,,E,,x计算步骤:
n
,,,,qx,,px(1)、求样本,,的分布:; X,X,X,?,X,i12n,1i
X,,,,,,,,(2)、求的联合分布:; fx,,,qx,,,,,,,(3)、求关于样本的边缘分布: ,,,,,,xgx,fx,,d,fx,,,,
,,,fx,,,hx,,,,,,(4)、求的后验分布: ,,,gx
?(5)、求的贝叶斯估计: ,,,,,,,E,x,,h,xd,,,(6)、计算贝叶斯风险:
2,??,,,,,,R,E,,,,,, ,???,,,,,,,,,,,,B,ER,,,R,,,,,d,,,,,
注:积分中常用两个特殊函数:
,,1,x,, (1)函数: ,; ,,,0,(,),xedx,0
,(,),(,,1),(,,1),,(n),(n,1)!,,(1),1 。
1,,,,11,,,0,,,0 (2)函数: ,; B(,,,),x(1,x)dx,0
,,,(),(),,B(,), ,(,,,)
C(,)3、的贝叶斯估计
2C(,)定理 取损失函数为=,,,则的贝叶斯估计为: C(,),d,,L,,d
,,,,dx,EC(,)x =, ,,C(,)h,xd,,,
,,h,x其中为,的后验分布密度。 4、例题
,,,,e,,0X~P(,,),,1、设总体,,,, 样本X,X,X,?,X, ~(),,12n0,,0,,
2,,,,损失函数L,,d,,,d,求参数,的贝叶斯估计和贝叶斯风险。
nxi,xnnii,1,,,,,n,,,,,qx,,PX,x解:?=ee ,,,in!x,11ii,i!x,i1i,,,,,,0e,~,,, ?,,,,0,其它,
nxi,i,1,,(n,1),,,,,,,efx,,,qx,,,=, ,,0n
x!,ii,1
nx,i,1,,i(1)n,,,ed,?== ,,,,fx,,d,gx,,n0,!x,i1i,
n,,n1x,,,,,i,xt,(n,1),i,1,1i,,,t,1i,tedt, nn,nn1,1,xxii,,0,1,1ii(n1)x!(n1)x!,,,,ii,1,1ii1,nn,,xx,(,1)nii,(n1)e,,1,1ii,fx,,,,h,,x,?=,,,0 ,n,,,,gx,,1x,,,i,1,,i
nn1,x1,xii,,,,(n,1),1,1ii,,(n,1)e?,d,? ,,,,,,E,x,,h,xd,,,n0,,,1,,x,,,ii,1,,
nn,,n,2,x,,1,x,i,,i1x,(1)t,n,,i,1i,1,,t,i,1,1itedt,,, ,nnn,1,,,,0(n1)1x,,,,,(n1)1x,,,,,,i,ii,1,,1i,,,
1,nX?,即 , n,1
22,,1,nX??,,,,,,E,? R,,,E,,,=, ,,,,,n,1,,
22,,,,,,,,1,nX1,nXn1,nEX2,,,,,D,,,E,, ,DX,,(),,,,,,,,,,n,1n,1n,1n,1,,,,,,,,
22n1,n,(n,2),1,,,,, ,,,,,,,,22n,1(n,1),,n,1,,
??? ,,,,,,,,,,B,,ER,,,,R,,,,,d,,,
2,,,,(n,2),1,(3),(n,2),(2),,(1)1,,。 ,,ed,,22,0(n,1)(n,1)n,1
3,x42,,,3,0,,1x,,0,,,4Xpx~(,),、设总体, 2~(),,,,,,,,0,其他,,0,其他,
2,,,,样本,损失函数, ,,L,,d,,,dX,X,X,?,X12n
求参数的贝叶斯估计。 ,
n3n4x,i3nn4x1ii,,,qx,,p(x,,)解:?= ,,0,x,x,?,x,,,i12n,44n,,,1i1i,
2,3,0,,1,,~,,,? ,,,,0,其它,
nn32,4x,3,ii,1,,,,,,,,,,x,x,f,q,x,,,1 (n)4n,
nn32,4x,31,in,,11n3i,1,,,,,,x,,341,fd,d,,x,,? ,,gx,i4n4n,3,,,,4n,3x,i,1(n),x,,(n)
4n,3xfx,,,,43,n(n)h,,x,x,,,1? =, ,,(n)4n,34n,2,,gx1,,x(n)
4n,34n,41(4n,3)xx(1,x),d4n,3(n)(n)(n)?? = ,,,,,,E,x,,h,xd,,,,4n,34n,34n,3,,x(n)1,x,4n,41,x(n)(n),
第五章 假设检验 一(参数检验:
一般方法:
(4) 从参数的点估计出发,构造一个合适的统计量;
(5) 给定检验水平,构造一个小概率事件; ,
(3)小概率事件即为拒绝域。
21、单正态总体:总体 X~N,,,,,
2,(1)已知:
,,,,X,,0 ,,H:,,,Wx:u,,00,,n,,2,,
,,,,X,,0 ,,,H:,,,Wx:u,,00,,,,n,,
,,,,X,,0 ,,H:,,,Wx:u,,00,,,,n,,
2(2)未知: ,
,,
,,,X,,,0Wxtn ,:,(,1)H:,,,,,,00*2Sn,,,,n,,
(3)未知: ,
22,,,,,,(n1)S(n1)S,,,,,,2222nnW,(n1):,(n1) ,,,,, H:,,,,,,,,,0022,122,,,,,,00,,,,
222、两正态总体: X~N(,,,)Y~N(,,,)1122
(1)方差未知但相等: H:,,,012
,,(,,2)nnnn,XY,,1212 ,,(,,2)Wtnn,,,12222,**nn12,,(,1),(,1)nSnSnn1212,,
22(2)未知: H:,,,,、,12012
22,,,,,,SS,,,,nn11,,,,,,, W F(n1,n1): F(n1,n1),,,,,,1212221,,,22SS,,,,nn22,,,,
1公式: F(n,m) ,,F(m,n)1,,
3、效函数和两类错误:
效(势)函数: ,,,,,,,,,E,X,PX,W,,,,,,
两类错误: 对检验H:,,,H:,,,0011 第一类错误——“弃真”:即正确而被拒绝, H0
犯这类错误的概率为:
,,,,P拒绝HH为真,PX,W,,,, ,,,,,,,,00,00
第二类错误——“取伪”:即不正确而被接受, H0
犯这类错误的概率为:
,,,,P接受HH不真,PX,W,,,,1,,,,,,,,,00,11 二、分布检验:
2(1)拟合优度检验 ,
H:F(x),F(x;,)0X0
2m,,?,nnp()2ii,,,, W,(mr1) ,,,,?np,1ii,,
(2)柯尔莫哥洛夫检验
H:F(x),F(x;,)0X0
,,,,, Wsup|F(x)F(x)|D,,n0n,,,,,,,,x,,
(3)斯米尔诺夫检验
H:F(x),G(x)0XY
,,,,, 拒绝域 Wsup|F(x)G(x)|D,,nnn,n,,1212,,,,,,x,,
(4)独立性检验
H:X,Y独立0
2,,,,nn,,ij,,,,,nij,,mkn,,,,2 拒绝域 ,,,,W,((m1)(k1)),,,,,nn,,,,ij11ij,,
,,n,,二、例题
1、柯尔莫哥洛夫检验的统计量为 ,拒绝域为 。
222、两正态总体的样本容量为n,n,则检验的 H:,,,12012
统计量为 ,拒绝域为 。
22,,,,,,SS,,,,nn11,,,,,,,W F(n1,n1): F(n1,n1)解: ,,,,,,1212221,,,22SS,,,,nn22,,,,
22,,,,SS,,nn11W,, F(n,1,n,1)F ,,,,1222,,SS,,nn2,,2
3、对某农作物两个品种A,B计算了8个地区的亩产量如下:
品种A:86,87,56,93,84,93,75,79
品种B:79,58,91,77,82,74,80,66 假定两个品种的亩产量均服从正态分布,试问品种A,B的 亩产量有无显著差异,
,,0.05(,t(14),1.7613,F(7,7),3.79,F(7,7),4.99) 0.050.050.025
解: 设X表示品种A的亩产量,Y表示品种B的亩产量;
22则 X~N(,,,)Y~N(,,,)1122
22(1) 检验 H:,,,012
2,成立H0Sn1 F,, F(n,1,n,1)122,Sn2
nn1216531607 x,x,,81.63,y,y,,75.88,,iin8n8i,1i,112
n1211013.34,22s,[x,nx],,ni1117n,i,11 n221708.822,s,y,ny,[],ni22n,17i,12
2,sn1F ,,1.42922,sn2
1 ,F(7,7),F,F(7,7),4.990.9750.0254.99
22接受 H:,,,012
(2)检验 H:,,, 012
H成立0nn(n,n,2)X,Y1212T ,,t(n,n,2) 1222**n,n12(n,1)S,(n,1)Snn1212
81.63,75.888,8,14 T,,1.0368161013.34,708.8
|T|,1.0368,2.1448,t(14)0.025
H:,,,接受 012
224、设总体未知,样本 X,X,??,XX,N(,,,),,12n
(1)求检验的拒绝域; H:,,,H:,,,0010
(2)求检验的拒绝域; H:,,,H:,,,0010解法:(1)构造合适的统计量:
H成立0X,,0 T,~t(n,1)*Sn
n
当不成立时,T有偏大特征。 H0
构造小概率事件:给定显著水平 ,使 ,
P{T,t(n,1)},,,
,,
,,,X,0拒绝域 ,:,(,1)Wxtn,,,*Sn,,
n,,
(2)构造合适的估计量:
X,,,T,,t(n,1) *Sn
n
构造小概率事件:给定显著水平 ,使 ,
, P{T,t(n,1)},,,
,T构造更小的小概率事件:由于未知,无法计算, ,
H成立0X,,X,,,0利用 T,,,T ,,SSnn
nn
,,,由于 T,t(n,1),,,T,t(n,1),故 ,,
, ,P{T,t(n,1)},, P{T,t(n,1)},,
即 P{T,t(n,1)},,,
,,
,,,X,0拒绝域 ,:,(,1)Wxtn,,,*Sn,,
n,,
第六章 方差分析与试验设计 一、 单因数方差分析
,,,,,Xi1,2,?,r,ijiij,2,,(1)数学模型: ,,N(0,)j1,2,?,n,iji
,,各相互独立ij,
H: ,,,,?,,012r(2) 推导拒绝域:
总离差平方和分解:
nnnrrriii222 ,Q,QQ,(X,X),(X,X),(X,X),,,,,,TijijiiEAijijij,,11,,11,,11
QAH成立0r,1构造统计量: F,,F(r,1,n,r)QEn,r
在H不成立时,统计量F有偏大的特征; 0
构造小概率事件: P{F,F(r,1,n,1)},,,
Q,,A,,r,1W,,F(r,1,n,r)拒绝域 ,,,QE,,n,r,,(3)Q,Q的计算方法 AE
nnnrrriii11222记 , , P,XQ,XR,X()(),,,,,,ijijijnn,,11,,11,,11ijijiji则有 Q,Q,P,Q,R,Q,Q,R,PAET
2(4)参数估计:设总体 X,N(,,,),i,1,2,?,r ii
Q2E??, ,,X ,iin,r二、两因素非重复试验的方差分析
,,,,,X,,,,ijijij,2,,,N(0,),i,1,2,?,r(1)数学模型: ,ij
,各,相互独立,j,1,2,?,sij,
H: ,,,,?,,,00112r
H: ,,,,?,,,0 0212s
(2)、构造统计量:
QAH成立01(r,1)F,,F(r,1,(r,1)(s,1))AQE(r,1)(s,1) QBH成立02(s,1)F,,F(s,1,(r,1)(s,1))BQE(r,1)(s,1)
rsrs22Q,(X,X)Q,(X,X) 其中:, ,,,,Tij,Aiij,,11,,11ij
rs2Q,(X,X) , Q,Q,Q,Q,,Bj,ETABij,,11
W,{F,F(r,1,(r,1)(s,1))},AA (3)、拒绝域: W,{F,F(s,1,(r,1)(s,1))}BB,
三、 正交试验设计
正交表
因素 原料配比A 加温温度B 保温时间C 指标yi 试验号 1 2 3
1 1(1?1) 1(150) 1(30) 35
2 1(1?1) 2(165) 2(35) 30
3 1(1?1) 3(180) 3(40) 29
4 2(2?3) 1(150) 2(35) 26.4
5 2(2?3) 2(165) 3(40) 26
6 2(2?3) 3(180) 1(30) 15
7 3(3?7) 1(150) 3(40) 20
8 3(3?7) 2(165) 1(30) 20
9 3(3?7) 3(180) 2(35) 23
? 94 81.4 70
? 67.4 76 79.4 T=224.4
? 63 67 75 ? 数学模型(由正交表写出模型):
,,Y,,a,b,c,,,11111,,,Y,,a,b,c,,21222,,,,Y,,a,b,c,, ,31333
,??,
,Y,,,a,b,c,,93329,?参数估计:
???AAA??? a,,Ya,,Ya,,Y123333
???BBB??? b,,Yb,,Yb,,Y123333
???CCC??? c,,Yc,,Yc,,Y123333
2?方差分析:和的计算公式为: Sfii
2222,,T???2iii,,Si 第i列水平重复次数数据总个数
f,第i列水平数,1i
22未排因数列的之和; S,Sie
未排因数列的之和; f,fei
2S/fii,则第 i列因素显著。 F(f,f)F,,,iei2S/fee
?、求最优预测值
?Y,Y, 显著因素最优水平效应的估计值 优
四、 例题
1、 两因素非重复试验方差分析的数学模型为 。
,,,,,X,,,,ijijij,2,,,N(0,),i,1,2,?,r ,ij
,各,相互独立,j,1,2,?,sij,
H: ,,,,?,,,00112r
H: ,,,,?,,,0 0212s
2、 在下列正交试验设计中:
A B Y因素 i
1 2 3 列号
1 1 1 1 Y 1
2 1 2 2 Y 2
3 2 1 2 Y 3
4 2 2 1 Y 4
试验数据的数学模型为 。
,,Y,,a,b,,1111,,,Y,,a,b,,2122 ,,,Y,,a,b,3213,
,Y,,,a,b,,,4224
3、单因数方差分析的数学模型为:
,,,,,Xi1,2,?,r,ijiij,2,, ,,N(0,)j1,2,?,p,ij
,,各相互独立ij,
(1)求总离差平方和的分解式,并求; DQQTT(2)求假设 H:的拒绝域; ,,,,?,,012r
2,(3)求 的无偏估计。
pprr22 解:(1) Q,(X,X)= (X,X,X,X),,,,Tijijiiijij,,11,,11
pprprr22 ,(X,X),2(X,X)(X,X),(X,X),,,,ijiijii,,iijij,,11,,11ij,,11
pprr22,(X,X),(X,X) ,Q,Q,,,,ijiiEA,,11,,11ijij
pr1122Q,(X,X)~,(rp,1) ,,Tij22,,,,11ij
4 DQ,2(rp,1),T
(2)构造统计量
QAH成立0r,1F,,F(r,1,rp,r) QErp,r
在H不成立时,统计量F有偏大的特征 0
给定显著水平 ,使 ,
P{F,F(r,1,rp,r)},,,
,,QA,,r,1W,,F(r,1,rp,r)拒绝域为 ,,,QE,,rp,r,,
(3)
ppprrr,,22222EQ,E(X,X),E(X,pX),(EX,pEX),,,,,,,,Eijiijiijiijijij,,11,,11,,11,, 2prr,222222,(,(,,),p(,,)),(p,,,),(rp,r),,,,iipiji,,11,1
Q22E?,,, 为的无偏估计。 rp,r
4、设用3台机器A,B,C生产同一种产品,每台机器
的日产量如下:
A:41,48,41,57,49 1
A:65,57,54,72,64 2
A:45,51,56,48,48 3
(,,0.05)问在日产量上,各台机器是否有显著差异,
2解: 设表示第A台机器的日产量, X~N(,,,)i,1,2,3Xiiii
r,3p,5 H:,,,,,0123
pr1122P,(X),,796,42241.07, ,,ijrp3,5i,,j11
pr112Q,(X),,214544,42908.8, ,,ijp5i,,1j1
pr2R,X,43356 ,,iji,,11j
则有 Q,Q,P,667.73,Q,R,Q,447.2,Q,R,P,1114.93AET
方差 离差平方和 自由度 均方误差 F 值 F值 显著性 α来源
Q,667.73A组间 2 333.865
8.95 3.88 , Q,447.2E组内 12 37.27
Q,1114.93T总和 14
即各台机器日产量有显著差异.
5、某农药的收率的正交试验设计方案及试验数据如下表, 试对试验结果进行方差分析,并对最优生产条件进行预测。
因素 A B A×B C D
1 2 3 4 5 6 7 y,90i试验号
1 1 1 1 1 1 1 1 ,4
2 1 1 1 2 2 2 2 5
3 1 2 2 1 1 2 2 1
4 1 2 2 2 2 1 1 4
5 2 1 2 1 2 1 2 1
6 2 1 2 2 1 2 1 6
,7 7 2 2 1 1 2 2 1
8 2 2 1 2 1 1 2 ,2
? 6 8 -8 -9 1 -1 -1
T,4
? -2 -4 12 13 3 5 5
8 18 50 60.5 0.5 4.5 4.5 2S i
已知 F(1,2),18.5F(1,2),98.50.050.01
222,??T2ii由S,,求出上表最后一列 解: i48
f,第i列水平数,1,1i
方差 离差平 自由度 均方误差 F 值 F值 显著性 α
来源 方和
A 8 1 8 3.2
B 18 1 18 7.2 F(1,2),18.50.05 , A×B 50 1 50 20.0
, C 60.5 1 60.5 24.2 F(1,2),98.50.01 D 4.5 1 4.5 1.8
e 5 2 2.5
AB的搭配的平 21 A AA1 2
B
均收率最高, ,4,51,6 B 1 ,0.5,3.522故取A=A,B=B,因此,最 211,4,7,2 B 2 ,2.5,,4.522优生产条件为ABCD. 2122
4134124,,,,???Y,90,Y,c,(ab),90,,,,,,95.75 ,,,,221优84848,,,,
26、设有线性模型 Y,,,,x,,x,,,i,1,2,?5,iiii012
2 且独立, 。 ,~N(0,,)x,,1,x,0,x,1,x,,2,x,2i12345
求:(1)的最小二乘估计; ,,,,,012
???? (2)Y,,,,,,的概率分布。 390012
111,,,,,Y,,1,,,100,,,,0,,Y,,2,,,, 解:(1) Y,X,,111,,1,,,,?,,,,124,,,,2,,,,Y5,,,,124,,
171,,0,,,3575010,,,,,,1TT,1,,0100,()00,, XXXX,,,,10,,10034,,11,,0,,,714,,
1,,(12Y,17Y,12Y,3Y,3Y),,12345?,,,350,,,,1T,T1,,,,??,,,,(XX)XY,(,Y,Y,2Y,2Y) 11345,,,,10?,,,,1,2,,(,Y,2Y,Y,2Y,2Y),,1234514,,
2T,1? (2)由于 ,,N(,,,(XX))
?????Y,,,,,,,,, 故 服从正态分布,又 39(139)0012
??EY,(1,39)E,,(1,39),,,,3,,9, 0012
11,,,,,,,,2T,1???(139)cov(,)3(139)()3,,,,,, DY,,,XX,,,,0
,,,,99,,,,
171,,0,,,3571,,,,,,122,,,,(1,39)00,3,4.6, ,,,,10,,9,,11,,,0,,714,,
2?Y,N(,,3,,9,,4.6,) 故 001
范文三:数理统计复习总结-西北工业大学
1统计量与抽样分布
1.1基本概念:统计量、样本矩、经验分布函数
总体X 的样本X 1,X 2,…,X n ,则T(X1,X 2,…,X n ) 即为统计量 样本均值μ=X
1n 2
样本方差S n =∑(X i -X )
n i =1
修正样本方差S
*2n
2
1n =(X i -X ) ∑n -1i =1
2
1n k
样本k 阶原点矩A k =∑X i , (k =1, 2,...)
n i =1
1n k
样本k 阶中心矩B k =∑(X i -X ) , (k =1, 2,...)
n i =1
经验分布函数F n (x ) =
v n (x )
, (-∞
1
显然V n (x ) ~B (n , F (x )) , 则有E [F n (x )]=F (x ) D [F n (x )]=F (x )[1-F (x )]
n
2ES n =
补充: ?
n -1*2
=DX EX 2=DX +(EX ) 2 DX ES n
n
?
1n 2
S =∑X i -2
n i =1
2n
k k
● 二项分布B(n,p): P {X =k }=C n p (1-p ) n -k , (k =0, 1,..., n )
EX=np DX=np(1-p) ● 泊松分布P (λ) :
P {X =k }=
λk
k !
e -λ, (k =0, 1,...)
EX =λ DX =λ
● 均匀分布U(a,b):
f (x ) =
1
, (a
EX =
a +b 1
(b -a ) 2 DX =
212
● 指数分布:
f (x ) =λe -λx ,(x >0) ?F (x ) =1-e -λx ,(x >0)
1
EX =
1
λ
DX =
λ2
● 正态分布N (μ, σ) :
2nS n
2
1(x -μ) 2
f (x ) =exp{- EX =μ DX =σ2 2
2σ2πσ
2
n
2nS n n -122(n -1) 4
E (2) =n -1?ES =σ D (2) =2(n -1) ?DS n 2=σ 2
σn σn
2244
当μ=0时,EX =0 EX =σ EX =3σ E X =
D X =(1-) σ2
ππ
22
1.2统计量:充分统计量、因子分解定理、完备统计量、指数型分布族 T 是θ的充分统计量?f (x 1, x 2,..., x n T =t ) 与θ无关 T 是θ的完备统计量?要使E[g(T)]=0,必有g(T)=0
L (θ) =∏f (x i ; θ) =h (x 1, x 2,..., x n ) g (T (x 1, x 2,..., x n ); θ) 且h 非负?T 是θ的充分统计量
i =1
n
∏f (x ; θ) =C (θ) exp{b (θ) T (x , x ,..., x )}h (x , x ,..., x ) ?T 是θ的充分完备统计量
i
1
2
n
1
2
n
i =1n
n
∏f (x ; θ) =C (θ) exp{b (θ) T (x , x ,..., x ) +b (θ) T (x , x ,..., x )}h (x , x ,..., x )
i
1
1
1
2
n
2
2
1
2
n
1
2
n
i =1
?(T 1, T 2) 是θ=(θ1, θ2) 的充分完备统计量
1.3抽样分布:χ分布,t 分布,F 分布,分位数,正态总体样本均值和方差的分布,非正态总体样本均值的分布
2
χ分布:χ=X +X +... +X ~χ(n ) f (x ) =
22
2
1222n
2
1n 2Γ()
2
n 2
e x
-
x 2n -12
(x >0)
E χ2=n D χ2=2n
T 分布:T =
n X
~t (n ) 当n>2时,ET=0 DT =
n -2/n
X
F 分布:F =
12
~F (n 1, n 2)
1
=F (n 2, n 1) F
补充:
? Z=X+Y的概率密度f z (z ) =
合概率密度
?
+∞
-∞
f (x , z -x ) dx =?f (z -y , y ) dy f(x,y)是X 和Y 的联
-∞
+∞
? ? ●
+∞Y
Z =的概率密度f z (z ) =?f (x , xz ) x
-∞X
y =g (x ) 的概率密度f y (y ) =f x (g -1(y )) g -1(y )]'
Γ函数:Γ(α) =?x α-1e -x dx Γ(α+1) =αΓ(α) Γ(n ) =(n -1)! , Γ(1) =1
+∞
● B 函数:B (α, β) =
?
1
x α-1(1-x ) β-1dx B (α, β) =
Γ(α) Γ(β)
Γ(α+β)
X 、样本极差R 1.4次序统计量及其分布:次序统计量、样本中位数
X (k)的分布密度:f x (k ) (x ) =
n !
[F (x )]k -1[1-F (x )]n -k f (x ), (k =1, 2,..., n )
(k -1)! (n -k )!
X (1)的分布密度:f x (x ) =nf (x )[1-F (x )]n -1
(1) X (n)的分布密度:f x (n ) (x ) =nf (x )[F (x )]n -1
2参数估计
2.1点估计与优良性:概念、无偏估计、均方误差准则、相合估计(一致估计) 、渐近正态估计
的均方误差:MSE (θ , θ) =E (θ -θ) 2=D θ +(E θ -θ) 2 θ
是无偏估计,则MSE (θ , θ) =D θ 若θ
, 是θ的最小方差无偏估计, ≤D θ ,对于θ的任意一个无偏估计量θ有D θ则θ记MVUE
n =0 相合估计(一致估计):lim E θn =θ lim D θ
n →∞
**
n →∞
2.2点估计量的求法:矩估计法、最大似然估计法 矩估计法:
① 求出总体的k 阶原点矩:a k =EX =
k
?
+∞
-∞
x k dF (x ; θ1, θ2,..., θm )
1n k
k =θ k (X , X ,..., X ) 即为所求 ② 解方程组a k =∑X i (k=1,2,...,m),得θ12n
n i =1
最大似然估计法:
① 写出似然函数L (θ) =
∏f (x i ; θ) ,求出lnL 及似然方程
i =1
n
?ln L
=0 i=1,2,...,m
?θi θ=θ
i (x , x ,..., x ) ,即最大似然估计θ i (X , X ,..., X ) i=1,2,...,m ② 解似然方程得到θ12n 12n
补充:
似然方程无解时,求出θ的定义域中使得似然函数最大的值,即为最大似然估计 2.3MVUE 和有效估计:最小方差无偏估计、有效估计
=E (θ |T ) 为θ的惟一的MVUE 是θ的一个无偏估计?θT 是θ的充分完备统计量,θ
最小方差无偏估计的求解步骤:
① 求出参数θ的充分完备统计量T
*
=g -1(T ) 是θ的一个无偏估计 ② 求出ET =g (θ) ,则θ
或求出一个无偏估计,然后改写成用T 表示的函数
-1-1
③ 综合,E [g (T ) T ]=g (T ) 是θ的MVUE
或者:求出θ的矩估计或ML 估计,再求效率,为1则必为MVUE
[g ' (θ)]2
T 是g (θ) 的一个无偏估计,则满足信息不等式D [T (X )]≥,其中
nI (θ)
??2ln f (X ; θ) ???ln f (X ; θ) ?
或I (θ) =-E ? I (θ) =E ?>0,f (X ; θ) 为样本的联合分布。?2??θ?θ????
最小方差无偏估计?达到罗-克拉姆下界?有效估计量?效率为1
2
) = 的效率:e (θ无偏估计θ
1 D θnI (θ)
是θ的最大似然估计,且θ 是θ的充分统计量?θ 是θ的有效估计 θ
2.4区间估计:概念、正态总体区间估计(期望、方差、均值差、方差比) 及单侧估计、非正态总体参数和区间估计 一个总体的情况:X ~N (μ, σ)
2
σ2已知,求μ
~N (0,1)?X -μ0
*α
2
σ未知,求μ
2
i
n
~t (n -1) ?X -μ0<>
2
i
α(n -1)
22
μ已知,求σ2的置信区间:μ未知,求σ2的置信区间:
∑(X
i =1
σ
2
~χ2(n ) ?
∑(X
i =1
22
n
-μ)
χα(n )
<>
∑(X
i =1
n
i
-μ) 2(n )
χ
2
1-
α
2
∑(X
i =1
n
i
-X )
2
2
σ
~χ2(n -1) ?
∑(X
i =1
22
n
i
-X )
2
χα(n -1)
<>
∑(X
i =1
n
i
-X ) 2
χ
2
1-
α
2
(n -1)
2
两个总体的情况:X ~N (μ1, σ12) ,Y ~N (μ2, σ2) 2σ12, σ2
均已知时,求
μ1-μ2
的区间估计
:
~N (0,1)?X -Y -(μ1-μ2)
α
2
2
σ12=σ2=σ2未知时,求μ1-μ2的区间估计:
~t (n 1+n 2-2)
σ12
μ1, μ2未知时,求2:
σ2
*2S 2σn 212S 1*n 1σ2
22
~F (n 2-1, n 1-1) ?
S 1*n 1
*S 2n 2
2
2
F ?(n 2-1, n 1-1)
1-2
σ
<*f ?(n="" 2-1,="" n="" 1-1)="" σs="" 2n="">*f>
22
2122
S 1*n 1
2
非正态总体的区间估计:
L
当n →∞
N (0,1)?X -μ<>
2
X -
m
??S n lim =1 n →∞?,故用S n 代替S n-1
S n -1??
?m ~N (0,1)? ± ?n 3统计决策与贝叶斯估计
3.1统计决策的基本概念:三要素、统计决策函数及风险函数
三要素:样本空间和分布族、行动空间(判决空间)、损失函数L (θ, d ) 统计决策函数d(X):本质上是一个统计量,可用来估计未知参数 风险函数:R (θ, d ) =E θ[L (θ, d (X ))]是关于θ的函数
3.2贝叶斯估计:先验分布与后验分布、贝叶斯风险、贝叶斯估计
① 求样本X=(X1,X 2,...,X n ) 的分布:q (x |θ) =
∏f (x |θ)
i
i =1
n
② 样本X 与θ的联合概率分布:f (x , θ) =h (θ|x ) m (x ) =q (x |θ) π(θ)
③ 求f (x , θ) 关于x 的边缘密度m (x ) =
Θ
?f (x , θ) d θ
④ θ的后验密度为:h (θ|x ) =
f (x , θ)
m (x )
取L (θ, d ) =(θ-d ) 2时
=E (θ|x ) =θh (θ|x ) d θ θ的贝叶斯估计为:θ?
Θ
?R (θ, d ) =E θ(θ-d ) 2?
贝叶斯风险为:?
R B (d ) =E [R (θ, d )]=?E θ(θ-d ) 2h (θ|x ) d θ?Θ?
=取L (θ, d ) =λ(θ)(θ-d ) 2时,贝叶斯估计为:θ
补充: ?
E [λ(θ) θ|x ]
E [λ(θ) |x ]
C (θ) 的贝叶斯估计:取损失函数L (θ, d ) =(C (θ) -d ) 2,则贝叶斯估计为
(θ) =E [C (θ) |x ]=C (θ) h (θ|x ) d θ C ?
Θ
?
=E (θ|x ) =h (θ|x ) d θ=θ??
Θ
θf (x , θ)
m (x )
d θ=
Θ
?θf (x , θ) d θ
Θ
Θ
?f (x , θ) d θ
3.3minimax 估计
对决策空间中的决策函数d 1(X),d2(X),...,分别求出在Θ上的最大风险值max R (θ, d )
θ∈Θ
在所有的最大风险值中选取相对最小值,此值对应的决策函数就是最小最大决策函数。
4假设检验
4.1基本概念:零假设(H0) 与备选假设(H1) 、检验规则、两类错误、势函数 零假设通常受到保护,而备选假设是当零假设被拒绝后才能被接受。
检验规则:构造一个统计量T(X1,X 2,...,X 3) ,当H 0服从某一分布,当H 0不成立时,T 的偏大偏小特征。据此,构造拒绝域W 第一类错误(弃真错误):P {T ∈W |H 0为真} 第二类错误(存伪错误):P {T ?W |H 0为假}
?1, X ∈W . 势函数:β(θ) =E θ(δ(X )) =P θ{X ∈W }δ(X ) =?
X ?W . 0, ?
当θ∈Θ0时,β(θ) 为犯第一类错误的概率
当θ∈Θ1时,1-β(θ) 为犯第二类错误的概率
4.2正态总体均值与方差的假设检验:t 检验、X 2检验、F 检验、单边检验 一个总体的情况:X ~N (μ, σ2)
σ2已知,检验H 0:μ=μ0?H 1:μ≠
μ0:U =σ2未知,检验H 0:μ=μ0?H 1:μ≠
μ0:T =
~N (0,1)
~t (n -1) 222
:χ=?H 1:σ2≠σ0μ已知,检验H 0:σ2=σ0
∑(X
i =1
n
i
-μ) 2
2
σ
~χ2(n )
222
:χ=?H 1:σ2≠σ0μ未知,检验H 0:σ2=σ0
∑(X
i =1
n
2
-) i
σ2
~χ2(n -1)
2
两个总体的情况:X ~N (μ1, σ12) ,Y ~N (μ2, σ2) 2σ12=σ2=σ2未知时,检验H 0:μ1=μ2?H 1:μ1≠μ2:
T =
~t (n 1+n 2-2)
S 1*n 1S
*22n 2
2
22
:F =μ1, μ2未知时,检验H 0:σ12=σ2?H 1:σ12≠σ2~F (n 1-1, n 2-1)
单边检验:举例说明,σ已知,检验H 0:μ≤μ0?H 1:μ>μ0:
构造U 1=
2
~N (0,1),给定显著性水平α,有P {U 1>u α}=α。当H 0成
def 立时U 1=≥U ,因此P {U >u α}≤P {U 1>u α}=α。故拒绝域
为W ={U >u α}
4.3非参数假设检验方法:χ拟合优度检验、科尔莫戈罗夫检验、斯米尔诺夫检验
2
(Ni -np i 0) 22
χ拟合优度检验:H 0:p i =p i 0?H 1:p i ≠p i 0 W ={∑>χα(m -r -1)}
np i 0i =1
2
m
其中N i 表示样本中取值为i 的个数,r 表示分布中未知参数的个数
科尔莫戈罗夫检验:H 0:F (x ) =F 0(x ) ?H 1:F (x ) ≠F 0(x ) 实际检验的是F n (x ) =F 0(x )
W ={limsup F n (x ) -F 0(x ) >D n , α}
n →∞-∞
斯米尔诺夫检验:H 0:F (x ) =G (x ) ?H 1:F (x ) ≠G (x ) 实际检验的是F n (x ) =G n (x )
W ={limsup F n 1(x ) -G n 2(x ) >D n 1, n 2, α}
n →∞-∞
4.4似然比检验
明确零假设和备选假设:H 0:θ∈Θ0?H 1:θ∈Θ1
sup L (x 1,..., x n ; θ)
L 1(x 1,..., x n ) θ∈Θ
=构造似然比:λ=
L 0(x 1,..., x n ) sup L (x 1,..., x n ; θ)
θ∈Θ0
拒绝域:W ={λ(x 1,..., x n ) >λα}
5方差分析
5.1单因素方差分析:数学模型、离差平方和分解、显著性检验、参数估计
?X ij =μ+αi +εij ?
数学模型?εij ~N (0,σ2) ,(i=1,2,...,m;j=1,2,...,ni ) H 0:α1=α2=... =αn
?
?各εij 相互独立
总离差平方和Q T =
∑∑(X
i =1j =1
m
n i
m n i
ij
-) 2
Q T =Q E +Q A
Q E
) =σ2 n -r
组内离差平方和Q E =
∑∑(X ij -X i ) 2 E (
i =1j =1m
组间离差平方和Q A =
∑n i (X i -X ) 2
i =1
当H 0成立时,E (
Q A
) =σ2 r -1
Q A
构造统计量F =
r -1) n -r )
E
=
Q A
~F (r -1, n -r ) ,当H 0不成立时,有偏大特征 Q E
X i -X k ~N (μi -μk ,(
Q 1122
~χ(n -r )
+) σ) 且E 2σn i n k
?T =
~t (n -r )
应用:
'
? 若原始数据比较大而且集中,可减去同一数值X ij =X ij -k 再解题 m m n i
1m n i 1n i 22
? 辅助量:P =(∑∑X ij ) , Q =∑(∑X ij ) , R =∑∑X ij 2
n i =1j =1i =1n i j =1i =1j =1
Q A =Q -P , Q E =R -Q , Q T =R -P
5.2两因素方差分析:数学模型、离差平方和分解、显著性检验
?X ij =μ+αi +βi +εij
??H 01:α1=α2=... =αn
数学模型?εij ~N (0,σ2) ,(i=1,2,...,r;j=1,2,...,s) ?
?H 02:β1=β2=... =βn ?
?各εij 相互独立
总离差平方和Q T =
∑∑(X
i =1j =1
r s
ij
-) 2
Q T =Q E +Q B +Q A
Q E
) =σ2
(r -1)(s -1)
Q B
) =σ2 s -1
组内离差平方和Q E =
∑∑(X ij -X i ?-X ?j +X i ) 2 E (
i =1j =1
s j =1r
m n i
因素B 引起的离差平方和Q B =
∑r (X ?j -X ) 2 当H 0成立时,E (
∑s (X i ?-X ) 2 当H 0成立时,E (
i =1
2
因素A 引起的离差平方和Q A =
2
Q A
) =σ2 r -1
2
r s r s ??1?r s 1?s 1?r ?2
辅助量:P = ∑∑X ij ?, Q I =∑ ∑X ij ?, Q II =∑ ∑X ij ?, R =∑∑X ij
n ?i =1j =1i =1s ?j =1j =1r ?i =1i =1j =1???
Q A =Q I -P , Q B =Q II -P , Q E =R -Q I -Q II -P
?Q A (r -1) Q A F ==~F (r -1,(r -1)(s -1)) ?A
Q (r -1)(s -1) Q ?E E
构造统计量:?
?F =Q B s -1) =Q A ~F (s -1,(r -1)(s -1)) ?B Q (r -1)(s -1) Q
E ?E
6回归分析
6.1一元线性回归:回归模型、未知参数的估计(β、α、σ2) 、参数估计量的分布(βαY0
σ2σ*2)
?Y i =α+βx i +εi ?2
回归模型:?εi ~N (0,σ) i=1,2,...,n.
?各ε相互独立
i ?
?? ??β
的估计:?(α, β)
?? ??α
2
? σ2
) ?β~N (β, n
(x -x )(Y -Y ) ∑i i 2
?(x -x ) ∑i
=i =1n ?i =1
分布:? (α, β)(x i -x ) 22∑(x ) 2?α ~N (α,[1+i =1]σ) n ?n x (x i -x ) 2=Y -β?∑i =1?
n
221n 1n 22 2S 2 σ的估计:σ=∑(Y i -Y ) -β(∑(x i -x ) 2) =S nY -βnx
n i =1n i =1
=E σ
2
n -22
*2=σ2 σ E σ
n
6.2多元线性回归:回归模型、参数估计、分布
?Y i =X i β+εi ?2
回归模型:?εi ~N (0,σI n ) i=1,2,...,n.
?各ε相互独立?i
?β =(X T X ) -1X T Y 参数估计:X T Y =(X T X ) β
7多元分析初步
7.1定义及性质:定义、性质
X ~N p (μ, ∑) 其中μ为X 的均值向量,∑为X 的协方差矩阵
Y=CX+b,则Y ~N p (C μ+b , C ∑C T )
若∑≠0,刚η?(X -μ) ∑(X -μ) ~χ(p )
7.2参数的估计与假设检验:μ、Σ的估计、正态总体均值向量的假设检验
n
1n T
样本均值向量X =∑X i 样本离差阵S =∑(X k -X )(X k -X )
n i =1k =1
def
-1
2
=S =X ∑最大似然估计μ
n
= =X ∑最小方差无偏估计μ
S
(n -1)
n -1
1T
X ~N (μ, ∑) S =∑YY i i
n i =1
η=n (X -μ0) T ∑-1(X -μ0) ~χ2(p )
F =
n -p
[n (n -1)(X -μ0) TS -1(X -μ0)]2~F (p , n -p ) (n -1)
2χmn =mn (X -Y ) T ∑-1(X -Y ) ~χ2(p ) m +n
F =mn (m +n -p -1) (X -Y ) T S -1(X -Y ) p (m +n )(m +n -2)
范文四:西北工业大学《概率论与数理统计》1-2_事件的关系和运算
西北工业大学《概率论与数理统计》1-2_事件的关系和
运算
第二节事件的和运算一、随机事件间的运算二、随机事件间的关系回三、运算定律停下
一、随机事件间的运算运算(有3种)运算概率论Venn图符号集合论事件A与B至少和A与B的并集AUB有一个发生事件A发生A与B的差集A??B差而B不发生AB事件A与B同A与B的交集积时发生或AIB
1.事件A与B的并(和事件);二事件A,B至少发生一个;也是一个事件,称为
记作AUB,显然AUB={w|w?A或w?B}.实例某种产品的事件A与事件B的和事件.
合格与否是由该产品的长度与直径是否合格所决定, 因此“产品不合格”是“长度不合格”与“直径不合格”的并.AAUBB图示事件A 与B 的并.??
2.事件A与B的差由事件A 发生而事件B 不发生所组成的事件称为事件A 与B 的差.记作A-B实例“长度合格但直径不合格”是“长度合格”与“直径合格”的差.图示A 与B 的差A–BB??
3.事件A与B的交(积事件);二事件A,B同时发生;也是一个事件,称为事件
A与事件 B 的积事件,记作AIB,显然AIB={w|w?A且w?B}.积事件也可记作A??B或AB.实例某种产品的合格与否是由该产品的长度与直径是否合格所决定,因此“产品合格”是“长度合格”与“直径合格”的交或积事件.图示事件A与B的积事件.ABAB??
nAUAULUA=UA:推广:?12nii=1A,A,L,A中至少有一个发生.12n?AUAULUAL=UA:12nii=1A,A,L,A,L中至少有一个发生.12nnAIAILIA=IA:?12nii=1A,A,L,A同时发生.12n?AIAILIAL=IA:12nii=1A,A,L,A,L同时发生.12n
二、随机事件间的关系关系(有4种)符号概率论集合论Venn图关系A发生则BA是B的子集A??B包含必发生A??BA与B相等A=B等价且B??A互斥AB=事件A与B不A与B不相交??(互不能同时发生相容)A的余集对立A?AUA=??AA的对立事件(互逆)AA=???
1. 包含关系若事件A 发生, 必然导致B 发生, 则称事件B 包含事件A, 记作B??A或A??B.实例“长度不合格”必然导致“产品不合格”所以“产品不合格”包含“长度不合格”.图示B 包含A.??2. 相等关系AB 如果事件B包含事件A,同时事件A包含事件B , 则称事件A与事件B相等, 记作A=B.
3. 事件A 与B 互不相容(互斥)若事件A 的发生必然导致事件B 不发生, B发生也必然导致A不发生, 则称事件A与B互不相容(或互斥), 即ABAIB=AB=??.实例1抛掷一枚硬币, “出现花面”与“出现字面”是互不相容的
两个事件.
实例2抛掷一枚骰子, 观察出现的点数. 互斥“骰子出现1点”“骰子出现2点”注1?当A?B= ??时, 可将A?B记为“直和”形式A+B,即??AUB=A+B(当AIB=??时).2?任意事件A与不可能事件??为互斥.
4. 事件A 的对立(或互逆)事件设A 表示“事件A 发生”, 则“事件A 不发生”称为事件A 的对立事件或逆事件.记作A.对立实例“骰子出现1点”“骰子不出现1点”B=A图示A 与B 对立.A??若A 与B 互逆, 则有A?B= ??且AB= ??或A+B= ??
1??互斥与互逆的关系注互斥互逆如:对于??={1,2,L,10},A={2},B={5}.显然,A与B互斥.AUB={2,5}???,但?A与B不互逆.而D={1,3,5,7,9}与G={2,4,6,8,10}互逆.2??必然事件??与不可能事件??互逆.
三、运算定律1.交换律:(1)AUB=BUA.(2)AB=BA.2.结合律:(1)(AUB)UC=AU(BUC).(2)(AB)C=A(BC).3.分配律:(1)AI(BUC)=(AIB)U(AIC).
?(2)(AB)UC=(AUC)(BUC),(3)A(B??C)=AB??AC.
BBAB=(BUC)AABUCA(AUC)(BUC)(AUC)CC
4. 对偶律(De Morgan定理)(1)AUB=AIB.“A, B至少有一发生”的对立事件
意义:是“A, B均不发生.(2)AIB=AUB.意义:“A, B均发生”的对立事件是“A, B至少有一个不发生”.
证明: 对偶律AUB=AIB例1在集合关系证明中,要证明A??B,需且只证需证明对A中的任意一元素ω,ω亦为B中的元素即可.用符号可表示为??ω?A??ω?B.这里符号“??”读作“对任意的”“,?”读作“属于”“,??”读作“推出”.现在给出证明:??ω不属于A同时ω不属于B??ω?AIB??ω?AUB,??ω不属于AUB从而知AIB??AUB.
另一方面??ω?AUB??ω不属于AUB,??ω不属于A, 同时ω不属于B,??ω属于A,同时ω属于B,??ω?AIB.从而得知AUB??AIB.因而AUB=AIB.
nn推广:A=A.UIiii=1i=1nnA=A.IUiii=1i=15. 其它一些性质若A??B,则AUB=B,AB=A.特别地,AU??=A,??=??.AU=??=??,AA??A.
例2设A,B,C为三个事件,试用这三个事件的运算关系表示下列事件:(1)A发生,而B,C都不发生.或ABUC;ABC,可表示为:(2) A, B都发生, C 不发生;或AB??C;ABC,ABC;(3) 三个事件同时都发生;(4)A,B,C中恰有一个发生.可表示为:ABC+ABC+ABC;
(5)A,B,C中恰有两个发生.ABC+ABC+ABC,可表示为:或ABUBCUAC??ABC;(6)
三个事件至少有一个发生;AUBUC.
设A,B为随机事件,证明:例3(1) A-B=A-AB,(2)AUB=A+BA=AB+AB+AB.(A??B=AB)(1)A??AB=AAB证=A(AUB)=AAUAB=??UAB=AB=A??B.
(2)A+BA=AUBA=(AUB)(AUA)=(AUB)??=AUB.AB+AB+AB=A(B+B)+AB=A??+BA=A+B
A=AUB.
内容小结概率论与集合论之间的对应关系记号概率论集合论??样本空间,必然事件空间(全集)空集不可能事件??元素w基本事件子集随机事件AA的补集A的对立事件AA是B的子集A发生必然导致B发生A??BA集合与B集合相等事件A与事件B相等A=B
AUB事件A与事件B的和A集合与B集合的并集AB事件A与B的积事件A集合与B集合的交集A??B事件A与事件B的差A与B两集合的差集A与B 两集合中没有事件A与B互不相容AB=??相同的元素
备用题例2-1设A, B, C 表示三个随机事件, 试将下列事件用A, B, C 表示出来.(1) A 发生, B, C 不发生;或A??(BUC);ABC或A??B??C(2) A, B都发生, C 不发生;ABC或AB??C;ABC;(3) 三个事件都发生;
(4) 三个事件至少有一个发生;AUBUC;(5) 三个事件都不发生;ABC;(6)
不多于一个事件发生;ABC+ABC+ABC+ABC;(7) 三个事件至少有两个发
生;ABC+ABC+ABC+ABC;
(8) 不多于两个事件发生;ABC+ABC+ABC+ABC+ABC+ABC+ABC,或ABC;(9)
A, B 至少有一个发生, C 不发生;(AUB)C;(10) A, B, C 中恰好有两个发
生.ABC+ABC+ABC.
例2-2从一只黑箱中依次取2只球, 箱中装有2只白球(标号1, 2), 2只黑
球(标号3, 4), 若以事件A表示第一次取黑球, 以事件B表示第二次取黑球, 试
表示A,B,AB,A??B,A.解可能的结果是:(1 , 2) , (1 , 3) , (1 , 4) , (2 , 1) , (2 , 3) , (2 , 4)(1 , 2) , (1 , 3) , (1 , 4) , (2 , 1) , (2 , 3) , (2 , 4)
A={(3,1),(3,2),(3,4),(4,1),(4,2),(4,3}).B={(1,3),(1,4),(2,3),(2,4),(3,4),(43},).AB={}(3,4),(4,3).A??B={(3,1),(3,2),(4,1),(4,2}).A=(1,2),(1,3)(1,4),(2,1),(2,3),(2,4).
运用事件运算公式证明等式例3-1ABU(A??B)UA=??.A??B=AB,证明于是
ABU(A??B)UA=ABUABUA=AUA=??.
例3-2下列命题是否正确,(1)AB=ABrA,B均不发生A,B至少有一个不发生(2)A+(B??A)=BrA?B解不正确.-AB一般地,A+(B??A)=AUB?B.
特别地,若A??B,则AUB=B,A+(B??A)=AUB=B.从而(3)B(A??C)=BA??BC.?解正确.BA??BC=BABC=BA(BUC)=BABUBACUBAC=??=BAC=B(A??C).
例3-3在计算机系学生中任选一名学生,设事件A=“选出的学生是男生”;B=“选出的学生是三年级学生”;C=“选出的学生是运动员”.(1)叙述事件ABC的含义.(2)在什么条件下, ABC=C成立?(3)什么时候关系C??B成立?
(1)ABC的含义是“选出的学生是三年级解的男生,但他不是运动员”.(2)QABC??a name=baidusnap7><3c,?abc=c的充要条件是:c??abc.又qabc??ab,?abc=c的充要条件是:c??ab.>3c,?abc=c的充要条件是:c??abc.又qabc??ab,?abc=c的充要条件是:c??ab.>
C??AB即“计算系学生中的运动员都是三年级的男生”.(3)什么时候关系C??B成立,当运动员都是三年级的学生时,C是B解的子事件,即C??B成立.
范文五:西北工业大学《概率论与数理统计》6-2_估计量的评价标准
西北工业大学《概率论与数理统计》6-2_估计量的评价
标准
第二节估计量的评价标准一、问题的提出二、无偏估计三、最小方差无偏估计回四、有效估计停五、相合估计(一致估计) 下
一、问题的提出对于总体分布中的同一个未知参数,θ若采用不同的估计方法,可能得到不同的??估计量θ。究竟采用哪一个估计量更好呢,这就产生了如何评价与比较估计量的好坏的问题,我们从估计量的数学期望及方差这两回个数字特征出发,引入无偏估计,最小方差无偏估计,有效估计和相合估计等概念。停下
二、无偏性????θ=θX,X,;,Xθ设()是参数的一个12n??估计量,如果Eθ=θ()??θ的无偏估计(量).θ则称是????θθ=θX,X,;,X如果的一列估计()nn12nn=1,2,;,满足关系式()??limEθ=θ()nn????θθ则称是的渐近无偏估计量.n??估计量θ如果不是无偏估计量, 就称这个估????Eθ??θ计量是有偏的,称为估计量θ的偏差.()
例1设总体的一阶和二阶矩存在,分布是任X2EX=??DX=σ()意的,记(),,则样本均值X22σ??S是的无偏估计,样本方差是的渐近无偏n??22S估计,修正
样本方差是σ无偏估计.nn??1??2222证明ES=σEX=??ES=σ()(), ,n()nn??2SX和均为无偏估计量,而所以,nn??122limES=limσ=σ()nn??n22S故是σ的渐近无偏估计.n
X0,θ设总体服从区间上的均匀分布,[]例2X,X,;,X()X是总体的一个样本.12n??θθθ=2X试证:参数是矩估计量, 是的无偏1??估计; θ的最大似然估计θ=maxX=X是Li(n)1?i?nθ的渐近无偏估计.θ??证明Eθ=E2X=2EX=2??=θ()()()12??故的矩估计θθ是无偏估计量.1
n??n??1x,0?x?θ??npx=()θ??Xn()??0,其他???+?????Eθ=EX=xpxdx()??()L??nXn()?()???????θnn=xdx=θ=θ?n0n+1θ??所以θ是θ的有偏估计量.L
但是,n??limEθ=limθ=θ()Ln??n??n+1??θθ即是的渐近无偏估计量.L但只要修正为n+1n+1????θ=θ=X2L(n)nn??θ那么θ也是的无偏估计量.2
一个未知参数可能有不止一个无偏估计量.设α和α为满足α+α=1的任意常数,则1212????αθ+αθ都是无偏估计量.1122有时一个参数的无偏估计可能不存在. 例如,设总体则| | 就没有无偏X~Nθ,1,θ()2θ??22估计. 其中EX=e+θ2φ(θ)??1.[]2π
有时无偏估计可能明显不合理.X例如,设是来自泊松总体的一个Pλ
()1X1??3λ??2是的无偏估计.样本,可以证明()e但这个无偏估计明显不合理. 当X取奇1??3λ数值时,估计值为负数.用一个负数估计e,明显不合理.备用题三、最小方差无偏估计
例3设总体X的方差D(X)存在, 且D(X)>0,(X,X,;为来自总体,X)X的样本, 试选择适12n当的常数C, 使得n??12C(X??X)?i+1ii=1为D(X)的无偏估计.
n??1n??122解?E=CE(X??X)[C(X??X)]?+1?iii+1ii=1i=1n??12=C{D(X??X)+[E(X??X)]}?i+1ii+1ii=1X,X,;,X相互独立, 且与X 同分布而12n?(i=1,2,;,n)E(X)=E(X),D(X)=D(X)iiD(X??X)=D(X)+D(X)=2D(X)i+1ii+1iE(X??X
)=E(X)??E(X)=0i+1ii+1i
n??12?E[C(X??X)]?i+1ii=1n??12=C{D(X??X)+[E(X??X)]}?i+1ii+1ii=1n??1=C2D(X)=C??2(n??1)D(X)?i=1n??12E[C(X??X)]=D(X)?依题意,i+1ii=1即C??2(n??1)D(X)=D(X)1?C=.2(n??1)
三、最小方差无偏估计????定义6.3设θ和θ均为θ的无偏估计量,若对任意12????????样本容量n有D(θ)<D(θ),则称θ比θ有效.1212??θθ如果存在一个无偏估计量,使对θ的任意无偏0??估计量,都有θ????Dθ<Dθ()()0??则称是的最小方差无偏估计(量). θθ0缩写为MVUE
X0,θ[]设总体服从区间上的均匀分布,例4X,X,;,X()的一个样本矩.是总体X12nn+1????估计θ=2X和修正的最大似然估计θ=X12n()n????θ的无偏估计,θ和θ哪个更有效,均为1222D(X)4θθ??Dθ=D2X=4DX=4==解()()()1n12n3n2n+1n+1()??????Dθ=DX=DX()(2????n()()2nn????2(n+1)22????=EX??(EX()(n)n()2????????n
nEX=θ()n()n+1+?θn2n+2EX=xpxdxxdx=θ()()X(n)n()??n???0n+2θ22????+1+1()n()122??????Dθ=θ??θ=θ()2n()nn????n?2显然当时22θθ????Dθ=>=Dθ()()123nnn+2()????θθ即比有效.21
对于最小方差无偏估计,一个自然的问最小方差无偏估计是一种最优估计.
题是:无偏如果不可以任意小,估计的方差是否可以任意小,那么它的下界是什么,罗-克拉美(Rao-Cramer)不等式回答了这个问题.
Θ(Rao-不等式)设是实数轴上的Cramer定理6.1px;θ()Xθ?Θ一个开区间,总体的分布密度为, , X,X,;,XX()是来自总体的一个样本, 12n????θθ=θX,X,;,X是参数的一个无偏估计量, 12n且满足条件:def(1)集合无关;S={x|p(x;θ)?0}与θ??p(x;θ)(2)存在且对中一切有:??θ
+?+?????p(x;θ)px;θdx=dx()????????????θ+?+?????=;x,x,;,xLdxdx;dx()()12n12n??????????θ+?+?????=;θx,x,;,xLθ
dxdx;dx()()1212??????????θn其中Lθ=p;x;θ()()?i=12??????lnpx;θ()IθdefE>(3) 0, 则()??????θ????
θ?Θ对一切,有1??Dθ?()nI(θ)上式的右端项称为罗-克拉美下界,称为Iθ()Fisher信息量. I(θ)可证明的另一表达式为2??????lnpx;θ()Iθ=??E????()2??????θ????
对离散总体情形,设总体的分布律为XPX=x=px;θ{}()且满足于类似上述定理的条件,则罗-克拉美不等式成立的条件的估计称为正规估计. ????Dθ若为正规估计且达到罗-克拉美下界,即θ()??1Dθ=()??nIθ??()????则必为θ的最小方差无偏估计.
X,X,;,X例5设是来自泊松分布12nλPλλ>0X()()的一个样本,试证是的最小方差无偏估计. X的分布律为证明xλ??λPX=x=e{}x!EX=EX=λ()()λDX=D(X)/n=()nlnpx;λ=xlnλ??λ??lnx!()
因此22dlnp(x;λ)X????????Iλ=E=E??1()????????dλ????????112=EX??λ=DX==[]()22λλλλ故有1λDX==()nI(λ)nXX即的方差达到了罗-克拉美下界, 所以是λ的最小方差无偏估计.
例6设总体的分布密度为Xx????1θ??ex>0px;θ=()??θ??0x???θ>0X,...,X为总体的样本,为未知参数,X1n??θ证明的最小方差无偏估计.
θ=X是x??+?+?xθ证明EX=xpxθdx=edx=θ()(),?????0θx2??+?+?x22θEX=xpxθdx=edx=θ()()?????0θ
2222DX=EX??EX=2θ??θ=θ()()()2θDX=D(X)/n=故()nx而lnpx,θ=??lnθ??()θ22????lnpx;θ??()????1XIθ=P=E+()????2??θ????θθ????????241=EX??θ/θ=[]2θ
21θDX==所以()nnI(θ)XX即的方差达到罗-克拉美下界,所以是的最小方差无偏估计.θ备用题四、有效估计
????例7设θ及θθ的两个独立的无偏估计量, 为12????D(θ)=2D(θ),C及C,使且假定求常数1212????????θ=Cθ+Cθ为θ的无偏估计并使D(θ),达到最小.1122??????E(θ)=E(Cθ+Cθ)=(C+C)θ解112212??由E(θ)=θ,则C+C=1.122222????????方差Dθ=CDθ+CDθ=(2C+C)Dθ1122122
22??要使Dθ最小,只需f=2C+C最小,将C=1??C1221代入f有222f=2C+(1??C)=3C??2C+1111112当f最小时,C=,则C=.1233
四、有效估计??定义6.4设是θ的任一无偏估计量,称θ????1?????nIθ????()????eθdef?????????????Dθ??????????为估计量的效率. θ显然θ的任一无偏估计量的效率满足??0<eθ?1()
??如果θ的无偏估计量θ的效率定义6.5??eθ=1()??θθ则称为的有效估计(量). 如果??lime(θ)=1n????θθ则称为的渐近有效估计(量). ??θθ则它是最小方如果为的有效估计,差无偏估计,但反之则不一定成立.
2N??,σ例8设X,X,;,X是来自正态总体()12n*2??S的一个样本,证明X是的有效估计量;是n2σ的渐近有效估计量. 的分布密度为: X证明总体2(x????)??1222σp(x;??,σ)=e2πσ21(x????)lnp(x;??,σ)=??ln2π??lnσ??222σ
所以222??????lnp(X;??,σ)(X????)????I(??)=E=E????????2????
σ????????1D(X)12=E(X????)==442σσσ2而D(X)σD(X)==nn故有21/[nI(??)]σ/ne(X)===12D(X)σ/n??即X是的有效估计.
由于2??1(x????)2lnp(x;??,σ)=??+224??σ2σ2σ1(x??)2lnp(x;??,σ)=??2246??(σ)2σσ则2??????2I()=??Elnp(x;??,)????22??(σ)????????221E(x????)1σ1=??+=??+=464642σσ2σσ2σ
*22(n??1)S2nχ又由于,由分布性质得~χ(n??1)2σ*2????(n??1)SnE=n??1????2σ????*2????(n??1)SnD=2(n??1)????2σ????4故2σ*2*22DS=ES=σ,nnn??1
所以241/[nI(σ)]2σ/nn??1*2e(S)===?1n*24nD(S)2σ/n??1n*22Sσ是
的渐近有效估计量. n2*2注σS不是的有效估计,但可以证明,n*22Sσ是的最小
方差无偏估计.n
例9X,X,;,X设总体X~BN,p, 是来自()12np??
总体的一个样本,证明p=X/N是的有效X估计量. 证明总体X的分布律为:
N??xxxPX=x=Cp1??pdefPx,p{}()()NxlnPx,p=lnC+xlnp+N??xln1??p()()()N
所以22??a
name=baidusnap9><>5d??lnPX,p????()XN??XIp=E=E()????????dpp1??p????????DX1()2=EX??Np=[]22p??pp1??p()()Np1??p()N==22p1??p()p1??p()
??X??EXNp
又??E(p)=E===p????NNN????DXNp1??pp1??p??X??D()()()(X)??Dp=D====()????222nNNNnnN????所以
1/[nIp]p1??p/nN()()??ep===1()??Dpp1??p/nN()()??p=X/Np即是的有效估计.
备用题五、相合估计
2例设E(X)=??,D(X)=σ>0存在,(X,X)是1012??的无偏估计来自总体X
的样本, 问: 下列三个对量哪一个最有
效?31????=X+X,1124411????=X+X,2122221????=X+X.31233
91522D(????)=(+)σ=σ,解1161685122D(????)=σ,D(????)=σ,3可用求条件极292值的拉格朗日?D(????)<D(????)<D乘数法证明(????)231
???????最有效.2一般地,在??的注无偏估计量nnCX(C=1)中,X最有效.iiii=1i=1
五、相合估计(一致估计) ????θ=θX,X,;,X设是未知参数定义()6.6nn12n????θθ的估计序列,如果依概率收敛于,即对θnε>0任意, 有:??limP{θ??θ<ε}=1nn????limP{θ??θ?ε}=0或nn????θθ则称是的相合估计(或一致估计). n
若θ设nnn??????且????()limEθ=θ,定理6.2是θ的一个估计量,
limD(θ)=0θθ, 则是的相合估计(或一致估计). nnn??证明由于12??0?P{θ??θ?ε}?E(θ??θ)n2ε21??????????=Eθ??Eθ+Eθ??θnnn2????ε21????????????=E[θ??Eθ+2θ??EθEθ??θ+Eθ??θ]()()()()nnnnnn2ε21????=[Dθ+Eθ??θ]()nn2ε
21????????=Dθ+Eθ??θ()nn2????ε????令, 由定理的假设得n????limP{θ??θ?ε}=0nn????θθ即是的相合估计(n
例若总体XEXDX的和都存在, 则是总体11X均值的相合估计. EXEX=EX因为证明DX()DX=?0n??()nXEX故是总体均值的相合估计. n1kA=Xkk一般样本的阶原点矩是总体阶?kini=1原点矩的相合估计. 矩估计往往是相合估计.
例12设总体X的二阶矩存在,X,X,;,X是12nn=1,2,;来自总体的一个样本,. Xn2??试证??是总体均值的相合估计. ??=iXn?inn+1()i=1证明因为nn????22??E(??)=EXEX??????
niinn+nn+()()=1i=1????nnn+122()=i????=??=???nn+nn+12()()i=1
nn????242??D??=DXiDX()()????n?i?i22nn+1()nn+1()=1i=1????n42=iDX()?22nn+1()i=1nn+12n+14()()=DX()226nn+1()22n+1()=DX?0n??()()3nn+1()????故??是总体均值的相合估计.
nn????242??D??=DXiDX()()????n?i?i22nn+1()nn+1()=1i=1????n42=iDX()?22nn+1()i=1nn+12n+14()()=DX()226nn+1()22n+1()=DX?0n??()()3nn+1()??????故是总体均值的相合估计.
内容小结??无偏性??估计量的评选的四个标准,??有效性但要求一下三个标准????相合性相合性是对估计量的一个基本要求, 不具备相合性的估计量是不予以考虑的.由最大似然估计法得到的估计量, 在一定条件下也具有相合性.估计量的相合性只有当样本容量相当大时,才能显示出优越性, 这在实际中往往难以做到,因此,在工程中往往使用无偏性和有效性这两个标准.
转载请注明出处范文大全网 » 西北工业大学数理统计(复习)
λ1}=p>