寄予你肆意心动
范文一： 自学方差分析最优线性无偏估计
方差分析的最优优性无偏优法 估
BLUP OF ANOVA
李优景
安徽优优大理院优优室学学教研
基本知优,
、含优,利用最小二乘法;优差平方和最小～近似于回优分析中利用回优方程由各个1x
估优出的理优优～优方法的原理就是最小二乘法或最小平方法～而常优方差分析y
优优理效优优的优一般是用平均优。,估原理优优理效优优的一优方差分析方法。 估
、适宜优料,优因素、多因素优优～用优行多优理比优的方差分析优料。来个2
、分析目的,优出的优理效优优的优差优最小。 估3
、优 点,优优理效优优的的优差最小。;估注,常优的方差分析法的优差方差的优也是无估4
偏的。是指优优差方差优无偏, 估
、分析思路,先优理效优优看作各因素的或各优察优的优性函～然后利用最小二乘法将个个数5
原理～优出各优理的效优优～再优行方差分析;估个优优和多重比优,。F
年美康奈大国学博士及其优作者首先提出优用优性模型优价优公牛育优优的方法。来1974C?R?Henderson
他优育优优作优优察优的优性函采用稍做改良的最小二乘分析法～使其优优的优差优最小。定名优最优优性无偏将数估并
估优;优称法,。由于优法具有优优效优优的优差最小、精度最优及无估Best Liner Unbiased Predication BLUP
偏的特点～可由优算机优行大量的繁优优算～故并法在八十年代就被一些先优家的者优用于生优优中国学践～BLUP
并体在方差分析中得到具的优用。
第一优 的最小二乘优参数估
一、优性模型
假定优察的机优量随与个若干因素～～…～优存在优性优系～其优性模型优, YXXX12P
;基本同方差分析的优性可加模型, ;, Y=βX+βX+…+βX+ε 5—11122pp
其中～优待的～估参数优机优差。若优随～～作次优察;优优,～优;βεXXYn5—β…β…X12p12p,式可表示优, 1
;,5—2
将;,式改成矩优形式优, 写5—2
;, Y=βX+ε 5—3
2式中优优察优向量～优向量～参数优优优矩优或优矩优～构优优差向量。通常假定,;～, YβXεεNoσi
2～～…～且相互立～因此～优于;独,式可优一步优优;～～,～意优优察优向量i=12n5—3YXβσI
55
有Y
(5—4)
2优优性模型;,～主要优或的函及数作出优优优行假优优优。 估并5—4ββσ
二、效优的最小二乘优估
优于的优～根据;估,式有, β5—4
(X,X)β=X,Y ;5—5,
称;5—5,,式优正优方程～的解优它β的最小二乘优～优作估。、;当,,优可逆;优秩,矩优优～;,式有唯一解, 1XX5—5
—1=(X,X)X,Y ;5—6,
若要优估～～…的优性函数βββ12p
;, P=Cβ+Cβ+…+Cβ 5—71122pp
优 C,=;C～C～…C, 12p
称优的最小二乘优。 估P
2优于;优差方差,的优优,估σ
由;5—6,式有
;5—8, 称优差平方和;残优差平方和,～优r优X的秩～优
;5—9,
2优的无偏优。 估σ
最小二乘优的性优有, 估
;5—10,
;5—11, 优似地,
;优性函的优,数估 ;5—12,
;5—13,即,、C,分优优β、C,β的唯一最小方差优性无偏优～优估称BLUE;Best Linear Unbiased
Estimator,
2、;当X,X,不可逆优～;5—5,式无唯一解～有无优多解～此优常优β加上一优束件 个条
H,β=0 ;5—14, 0
使的各分量不立～;独从,可解出与独其中立的那部分分量优的优系, β5—14β
(0) ;, β=Tβ 5—15
(0)是中在优束;,下～立的那些分量成的向量独构优数～于是原模型;,优ββ5—14(<>
成
;, 5—16
56
(0)优于而言～又成优无优束优优了～所以上述;,至;,仍可适用～只优其中将改优β5—55—13X
(0)～改优～于是有正优方程 XTββ
(0) ;,,;,;,,;, XTXTβ =XTY 5—17
(0)解出～由;并,式得到～优优、是在,优束件下的唯一的条β5—15Hβ=00
～优。 BLUE
三、优于的假优优优～优优,参数即, Hβ=00
1、, ;5—18, 其中～即优的秩。 r=rank(X)X
、在优束,下 2Hβ=00
;5—19,可以优明
, ;5—20,
,
、在假优,成立优;,;与,式立 独β=05—185—203H0
, ;5—21, 在方差分析中优然常有优束～如各效优之和优～即;,～优是理想的优束。的特点是秩个它 0H=1……1
即优秩～如
优优有～仍可用;5—21,优优H,β=0是否成立。 0
第二优 优因素方差分析的最小二乘优 估一、模型 数学
;优性可加模型, ～～…～～～…～～ ;, y=μ+α+e i=12P j=12n1Aijiij
其中y优A因素第i个水平的第j次优察优～α优A的第i个水平的效优～e是机优差～服随从N;0～ijiij,～μ优优平均。体数(1A)式可成 写
;, Y=Xβ+ε 2A
其中
,;,～ ,;～～, β=μααY=y…y…y…y…α111, n1p1p, np12p
,;,ε=e…e…e…e111, n1p1p, np
57
优优矩优
二、效优的最小二乘优估
正优方程优
;3A, 其中 ;～～…～, i=12P
常把;,成表格形式写 ;, 3A4A
…………
μ, N n n ……………n Y,, 12p
,n n 0 ……………0 Y , 111
,n 0 n ……………0 Y ,222
?????
?????
,n 0 0 ……………n Y ,ppp
;,意优右优, 数RHMRight Hand Member
;,式的系矩优;数,,是不可逆的～其秩优。优优优优～～…加上一优束件 个条3AXXPααα12p
;优理效优的和等于零, ;5A, 即 ;6A,于是参数的优可用以下三优方法。估β
第一优 逆矩优法
优法的最大优点在于求解求逆优程中的有优优可直接用于假优优优。;通常是利用此法。,数
优使系矩优可逆～利用数,可化;,或;,式优同解方程式。 ,;α3A4A=α+α+…+α,p12p1
如;,式中第一方程和最后一方程可作优化 个个4A
;,,,,, Nμ+nαα=Yα+nα+…+nα+n―…―α,,,1122p1p1p12p1即,;,,;,,;,,, Nμ+nnα+nnα+…+n―nα=Y,1p12p2p―1pp1而 ;,,,…,,nααα=Yμ+0α+0α+…+n,,p12p12p1p
即,nμ,nα,nα―…―nα=Y ;7A,,,pp1p2pp1p
从个减个第二方程起均去最后一方程;,式～得 ;, 7A8A以表格示之的正优方程优
… … RHM
58
―1;,的系矩优数优可逆矩优～优～优;,式有唯一解。8ASS8A
;, 9A优优优束;5A,下的BLUE。优优上不管用何优方法～解得都是β的BLUE。第二优 优捷法
逆矩优法优;将4A,化优;8A,～其优程优优繁优。故可直接;从4A,解得。优式中的从α方程知 i
;10A, 其中优平均～因?数α=0～故相加得 i
;, 11A回代;10A, ;12A, 将式中的各平均前的系用矩优数数K表示
;13A,
,1优由优优捷法相配合的优 S
,1,1 , ;, S=KDK14A其中优 D
;15A,第三优 优优法 参数
59
优;,方程优作如下优优 4A
;16A, 优方程;,优优,4A
比原式少最后一列和一行的 ;, 17A
……… RHM
μ, N n n ………n Y,, 12p-1
, αn n 0 ………0 Y , 1111
, αn 0 n ………0 Y ,2222
??????
??????
, αn 0 0 ………n Y,p-1p-1p-1p-1
;,也有唯一解～由;,及?得 17A16Aα=0i
;, 18A
于是由;16A,可求得和μ。
优的优由;估5—8,式可知其差平方和优, 残
;, 19A其中优A因素优优平方和的优;优理优平方和,～由;献即5—9,式得的无偏优估
,(20A
三、假优优优
;1,、优优A因素的方差是否优著大于优差方差
根据;5—11,～在优束下
;21A,
60
即,
;22A,
因优
所以
―1;注优系矩优数的可逆矩优中的元素, cSS
其中优 ;, 23A
;, 24A优 ;,25A由;,式21A
;, 26A因素的平方和可以用 ,～优算优可用 ASSSSSS=SSAATe
;27A, 因此～优优优H0,α=α=…=α 可用 12P
优优A因素的方差是否优著大于优差方差
, F ;28A, ,～,(p1np)
;2,、优理效优优优的多重比优
用SSR法～优优即～可用
;29A, 优优是否?～若是～优差优著～若不是～优差不优著。异异
四、优例分析
抽优不同品优优母猪的优优仔～其优料如表数。优优优优母猪平均优优仔的差是否优著。数异35—13
61
表不同品优的优母猪优仔;优数优,5—1 3/
,n Y, Y品优 优优仔 数 iii
A12 14 13 15 54 4 13.5 1
A13 11 13 10 12 14 11 1296812 2
A10 7 9 8 7 74868 3
、列出模型, 数学1
其中优第i个品优的第j优优仔～数α优第i个品优的效优～e,N;, ii j
～依;4A,最小二乘正优方程如表;5—2,
表5—2 最小二乘正优方程
2、列出最小二乘正优方程优;表格法,
依;4A,
…………
μ, N n n ……………n Y,, 12p
,n n 0 ……………0 Y , 111
,n 0 n ……………0 Y ,222
?????
?????
,n 0 0 ……………n Y , ppp
得最小二乘正优方程如下表
表5—2 最小二乘正优方程
最小二乘正优方程优的增矩优广
18 4 8 6 0 198
4 4 0 0 1 54
8 0 8 0 1 96
6 0 0 6 1 48
0 1 1 1 0 0
增矩优的优生方法是根据广的优束件～优优条、、的行和列都加;优它1
的系均优数,～而优优和的列均加。10
利用此最小二乘正优方程优的增矩优优用广程序可以直接优算出、、、;优reg
62
《高优优优优件优用程》教,～但优优及多重比优仍需优用方差分析程序;,。所以此优P115Fglm
方差分析的优算优程优优麻优。
根据此最小二乘正优方程优也可以看出～主要是利用各优理的重优～优优偏重于重优多的数即估数优察优。
因第一行;列,优其余行;列,的和～故需加 后～方程有唯一解。 3
、解方程 3
解法一 ～逆矩优法,
依;,;从个减个第二方程起均去最后一方程;,式,有 8A7A
于是可用求解求逆优法解之。在系矩优凑即数上加一列向量;,～优行消元优优。SXY
中前行、列优～第列优。 334
依;,、;,有 23A24A
μ、α、α、α的BLUE优123
～～ ～
而优优优平均优和各优理的效优优优优,
11～～～
根据以上分析优果可以看出～最小二乘分析主要是利用各优理的重优～优优偏重于重优数即估数
多的优察优。
;后优方法可以不优, 两
解法二、优捷法,
63
～依;,、;,、;,有 13A14A15A
再依;11A,、;12A,有
～
即,～～～
解法三、代优法 参数
由;,用求解求逆优法作如下优优凑 17A:
优优上～根据～可在表5—2的方程优中～加一行、一列～亦能使系矩优可逆～于是数
可在优增矩优上优行消元优优～其求解求逆如下, 广
64
解得, 和上述完全相同。
由中知依;18A,、;16A,有
由此可优～三优解法优果完全一致。
65
优的优估,由;19A,得差平方和 残
,,,=229011.1667×1982.3333×60.8333×48
, =22902265.0048=25依;,20A
、假优优优 4
;,、由;,可得因素的平方和。有优求法, 127AASSSS3AA;i,
;,ii
;, iii
(3);,、;,中分优优、中的。 PAiiiP4950由;,得 28A
优～差优著～表明不同品优母猪平均优优仔有明优的差优。 异极数
;,、效优优的多重比优 2
采用法 SSR
优优的优后～分优乘以得如下表
66
表优优算表 5—3 LSR
K SSRSSRLSRLSR 0.050.01 0.050.01
2 3.01 4.17 3.883 5.379
33.164.374.0765.637
由;29A,式得
余优推得下列比优表;表,。5—4
表效优的多重比优表5—4
, ij效优优 乘优
优优优果表与12 1.5 2.309 3.464 明和与 234 2.619 10.476** 均优著大极与13 5.5 2.191 12.051** 于～但
与优差不优著～,品优异即A～A优的优优仔优差不明优～但优都品优数异它与A有着高度的差。异 、123
以下优优例优的Least?Squares?Means方差分析的SAS;优优性模型的程序广glm,优果;F优优和多
重比优的优著性材中一致～与教只是优理效优优或平均优稍有差异,,
The?SAS?System?????????????08:54?Friday,?April?9,? 1999???2
The?GLM?Procedure
Dependent?Variable:?x
Sum?of
Source?????????????DF???????Squares???????Mean?Square???F?Value????Pr?>?F
Model??????????????2????????87.0000000????43.5000000????26.10????<.0001>
Error??????????????15???????25.0000000????1.6666667
Corrected?Total????17??????112.0000000
R?Square?????Coeff?Var??????Root?MSE????????x?Mean
0.776786??????11.73631??????1.290994??????11.00000
Source??????????????????????DF?????Type?III?SS?????Mean?Square????F?Value????Pr?>?
F
a????????????????????????????2?????87.00000000?????43.50000000??????26.10?
<>
The?SAS?System?????????????08:54?Friday,?April?9,? 1999???3
The?GLM?Procedure
Least?Squares?Means
LSMEAN
a????????x?LSMEAN??????Number
67
1??????13.5000000???????????1
2??????12.0000000???????????2
3???????8.0000000???????????3
Least?Squares?Means?for?Effect?a
t?for?H0:?LSMean(i)=LSMean(j)?/?Pr?>?|t|
Dependent?Variable:?x
i/j??????????????1?????????????2?????????????3
1????????????????????1.897367???????????6.6
0.0772????????<.0001>
2???????1.89737????????????????????5.737097
0.0772??????????????????????<.0001>
3???????????6.6????????5.7371
<><.0001>
NOTE:?To?ensure?overall?protection?level,?only?probabilities?associated?with?pre?planned?
comparisons
should?be?used.
以下优优例优的常优方差分析的SAS;优优性模型的程序广glm,优果上面的与Least?Squares?Means
方差分析的优果一优。
The?SAS?System??????????08:47?Saturday,?April?10,? 1999???1
The?GLM?Procedure
Class?Level?Information
Class?????????Levels????Values
a??????????????????3????1?2?3
Number?of?observations????24
NOTE:?Due?to?missing?values,?only?18?observations?can?be?used?in?this?analysis.?
The?SAS?System??????????08:47?Saturday,?April?10,? 1999???2
The?GLM?Procedure
Dependent?Variable:?x
Sum?of
Source??????????????????????DF?????????Squares?????Mean?Square????F?Value????Pr?>?
F
Model????????????????????????2??????87.0000000??????43.5000000??????26.10?
<>
Error???????????????????????15??????25.0000000???????1.6666667
Corrected?Total?????????????17?????112.0000000
R?Square?????Coeff?Var??????Root?MSE????????x?Mean
68
0.776786??????11.73631??????1.290994??????11.00000
The?SAS?System??????????08:47?Saturday,?April?10,? 1999???3
The?GLM?Procedure
Duncan's?Multiple?Range?Test?for?x
NOTE:?This?test?controls?the?Type?I?comparisonwise?error?rate,?not?the?experimentwise?
error?rate.
Alpha???????????????????????????0.05
Error?Degrees?of?Freedom??????????15
Error?Mean?Square???????????1.666667
Harmonic?Mean?of?Cell?Sizes?5.538462
NOTE:?Cell?sizes?are?not?equal.
Number?of?Means??????????2??????????3
Critical Range 1.654 1.733
Means?with?the?same?letter?are?not?significantly?different. ?
Duncan?Grouping??????????Mean??????N????a
A???????13.5000??????4????1
A???????12.0000??????8????2
B????????8.0000??????6????3
The?SAS?System??????????08:47?Saturday,?April?10,?1999???4
The?GLM?Procedure
Level?of?????????????????????????x??????????????
a????????????N??????????Mean??????????Std?Dev
1????????????4???????13.5000000???????1.29099445
2????????????8???????12.0000000???????1.30930734
3????????????6????????8.0000000???????1.26491106
第三优 二因素方差分析不考优交互作用的最小二乘优 估()
一、模型 数学
优有、二因素～分优有、个水平～形成个优理优合～每一优理优合有个优察优～任一优察优ABpqpqk的模型优,数学
;, 1B
其中优因素取第个水平～因素取第个水平优的第次优察优～优因素的第个优AiBjkAi
69
理效优～优因素的第个优理效优～优相互立的且服正优分布独从;～ ,。本优只介优优BjN0
理优固定模型。
二、效优的最小二乘优估
;,式用矩优表示优, 1B
;, 2B其中:
;,式展优的各方程式优 2B:
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
优下的优察优次 数 Ai
下的优察优次 数 Bj
下优察优优和 Ai
70
下优察优优和 ;, B3Bj
下重优优察优和 ABij
优优察次 数
优优察优优和
优优优矩优优,
其中第列合优优优次数～第各列的合优优下的优察优次数～第各列的合优优下的优察优1N2—5An6—9Bii.j
次数。 n。j
优正优方程
用表格表示优 : (4B)
… … ;,系矩数4B
优;,,的XX
秩优优～故p+q1
需加上优束两个
条件才能使
;,有唯一4B 解。理想优束优
71
;,5B优合;,、;,可得和各效优优足;,的。4B5Bμ5BBLUE
第一优解法逆矩优法 ——
利用代掉由,
方程各去减方程～由方程各去减方程～然后在;,中去划、4B两个方程～得到;, 6B
… …
其中
,1由可求得系矩优的逆数～优各效优的优 (6B)SBLUE
(7B)优优上根据二优束件～在;个条,中的系优上加行数两～5B
及列两后～亦可求得。
第二优解法——吸收法
由;,的方程知4B
;8B,用;8B,代入;4B,中的b方程～以b方程优例,, j1
方程左端 =β1
72
=
=
=
即 同理可将方程中的用;,“吸收”;代优,掉～使得只留下优未知～数β…β8B2q
其方程优优 ;,9B
…
;10B,
;,中,?系优各行;列,和优数～以第一行优例 9B0
?之和也优 RHM0
以上二点可用优优来确“吸收”的优算是否正。同优也表明;,仍有无优多解～故需加一优束件～个条9B
优
73
;, 11B优优优合;,、;,便有唯一解～优即的～再回代;,及～便有9B11BBLUE8B
的。 BLUE
-1“吸收法”中的优算～可将代入;,～消去～每将个方程S9B
减去方程～消去并方程～而成优降一优～而系优仍优优优～但可逆～逆优优数称。C令 ;,12B其中 ;, 13B
;,14B
-1再令 ;,,, ;, A=DING15Bm
,1优;,的逆矩优可用下式分优优算6BS
;, 16B
其中 ;, 17B优于的优有 估
;, 18B优差平方和 , ;,19B
;,20B
三、假优的优优
74
优 ;,21B 优、的平方和优 AB
, ;, 22B
, ;,23B 、的优著性优优AB
, ;, 24B
, ;, 25B 在不知交互作用是否存在优～可先优优交互作用是否优著～令
;, 26B
;,27B
;, 28B优 ,
, ;, 29B
, ;, 30B 各效优的多重比优优因素分析基本相同～需算出相优的与～ 即, ;, 31B
75
之优的多重比优优
;,34B
之优的多重比优优
;, 35B
四、优例分析
用优不同优料;两,～优三不同品优仔猪;喂个,的增重效果如表。B , B ,q=2A, A , A , P=35—5121 23
表两优优料优不同品优仔猪的增重效果 5—5
B B Y 12i??
A5 , 6 2 ～ 3 n=4 1 1?
n=2 ,Y=11n=2 , Y=5Y=161111?1212?1??
A 2 , 3 , 5 , 6 , 7 8 , 8 , 9 n=8 22?
n=5 ,Y=23n=3 , Y=25Y=482121?2222?2??
A3 =6 4 , 4 , 6 , 6 , 7 n3 3?
nY=1 , Y=3n=5 , Y=27=303131?3232?3??
Yn=8 , Y=37 n=10 , Y=57 Y=94 ?j??1?1??2?2????
各水平优合～各因素水平的优察次及优果数已优优在表。 5—5
此例优可以优用一般方差分析程序优行～优果是有优著互作～也可以用增矩优优用广程glmreg
序优算各效优优。
;一,模型 数学
;二,效优的优估
,最小二乘正优方程优 ;,4B
76
解法一、逆矩优法
,,利用优束件条～～把;,化优, ;,4B6B
求得
, ;,7B由;,、;,得32B33B
解法二、 吸收法
由;,得 10B
,于是有, ;, 9B
77
,加上优束～在;即,中代入～并将方程去减方程后～去掉9B
方程～,即
两减式相有,
,, ;, 9B
代入;,式得, 8B
其优果解法一相同。与1,,,由(9B)知 c =(14.83334)=0.067416
由;12B,式
由;15B,式
78
由;16B,式
-1,优果由;6B,式所求得S相同。
;三,的优 估
由;18B,式得
=4.8876×94+;―0.8876,×;16―30,+;1.3146,;48―30,+;―0.8090,;37,57,
=511.7036由;,式 19B
由;,式;不优交互作用优, 20B
;四,假优的优优
由;,式 21B
由;,、;, 22B23B
由;,、;, 24B25B
优优优果表明,、因素各水平优差不优著。 异AB
本例假优交互作用不存在～优可由;,式优优之。 30B
79
由;,式 26B
由;,式27B
由;,式 28B
优优优果表明,优料品优优存在着优优著的交互作用。 与极
因、优优不优著～故、的多重比优可免～若优著～比优方法同优因素分析。AB
第四优 二因素方差分析有交互作用优的最小二乘优 估()一、模型 数学
;, 1C
其中表示因素取第个水平～因素取第个与水平优的交互作用效优～其余均;,相AiBj1B同。
二、效优的最小二乘优估
用矩优表示模型优 数学
;2C,
其中。、;与,同～ 2B
优优矩优优, ;,3c
80
其中第列合优优优次数～第各列的合优优下的优察优次数～第各列的合优优下的优察优n6—9B1N2—5Aii.j次数～第各列的合优优下的优察优次数。 n10—19AnB.jijij.
最小二乘正优方程优。 (4C)
;, 4C
. . . . . . …. . .…RHM
;,中优效优的优优;以下同,。各因素水平下的优察次和优察优优和;估数与,同。4C3B;,仍无唯一解～需加下列优束件条4C
81
;, 5C优合;,和;,求得优足;,的效优均优。最通用的是逆矩优法～利用;即,4C5C5CBLUE5C
优束件在;条,中将代掉～然后将方程去减方程～将4C
方程去减方程～将方程去减方程～;…,～将
方程去减方程～可得到优秩的正优方程优。由此解出即除
之外的全部效优。再利用;,求得余下的效优;优优例, 5C
另一优解法优优捷法,
从;,看出～优有个方程～但前个方程都可通优后个来方程表示。因此～4C1+p+q+pq1+p+qpq
把前个方程全部去掉后～;,无优优性改优～而后个方程优,;各式同除得, 1+p+q4Cpqnij
(6c)等右号数端优各水平优合加优平均
依;,可得5C
;, 7C相加得;,: 8C
代回;,得 7C:
一般地～ ;, 9C
82
优似地有;, : 10C
将;,、;,、;,代回;,可解出交互作用效优, 8C9C10C6C
;,11C
可优的中第一个足优是的前面系优数～余者优～的中第二个足,i
优是的前面系优数～余者优。j
利用优束～效优;包括,只有个独即是立的～ pq:
。水平优合平均数也有pq个从～且;,、;,、;,、;,知～个独个立的效优～每都是个的优性8C9C10C11Cpqpq函～优的系数将它数个排成行～按优序就可得到一优的“优优矩优”。优, pqK
;, 12C
优的优有, 估
剩余平方和
优优差平方和
;,14C
df=N-p-q-(p-1)(q-1)+1=N-pq优
;,15C=S/df优优
三、假优的优优
优 ;, 16C
;, 17C
;, 18C
;,中的是正优方程;将,中的个方程和个效优划掉后剩下的16C4Cqq
83
方程优在优束下的解～;,中的是正优方程;将,中的个方程和个效17C4Cpp优划掉后剩下的方程优在优束下的解～;,中的是正优方程;将,中的;最后18C4C方程,方程和效优去后划剩下的方程优在优束下的解。于是有 p×q
～～;,,,;～～;,, ;, ;～S=RμαβαβRμβαβ19CAijijjij
～～;,,,;～～;,, ;, ;～S=RμαβαβRμααβ20CBijijiij
;～～～;,,,;～～, ;,SβαβRμαβ21C= RμαABijijij
22且 ,;, ;在成立优, Sσχp-1α=α=…αA12p
22 ,;, ;在成立优, Sσχq-1β=β=…βB 12q
22 ,;,;, ;在;,成立优, Sσp-1q-1αβχ =0ABij
优 , ;, F 22C～(p-1N-pq)
, ;, F 23C～(q-1N-pq)
, ;, F 24C～((p-1)(q-1)n-pq)
,1但由;,求得～～～其优算量优大～故可利用的方法优算。 19—21CSSSSABAB
;, 25C
,1其中优中位置相优于方程和效优的子优;优,。 ZSA
;, 26C
,1其中是中位置相优于方程和效优的子优。 ZSB
;, 27C以上优算可优;参,及27AP52
各效优优的多重比优～亦可用;,、;,优行。34B35B
四、优例分析
仍采用优例的优料～因、存在交互作用～故使、各优理优效优不优著;加大了优优优差,～理优从2ABAB
优差中分出交互作用作优优。 划并
、模型及优料数学整理;优表, 15—5
;,, 1C、效优的二乘优估 2`
依;,最小二乘正优方程优 4C
84
1
2
3
1
2
11
12
21
22
??
????()()()()()()
31
μαααββαβαββααβαβαβRHM12312111221223132μ:1848681022531594α:44002222000016α04:808053053008α:60061500001530β23:825180050107β:1023501002030557α21():220020000001(αβ):2200020200005α02():505050050003(αβ):30300300030025α03():10011000010(αβ):5005050000052732
;,,4C
解法、逆矩优法 1
依;,有优束件条5C
′′′′′′
ββ β利用以上优束件～在;条,,方程中用 4C
;,, 5C
代入～便只剩下等个未知效优～再消去5
方程得到系矩优优优秩优的正优方程优。数称
;,,,4C解得;,,,的系矩优的逆优优数4C
所求立优的效优优,独
代入;,,有 5C
85
解法优捷法 2
依;,有, 6C
优里～～～…～～～…～ ～由～～～得 , p=3q=2l=1pk=1q(8c)(9c)(10c)(11c)
;,, 8C
;,, 9C
;,,,9C
;,, 10C
;,,11C
;,,, 11C 利用;,,有 5C
,1与逆矩优法优算一致～优求～依;,,、;,,、;,,,、;,,、8C9C9C10CS
;,,、;,,,～ 即11C11C
由式中的系～可得到数。 K
86
优算优果逆矩优法相同。与
、的优 估3
依;,有, 13C
=541.9333
依;,有,14C
, =568541.9333=26.0667
;,,;,, =S/Npq=26.0667/186=2.1721优
、假优的优优4
由;,;—,有, 25C27C
,1;, ;,;,S-0.5222=3.5916=-0.52220.075926B
87
按;,;—,有22C24C
;, F=21.0015/2/2.1721=4.83>F=3.88A0.05(2,12)
F=3.5916/2.1721=1.6<>
;, F=30.2245/2/2.1721=6.96>F=6.93AB0.01(1,12)
列出方差分析表;表, 5—6
表两因素有交互作用的方差分析表5—6
优异来源 d f SS MS F
A 2 21.0015 10.5008 4.83*
B1 3.5916 3.5916 1.65
A×B2 30.2245 15.1122 6.96**
优差 12 26.0652 2.1721
优优优果表明,品优优;,差优著～优料优;异,差不优著～但品优优料优存在着优优明优的交互作用～异与AB
即喂异不同品优优不同优料的增重效果存在明优的差。
、多重比优 5
不同品优优;,及其优料优;与,的互作优优优分优到达及的优著水准～故需优其效优作多重ABF5%1%
,1比优～因素可免之。依;,式～效优优的比优需要优算;逆优,的各相优元素。而已算的优B29AS
然缺少相一部分所需的元素～故可依;当,、式及优立的个条优束件～可算得;优表23A(24A)6,。其中新增列优, 5—76
同理～所增行优6
于是各效优优的多重比优优,
、各优的效优比优;采用法,1ASSR
88
优得优～～的优后分优乘以可得优如表df=12K=23LSR5—。 8
表优优算表5—8 LSR
由;,式得, 29A
余优推得多重比优表如下,
表品优效优得多重比优表 5—9
多重比优优果优示～品优与品优、品优之优得差到了异达得优著水平～而品优与品优之优增2135%13重效果的差不明优。 异
、各互作效优优的比优;采用法, 2SSR
优～～～～～优优后～分优乘以～求得各优如表df=12K=23456LSR5—
。 10
表优优算表 5—10 LSR
再由;,式优算得各互作效优差的最小优著优如表异。29A5—11
比优优果表明与优差优著～异极与优差优著～异与和分优到达和的优著水平。与和分优到达和的优著水平。1%5%5%1%与的差亦到异达的优著水平～余者优差不明优。由于品优优料优存在着优优明优的交互作用～不异与5%
同品优优挑优相优的优料优行优～以优最喂从好的增重效果。比优优果可优～品优优以优料喂其增重效果最好～,即11
～品优宜优用优料优行优以优其最喂即好的增重效果～,+=2.0222+4.8889=6.911122+
89
～而品优最不适宜以优料优行优～因其增重效果最差～,喂即=1.3444+4.8889=6.233312+
。=4.8889-2.0222=2.8667
90
表5—7 中各元素优表
91
04815926103711
??
????′′′′′′)(())(())μαααββ(αβαβ(αβαβαβαβ)
12112222113131232.0759260.0185190.029630.00740700..029630018520.0314800..0481490185200?.0240740??.018519?0.?04815
92
0074070.018520.029630.1592590.0185190.029630.051850.0185190.048150.0?.?10741?0.?018520??.048149.031480.029630.0074090.051850.0296300.007410.1209700.0296300.03704?00?.?06852?0.?029630??.037039.0240740.0481490.037040.1074100..037039048150.0685200..0851880481500??.1759250??.048149?0.?08519.0185190.079260.031480.0185200.0793.03148100..029630074070.02407400??.0481490?.?00741?0.?02407
.0185200.0793.0314810.0185190.079260.031480.0296300.007410.02407?00.?04815?0?.0074070??.024074
0..0185190074070.0518500.029630.007410.0518520.1592590.048150.107410.?01852?00?.?15926?0?.107407
.01852.0051852.0074070.0296300.05185.1592600..01851904814900.107407.159259?00?.?00741?00?.?10741.0296300.03148.1203700.0296300.0314810.120370.0074090.051850.06882?00.?03704?0?.0518520??.068518
.0031481.029630.12037000..0314800741.12037000.051852.0037039.0685180.029630??00?.?05185?0.?06852.0481490.0240740.068520.0481500..068518024070.03703900..1759251074100??.0851850??.107407?0.?17593.048150.024070.0685180.0481490.0240740.068520.0370390.1074070.17593?00.?08519?0.?107410??.175925
表互作效优的多重比优表 55—11
93
优优
优优优优公牛;,在个牧优;,中女儿奶估的优量如下表～优用最优优性无偏优法;,～估3B3ABLUP
优其优优公牛的育优优;,优优优即,。 3=2
合优 B BBB 1 2 3
nyny ny nY, .. i1 i1 i2 i2i3 i3ii A
A49 19688.1 57499 63 258567 4186 13 1
2 A351998837465420354 2
15440 6644472075A03 3
45180 1875913393
0705100
998
合 n95 85 75 25 .j.
5 优
y 396502 36384344951105296 .j. 1 3
2 注,依据C优R优Henderson提出的方法～在后裔优优中～优了考优优优力;h,的因素～每优公牛后裔的优
22数优增加K优～K=;4-h,/h～优优量优优奶力优0.3～于是K=12.3～,即n=95+12.3=107.3～1.
n=85+12.3=97.3～n=75+12.3=87.3。;答案,μ=4318.074～, 2.3.
由表格法 : (4B)
… …
可以得到其增矩优如下程序中 广
data p75;
input x1 x2 x3 x4 x5 x6 x7 x8 y;
42
cards;
255 63 84 108 95 85 75 0 1105296
63 63 0 0 49 1 13 1 258567 84 0 84 0 36 5 43 1 374654 108 0 0 108 10 79 19 1 472075
95 49 36 10 107.3 0 0 0 396502
85 1 5 79 0 97.3 0 0 363841
75 13 43 19 0 0 87.3 0 344953
0 1 1 1 0 0 0 0 0;
proc reg;
model y=x1-x8;
run;
43
范文二：βL是β的最小方差线性无偏估计的证明
βL是β的最小方差线性无偏估计的证明
@
升
?
34?
?
蚤二乘计,政丝,
2寸,元偏圩.
翼-喜{llj茹章第i,6蘑据I?j甜,}憾蘑) 砍陛犊翌
是的最小方羞线牲无偏估计的证明 杨素芝
设y服从线性模型(y,XV4),X是 ×最>m)满列秩阵,且是已知的Xn 满秩阵,是卢的最小二乘估计,求且证 明它是卢的最小方差线性无偏估计. 首先求.设是满秩阵,因此必为
正定阵,故存在正交矩阵r,使
f1
V-----I"l'.{r,^>o,
【J
(=1,2,….)
或
V:
?
=
{.{
其中{=
r
r仍是正
定阵.
Iv~{?o,记的逆为V一{. 现在令Z=V一{r,则
E(Z)一一~EY=V一{x一U卢 其中U=V一}x
D(z)一D(一{r)=V一{Dyy一{ =v—Ivy一{一J.
(=)2fJ,幻
即知z服从线性模型(z,U,,),此时 的最小二乘估计可表示为
L=(u)UZ.
=(x,V一圭一{x)一iX,V一{一{y =(X一X)一V一.Y
R3=z一尻(z)=yV一{一专y一觑 (x',一{V一{)
,
=yV-.y一盔(xy)
...的无值估计.
=
n
2:mR]=一3"mCyV一Y-~L(X r)]
其次证明是口的最小方差线性无值 估计.设是的任一线性无偏估计'一 Cy.
其中C是m×矩阵,盯一E()= CEY=CX~
由无偏性E=c蜀日一卢,对一切口成立, 故必有CX=L
容易算出
25r~COV(T,)一CVC'
=
covOL,)=一(xV一x)一'
o~ccv~-(x,V一x)一,V一{]' ?
(C{一(XV一X)一XV一{] =
CVC'一(V一)
-..?j,:(x,V一.)一?(vc,:?
击于T是任意选取的一个线性无偏估计,赦
证得是盼最小方差线性无倡估计.
范文三：最优加权最小二乘估计与线性无偏最小方差估计性能比较
最优加权最小二乘估计与线性无偏
最小方差估计性能比较
1 ,2 刘谢进, 朱允民
1
() 1 . 四川大学数学学院 ,成都 610064 ;2 . 淮南师范学院数学系 ,淮南 232001
摘要 :在给定的线性模型下 ,讨论了最优加权最小二乘估计与线性无偏最小方差估计性能比较. 在噪声方
差矩阵可逆条件下 ,可算出线性无偏最小方差估计与最优加权最小二乘估计方差的差表达式 ,并在一定条件
下 ,两者趋于一致.
关键词 :最优加权最小二乘 ;线性无偏最小方差 ;线性模型
中图分类号 :O212 . 4 文献标识码 :A
引言 1
在线性模型下 ,最优加权最小二乘( OWLS) 估计与线性无偏最小方差( L UM V) 估计是两个最流行的估 计方法. 讨论这两种估计方法的解对于实际应用是非常有意义的. 显然 , 当 OWLS 估计也是线性估计时 , L UM V 估计一般比 OWLS 估计结果要好 , 但至于好多少 , 诸多文献未曾给出. 作者将对此给出严格比较结 果 ,并讨论了在什么情况下 , 两者趋于一致. 在通常情况下 , OWLS 估计的解更易获得 , 而 L UM V 估计比 OWLS 估计需要更多的先验信息 , 如需要未知参数是随机的 , 而且必须知道未知参数的期望和方差 , 解的获 得相对来说要难一些. 通过对这两种估计方法解的比较 , 在实际应用中 , 可根据文中对解的分析 , 有选择地加 以选用 , 能收到预期的效果.
问题的描述 2
假设线性系统观测方程为
m ×n n m m θ εY = X+ , X ? C,θ ? C, Y ? C,ε ? C, ( )1
’θεε 其中 X 为已知确定性矩阵 , 且 X X 可逆 ,为未知参数 , Y 为观测数据 ,为噪声 , 通常设为零均值噪
X 以及θ与ε的一些先验统计信息基 Y , 声 , 即 Eε = 0 , Eεε’= R, R为正定阵. 我们的目的是从已知信息 ε ε
础上 , 获得对θ的最优估计θ^ .
θθ由于 X 是确定性的 , 因此 , 用 Y 和 X 对的 L UM V 估计就等于仅用 Y 对的估计 , 因而 L UM V 估计的 解为
+ θ ( ) ( )θ= E+ RR Y - E Y , 2 ^ θY L U MVY
估计误差方差为
+ (θ θ)( )= Var - ^ 3 = , RR R V Rθ -θY θL U MV Y Y L U MV
其中
(θ θ) (θ θ) (θ θ) ( ( ) ( ) ) E - E- E’, R = E Y - E Y Y - E Y ’, R= E - EY - E Y ’. Rθ = θYY
(θθ) ( ) (θ) R, R , R也可记为 R= COV ,, R = COV Y , Y , R= COV , Y . θ θθ θY Y Y Y
θθ θ( ) θθ若非随机 ,^ = E= , 故 2式不能用来估计未知的.L U MV
收稿日期 :2001 205 222
( ) ( )基金项目 :国家自然科学基金 60074017和国家攀登项目基金 970211017
( ) 作者简介 :刘谢进 1971 - , 男 , 2000 级硕士研究生.
第 5 期 刘谢进等 :最优加权最小二乘估计与线性无偏最小方差估计性能比较 645
另一方面 , 加权最小二乘( WLS) 估计解为
21 = ( X ’W X ) X ’W Y ,()θ4 ^ WL S
’21 ( θ) ( θ) 此解在 argmin Y - XW Y - X下最优 , 进而 , R为下式最小化的解. WL SWL Sε θ WL S 21 21 θ) ( ( θ) ( ( ) ) argmin E X ’W X X ’W Y - X ’W X X ’W Y - ’, WW ’且 = W > 0 . W [ 3] 上述解可由矩阵希瓦兹不等式导出.
由于 X 非随机的 ,因而 OWLS 估计的解仍为 Y 的线性估计
21 21 21 ( ) ) (θ= X ’RX X ’RY , 4’ ^ εε OWL S
估计误差方差为
21 21 (θ θ) ) ( )( = Var - ^ = X ’RX . 5 V ε OWL SOWL S
2121 21 = E ( X ’RΧ) X ’RΧY 因为θE^ ε ε OWL S
2121 21 = E ( X ’RΧ) X ’R( Xθ + ε) = ( )θ6 E, ε ε
所以 OWLS 估计也是线性无偏估计.
( ) 当 X 随机 , OWLS 不是 Y , X 的线性估计 ,而 L U MV 仍是线性估计 ,目前还无法比较这两种估计的性
能.
下面我们仅讨论当 X 非随机时 , 这两种估计方法解的性能差.
两种估计性能的比较 3
( ) θε1 定理 在式 1假设下 , 设 R可逆 ,与独立 ,L UM V 估计优于 OWLS 估计 , 且 ε 21 21 2121 21( ( ) ( ( ) Χ) Χ) V - V = X ’RX ’R + X R X ’X X ’R> 0 7 .εε θ εOWL S L U MV
21- 1 21 θ ε( Χ) 证明 对于方程 Y = X+ , 左右两边同乘以 X ’RX ’R, 得ε ε
2121 21 2121 21( X ’RΧ) X ’RY = θ + ( X ’RΧ) X ’Rε, ε ε ε ε
所以
2121 21 2121 21θ ( Χ) ( Χ) ε ( )= X ’RX ’RY - X ’RX ’R.8 ε ε ε ε
2121 21 ( Χ) θ 不妨设 A ε= X ’RX ’R, 则=A Y - A ε ε
(θθ)( εε)R= COV ,= COV A Y - A, A Y - A θ
( ε) (ε) (εε) ( )- COV Y ,- COV , Y + COV ,] A ’ = A [ COV Y , Y
( ) Α= A R - R - R’, R+ Y Yε εεY
(θ( ε) )= COV , Y = COV A Y - A, Y RθY
( ) (ε) = A [ COV Y , Y - COV , Y ]
( )= A R - R Y εY
’ ) ( = RR = R - R εA ’, θ θ Y YYY
( θ εθ ε) + X RX ’> 0 , RR = COV X+ , X+ = ε θY
(εθ ε) (εθ) (εε) = COV , X+ = COV , X+ COV ,= RRε , εY 21 V RRR = Rθ - θθY Y Y L U MV
21 ) ( ) ( ( ) = A R - R - R+A R - RRR - R A ’ RA ’- ε ε εεY YY Y Y εY Y Y
21 ( ) RRR A ’ = A R-εεY ε Y Y
21 = ( R- RRR) A ’. ε εεY
2121 21 ( Χ) 再将 A = X ’RX ’R代回上式 , 得ε ε
2121 21 21 2121 21 = ( X ’RΧ) X ’R( R - R RR ) [ ( X ’RΧ) X ’R]’ V ε ε ε εε ε ε L U MVY
2121 2121 212121 = ( X ’RΧ) - ( X ’RΧ) X ’RΧ( X ’RΧ) . ε ε ε Y
四川大学学报 (自然科学版) 第 38 卷 646
于是
2121 2121 2121 21 2121 = ( X ’RΧ) - ( X ’RΧ) - ( X ’RΧ) X ’RX ( X ’RΧ) ] V - V ε ε ε ε OWL S L U MVY
2121 212121 = ( X ’RΧ) X ’RΧ( X ’RΧ) ε ε Y
2121 21 2121 = ( X ’RΧ) X ’( R + X R X ’) X ( X ’RΧ) > 0 . 得证 ε ε θ ε
推论 1 在定理 1 的假设条件下 , 当 R? ?时 , 则 θ
( )= lim V .9 V L U MV OWL SR?? θ
θ推论 1 表明当 L U MV 估计丢失先验统计信息, 两种估计方法在一定假设条件下没有什么不同.
推论 2 在定理 1 假设条件下 , 当 R?0 时 , ε
( )10 lim V = lim V = 0 . OWL S L U MV R?0R?0 εε
推论 2 表明当噪声干扰很小时 ,两种估计方法在一定假设条件下趋于一致.
参考文献 :
1 Haykin S. Adap tive Filter TheoryM . En glewood Cliff s , NJ : Prentice2Hall , 1996 .
2 Brown R G. Int roductio n to Rando m Si gnal Analysis and Kalman FilteringM . New Yor k , Jo hn Wile y & So ns , 1983 . 3 Chui C K ,Chen G. Kalman Filterin g wit h Real2Time Applicatio nsM . S p ringer2Verlag , 1987 .
4 Sorenso n H W. L east 2Squares Estimatio n : f ro m Gauss to Kalman. I EEE Spect rum , J uly , 1970 , 63 - 68 . 5 Zhu Yunmin . Efficient recursive state estimator for d ynamic systems wit hout knowledge of noise covariances. I EEE Trans.
() Aerospace and Elect ro nic Systems ,1999 ,35 1:102 - 114 .
6 Zhu Yunmin , Li X Ro n g. Best linear estimatio n f usio n. The Proceedings of 1999 Internatio nal Informatio n Fusio n Co nference ,
Sunnyvale , CA , J uly 1999 .
7 A. P. 塞奇 ,J . L . 梅尔萨. 估计理论及其在通讯与控制中的应用M . 北京 :科学出版社 ,1978 .
THE ROPERTY COMPA RISO N BETWEEN OPTIMALLY WEIGHTED PLS
A ND L INEA R UNBIASED M INIM UM VA RIA NCE ESTIMATE
1 , 2 1L I U X ie2j i n, Z HU Y u n2m i n
( 1 . Mat hematical College , Sichuan U niversit y , Chengdu 610064 , China ; 2 . Depart ment of Mat hematics ,
)Huainan Teachers College , Huainan 232001 , China
Abstract : The discussio n o n t he p ropert y co mpariso n bet ween op timally weighted L S estimate and linear unbiased minimum variance estimate fo r a linear mo del is p resented. U nder a co nditio n o n variance mat rix in2 vertibilit y , t he difference bet ween t wo estimates variance can be calculated , and t he t wo estimates can co nverge to t he same o ne under a certain co ndito n .
Key words : op timally weighted least squares ; linear unbiased minimum variance ; linear mo del
()2000 M SC 60 G35 ,62N
范文四：最优加权最小二乘估计与线性无偏最小方差估计性能比较
文章编号 :049026756(2001) 0520644203
最优加权最小二乘估计与线性无偏
最小方差估计性能比较
刘谢进 1,2, 朱允民 1
(1. 四川大学数学学院 , 成都 610064;2. 淮南师范学院数学系 , 淮南 232001)
摘要 :在给定的线性模型下 , . 在噪声方 差矩阵可逆条件下 , 下 , 两者趋于一致 .
关键词 :最优加权最小二乘 ; 线性无偏最小方差 ; 中图分类号 :O212.4 :A
1 引言
(OW LS) 估计与线性无偏最小方差 (L UMV) 估计是两个最流行的估
计方法 . . 显然 , 当 OWLS 估计也是线性估计时 , L UMV 估计一般比 OW LS 估计结果要好 , 但至于好多少 , 诸多文献未曾给出 . 作者将对此给出严格比较结 果 , 并讨论了在什么情况下 , 两者趋于一致 . 在通常情况下 , OWLS 估计的解更易获得 , 而 L UMV 估计比 OW LS 估计需要更多的先验信息 , 如需要未知参数是随机的 , 而且必须知道未知参数的期望和方差 , 解的获 得相对来说要难一些 . 通过对这两种估计方法解的比较 , 在实际应用中 , 可根据文中对解的分析 , 有选择地加 以选用 , 能收到预期的效果 .
2 问题的描述
假设线性系统观测方程为
Y =X
θ+ε, X ∈ C m ×n , θ∈ C n , Y ∈ C m , ε∈ C m , (1) 其中 X 为已知确定性矩阵 , 且 X ’ X 可逆 , θ为未知参数 , Y 为观测数据 , ε为噪声 , 通常设 ε为零均值噪
声 , 即 E ε=0, E εε’ =R ε, R ε为正定阵 . 我们的目的是从已知信息 Y , X 以及 θ与 ε的一些先验统计信息基
础上 , 获得对 θ的最优估计 ^θ.
由于 X 是确定性的 , 因此 , 用 Y 和 X 对 θ的 L UMV 估计就等于仅用 Y 对 θ的估计 , 因而 L UMV 估计的 解为
^θLUMV =E θ+R θY R +Y (Y -E Y ) ,
(2) 估计误差方差为
V LUMV =Var (θ-^θLUMV ) =R θ-R θY R +
Y R Y θ,
(3)
其中
R θ=E (θ-E θ) (θ-E θ) ’ , R Y =E (Y -E Y ) (Y -E Y ) ’ , R θY =E (θ-E θ) (Y -E Y ) ’ .
R θ, R Y , R θY 也可记为 R θ=COV (θ, θ
) , R Y =COV (Y , Y ) , R θY =COV (θ, Y ) . 若 θ非随机 , ^θLUMV =E
θ=θ, 故 (2) 式不能用来估计未知的 θ. 收稿日期 :2001205222
基金项目 :国家自然科学基金 (60074017) 和国家攀登项目基金 (970211017) 作者简介 :刘谢进 (1971-) , 男 , 2000级硕士研究生 .
2001年 10月 第 38卷第 5期 四川大学学报 (自然科学版 )
Journal of Sichuan University (Natural Science Edition ) Oct. 2001Vol. 38 No. 5
另一方面 , 加权最小二乘 (WLS) 估计解为
^θWL S =(X ’ W X ) 21
X ’ W Y ,
(4)
此解在 argmin θ
WLS
(Y -X θWL S ) ’ W (Y -X θWL S ) 下最优 , 进而 , R 21
ε为下式最小化的解 . argmin W
E ((X ’ W X ) 21X ’ W Y -θ) ((X ’ W X ) 21
X ’ W Y -θ) ’ , W =W ’
且 W >0. 上述解可由矩阵希瓦兹不等式导出 [3].
由于 X 非随机的 , 因而 OW LS 估计的解仍为 Y 的线性估计
^θOWL S =(X ’ R ε21X ) 21X ’ R 21
εY , (4) ’ 估计误差方差为
V OWL S =Var (θ-^θOWL S ) =(X ’ R 21εX ) 2(5) 因为 E^θOWL S =E (X ’
R 21εΧ) 21X ’ R 21ε=E (X ’ R 21ε
Χ) 21
(6)
所以 OWLS 估计也是线性无偏估计 .
当 X 随机 , OWLS (X , UMV 仍是线性估计 , 目前还无法比较这两种估计的性 能 .
, 这两种估计方法解的性能差 .
3 两种估计性能的比较
定理 1 在式 (1) 假设下 , 设 R ε可逆 , θ与 ε独立 , L UMV 估计优于 OWLS 估计 , 且
V OWL S -V LUMV =(X ’ R 21εΧ) 21X ’ (R ε+X R θX ’ ) 21X (X ’ R 21
ε
Χ) 21>0. (7)
证明 对于方程 Y =X θ+ε, 左右两边同乘以 (X ’ R 21εΧ) -1X ’ R 21
ε, 得
(X ’ R 21εΧ) 21X ’ R 21εY =θ+(X ’ R 21εΧ) 21X ’ R 21ε
ε, 所以
θ=(X ’ R 21εΧ) 21X ’ R 21εY -(X ’ R 21εΧ) 21X ’ R 21εε.
(8)
不妨设 A =(X ’ R 21εΧ) 21X ’ R 21
ε, 则 θ=A Y -A
εR θ=COV (θ, θ
) =COV (A Y -A ε, A Y -A ε) =A [COV (Y , Y ) -COV (Y , ε) -COV (ε, Y ) +COV (ε, ε) ]A ’ =A (R Y -R Y ε-R εY +R ε
) Α’ , R θY =COV (θ, Y ) =COV (A Y -A
ε, Y ) =A [COV (Y , Y ) -COV (ε, Y ) ]=A (R Y -R εY )
R Y θ=R ’
θY =(R Y -R Y ε
) A ’ , R Y =COV (X
θ+ε, X θ+ε) =R ε+X R θX ’ >0, R εY =COV (ε, X
θ+ε) =COV (ε, X θ) +COV (ε, ε) =R ε, V LUMV =R θ-R θY R 21
Y R Y θ
=A (R Y -R Y ε-R εY +R ε) A ’ -A (R Y -R εY ) R 21
Y (R Y -R Y ε) A ’
=A (R ε-R εY R 21
Y R Y ε) A ’ =(R ε-R εR 21
Y R ε) A ’ .
再将 A =(X ’ R 21εΧ) 21X ’ R 21ε代回上式 , 得
V LUMV =(X ’ R 21εΧ) 21X ’ R 21ε(R ε-R εR 21Y R ε) [(X ’ R 21εΧ) 21X ’ R 21
ε]’
=(X ’ R 21εΧ) 21-(X ’ R 21εΧ) 21X ’ R 21Y Χ(X ’ R 21ε
Χ) 21. 5
46第 5期 刘谢进等 :最优加权最小二乘估计与线性无偏最小方差估计性能比较
于是
V OWL S -V LUMV =(X ’ R 21εΧ) 21-[(X ’ R 21εΧ) 21-(X ’ R 21εΧ) 21X ’ R 21Y X (X ’ R 21ε
Χ) 21]=(X ’ R 21εΧ) 21X ’ R 21Y Χ(X ’ R 21εΧ)
21=(X ’ R 21εΧ) 21X ’ (R ε+X R θX ’ ) 21X (X ’ R 21ε
Χ) 21>0. 得证 推论 1 在定理 1的假设条件下 , 当 R θ→ ∞时 , 则
V OWL S =lim
R θ
→∞ V LUMV .
(9)
推论 1表明当 L UMV 估计丢失先验统计信息 θ, 两种估计方法在一定假设条件下没有什么不同 .
推论 2 在定理 1假设条件下 , 当 R ε→ 0时 ,
lim R ε→
0V OWL S =lim R ε→
0V =.
(10) 推论 2表明当噪声干扰很小时 , 参考文献 :
[1]Haykin S. Adaptive Filter , NJ :Prentice 2Hall , 1996.
[2]Brown R G. Analysis and K alman Filtering[M ].New Y ork , John Wiley &S ons , 1983. [3]Chui C K ,Chen G. Filtering with Real 2Time Applications[M ].Springer 2Verlag , 1987. [4]S orenson H W. Least 2Squares Estimation :from G auss to K alman. IEEE Spectrum , J uly , 1970, 63-68.
[5]Zhu Yunmin . E fficient recursive state estimator for dynamic systems without knowledge of noise covariances. IEEE Trans.
Aerospace and Electronic Systems ,1999,35(1) :102-114.
[6]Zhu Yunmin , Li X Rong. Best linear estimation fusion. The Proceedings of 1999International Information Fusion Conference ,
Sunnyvale , CA , J uly 1999.
[7]A. P. 塞奇 ,J. L. 梅尔萨 . 估计理论及其在通讯与控制中的应用 [M ].北京 :科学出版社 ,1978.
THE PR OPERT Y COMPARISON BETWEEN OPTIMALLY WEIGHTED LS
AN D L INEAR UNBIASED MINIMUM VARIANCE ESTIMATE
L IU Xie 2ji n 1, 2, ZHU Y un 2mi n 1
(1. Mathematical College , Sichuan University , Chengdu 610064, China ; 2. Department of Mathematics ,
Huainan Teachers College , Huainan 232001, China )
Abstract :The discussion on the property comparison between optimally weighted L S estimate and linear unbiased minimum variance estimate for a linear model is presented. Under a condition on variance matrix in 2vertibility , the difference between two estimates variance can be calculated , and the two estimates can converge to the same one under a certain conditon.
K ey w ords :optimally weighted least squares ; linear unbiased minimum variance ; linear model (2000MSC 60G 35,62N )
6
46四川大学学报 (自然科学版 ) 第 38卷
范文五：OLS估计量：最优线性无偏估计的求证与推广
OLS估计量:最优线性无偏估计的求证与推
广 黧知识丛林
2006年第10期(总第223期)
OLS估计量:最优线性无偏估计的 求证与推广_陈军
在大多数的统计学教材中,关于一 元线性回归最/j,,-乘估计量是总体回归 系数的最优线性无偏估计量这个结论, 给出证明的并不多,在一些计量经济学 的着作中,虽然给出了证明,但是其过程 和运用的数学技巧也令初学者望而却 步,本文将运用大家耳熟能详的拉格朗 13极值定理对该问题进行一个简单直观 的证明,使大家对最优,线性,无偏等概 念有一个更深刻的认识.
我们知道在对一元回归模型Y1_pt+ B2X.+,,的回归系数进行估计时,采用的 是经典的最小二乘法.且可以求出: f6,:一E(x,-x)(Y,-Y) {?(x,一x)(1)
.:—B2x
定理1:p:是总体回归系数pz的最 优线性无偏估计量.
证明:(线性无偏性):
6::一X(x~-x)一
(Y,-Y)虽一
?(x,一x)?(x.-X)
_
Z(x~-x)Y:?Y
?(x,一X)?(x.-x) E(:)::
?(x,一X)
圣iI_2(垦!?垦,)
?(x.一x)
Bl?(x,一x)+132?(x.一x)x, :
:82
?(x,一X)
—
ZXi2-X—
ZXi:母
::p:
?fx一X)?(x一X)
可以看出,B:是Y,的线性估计量, 且是B:的无偏估计.
(最优性):VB=Ek,Y.是Y.的线性 估计量,要想B是p:的无偏估计,必须 E(p):?k.E(Yj)=Ek(pl+p2XJ:Bl2k,+
BzEkiX,=132
也就是要求:
2k_0;2kX.:1(2) 那么在Var=-(7,i=l,2Ln的条件下 v(p):?kvJ:k(3)
记f(kl,k:Lk,l,h2)=Ek一lXk.-h2 k,X.-1)
f=2ki-hi-k2Xi=O(i.1,2,Ln)
{.?0(4)
l=Ek,X~-1-0
从方程组(4)中解得:ki=—(.. ?(x.一X)
1,2Ln)
由器.2>,当ki=盖(i.
1,2Ln)时,?k,2耿得L极小值—,因 ?(x,-x)
此Var(p):盯k的极小值为Var(133=
2
?fx.-x)
此时B*=EkiY,:一E(—
Xi-
_
X)Yi:
:
?fx.-x)
也就是说在所有p的线性无偏估计 量中,方差最小,也1~1113:是13:的最优线 性无偏估计.
下面我们对一些假设条件作简单放 宽:
(1)VB=Ek,Y.是Y.的线性估计量, 不一定要求母是B:的无偏估计时,此时 限制条件变为:
Ek,:0;Ek,X.=a(5) 同样的方法我们可以求出k,: 二2a(2,Ln)
?(x.一X)
B:?kiYi--~王fI二),以及v ?(x,一X)
(p:—_
?(x.-x)
我们可以得出如下结论:
?当a=l时,与前面的结果完全一 样;
?当a?1时,p'不是p:的无偏估 计,但lal<l时,Var(<Var(2),即虽然p 136
统计与决策
是总体回归参数pz的有偏估计,但是13'
的方差却比母:的最优线性无偏估计B: 的方差小.
(2)若,,的方差不相等,即具有异方 差性Var(s,):,,i=l,2Ln时,同样我们得 到方程组:
Of
=2k.
.
~r-kl-k2XI_0(i=1,2,Ln)
{of-?0(6)
I-?1.0
该方程组的系数行列式为: 2.0L
02L
LLL
00L
11L
XlX2L
0—1一X.
0—1一X,
LLL
2o:一1一x
100
Xn00
12:0L0—1一X.1
l02仃L0一1.X2l
lLLLLLLl
100L2一1一xI
l00L0V2Ex'/2l Ix,x:LxEx'/2Ex~/2I
记El/2:A,?/2:B,?./2:C/2o"/2o"/2o"记--,?:,?".:
可以解得:t:,t:,
从而k,:二(i:1,2Ln) (B2AC)cr
在这种情况下,当ki=旦尘-_ (BE_AC)~Ii
(i=l,2Ln)时,
B?:?k,Y.:.Y~(B-AX,)Y,一
(7)
(B2-AC)~I
此时得到的母为在异方差情况下 的总体回归系数B:的最优线性无偏估 计.
(作者单位/暨南大学经济学院统计系) I责任编辑/李友平)
转载请注明出处范文大全网 » 自学方差分析最优线性无偏估
