梦泉总代
范文一：ARMA模型的参数估计
第6章 ARMA模型的参数估计
ARMA— ?6.1 AR(p)模型的参数估计
问题: 已知的AR(p): p
p2,,~WN(0,)XaXt,，,,,0,.(1.1) tjtjt,t,j,1
T2由,去估计a,(,,,)aaa和. {,,,}xxx12N12p
1. AR(p)模型的Yule-Walker估计 自回归系数a{},由自协方差函数惟一确定. pk第 1 页 共 37 页
第6章 ARMA模型的参数估计
,,,，，a,，，，，011p,11,,,,,,a,,,,21022p,,,, ,,,,,,,,,,app,,pp120,,,,,,,，，，，,,,，，
2T2白噪声的方差,由决定. ,,,,γa0pp现获{,,,}xxx, , 则作 Np,12N
(1) yxxtN,,,,1~; ttN
Nk,1?(2) ,0,1,,,,,yykp; kjjk，,j,N1第 2 页 共 37 页
第6章 ARMA模型的参数估计
?(3) 只要不全同, 则正定, 得惟一 xxx,,,Γ12Np
121TT,,???????????, . a,Γγ,,,,,,,γaγΓγppp00ppppp
实用中, Levinson递推公式(无需求逆, 快): 2?,?,,,00,???,a,,1,110,222,???,,(1)1,a,,,kkkk,(1), 1,11,21,???????,,,,...aaakkkkkkk，,,,,,,1,1?,akk，，01,12,2,,???????,,,,...aaakkkkk,,,,,1,,1,1,1????,,,,,,1,aaaajkkpkjkjkkkkj，，，，,,,第 3 页 共 37 页
第6章 ARMA模型的参数估计
22??????(,,,)(,,,)aaaaaa,??(2) ,. ,,,12,1,2,pppppp
以上Yule-Walker估计的最大优点是:
pj??()10,when||1Azazz,,,, j,j,1
?即最小相位(只要Γ正定). p，1
2定理1.1(参见[18]) 若,,~WN(0,)独立同分布, t
4E,,,, 则当时, 有 N,,t
22(1) ??,,,,,,,,..,1aaasjp; jj第 4 页 共 37 页
第6章 ARMA模型的参数估计
T依分布21,??(2) NaaaaN(,,)(0,),,,,,,Γ,11ppp
(3) ?NaaONsup||(lnln),a.s.,,, jjjp1,,
22?NONsup||(lnln),a.s.,,,,. jj1jp,,
T依分布由上(2)得: ?. NaaN()(0,),,,,,,jjjj,
21,(其中,是,Γ中相应元素) jj,p置信水平0.95的a渐近区间: j
??[1.96,1.96]aNaN,，,,. 第 5 页 共 37 页 jjjjjj,,
第6章 ARMA模型的参数估计 2. AR(p)模型的最小二乘估计 设ddd,,,aaa,,,是的估计, 称使残差 12p12p
?(),,,，，，ydydydy jjjjpjp1122,,,
N2?的?{}Sddd(,,,),,最小的为最小~. dpj12,jjp1,，
yyyy，，d，，，，pp,11p，11,,,,,,yyydypp，122p，2记,,YXd,,,,, ,,,,,,,,,,pNNNp,,,12Nd,,,,yyy,,y，，，，，，
T当第 6 页 共 37 页 XX正定时, 有惟一的
第6章 ARMA模型的参数估计
TTT,1??? aaa,XXXY(,,,)()12p
21||Ya,X2????,,Saaa(,,,),. 12pNpNp,,
理论表明:
1,,??da,,O,. N,,最小二乘估计p,,YW,估计N,,即两种估计差别不大. 对二乘估计,也有大样本性质
42定理1.2若E,,,,,~WN(0,),独立同分布, tt
???aaa,,,N,,是最小二乘估计, 则当时, 有 12p第 7 页 共 37 页
第6章 ARMA模型的参数估计
T依分布21,?? NaaaaN(,,)(0,),,,,,,Γ,11ppp
3. AR(p)模型的最大似然法
p2设模型的 ,,,,XaXN~(0,), 则 ttjtj,,j1,
Np,N,,11,,2 (,,)~exp,,,,,tNt，,,1,2,,2,tp,，2,,1,,,,
从而得关于xxx,,,的似然函数为 12N第 8 页 共 37 页
第6章 ARMA模型的参数估计
2 L(,)a,
2Np,pN,,,,11,,,,,,,expxax ,,tjtj,,,,,2,,22,,,11tpj,，,,,,,,,
通过解似然方程
22,,(ln(,))(ln(,))LLaa,, ,,0,0,2,,a,
2结果a,,同最小二乘法.
例1.1 设白噪声{}~(0,1),N, 模型为 t
xxxxx,,,，，1.160.370.110.18, tttttt,,,,1234第 9 页 共 37 页
第6章 ARMA模型的参数估计
2分别用Yule-Walkey法和最小二乘法估计参数. a,,结果见程序ese6_1_1.m
4. AR(p)模型的定阶问题
??kpkp,,若偏相关系数?aa,,0,0, 则认为. pp,,,kkkk
a，，????,,,,，，，，k,11011k,,,,,,,????a,,,,k,22102k,,,, ,,,,,,,,,,????kkk120,,,,a,,,,kk,，，，，,,,,，，
TT[][...0...0]aaaaa, ,1,2,1kkkkp第 10 页 共 37 页
第6章 ARMA模型的参数估计 以上结果由以下定理保证.
2定理1.3 若AR(p)中,,~WN(0,)是独立同分布, t
则对任何, 有 kp,
ajp,,,j?lima,. ,kj,N,,0,jp,,
为了检验?Ha:0,aa,, 可借助极限分布. 0,kkkkkk,,
2定理1.4 若AR(p)中,,~WN(0,)是独立同分布t
4的, E,,,kp,, 则对确定的, 有 第 11 页 共 37 页 t
第6章 ARMA模型的参数估计
T依分布21,?? NaaaaN(,,)(0,),,,,,,Γ,kkkkkkk,1,1,,
推论1.5 在定理1.4的条件下, 对, 有 kp,
依分布?.(证明略见196页) NaN,,,,(0,1)kk,
故?a有95%的概率落在 kk,
(1.96,1.96),NN. 因此取的估计 p
1.96??sup{:||,110}pjajk,,,,, jj,N
第 12 页 共 37 页 可能较高.
第6章 ARMA模型的参数估计 实际中, 常用AIC准则:
(1) 分别取(上界或较大数); pkP,,0,1,,0
2(2) 求AR(k)时的?,; k
2k2(3) 计算 ?AIC()ln,0,1,,kkP,，,, 0kN
(4) ? 称为AIC定阶. pkk,min{|[AIC()]}k
依概率注1: 一般??pp,,,,pp,(真), 并无, 即不相合; 注2: 通常, 略高的阶数比低的阶数要好. 有利历史
数据利用, 等. 第 13 页 共 37 页
第6章 ARMA模型的参数估计 为克服不相合, 改用BIC(k)函数定阶.
kNln2?BIC()ln,0,1,,kkP(上界) ,，,,0kN
2注3: 若,,~WN(0,)是独立同分布的, 则BIC(k)t
是强相合的;
注4: 当不大, BIC定阶偏低,会失真, 宜取AIC. N
5. AR(p) 模型的拟合检验
2设由?????(,,,)aaa,{,,,}xxxp已得, , , 12p12N
第 14 页 共 37 页 对残差:
第6章 ARMA模型的参数估计
?p
???,1~, ,,,,，yaytpNttjtj,,j1,
用?4.3白噪声检验: 若符, 则认可, 并用于预测,
否则重估、改用MA(q), ARMA(p,q). 6. AR(p)序列的谱密度的估计
2,2?????(,,,)aaa,,f(),p,,代入. i212p,,2|(e)|A
2注5: 若?WN(0,),,p是独立同分布的,是由AICt
?或BIC定阶的, 则f(),f(),一致收敛到. 第 15 页 共 37 页
第6章 ARMA模型的参数估计
1例1.2 取附录B7 {}xt0.8
0.6中的300个数据, 对
0.4,kAR模型的阶数分别 0.2
0为上界, pP,,1~100-0.2
-0.4解Y-W方程, 4截尾的. 246810
0.140.180.120.16AICBIC0.140.10.080.120.10.060.040.080.020.06246810246810 第 16 页 共 37 页
第6章 ARMA模型的参数估计
所以用B7数据拟合出AR模型的阶数应为4, 即
XXXXX,,,，，1.1490.3150.1300.196,tttttt,,,,1234
通常AIC定阶略高, 下图即为用以上模型产生的
300个数据, 重复1000次中定阶的结果, 定阶有别.
700800600AICBIC600500400400300200200100第 17 页 共 37 页 001234567891012345678910
第6章 ARMA模型的参数估计
但充分多数据和大数重复后, 定阶的情况很接近.
1000
800800
600AIC600BIC
400400
200200
001234567891012345678910
例1.3 对用B7数据拟合出的模型, 进行拟合检验. (1) 中心化: yxx,,; ttN第 18 页 共 37 页
第6章 ARMA模型的参数估计 (2) 计算残差:
?; ,,,，，,yyyyy1.1490.3150.1300.196tttttt,,,,,41234
() t,5~296(3) 计算?的自相关系数 ,:1296,,tt
?; {},1~,kM,k
(4) 计算卡方值: (假设是白噪声的统计量)
2222????()296(),,,,m,，，，; 12m(5) 计算临界值
,()chi2inv(0.95,),1~20mmm,,
第 19 页 共 37 页
第6章 ARMA模型的参数估计
2?()(),1~20mmm,,,,(6) 判断: 所有, 则不能拒绝残差是独立的白噪声的假设, 即认可.
16351430?临界值,()m虚线f(),120.0525102081562104?,()m实线f(),52000510152001234
第 20 页 共 37 页
第6章 ARMA模型的参数估计 ?6.2 MA(q)模型的参数估计
MA(1)模型: , . Xbt,，,,,,||1b,ttt,1
222不难得: ,,,,,,，,(),bb, 01
b2于是得: ,,bb,，,0, 即, ,,1112，1b
2114,,,11可解得: b,||1b,, (,时). ,,1221,
2?114,,,1a.s.?估计值: bb,,,,,,,(独立白噪声). t?21,第 21 页 共 37 页
第6章 ARMA模型的参数估计 1. 一般可逆MA(q)模型的矩估计及其计算
q2若先知,,~WN(0,)Xbt,，,,,,,, ttjtj,t,j,1
则有{:0},,,kq及个非线性方程 q，1k
2b,1 () ,,,，，，()bbbbbb0kkkqkq，,011
2反之, 若先知{},, 由上方程, 可解得{,},b. k1~q线性迭代法求解法:
(1) 用??~,,xxx,,,求; 0q12N
2T(2) 初值: 任取,(0),(0)[(0),(0),,(0)]b,bbb 12q第 22 页 共 37 页
第6章 ARMA模型的参数估计
?,,20,(),j,22,1(1)(1)，,，，,bjbj1q,
,?,kbjbjbj()[(1)(1),,,,，112kk,，(3) 迭代:(),j ,
,qkq，,,bjbj(1)(1)],,,k?,,2qbjkq().(11),,,,,,()j,,
qqk,2(4) 停止: ?|()()()|(),,,,,jbjbj某. kttk，,,kt,,00
(5) 检验可逆条件, 不满足, 重取初值, 重算. 第 23 页 共 37 页
第6章 ARMA模型的参数估计 也可用?3.1中的方法(MA(q)的是截尾的) ,qk(1) 用??~,,求; xxx,,,0q12N
?,,0,,kq,k(2) 作,(),, ,,,,kkljljk,,,1~0,kq,,
,1T???(3) 分别计算lim,,,,,和 kkkk,,
12T?????,(),,,,,,,,CCACbγ 0q2?,其中:
第 24 页 共 37 页
第6章 ARMA模型的参数估计 01000,,1,,00100,,0,,,,,,,00AC ,,,,00001,,0,,,,00000q，1,,qq，,,,,,,,,12k1,,,,,,,,2312k，?,,γ, ,kq,,,,,,,,qqqqk11，，,,,,,1qqq,,,,，，
T????b,bbb. 合理性由以下定理给出. (,,,)12q
2定理2.1若MA(q)中WN(0,),,是独立同分布的, t第 25 页 共 37 页
第6章 ARMA模型的参数估计
??则当充分大后,几乎必然满足可逆条件. bbN,,1q
qk,i,实用可逆充分条件是: ?,,,,e0,[,],,,. k,kq,,
2. MA(q)模型的逆相关函数法—简介 想法: 视 MA模型,AR模型, 故先求AR模型参数, 而后求MA模型参数, 即
q1()Xb,，,,,,,,XBzX,, ,,ttttttjtj()Bz,j1
第 26 页 共 37 页
第6章 ARMA模型的参数估计
p,jj:AR(p) ,,,(1)azX,,,,(1)azX,jttjtt,,j,j,11
方法步骤:
(1) 用?,求,用AIC等法定出AR(p)的阶; x{},pN1~Nk
2(2) 取????pp,, 用Y-W方程确定aaa,,,,,; ,1,2,Nppppp(3) 用引理2.2, 计算?, 即() ,()ka,,1yp,0
pk,,1??,0,,aakp,,pjpjk，,,2?(),k?,, ,,yj,0p,0,,kp,第 27 页 共 37 页
第6章 ARMA模型的参数估计 (4) 利用Y-W方程
?，，????(1)(0)(1)(1),,,,,q,b，，，，yyyy1,,,,,,?????(2)(1)(0)(2),,,,q,,byyyy2,,,,,, ,,,,,,,,,?,,,,????()(1)(2)(0)qqq,,,,,,yyyy,bq，，，，，，,2???和?????,,,,,,，，，，(0)(1)(2)()bbbq pyyyqy12
2???求得(?,,,,bbb)和. 12q
第 28 页 共 37 页
第6章 ARMA模型的参数估计 3. MA(q)模型的新息估计方法—简介
??设(|,,)X,0XLXXX,, ; 1kkk，，111
则样本新息: ?; (|,,),,,XLXXXkkkk，，，1111
2预测均方差: ?,,,E; 1kk，
q?前证可表: ?,Xmq,,,,, 递推得, ,,mmjmj，，,1,1mj,j,1
?当?m,,,XX较大时, 得: 新息,的估计, mmmm
由此对较大的, 得近似MA(q)模型 t
第 29 页 共 37 页
第6章 ARMA模型的参数估计
qq???? XbXXb,，,,，,,,ttjtjttjtj,,,,jj,,11
qq??从而有??Xb,,与比; X,,,tjtj,,mmjmj，,1,,jj,1,1
2?合理的估计: ?,1~,bjq,,,,,,; jmjm,
具体的新息估计步骤:
1/3(1) 用??moN,()~xxx,,,, 取, 计,,; 12N0m
1,(2) 用递推公式 约定()0, ,0j,第 30 页 共 37 页
第6章 ARMA模型的参数估计 ??,,,00,1k,，，,,??????,01,,,,,kn ,,,,,,,,,,,,nnknkkkjnnjjk,,,,,，，0j,,1n,?2,,???,,,,,1nm,0,nnnjj,,,,,0j,
2??(3) 取??,1~,bjq,,,,,,. jmjm,
方法的理论依据为
定理2.3([18]) 略.
4. MA(q)模型的定阶方法—(后截尾特点) q
第 31 页 共 37 页
第6章 ARMA模型的参数估计
????(1) qk,,{/}使开始明显变小的,,,kk0
(2) AIC定阶
1) 假设已获得的上界; Qq0
22) 逐个计算MA(m)(?)的,; mQ,0,1,2,,m0
23) 计算?AIC()ln()2/,0,1,2,,mmNmQ,，,, m0
4) 比出最小值的最小m作为的估计. q
5. MA(q)模型的拟合检验
2???设由??,{,,,}xxxqbbb已得, , , (,,,)12N12q第 32 页 共 37 页
第6章 ARMA模型的参数估计
???令 0,,,,,,,,,,yxx??120,,qqttN
?q?和 ??,1~,,,,,ybtN, ttjtj,,j1,
1/3对LON,(),
若 ?{:,1,,}为白噪声, 则认可模型, ,tLLN,，t
否则重新估计拟合模型. 或改用AR(p), ARMA(p,q)
例2.1设{}x是?3.1例1.1中197个化学浓度的数据, t
对数据yxx,,建立MA(1)模型为 ttt,1第 33 页 共 37 页
第6章 ARMA模型的参数估计
Yt,，,,,0.5276,ttt,1拟合检验步骤:
3(1) 取; L,，,[197]16
(2) 计算残差: 令?, ,,01
?? ,,,，,yt0.5276,2~197ttt,1
(3) 计算?{:~197},tL,的自相关系数; t
(4) 计算?:{:~197}HtL,,是白噪声的统计量 0t
2222????()192(),,,,m,，，，; 12m
第 34 页 共 37 页 (5) 计算临界值
第6章 ARMA模型的参数估计
,()chi2inv(0.95,),1~15mmm,,
2(6) 判断: 若所有?,,()()mm,, , m,1~15则不能拒绝残差是独立的白噪声的假设.
25
20
15
10
5
0051015 模型通过检验.
第 35 页 共 37 页
第6章 ARMA模型的参数估计 6. MA(q)序列的谱密度的估计
2,i2,2???把??fB()|(e)|,,,,代入 qbbb,(,,,)12q2,
2?2q?,ij,??得谱估计: f()1e，b,. ,j,20j,,
?若参数是相合估计, 则f(),是f()的相合估计. ,
例2.2 模拟计算MA(2)模型
Xt,,，,,,,0.360.85,. tttt,,12第 36 页 共 37 页
第6章 ARMA模型的参数估计 分别用
(1) 矩估计方法;
(2) 逆相关函数方法;
(3) 新息估计方法;
对来上述模型100个(或300个)数据进行参数估计.
结果见程序tse6_2_2.m
第 37 页 共 37 页
范文二：ARMA模型参数估计的GW-LS两段算法
ARMA模型参数估计的GW-LS两段算法
121马 进 周国标李元祥
1上海交通大学航空航天学院 上海 200240) (
2(上海交通大学数学系 上海 200240)
摘要 本文提出了新的GW-LS两段算法，很好地改善了自回归滑动平均(ARMA)模型参
数估计的性能。首先摈弃传统的拟合到AR模型的思考方法，而是基于ARMA模型的相关
函数用Gevers-Wouters(GW)算法对ARMA模型拟合到高阶滑动平均(MA)模型，然后
在拟合的MA模型参数基础上，用最小二乘(LS)算法求解一个不相容的线性方程组，从
而估计出ARMA模型参数。最终的仿真实例说明了本算法较高精度、较快速度的收敛特性。
关键词 系统辨识;参数估计;ARMA模型;GW-LS两段算法;拟合
中图分类号 TN911.7
Two-Stage GW-LS method for Parameter Estimation of ARMA
Models
12 1Ma Jin Zhou Guo-biaoLi Yuan-xiang
1(School of Aeronautics and Astronautics, SJTU, Shanghai 200240, China)
2(Department of Mathematics, SJTU, Shanghai 200240, China)
Abstract This paper presents a two-stage GW-LS method that has effectively improved the performance in the parameter estimation of Auto Regressive and Moving Average (ARMA) models. First discarding the thought of fitting by AR model, we fit the ARMA model by a high order MA model using Gevers-Wouters algorithm on the basis of related functions of ARMA model. Then according to the parameters of the fitted MA model, we obtain the ARMA model parameter estimation through solving a system of antipathic linear equations using the least squares method. A simulation example demonstrates it has a higher degree of accuracy and faster convergence.
Key words System Identification; Parameter Estimation; ARMA model; GW-LS two-stage
method; Fitting
作者简介:马进(1986)，湖北人，硕士研究生，研究方向为信号与信息处理，航空电子等。联系方式
mjei@sjtu.edu.cn
0 引言
在时间序列分析、信号处理、通信、控制、滤波等许多领域经常遇到ARMA信号的参数估计问题，作为ARMA模型系统辨识的一部分，参数估计性能的好坏对系统辨识有着重要
1 2的影响。目前，在这个领域还有相当的研究热潮，比如Graup等提出了用最小二乘算法对ARMA拟合高阶AR模型，基于AR模型参数用解一个相容线性方程组得到ARMA模型参
345;又如文献、文献也提出，数，而这一方法的缺点只能得到ARMA模型参数的粗糙估计
拟合到AR模型后用求解不相容线性方程组的方法来估计ARMA模型的参数。上述参数估计算法的缺点在于需要迭代的步数较长、收敛速度相对较慢。为此，本文提出新的算法克服
6了前述算法的不足，基于收敛很快、精度很高的Gevers-Wouters算法将ARMA模型拟合到高阶MA模型，然后基于拟合的MA模型的参数，用解一个不相容的线性方程组的方法(LS算法)估计出ARMA模型的参数，仿真表明该算法能以较快的速度、较高的精度收敛。
1 利用Gevers-Wouters算法拟合高阶MA模型
考虑一般平稳可逆ARMA(p, q)过程
,1,1,(q)z,,(q)att (1)
2,1az,qtta其中为单位滞后算子，是零均值、方差为的白噪声，为观测信号。
,1,1,2,p,(q),1，,q，,q，...，,q12p
,1,1,2,q,(q),1，,q，,q，...，,q12q
,i其中阶次(p, q)已知。提出的问题即为由已知的观测数据(z(1),…,z(t))求未知参数，
2,,ja和的估值。
MA(,) 由对该ARMA模型平稳性和可逆性的假设，(1)式等价于无穷阶模型
1,,,(),qi,z,a,,a,,qa,,ttitiit,1,()q,i0i0,, (2)
,,1,,0(i,,)i0其中，。为了便于计算机处理，我们可以将拟合阶数取得足够大即可，即
n0i,,1z,,qa,,(q)a,titti,0 (3)
,n,1,1,20,(q),1，,q，,q，...，,q12n0 (4)
,1,1,1,(q),(q),,(q) (5)
由(3)式，利用观测数据(z(1),…,z(t))，求其相关函数后，结合Gevers-Wouters算法结
?,i构，可以得到估计值。
2 利用递推方法求解ARMA过程的相关函数
由于1中的Gevers-Wouters算法依赖于ARMA过程的相关函数，下面推导相关函数的
3求解。
平稳、可逆的ARMA(p, q)过程如等式(1)所示，定义相关函数如下:
,,E(zz),,(i),E(za)kt,ktzat,it (6)
zt,k将(1)式两边同时左乘后取数学期望，得
,,,,,,,,,...,,,，,(k)，,,(k,1)，...，,,(k,q)k1k,12k,2pk,pza1zaqza (7) 沿用1中拟合MA的思想，可得到
,0,,i,0,,(i),E(za),E[(a)a],,zat,it,jt,i,jt()2i,0,,,j,0,ia, (8) 所以由(7)，(8)得
2,,,,,,,,,,,,,,,,,,，，，，...(...),k,q0,1,2,...,,1k,12k,2pk,pk0k，11qq,ka,,,kk,q,,,,,,,,,,...,,1k,12k,2pk,p,
(9)
,,,1,,,100其中，。
3 利用LS算法求解不相容的线性方程组
?,i在1、2的推导与计算下，可以得到估计值，并由上述拟合后的系数等式(5)，可知
,，,,,, (10)
B,,, (11)
,,0(i,p),,,0(i,0或i,n)ii0其中，，且注意到
T,,[,,,,...,,]12p
T,,[,,,,...,,]12q
T,,[,,,,...,,]12q
T,,[,,,,,,...,,,]，1，2，qqpn0
T,,[,,,,...,,]12q
100......00，，
,,,10......001,,,, ,,....................................
,,,,,......,1,,q,1q,2q,31，，
,,,......，，qq,1q,p，1,,,,,......q，1qq,p，2,,,B,,........................
,,,,......,,,p，n,1p，n,2n000，，
?,i将Gevers-Wouters算法的估计值代入到(11)式中，得
???,,B, (12) 由于(12)是不相容的线性方程组，故利用最小二乘的思想，(12)的最小二乘解满足
??T????min(B,,,)(B,,,)
所以求导后得到，最小二乘解为
?T,1T????,,BBB,() (13)
??,,0(i,p),,,i由(13)式的结果，可得到估计值(因为)，基于这两个估计值，再结合
?,,式(10)，可得的估计值
????,,,,，, (14) 至此已经完成了基于MA模型参数用LS算法对ARMA模型参数的估计。
4 仿真实例
选取平稳可逆的ARMA过程
z,0.9z,a，0.2att,1tt,1
at其中是零均值、方差为0.81的高斯白噪声，对上述ARMA模型应用本文提出的GW-LS算法进行仿真，同时为体现出本算法的有效性，对上述ARMA过程采用了文献4的RLS-LS算法进行仿真，仿真结果如图1、图2、图3所示，其中蓝色直线为参数的真实值，红色曲线为GW-LS算法的估计值，绿色曲线为RLS-LS算法的估计值。从图中可以看出，仅在小于50步的迭代次数下，GW-LS算法就能达到很好的收敛性能，而RLS-LS算法在同等条件下未能达到如此好的效果，实际上，RLS-LS算法需要2000步左右的迭代才能收敛。这充
?,,,0.89981分说明了GW-LS算法的有效性。在t=50处各个参数的估计值为，
2??,,0.8099,,0.2003a1，。
?,,11图1、及其GW-LS两段算法、RLS-LS算法的估值的收敛性
?,,11图2、及其GW-LS两段算法、RLS-LS算法的估值的收敛性
22?,,aa图3、及其GW-LS两段算法、RLS-LS算法的估值的收敛性
5 总结
本文提出的GW-LS两段算法在估计ARMA模型的参数时所体现出来的快速度、高精
度收敛特性对于时间序列分析及其应用有较为重要的影响，从而对于系统辨识也能起到重要
的作用。对于以后的研究，可以尝试将此算法做一些改进(改进目前基于二阶统计量的估计
方法)，考虑是否可用于非高斯信号处理领域。
参考文献
1 Graup D. Time Series Analysis, Identification and Adaptive Filtering[M]. Malabar,
Florida: Robert E.Krieger Publishing Company, Inc. , 1984
2 Graup D, Krause D J, Moore J B. Identification of ARMA parameters of time series[J].
IEEE Trans. Automatic Control, 1975,20:140~147
3 邓自立，王欣，高媛. 建模与估计[M]. 科学出版社，2008:45~46,60~124
Deng Zi-li, Wang Xin and Gao Yuan. Modeling and Estimation[M]. Science Press，
2008:45~46,60~124
4 邓自立，马建为，杜洪越. ARMA模型参数估计的两段最小二乘法[J]. 科学技术与工程，
2002，2(5):3~5
Deng Zi-li, Ma Jian-wei, Du Hong-yue. Two-stage Least Squares Method for Parameter
Estimation of ARMA Models[J]. Science Technology and Engineering, 2002，2(5):
3~5
5 周毅，丁峰. 依等价AR模型阶次递增的自回归滑动平均模型辨识[J].华东理工大学学报
(自然科学版)，2008，34 (3): 425~431
Zhou Yi, Ding Feng. Identification of ARMA Models with the Equivalent AR Model Orders Increasing[J]. Journal of East China University of Science and Technology(Natural Science Edition), 2008, 34 (3): 425~431
6 Gevers M，Wouters W R E. An innovations approach to discrete-time stochastic realization problem[J]. Quarterly Journal on Automatic Control, 1978,19(2):90~110
马 进:男，1986年生，硕士研究生，研究方向为信号与信息处理，航空电子
等。
周国标:男，1947年生，教授，博士，研究方向为随机算法，随机运筹学，智
能信号处理等。
李元祥:男，1969年生，副教授，博士，研究方向为信号与信息处理，目标探
测、跟踪与识别，航空电子等。
范文三：威布尔分布的参数估计
1模型
双参数威布尔分布的密度函数为
P (t , ! ,
e -(t )
I
[0, ∞
) (t )
(1)
! 为刻度参数 ,
下面考虑定数结尾 试验 , 即对 N 个取自密度为 (1) 的系统进行观测 当出现 r 个失效时停止试验 。 对于完全样本试验 可归纳为 r=N 情形 。 设为 0≤ X 1≤ X 2≤ … ≤ X r 前 r 个系统失效时刻 。 则
1-F (X i ) =R (X i ) =e
-(t )
, i=1, 2, … , r
两边同时取对数得
lnX i =ln ! +1
ln (-ln (1-F (X i ) ) ) , i=1, 2, … , r
(2)
令
Z i =In (-In (1-F (X i ) ) ) ; Y i =InX i ; In ! =#; 1=$;
e i =Z i -EZ i ; i=1, 2, … , r
得
Y i =%+$EZ i +$e i ; i=1, 2, … , r
(3) 其中 Z i ; i=1, 2, … , r 为 Z =ln (-lnU ) 的前个顺序统
计量 U=1-F (X ) :U (0, 1) 将 (3) 书写成矩阵形式
Y=
Y 1Y 1Y r
############$
%&&&&&&&&&&&&’
=
1EZ 11EZ 2
1EZ r
%&&&&&&&&&&&&’
%)*$
+$e 1$e 2
$e r
+
(((((((((((($
%&&&&&&&&&&&&’
=(1' EZ )
%
,-$
+$e (4)
易见 (1.4) 是一简单的回归模型 。
2估计
将 (4) 中 $e 视为误差部分 , 利用最小二乘的
思想 %, $的真值应满足
min (Y-EY ) ' (Y-EY )
又由于 e i =Z i -EZ i , 故 Ee i =0, i=1, 2, … , r 所以有
F (%+$) =(Y-EY ) ' (Y-EY )
=(Y-%1r -EZ ) ' (Y-%1r -EZ )
=Y'Y+%21r '1r +$2EZ'EZ -2%1r 'Y
-2$(EZ )'Y+2%$1r 'EZ
(5) 满足 (5) 式的 %, $应有
&F =2%r -21r 'Y+2$1r
'EZ =0
&F =2$(EZ ) 'EZ-2(EZ )'Y+2%$1r
'EZ =0
威 布 尔 分 布 的 参 数 估 计
程 靖
(巢湖学院数学系 , 安徽
巢湖 238000)
摘 要 :威布尔分布是常见的寿命分布之一 。 对其密度函数中参数的估计方法有很多 , 常见
的有矩法极大法 Menond 方法等 。 本文将利用最小二乘的思想给出定数结尾试验下双参数威 布尔分布的参数估计的一种计算公式 , 以列表的方式给出计算时所需要的部分顺序统计量 的期望 , 并通过模拟给出一个例子来说明该方法的可行性 。 关键词 :参数估计 ; 最小二乘 ; 顺序统计量 ; 定数结尾 中图分类号 :O212
文献标识码 :A
文章编号 :1672-2868(2007) 03-0020-04
2007年第 9卷第 3期
巢湖学院学报
No.3.,Vol.9.2007总第 84期
Journal of Chaohu College
General Serial No.84
收稿日期 :2007-03-01
作者简介 :程靖 (1979-) , 女 , 安徽无为人 。 巢湖学院数学系教师 。 研究方向 :多元分析与线性模型 。
…
…
…
i \N N=10N=20N=30N=40N=50N=60N=80N=100EZ 1-2.8798-3.5729-3.9784-4.2660-4.4892-4.6716-4.9592-5.1824EZ 2-1.8261-2.5471-2.9614-3.2534-3.4791-3.6631-3.9529-4.1774EZ 3-1.2672-2.0200-2.4438-2.7407-2.9688-3.1564-3.4466-3.6723EZ 4-0.8681-1.6583-2.0924-2.3938-2.6250-2.8126-3.1068-3.3338EZ 5-0.5436-1.3786-1.8237-2.1302-2.3643-2.5538-2.8503-3.0786EZ 6-0.2574-1.1471-1.6045-1.9163-2.1534-2.3448-2.6434-2.8735EZ 70.0120-0.9472-1.4179-1.7354-1.9757-2.1691-2.4707-2.7015EZ 80.2837-0.7691-1.2549-1.5779-1.8215-2.0170-2.3208-2.5534EZ 9
0.5846
-0.5559
-1.1079
-1.4380
-1.6850
-1.8827
-2.1890
-2.4230
从而可得 ! ,
! ^=
(r i =1
! Y i ) r i =1
! (EZ i ) 2-(r i =1
! Y i EZ i ) (r
i =1
! EZ i )
r
i =1
! (EZ i ) 2
-r
i =1! EZ
i
2
=
r
r
i =1
! Y i
EZ i
-(r
i =1! Y i
) (r
i =1
! EZ i
)
r
i =1
! (EZ i
) 2
-r
i =1
! EZ
i
2
(6)
3计算
由于 Z i , i=1, 2, … , r 为 Z=ln (-lnU ) 的顺序统 计量 , 故其期望是可求的 , 而 Y i =lnX i 是可观测
的 。 因此只需计算出 Z 的前 r 个顺序统计量的期 望就可对给 定的顺序统 计量观测值 就得到 ! ,
的估计 , 从而进一步得出的 #, $估计 #^=e ! ^, $^
=
1
。 下面首先来推导一下 Z 的分布 。 P (Z ≤ w ) =P (ln (-lnU ) ) =P (U ≥ e -e
w
) =
1
e
-e
w
’
du =1-e -e
w
,
-∞
故 Z 的密度函数为
h (w ) =dp (Z ≤ w ) =e -e
w
e w , -∞
对于 Z 的第 i 个顺序统计量的密度函数 , 我们可利用顺序统计量的密度公式进行计算 , 即为
h i (w ) =N! [1-e -e w
]i-1[e -e w
]N -i+1e w
Z i 的期望为
EZ i =
∞
-∞
’
w N! [1-e -e w ]i-1[e -e w
]N -i+1e w dw
令 t =e w 则 dt =e w dw 且 t ∈ (0, ∞ ) 从而
EZ i =
∞
’ w N! lnt [1-e
-t
]i-1[e -t
]N -i+1dt
(7)
对于给定的 N , i 广义积分 (7) 很容易在 R 中进行计算 , 以下是计算程序和部分 Z 顺序统计量期望 值表 。
程序 :j <-function (n="" )="" j=")" 1;="" t="1;" for="" (kin="" (0∶="" n-1)="" )="" j="k+1;" t="t*)">
j f <-function (x="" )="" j="" (n="" )="" j="" (i-1)*j="" (n-i)="" )="" )="" *log="" (x="" )="" *(1-exp="" (x="" )="" )="" ^(i-1)*exp="" (-n-i+1)="" *x="" )="">
) 分别对 N 和 i 赋值并积分即可 。 例如
N <-100; i="50;" integrate="" (f="" ,="" 0,="" inf="">
即计算出样本量为 100的第 50个顺序统计量的期望 。
以下是 Z 的部分顺序统计量的期望值表 。
表 1
Z 部分顺序统计量的期望值表
EZ 100.9899-0.4548-0.9746-1.3115-1.5621-1.7621-2.0710-2.3065 EZ 11-0.3116-0.8515-1.1957-1.4501-1.6524-1.9640-2.2010 EZ 12-0.1727-0.7364-1.0885-1.3470-1.5517-1.8661-2.1047 EZ 13-0.00371-0.6279-0.9885-1.2512-1.4383-1.7756-2.0158 EZ 140.0979-0.5245-0.8943-1.1615-1.3712-1.6915-1.9332 EZ 150.2350-0.4253-0.8051-1.0769-1.2895-1.6127-1.8562 EZ 160.3776-0.3294-0.7202-0.9969-1.2122-1.5386-1.7838 EZ 170.5304-0.2360-0.6387-0.9207-1.1390-1.4686-1.7155 EZ 180.7022-0.1443-0.5603-0.8478-1.0692-1.4022-1.6509 EZ 190.9120-0.0054-0.4844-0.7779-1.0025-1.3389-1.5894 EZ 201.22320.0364-0.4106-0.7105-0.9385-1.2785-1.5308 EZ 210.1269-0.0086-0.6453-0.8769-1.2206-1.4748 EZ 220.2186-0.2681-0.5820-0.8174-1.1649-1.4211 EZ 230.3125-0.1987-0.5205-0.7598-1.1114-1.3696 EZ 240.4098-0.1301-0.4605-0.7040-1.0596-1.3199 EZ 250.5123-0.0621-0.4018-0.6497-1.0096-1.2720 EZ 260.62440.0056-0.3442-0.5967-0.9611-1.2256 EZ 270.7444-0.0734-0.2875-0.5450-0.9140-1.1808 EZ 280.88580.1415-0.2316-0.4943-0.8682-1.1372 EZ 291.0641-0.2104-0.1764-0.4447-0.8236-1.0950 EZ 301.33840.2805-0.1216-0.3959-0.7800-1.0539 EZ 310.3522-0.0672-0.3479-0.7375-1.0138 EZ 320.4261-0.0129-0.3005-0.6959-0.9748 EZ 330.50320.0412-0.2537-0.6551-0.9367 EZ 340.58140.0956-0.2074-0.6151-0.8994 EZ 350.67120.1503-0.1615-0.5759-0.8630 EZ 360.76610.2055-0.1159-0.5373-0.8273 EZ 370.87280.2613-0.0705-0.4993-0.7923 EZ 380.99850.3182-0.0253-0.4619-0.7593 EZ 391.15970.37630.0199-0.4250-0.7242 EZ 401.41290.43600.0651-0.3886-0.6910
4模拟举例
对于刻度参数 ! =5形状参数为
4.1844153.7036374.2323955.5647647.3372086.2912443.8199713.7800646.5235525.956864
5.4816673.9385365.8606967.2683565.6180495.8078122.8431032.2058865.5047996.256861
参考文献 :
[1]曹晋华 , 程侃 . 可靠性数学引论 [M]. 北京 :科学出版社 , 1986.
[2]严晓东 , 马翔 , 郑荣跃 . 三参数威布尔分布参数估计方法比较 [J]. 宁波大学学报 , 2005, (9) :301-305. [3]杨志忠 , 刘瑞元 . 三参数威布尔分布参数估计改进 [J]. 工程数学学报 , 2004, (21) :281-284.
PARAMETERS ESTIMATION IN WEIBULL DISTRIBUTION
CHENG Jing
(Mathetic Department , Chaohu College , Chaohu Anhui 238000)
Abstract:Weibull distribution is an important type of life distribution.There are many methods to estimate the parameters of its density function ,just as moment method, maximum likelihood method and Menond method.This paper gives the computational formula of the parameters in bi parametric Weibull distribution under the data consored test by the idea of least squares.And also,it gives the expected values of some order statistic which will be needed in computation by a table.At last,a simulation indicates the fesibility of this method.
Key words:parameter estimate ; least squares ; order statistic ; data consored test
对上述数据求对数并按照从小到大的顺序排列
0.64539890.79112900.95032471.04489601.16039831.18764171.19130591.30931531.33147911.34024291.35255921.37076351.41063061.43136691.44276801.44307321.48013351.51869801.52168651.56931531.59350751.60000701.64412041.70114091.70562021.71645471.72598441.75365741.75920401.76826841.76922041.77949521.78198691.833667871.83915881.86214441.87541901.93336271.98353021.9929584
结合表 1利用公式 (6) 及 ! ^=e
可得取前不同个样本时的估计如下表所示 :
从上例可以看出回归方法得到的参数估计结果还是比较理想的 , 即使所用样本数很少 , 其估计值 也在真值附近 。 在现在计算软件比较便捷的情况下 , 该方法应用于 weibull 分布的参数估计具有一定的 可行性 。
r
r =10
r =20
r =30
r =40
(! ^, %^)
(5.3086,3.9648)
(5.2024,4.0791)
(5.3872,3.8262)
(5.3423,3.9042)
责任编辑 :宏 彬
范文四：Poisson分布的参数估计
安庆师范学院数学与计算科学学院2011届毕业论文
Poisson分布的参数估计
作者:高晨 指导老师:戴林送
摘要 泊松分布是概率统计学科中一种重要的离散分布～在参数估计这块～对点估计～矩估计～最大似然估计以及近似的区间估计等～该文中对泊松分布的相关知识～包括其性质～参数的相关估计～研究了泊松分布的一些性质～参数的估计～以及一些在生活中的简单应用。
Poisson关键词 分布 参数估计 性质 简单应用
1 引言
XPoisson分布是离散型随机变量作为大量试验中稀有事件出现的频数的概率分布的
X数学模型，其中可能取值为0，1，2，??而取各个值的概率为:
k,,,e {},0,1,2,,,Pxkk!k
X,,,0其中是常数，称服从参数为的泊松. XPkx~(;)
1.1相关定义
,
XxpPXxPk{},0,1,2,,,1. 离散型随机变量的函数分布律，若级数绝,kkkkk1,
,
Xxp对收敛，称级数为随机变量的数学期望， Ex[],kk,k1
,
xp=. Ex[],kk,k1
YXX2. 定理:是随机变量的函数，是连续函数)，是离散型随机变量，Ygxg,(),(
,
gxp()若绝对收敛，则 ,kk1k,
,
gxp()=. EYEgx[][()],,kk1k,
22XXEXEX{[()]},EXEX{[()]},3. 随机变量，若存在，则称为的方差，记为或，即 Dx()Varx()
2EXEX{[()]},==. Dx()Varx()
第 1 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
X(与有相同的量纲)，称为标准差或均方差。 ,xDX,()，，
2X注记:是刻画取值分散程度的一个量，也可以看成是函数=[()]XEX,的数Dx()gx()
X学期望。离散型随机变量，
2,
[()]xEXp,=. Dx(),kkk,1
22XPXxpk{},1,2,3,,,ExEx()[()].,其中是的分布律。= Dx()kk
2 性质
2.1.Poisson分布中 Pxkk{}0,0,1,2,,,
具有
kk,,,,,,,e,,,,,{}1,,,,,Pxkeee ,,,!!kk000kkk,,,
,
PkP,,,0,0,1,2;1.即满足 Pxk{},,kk1k,
,我们知道，无论是离散型或是非离散型的随机变量都可以借助分布函数
X[,]xx 来描述，落在任意区间的概率FxPXxx(){},,,,,,,，,12
PxXxFxFx{}()(),,,,. 1221
k,,,PXkekXPkx{},0,0,1,2,~(;),,,,. ,k!
2.2 数字特征
2.21 数学期望
Poisson分布:
k,,,e{},0,1,2,,, Pxkk!k
kk,,,1,,,,e,,,,,,,,.keee= Ex[],,,,,!(1)!,kkkk,,01
2.22 方差
Poisson分布:
k,,,e,,0{},0,1,2,,,，的方差. Dx()Pxkk!k
第 2 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
,由上知，Poisson分布的数学期望为参数，
2EXEXXX[][(1)],,，= EXXEX[(1)][],，
EXXEX[(1)](),，
k,,,,e,,，kk(1),,k!0k,
2k,,,2,, ,，e,,,(2)!k,2k,
22,,,,，,，ee,,,,
22DXEXEx()()[()].,,,,
,,==，也就是说在Poisson分布中只含有一个参数，只要知道一Poisson分布Ex[]Dx()
个Poisson分布的数学期望或者方差就能够完全确定它的分布。
3 相关定理
xn(1,2,3), 定理【1】 随机变量服从二项分布，其分布律为 n
kknk,PxkCppkn{}(1),0,1,2,.,,,, nnnn
np,,,0又设是常数，则 n
k,,,elim{},,. Pxknn,,!k
np,,,0证明 由得: n
nnnk(1)(1),,，,,nnk,[][1],Pxk{},,= nknn!
nk,nn,,121k,n {1[1][1][1]}[1]，,，,，，,，,knnnn!
,,Pxke{},,k,1k,,显然当k=0时,故。当且时，有 n
nk,n121k,,,,n1[1][1][1]1，,，,，，,,[1],,e， nnnn
从而
k,,,e{},,， Pxkn!k
故
第 3 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
k,,,e. lim{},,Pxknn,,!k
,定理 [ 2 ] 设p是服从参数为的泊松分布的随即向量,则: ,
2xt1,2Ppxedt,,,,, lim{()},,,,,,,2,
it,1(),,,,()e,证明 已知,的特征函数为,故,的特征函数为: ,,()te,,,,,it,e,1,,it,t()(),,,gtee ,,,对任意的t,有
it2itt1，，,,e,，,，,,,1. ，，,,2!,,,，，于是
it22,,tt1,,, ,,,,eit1,,,,，,,,,,,，，,,,,22,,,,,
,从而对任意的点列，有 ,,
2t,2lim()gte,. ,n,,,n
2t,2但是是分布的特征函数,由于分布函数列弱收敛于分布函数的N0,1FxFxe，，，，，，,,n充要条件是相应的特征函数列收敛于的特征函数. ,tFx,t，，，，，，,,n
所以
2,t,,x,,,1，，2,nnPxedtlim,,,,, ,,,,,,,,,2,n,,
,成立;又因为是可以任意选取的,这就意味着
2,tx12,,p,,，，,limPxedt,,,成立. ,,,,,,,,,2,,,
4 参数估计
4.1 Poisson分布参数的点估计
x,，,,,,，,,,0,:,,R~(;)Pxe,。 (0)0,1,2,,,x,,，，，，,,x!
,为估计母体的参数值的大小，具体抽取样本值。再把样本值放xxx,,xxx,,，，，，12n12n
第 4 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
,入原来的样本。构造统计量。把代入得的统计,,,,,,,,,,,xxx,,，，，，，，12n12n12n
,,值用作的近似值，用来计算参数的估计值的统计量称为参数 ,q()xx,,,,,，，1n12n,的估计量。
4.2 参数的两个最大似然估计
k,,,e, 0为未知参数 {},0,1,2,,,,Pxkk!k
xxx,,,,,,设为子样一组观测值 12n12n
似然函数
nxi,xx,11ni,,,,,,,,,n LLxxxeee;,,,,,,,，，，，12nxxxx!!!!11n
nn
lnlnln!Lnxx,,，,,, ，，,,ii,,11ii
,ln1LL,,,，,nx0,,x是的可导函数，用导数求极值得 ,i,,,
2,lnLL,,得使达到极大值，从而得的极大似然估计量。 ,,,,(,),,0Ln12,,,,x
,,,,uuU,，，X,,设的函数具有单值反函数，又设是的概率分布中uu,,,,,,，，
,参数uu,,的最大似然估计，则为最大似然估计。 u,，，，，
X,,,,,易知，由的单调性，得的一个最大似然估计为 ue,ee1
在讨论估计量的性质之前，给出该参数的另一个最大似然估计量。对样本做如下变换:
1,0,X,,i Y,,i0,0.X,i,
YY这样得到来自总体的样本，其中服从两点分布， b1,,，，
,,,,,,,,,,PYPXe{1}{0}其中，这正是待估计的参数。容易知道的最大似然,,e
nn11YYY,,,uY,,1估计为的样本均值， 12n,,2i,0X，，inn,,11ii
第 5 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
1,0,X,,i其中 1,,,0X，，i0,0X,i,
为示性函数。这样我们就得到同一个参数的两个最大似然估计量:
n1,Xueu,, ,1.,12(0),Xin1,i
由于前者利用了泊松分布的信息，而后者没有利用分布信息，所以称前者为“参数的最大似
然估计”，后者为“非参数的最大似然估计”。
4.3 参数的无偏估计
当总体为泊松分布时，即 P(),
x,,, PXxex{},0,1,2,,,,x!
n12,,,,0SXX,,未知参数，可以证明样本均值和样本方差()都是总体参X,in,1,1i
2,,,,,,,,01,(1),,，,XS数的无偏估计。推广到一般情况，对任意的实数也都是
22,,,XS，,(1)的无偏估计，即或或。 ,,,,XS
n
nXXPn,~(),()XX引理1 设是来自该总体泊松分布的一个样本，则。 ,1ni,1i
XPXP~(),~(),,XXXXX,，证明 因为，且和相互独立， 的概率分布为 121212
XX(2),,2,PXPxPXxe,,,()()(), ,XX12X!,0x
即
XXXP,，~(2),. 12
由归纳法得到
n
nXXPn,~(),. ,i,1i
X,igge()(),,,,g(),结论1 设函数，可以证明的无偏估计为，而不是2111
X. ge(),,1
证明 有引理1，
第 6 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
1nX()XnEgEgEeEe(())(())()(),,,,,11
. XX,,()n,,,,nnn,,,,ePnXXeee(),,X!,,XX00
而
x,,,Xxx,,iEPXxe(2)2()2,,,,,ix!00xx,,. x,(2),2,,,,,,,,,eeee,x!0x,
,2,gge()(),,,,结论 2 已知函数 22
可以证明g(),的无偏估计为 2
1,,XXtX,()(取偶数值时为1，取奇数值时为-1)， ,iii,1,
,2X而不是. ge(),,2
证明
,2X EgEgEe(())(())(),,,,22
,,22X,()nXnn,,,EeePnXX()(),X,0 ,2XX,,()n,,,,n2n,,eee,X!X,0
令估计量，而 tXfX()(),ii
,
EtXfxPXx(())()(),,,ii,x0
xx,,,,xx,,,,,,,,(1)(1)ee ,,xx!!xx,,00
,,,2,,,,,eee.
2gg()(),,,,,,也是未知参数的一个函数，但它的无偏估计不是 结论 3 再考虑33
n12XX,X(1)而是. ,iin,1i
证明
第 7 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
21Z2,()nX222nnEXEeePnXX()()(),,,,X,0 2ZZ,,()n2,n2,n,,ee,,Z!X,0
而
nnn1112EXXEXEX((1))(()),,,,,,iiiinnniii,,,111
nn112,,EXEX()(),,ii nnii,,11
nn112,,,,，,(),,nnii,,11
2,,
,,gge()(),,,,g(),结论 4 已知函数，可以证明的无偏估计为444
1,0X,,eX(),, ,i0,0X,,
,X而不是。 ge(),,4
证明
1,nX(),XnEgEgEeEe(())(())()(),,,,,44
。 ,,XXX,,()n,,,,,nnn,,,,ePnXXeee(),,X!XX,,00
令估计量，而 dXgX()(),ii
x,,,,,EdXgxPXxgxe(())()()(),,,,,iix!00xx,,. 0x,,,,,,,,,,，,eee01,x!0!1x,
一般性结论
命题1 无偏估计不一定存在。
Xp比如，设样本来自二项分布总体，样本量为1，已知，而未知，，Bnp(,)n01,,p
函数的无偏估计不存在。 fpp()sin,
,,,g(),命题 2 设 和分别是未知参数的可估函数和的无偏,,,，,,,,1(;)1Fx122
第 8 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
c估计量，则cc,,，是cgcg()(),,，的无偏估计量。这里，c为任意实数。 1122112212
， 证明 因为EgEg()(),()(),,,,,,1122
又因为
EcccEcEcgcg()()()()(),,,,,,，,，,，， 112211221122
所以cc,,，是cgcg()(),,，的无偏估计量。 11221122
命题 3 无偏估计量不一定唯一。
n122SXX,,,,,样本均值和样本方差()都是总体参数的无偏估计。 X,in,1,1i
,的无偏估计来求的无偏估计。 命题 4 能借助g(),
X,()XX设总体服从指数分布总体，从总体中抽取一组样本，设是的无偏估,e(),1n
X,,,,0,,,,计量。的概率密度为，记，这里为未知参数。的无偏估计是fx()
22,g(),,,,,。今由的无偏估计构造的无偏估计，为此取为修正系数，要,,,,Xa
222EaX(()),,,,使成立，而
11n，22222,,,EXDXEX(())()(()),，,，, nn
nn，1222222()XEaX(()),，,,故取系数。此时成立，故的无偏估计为。 ,,，a,n，1n
4.4 参数的区间估计
,泊松分布的区间估计，一般是利用中心极限定理来实现。对于大容量样本，这种估计
是可行的，然而，对于同样的置信水平，这种近似估计的误差会随着容量的减小而增大。可
,Poisson以通过建立分布和分布的某种联系给出一种较为理想的区间估计，实际表明这种
计较用中心极限定理效果好。
XX,,,0Poisson设总体服从参数为()的分布，则的分布函数为
t,,,Fxe(;)(0),, ,,,t!,tn
,对于固定的，把视为的函数，则易证具有下述性质 Fx(;),Fx(;),x
，1 当时; Fx(;)1,,,,0
,,，,2 当时; Fx(;)0,,
3 是关于的连续可导函数。 Fx(;),
第 9 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
对于前两项性质，还可以描述为
，' 当,,,,,0,1(;)0Fx 1
' 当 2,,,，,,,,1(;)1Fx
''性质1,2,3会使我们意识到对固定的，关于应具备分布函数的性质，为得到这一结论，先
给出下面引理:
,引理 设为任意实数，为正整数，则下式成立
t,,,1,,m,,etedt, (*),,0tm,，!(1)1tm,，
t,,,1,,m,,fetedt,,()证明 取 ,,,0tm,，!(1)1tm,，
只需证明式便成立。 f()0,(*),,
显然 是定义在内的连续可导函数，且有 f(),(,),,，,
tt,1,,,,1',,,m,,,fteee(),,,,,,,ttm!!(1),，tmtm,，,，11
mtt,1,,1,,,,,,,m,,,, ,，，,,(1)meeee,,,(1)!(1)!!(1)mttm，,,，tmtm,，,，21
mut,,1,,,,m,,,,,,,,，,,,eeee0,,,()!!!!mutmumtm,，,，11
所以在内恒为常数，而故即(*)式成立。特别地当 f(),(,),,，,f(0)0,,f()0,,,,0时，(*)式仍成立。
,,,0定理 设为泊松总体的分布函数，为参数，若把固定，视为随机变量，Fx(;),x,,则的分布函数为，则服从，其中。 1(;)0,,Fx,,，(1,1)mmx,[]证明 由于
k,,,PXke{},, k!所以
t,,,FxPXxex(;){}(0),,,, ,,t!,tx从而
第 10 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
tttt,,,,,,,,,,,,1(;)1,,,,,,Fxeee,,,,, tttt!!!![]11txtxtxtm,,,，,，
由引理知
t，,,,1,,mt,etedt, ,,0tm,，!(1)1tm,，
故
,1mt, ,,,，Fxtedtm, 1(;)~(1,1),0,，m(1)
,固定时，是变量的分布函数，且为分布，由此可知，当xmx([]),1(;),Fx,,，(1,1)m
2,,,利用泊松分布与分布的这种内在联系，通过计算固定的观察值，注意到分布与分布
,的关系，可以构造出参数的置信区间。
,(,,)XXX设是取自泊松总体(参数为)的简单子样，由泊松分布的可加性知12n
nn
nTX,,xxxTx,,,,仍为泊松分布，且参数为，对于给定的一组观测值为,,i12nii,1,1i
n,,1,,定值，由上面结论可知，服从分布。于是的置信度为的置信上下限,，(1,1)m
,,,可由下面两式确定
n,1,,mttedt,, 1 ,0,，m(1,1)2
,t2xx11mtm,2tedttedt,注意到等式 1m，,,00,，,，mm(1,1)2(1)
22,,,,(22)m，,上式右边为分布的分布函数。从而可以用分位数表示，即有
,t2,n1,m2tedt, m，1,0,，m2(1)2
,t2,n1,m2tedt,,1 1m，,0,，m2(1)2
于是
222(22),2(22)nmnm,,,,,，,， nn1,22
第 11 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
从而有
22,,(22)(22)mm，，nn1,22. ,,,,,22nn
,1,,由此便得到的置信度为的置信区间为
22,,,,(22)(22)mm，，nn1,,,22. ,,,22nn,,,,
5 贝叶斯框架下的参数估计
人们通常是在给定的损失函数下对其进行研究，设XXX,是容量为的一个泊松n12n简单随机样本，其联合概率分布为
,1n，，,Txn(),， fxxxxe(,,)!,,,,12ni,,i,1，，
n
TXX(),xxx,,XXX,,其中为样本的一组实现值，，本文对给定的泊松样,12n12ni,1i
pq,XXX,,本，在对称损失函数 12n
,,pqLpqZ(,)()()2(,),，,, (1) ,,,,
,意义下考虑参数的估计问题，由分析问题知，损失函数(1)关于估计量
,,,,是凸的，且关于在处取得最小值。
,在贝叶斯框架下，利用损失函数(1)来研究参数的贝叶斯估计的一般形式。下面给出参
,数的一般形式。
,XXXX,(,,)定理 1 令，在损失函数(1)下，对于任何先验分布，参数的贝叶12n
斯估计为
1ppq，(),,pEX(), ().X,,,,n,q,,qEX(),,,
,证明 设为的任意估计，对应的贝叶斯风险为 ,()X
pqpq,,,,()()XX，,,，,EEEX{2}{{2}}， pqpq()()XX,,,,
EX,表示关于和的联合分布取数学期望。欲使贝叶斯风险达到最小，只需这里等号左端
pq,,()x，,EX{2}要极小化即可。 pq()X,,
第 12 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
pqEX(),()x,,,记，对关于求导，易知是关于的凸函数,h(),h(),,，,h()2,pq()()XEX,,
1ppq，(),,pEX(),,并且在处取得唯一极小值，从而参数的贝叶斯估计为 ()X,,,,,q,,qEX(),,,
1ppq，(),,pEX(),. ()X,,,,B,q,,qEX(),,,
,下面考虑在给定的先验分布后，参数的贝叶斯估计的精确形式。
kk,,,11,,,,,,,,,(,)(()),0,0kkek,,,,定理 2 若参数的先验分布为，则的贝叶斯
估计为
1pq，(),,1(()2)pTXkp,，,,(),X, ,,BnqTXkq，,，，(()2),,,
并且是可容许的。
,,证明 由于的先验分布为伽玛分布，从而的后验分布为 ,(,)k,
TXkn()1()，,,，,,hXXXek(,,),0,0,,,,,,, 12n
于是有
,1(()),，，TXkppp,,,,EXhXd()(),,,p,0()(())nTXk，,，, ,,，,(())TXkq,,qqqEXhXdn()()(),,,，,,,,,,0,，(())TXk从而
11ppq，()pq，(),,pEX(),,,1(()2)pTXkp,，, . ().X,,,,,,,,q,,qEXnqTXkq()(()2)，,，，,,,,,,
kk,,,11,,,,,,,()(()),,ke由于参数在损失函数(1)下关于先验密度的贝叶斯估计是
唯一的，因此该估计也是可容许的。
kk,,,11,,,,,,()(()),,ke定理 3 在先验分布，下，对给定置信概率,,,,,0,0,0k
D1,,,，参数的最大后验区间估计为
22,,,,(2())(2())TXkTXk，，,,,122,,. ,,,2()2()nn，，,,,,
TXkn()1()，,,，,,hXXXek(,,),0,0,,,,,,,证明 由于参数的后验密度为， 12n
第 13 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
D1,,,所以对于给定置信概率，参数的最大后验区间估计满足:
(1)()()1,PDXhXd,,,,,,,,,D
对于,,,,,DD,总有不等式. (2)hXhX()(),,,1212
,下面求参数的最大后验区间估计的精确形式。
2由于2()(2())nTXk，，,,,，所以对给定的， ,,(0,1)
22有PTXknTXk((2()))2()(2())1,,,,,，,，,，,,. ,,22
22,,,,(2())(2())TXkTXk，，,,,122,,D,,,,,,,DD,记，则对 122()2()nn，，,,,,,,
D,。于是参数的最大后验区间估计为 ，总有不等式hXhX()(),,,12
22,,,,(2())(2())TXkTXk，，,,,122,,. ,,,2()2()nn，，,,,,
6 简单应用研究
p1) 二项分布泊松近似常常被应用于研究稀有事件，即每次试验中的事件出现的概率很小
而贝努里试验的次数很大时，事件才会发生。 n
例1 通过某路口的每辆汽车发生事故的概率为假设在某段时间内有1000辆汽p,0.0001,
X车通过此路口，试求在次时间内发生事故次数的概率分布和发生2次以上事故的概率。 分析 首先在某段内发生事故属于稀有事件，观察通过路口的1000辆汽车发生事故与否，可
Xn,1000视为是次伯努里试验，出现事故的概率为，因此服从二项分布的，p,0.0001即. XB~(1000,0.0001)
1000999Qpxpxpx,,,,,,,,,,，，(2)1{0}{1}10.999910000.00010.9999
n,1000由于很大，且很小，上面的式子计算工作量很大，则可以用: p,0.0001
mmnpm,,nmnp,,,,,(1)(0,1,,)来求近似。 pvmpemn,,pnCnn!m
注意到 np,，,10000.00010.1,
有
00.10.1,,0.10.1,,,,,pxee{2}10.00450!1!
第 14 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
n,11kkn,,pxnppppp{}(1)1(1)1(1)0.9,,,,,,,,,,,,11kkn,,， lg0.1n,,919.8827lg0.9975
2) 泊松分布可以计算大量试验中稀有事件出现频数的概率.这里的频数是指在相同条件下
进行大量的试验，在这大量试验中，稀有事件发生的次数。
例2 一直患色盲者占0.25%，试求:为发现一例色盲者至少要检查25人的概率;为使发现色盲者的概率不小于0.9，至少要对多少人的辨色力进行检查,
X分析 设表示恰好发现一例色盲者所需要的检查人数，则。 XG~(0.0025)
,k252424,pxppp{25}(1)(1)(0.9975)0.94,,,,,,,解 ,k25,
个人的辨色力进行检查，于是。从而: 设至少对npxn{}0.9,,
n,11kkn,,pxnppppp{}(1)1(1)1(1),,,,,,,,, ,,11kkn,,，
lg0.1n1(1)0.9,,,p由得。因此至少要检查920人。 n,,919.8827lg0.9975
结束语
目前关于Poisson分布的性质及其应用的研究已经取得丰富的成果，在参数估计这块，对点估计，矩估计，最大似然估计以及近似的区间估计等，文章中对泊松分布的相关知识，包括其性质，参数的相关估计，还有一些简单的应用一些整理和论述，希望能有一些帮助。还有一些简单的应用一些整理和论述在实际中有着广泛的应用，它常与单位时间或者单位面积及单位产品上的计数过程相联系。
参考文献
【1】魏宗舒等。概率论与数理统计教程.北京:高等教育出版社，1983. []M
【2】茆诗松等。概率论与数理统计教程.北京:高等教育出版社，2004. []M
【3】周概容.概率论与数理统计[M].北京:高等教育出版社，1984.
【4】王梓坤.概率论基础及其应用 [M].北京:科学教育出版社，1976.
【5】蒋福坤，刘玉春.指数分布参数的最短区间估计[J].数理统计与管理，2004，23(3). 【6】Ash.R.B. Real Analysis and Probability[M].New York:Academic Process.Inc,1972. 【7】RICHARDLB，FAIRES J D. Numerical Analysis[M].Bejing:Higher Education Press.Thomson Learning
Inc.2001.
【8】刘彬清.关于一些数值的求积公式的渐近性[J].应用数学与计算数学学报，2000,14(2):83-87.
第 15 页 共 16 页
安庆师范学院数学与计算科学学院2011届毕业论文
Estimation of Parameter in Poisson Distribution
Author: Gao chen Supervisor: Dai linsong
Abstract:Poisson distribution is an important subject in probability and statistics of discrete distribution, parameter estimation this, in for point estimates, moment estimators, maximum likelihood estimation and approximate interval estimation, the paper in such relevant to poisson distribution, including its nature, knowledge, estimates that the related parameters was studied some properties of poisson distribution, parameters.the estimation of parameters and some in the life of the simple application
Key Words: Poisson Distribution estimation of parameter in Poisson Distribution characters applied
第 16 页 共 16 页
范文五：稳定分布的参数估计
稳定分布的参数估计
顾娟 茆诗松
2012-9-12 10:25:00 来源:《应用概率统计》 2002年第 4期
内容提要 :由于金融数据经常具有“高峰厚尾”现象,所以用稳定分布去拟 合。 但由于稳定分布没有密度函数显式, 而且可能一阶矩或二阶矩又不存在, 因 此稳定分布的参数估计问题用经典方法很难处理。本文利用类似 Duffie 和 Singleton(1993)的模拟矩法 (SMM)的想法, 构造了一种新的参数估计方法, 并得 到该估计的强相合性结果。 最后举了一个实际的例子, 分析了深圳成分指数的情 况。
关键词:稳定分布 模拟矩法 (SMM) 强相合性 特征函数
作者简介:顾娟广发证券股份有限公司博士后工作站,广州 510075;茆诗 松华东师范大学统计系,上海 200062
引言
金融资产的收益是大量在实践上连续到来的信息和个人决策的结果。 根据中 心极限定理, 如果经适当的平移和尺度变换, 大量的独立同分布的随机变量和的 极限分布一定是稳定分布族中的某一分布。 因此很自然地认为, 如果资产收益的 积累是可加的, 则应近似服从稳定分布; 如果资产收益的累积是相乘的, 则应近 似服从对数稳定分布。
对于稳定分布的研究从本世纪初就引起了大家的注意。 正态分布属于稳定分 布族。 同时也是大家最为熟悉也最易处理的分布, 所以在处理一般问题时大都认
为资产收益的分布是近似服从正态分布或对数正态分布。 在处理股票价格的经验 研究中, Mandelbrot[1]和 Fama[2]最先发现股票价格的对数变化明显偏离了正 态分布,尤其是非常小和非常大的价格变化比在正态假设出现的频率明显偏大、 对这类问题用非高斯的稳定分布去拟和优于正态分布。 (近年来, 很多金融数据 的经验研究发现, 金融数据具有一些普遍的规律, 其中与平稳直接相关的就是 “高 峰厚尾”现象,这种现象现在已得到广泛的认识)这之后,很多统计学,经济, 金融学等方面的学者对稳定分布和资产收益之间的关系进行了研究。
我们考察了深圳成分指数从 1994年 1月 3日到 1998年 11月 2日的日收益 率情况, 发现经过作收益率变化后, 日收益率的分布形态明显具有这种 “高峰厚 尾” 现象。 其中表 1是回收益率的常用描述性统计量的估计值, 其中的曲线是用 正态分布拟和的结果。可以看出在上述时期,深圳市场的日平均收益率大于 0, 折算成年收益率大约为 25%左右。考虑厚尾的衡量指标常常用峰度,即四阶矩。 由于正态分布的峰度为 3,而该数据的峰度为 17.7618,说明该数据的峰度远大 于正态分布的峰度,这正是“高峰”说法的来源。另外,数据比正态分布不仅峰 度高, 而且两端数据出现的频率也较大。 所以我们试图用稳定分布去拟和深圳数 据。
对于稳定分布, 没有显示的密度函数或分布函数形式。 Levy(1924)得到了稳 定分布特征函数的显示表达。经过 Zolotarev[3]的再参数化变成极点形式,得 到了目前比较常用的稳定分布的特征函数的表达式。
由于稳定分布没有密度函数显式, 因此对它的研究比普通的密度函数要困难 得多。 但人们还是通过很多方法得到了它的一些性质。 比如:它的密度函数是连 续的,并且是单峰的;它的小于 α阶矩存在,大于 α阶矩不存在等等。
这些对稳定分布的研究, 到七十年代有很大的进展。 但由于没有显示的密度 函数形式, 而且可能一阶矩或二阶矩又不存在, 因此稳定分布的参数估计问题受 到了很大的阻碍, 对平稳原理的进一步推广和使用也受到了限制。 八十年代对稳 定分布的研究速度逐渐慢了下来。 直到九十年代, 由于计算机, 计算方法和计算 速度有了突飞猛进的发展, 世界经济的发展也日益繁荣, 对稳定分布的研究又引 起了人们极大的兴趣。对稳定分布的估计也有了一些新方法。
本文利用类似 Duffie 和 Singleton(1993)的模拟矩法 (SMM)的想法, 构造了 一种新的参数估计方法,并研究了估计的一些性质。这个内容放在一、二、三给 出了模拟结果,并用深圳成分指数的例子说明。
一、参数估计方法
记稳定分布为 S(α, β, γ, δ) ,由四个参数所决定。其中 γ为位置参数, δ为尺度参数。若随机变量 x ~S(α, β, γ, δ) ,则 [(x-γ)/δ]~S(α,
β,0,1) 。 α, β是形状参数,其中 α称为特征指数,决定分布函数尾部的厚薄, α离 2越远,说明分布的尾部比正态尾部越厚,比正态峰度越大,当 α=2时, 就是正态分布。 β称为偏度系数,当 β=0时,分布函数就是对称形式。在稳定 分布族中,我们最熟悉的就是当 α=2时的分布,也即正态分布。另外当 α=1,β=0时,稳定分布就是柯西分布。经过标准化变换后的稳定分布 S(α, β,0.1) 称 为标准稳定分布,简记为 S(α, β) 。我们下面考虑的是标准稳定分布的参数估 计问题。
我们的想法非常类似模拟矩方法 (Simulated Moment Method ,简记为 SMM )。 因此首先介绍一下 SMM 方法。 SMM 方法是 Duffie 和 Singleton(1993)提出的, 其 想法是:由于某些原因, 直接估计参数比较困难, 可以用先给定的任意参数值去 产生模拟样本, 而那个使模拟样本的样本矩与观察样本矩之间距离最小的那个给 定的参数值就作为此分布的参数估计值。
可以看出实现 SMM 方法需要两个条件。 一是给定参数值后要能产生来自此参 数值对应的分布的样本; 第二是用什么样本矩。 对于稳定分布, 第一个问题可以 由定理 1保证。
定理 1[4]若随机变量 ω服从标准指数分布, ω~E(1),v服从 [-1/2,1/2]上 的均匀分布, v ~U(-1/2,1/2),则随机变量 x=t[,α, β](v)·ω[a-1/a]服从标 准稳定分布 S(α, β) 。其中:
第二个问题是关于矩的选择。 由于稳定分布的一阶, 二阶矩可能不存在, 因 此我们不能拿一阶或二阶样本矩之间的距离来作评价参数估计好坏的标准。 实际 上我们用两个样本经验分布函数之间的最大距离来选择参数,即:
二、参数估计的大样本性质
三、模拟结果
我们从均匀分布 U(0,1), 指数分布 E(1)中分别产生了 n 个随机数。 令 α=1.7,β=0.9,根据定理 1产生了 n 个来自稳定分布 S(1.7,0.9)的随机数,这样就得 到了经验分布函数
最后对深圳成分指数从 1994年 1月 3日到 1998年 11月 2日的 1187个数据 进行分析。首先对数据作收益率变换,得到 1185个数据,根据 Fama(1971)的方 法的得到尺度参数的估计, 然后用均值和尺度估计作标准化变化, 这时得到的数 据可认为是来自某一标准稳定分析。用标准化后的数据得到经验分布函数
Peters(1993)曾对从 1989年到 1992年标准普尔 S&P500指数作过计算,发现尾 部系数 α在 1.6至 1.9之间。 这说明深圳成指收益率的变化与国外股市之间有明 显不同之处, 差别主要在深成指的峰度更高, 尾部更厚。 这说明出现收益率暴涨 与暴跌的概率比国外更大。另外 α估计值明显小于 2,其显然不是正态分布,这 说明出现收益率暴涨与暴跌的概率比正态场合出现的概率也大。而且分布略右 偏,说明深圳市场出现收益率较大跌幅的概率比出现较大升幅的概率大。
参考文献:
1Mandelbrot,B.,The Pareto-Levy law and the distribution of income,Internat.Econom.Rev.,1(1960),79-106.
2Fama,E.F.,Mandelbrot and the stable Paretian Hypothesis,J.Business,36(1963),420-429.
3Zolotarev,V.M.,Mellin-Stietjes transforms in probability theory,Theory Probab.Appl.,2(1957),433-460.
4Luc Devroye,Non-Uniform Random Variate Generation,Springer-Verlag New York Inc.,1986.
5陈希孺,柴根象编著,非参数统计教程,华东师范大学出版社, 1986. 6Peters,E.E.,Fractal Market Analysis,A Willy Finance Edition,1993.
7Fama,E.F and Roll,R.,Parameter estimates for symmetric stable distribution,J.A.S.A.,67(334)(1971),331-338.
转载请注明出处范文大全网 » ARMA模型的参数估计
