式展開

間違いしかありません．コメントにてご指摘いただければ幸いです(気が付いた点を特に断りなく頻繁に書き直していますのでご注意ください)．

単回帰における残差平方和の期待値

単回帰における残差平方和の期待値

誤差の平方和

∑i=1nϵi2=∑i=1n(yi−α−βxi)2⋯yi=α+βxi+ϵi,誤差:ϵi∼iidN(0,σ2)互いに独立なN(0,σ2)分布に従うと仮定する.=∑i=1n(yi−α−βxi+y¯−α^−β^x¯+β^xi−β^xi+βx¯−βx¯)2⋯y¯−α^−β^x¯=0=∑i=1n(yi−α^−β^xi+y¯−α−βx¯+β^xi−β^x¯−βxi+βx¯)2=∑i=1n[(yi−α^−β^xi)+(y¯−α−βx¯)+(β^xi−β^x¯−βxi+βx¯)]2=∑i=1n[(yi−α^−β^xi)+(y¯−α−βx¯)+{(β^−β)(xi−x¯)}]2=∑i=1n[(yi−α^−β^xi)2+(y¯−α−βx¯)2+{(β^−β)(xi−x¯)}2+2(yi−α^−β^xi)(y¯−α−βx¯)+2(yi−α^−β^xi)(β^−β)(xi−x¯)+2(y¯−α−βx¯)(β^−β)(xi−x¯)]⋯(A+B+C)2=A2+B2+C2+2AB+2AC+2BC=∑i=1n(yi−α^−β^xi)2+∑i=1n(y¯−α−βx¯)2+∑i=1n(β^−β)2(xi−x¯)2+2∑i=1n(yi−α^−β^xi)(y¯−α−βx¯)+2∑i=1n(yi−α^−β^xi)(β^−β)(xi−x¯)+2∑i=1n(y¯−α−βx¯)(β^−β)(xi−x¯)=∑i=1n(yi−α^−β^xi)2+∑i=1n(y¯−α−βx¯)2+(β^−β)2∑i=1n(xi−x¯)2+2⋅0+2⋅0+2⋅0⋯∑i=1n(yi−α^−β^xi)(y¯−α−βx¯)=0(後述)⋯∑i=1n(yi−α^−β^xi)(β^−β)(xi−x¯)=0(後述)⋯∑i=1n(y¯−α−βx¯)(β^−β)(xi−x¯)＝0(後述)=∑i=1n(yi−yi^)2+n(y¯−α−βx¯)2+(β^−β)2Sxx⋯yi^=α^+β^xi,Sxx=∑i=1n(xi−x¯)2=∑i=1nei2+n(y¯−α−βx¯)2+(β^−β)2Sxx⋯ei=yi−yi^

残差平方和Se

前述の式で∑i=1nϵi2と∑i=1nei2を入れ替えて(互に移項して)以下の式を得る． ∑i=1nei2=∑i=1n(yi−yi^)2⋯残差平方和(sumofsquaresofresiduals;Se)=∑i=1nϵi2−n(y¯−α−βx¯)2−(β^−β)2Sxx

残差平方和の期待値E[Se]

E[∑i=1nei2]=E[∑i=1nϵi2−n(y¯−α−βx¯)2−(β^−β)2Sxx]=E[∑i=1nϵi2]−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]⋯E[X+Y]=E[X]+E[Y]=∑i=1nE[ϵi2]−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]⋯E[∑i=1nXi]=E[X1+⋯+Xn]=E[X1]+⋯+E[Xn]=∑i=1nE[Xi]=∑i=1n(V[ϵi]+E[ϵi]2)−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]⋯V[X]=E[(X−E[X])2]=E[X2]−E[X]2,E[X2]=V[X]+E[X]2=∑i=1n(σ2+02)−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]⋯ϵi∼iidN(0,σ2),E[ϵi]=0,V[ϵi]=σ2=∑i=1nσ2−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]=σ2∑i=1n1−E[n(y¯−α−βx¯)2]−E[(β^−β)2Sxx]=nσ2−nE[(y¯−α−βx¯)2]−SxxE[(β^−β)2]⋯E[cX]=cE[X]=nσ2−nV[y¯]−SxxV[β^]⋯V[X+t]=V[X](t:定数)=nσ2−nσ2n−SxxV[SxySxx]⋯V[y¯]=σ2n,β^=SxySxx=nσ2−nσ2n−Sxx1Sxx2V[Sxy]⋯V[cX]=c2V[X](c:定数)=nσ2−σ2−1Sxxσ2Sxx⋯V[Sxy]=σ2Sxx=nσ2−σ2−σ2=(n−2)σ2⋯残差平方和(Se)の期待値 よって(n−2)で残差平方和を割っておけばσ2が得られ不偏推定量となる． E[∑i=1nei2]=(n−2)σ21n−2E[∑i=1nei2]=σ2E[1(n−2)∑i=1nei2]=σ2⋯cE[X]=E[cX]E[s2]=σ2⋯s2=1(n−2)∑i=1nei2はσ2の不偏推定量

標準化残差eisとその分布

eis≡eis⋯標準化残差(standardizedresiduals),s≡1(n−2)∑i=1nei2ei=yi−yi^=(α+βxi+ϵi)−(α^+β^xi)=(α−α^)+(β−β^)xi+ϵi nが十分大きい時α^,β^はα,βに確率収束する( α^,β^は不偏推定量(期待値はα,β) )．よって ei∼ϵi⋯(α−α^),(β−β^)はほぼ0になり第1,2項は無視できるようになる． となる．また， eis=eis は， ϵis≡ϵiσ⋯nが十分大きい時,sはσに確率収束する(s2は不偏推定量(期待値はσ2))． と同じ分布に従うとみなせる．
ϵi∼N(0,σ2)に従うのでϵisはN(0,12)に従うと考えられる．

誤差の平方和の計算途中の式について

∑i=1n(yi−α^−β^xi)(y¯−α−βx¯)=(y¯−α−βx¯)∑i=1n(yi−α^−β^xi)=(y¯−α−βx¯)(∑i=1nyi−α^∑i=1n1−β^∑i=1nxi)=(y¯−α−βx¯)(ny¯−nα^−nβ^x¯)=(y¯−α−βx¯)n(y¯−α^−β^x¯)=(y¯−α−βx¯)n⋅0⋯y¯−α^−β^x¯=0=0∑i=1n(yi−α^−β^xi)(β^−β)(xi−x¯)=(β^−β)∑i=1n(yi−α^−β^xi)(xi−x¯)=(β^−β)∑i=1n{(yi−α^−β^xi)xi−(yi−α^−β^xi)x¯}=(β^−β){∑i=1n(yi−α^−β^xi)xi−∑i=1n(yi−α^−β^xi)x¯}=(β^−β){∑i=1n(yi−α^−β^xi)xi−x¯∑i=1n(yi−α^−β^xi)}=(β^−β){∑i=1n(yi−α^−β^xi)xi−x¯(∑i=1nyi−∑i=1nα^−∑i=1nβ^xi)}=(β^−β){∑i=1n(yi−α^−β^xi)xi−x¯(ny¯−nα^−β^nx¯)}=(β^−β){∑i=1n(yi−α^−β^xi)xi−x¯n(y¯−α^−β^x¯)}=(β^−β){∑i=1n(yi−α^−β^xi)xi−x¯n⋅0}=(β^−β){∑i=1n(yi−α^−β^xi)xi−0}=(β^−β)∑i=1n(yixi−α^xi−β^xi2)=(β^−β){∑i=1nyixi−∑i=1nα^xi−∑i=1nβ^xi2}=(β^−β){∑i=1nyixi−α^∑i=1nxi−β^∑i=1nxi2}=(β^−β){∑i=1nyixi−α^nx¯−β^∑i=1nxi2}⋯∑i=1nyixi−α^nx¯−β^∑i=1nxi2=0(正規方程式の一つ．α^,β^はこの式を満たすために調整した値)=(β^−β)⋅0=0∑i=1n(y¯−α−βx¯)(β^−β)(xi−x¯)=(y¯−α−βx¯)(β^−β)∑i=1n(xi−x¯)=(y¯−α−βx¯)(β^−β)(∑i=1nxi−x¯∑i=1n1)=(y¯−α−βx¯)(β^−β)(nx¯−nx¯)⋯∑i=1nxi=nx¯=(y¯−α−βx¯)(β^−β)⋅0=0
時刻:
ラベル: , , ,

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)