∆ευτέρα, 12 Οκτωβρίου 2009 Ροπογεννήτριες: Ροπογεννήτρια συνάρτηση µιας τ.µ. Χ, ορίζεται ως η αναναµενόµενη τιµή: ∑ e xu P ( X = x ), διακριτ ή περ ί πτωση  M X ( u ) = E ( euX ) , x ∈ ℝ =  X ,u ∈ ℝ xu  ∫ e f ( x ) dx, ( X = x ) , συνεχ ής περ ί πτωση  ∆ιδιάστατη: M X1 , X 2 ( u1 , u2 ) = E ( e x1u1 + x2u2 ) Πολυδιάστατη: v  ∑ xiui  M X ( u ) = E  e i =1     

Θεώρηµα:

dM X ( u ) = E ( x) du u =0 Απόδειξη: α) ∆ιακριτή Περίπτωση:

Ν.δ.ό.

n

M X ( u ) = ∑ e xu P ( X = x ) ⇒ i =1

n n dM X ( u ) d n xu d xu = e P ( X = x ) = ∑ e P ( X = x ) = ∑ xe xu P ( X = x ) ⇒ ∑ du du i =1 i =1 du i =1 n n dM X ( u ) = ∑ xe xu P ( X = x ) = ∑ xe x⋅0 P ( X = x ) = du u =0 i =1 i =1 u =0 u =0 n

∑ x ⋅ P( X = x) = E ( x) i =1

Γενικά: d k M X (u ) E(x ) = du k u =0 k

β)

Συνεχής Περίπτωση: ∞

  u 2 x 2 u 3 x3 M X ( u ) = ∫ e f ( x ) dx = ∫ 1 + ux + + + ...  f ( x ) dx = 2 3!  −∞ −∞  ∞ ∞ ∞ 2 2 u x ∫−∞ f ( x ) dx + −∞∫ uxf ( x ) dx + −∞∫ 2 f ( x ) dx + ... = ux

−∞

u2 f ( x ) dx + u ∫ xf ( x ) dx + x 2 f ( x ) dx + ... ⇒ ∫ 2 −∞ −∞

u2 u3 2 M X ( u ) = E e  = 1 + uE ( x ) + E ( x ) + E ( x3 ) + ... ροπογεννήτρια. 2 3! ux

1

dM x ( u )   u2 2 Οπότε =  E ( x ) + uE ( x ) + E ( x3 ) + ... = E ( x ) και 2! du u =0   u =0 d 2M x (u ) =  E ( x 2 ) + uE ( x3 ) + ... = E ( x 2 ) 2 u =0 du u =0 ……………………….. d k M x (u ) =  E ( x k ) + uE ( x k +1 ) + ... = E ( x k ) k u =0 du u =0

Παραδείγµατα Χ~Poisson(λ) ∞

M X ( u ) = E eux  =

∑e P ( X = x) = ∑ e

e − λ ⋅ eλ e = eλ e

λ eu −1

u

u

−λ

ux

x =0

=e

(

)

x =0

⇒ M X (u ) = e

(

⋅e

ux

x −λ λ

x!

= e− λ ∑

( λe )

x =0

)

u x

x!

=

λ eu −1

u dM X ( u ) =  e λ e − λ ⋅ λ eu  = e λ − λ ⋅ λ e 0 = λ  u =0 du u =0 

Χ~∆ιωνυµική(n,p) n

M X ( u ) = ∑ e xu P ( X = x ) = i =0

( pe + (1 − p ) ) u

n

=

( pe

u

n n− x e xu   p x (1 − p ) ⇒ ∑ i =0  x n

  ∑  x  ( pe ) (1 − p ) n

n

i =0

 

u x

+ q) ⇒ n

n dM X ( u ) d = peu + (1 − p ) ) = ( du du n n −1 d peu + (1 − p ) ) = n ( peu + (1 − p ) ) peu ( du n −1 n −1 dM X ( u ) =  n ( peu + (1 − p ) ) peu  = n ( pe0 + (1 − p ) ) pe0 =  u =0 du u =0 

)

(

)

(

n( p +1− p)

n −1

p = np = E [ x ]

2

n− x

=

Θεώρηµα: Για την κανονική µορφή της Ε.Ο.Κ. ισχύουν: ∂A ( n ) α) Αναµενόµενη τιµή: E Ti ( X )  = . ∂ni β)

∂2 A( n ) Συνδιακύµανση: Cov Ti ( X ) , T j ( X )  = . ∂ni ∂n j

  s  Ροπογεννήτρια: M T ( u ) = E exp ∑ uiTi ( X )  = exp { A ( u + n ) − A ( n )}  i =1   Απόδειξη: ∞ ∞  s  α) niTi ( x ) − A ( n )  h ( x ) dx = ∫−∞ f ( x, n ) dx = 1 ⇒ −∞∫ exp ∑ i =1  ∞  s  exp  − A ( n )  ∫ exp ∑ niTi ( x )  h ( x ) dx = 1 ⇒  i =1  −∞ ∞  s  exp n T x ( )   h ( x ) dx = exp  A ( n )  . ∑ i i ∫−∞  i=1  Παραγωγίζοντας ως προς ni , παίρνουµε:

γ)

∞  ∂ ∂   s  exp exp  A ( n )  ⇒ ∑ niTi ( x )  h ( x ) dx  = ∫ ∂ni  −∞ ∂ n  i =1  i  και, αλλάζοντας τη σειρά «παραγώγιση - ολοκλήρωση» παίρνουµε: ∞ ∂A ( n )  ∂   s  niTi ( x )  h ( x ) dx  = exp { A ( n )} exp ⇒ ∫−∞ ∂ni   ∑ ∂ n i =1   i

{

}

∂A ( n ) ∂  s   s  niTi ( x )  exp  ∑ niTi ( x )  h ( x ) dx = exp  A ( n )  ⇒ ∫−∞ ∂ni  ∑ ∂ni i =1   i =1  ∞

∂A ( n )  s  T x exp n T x h x dx = exp  A ( n )  (*) ⇒ ( ) ( ) ( ) ∑ i i  ∫ i ∂ni  i =1  −∞ ∞ ∂A ( n )  s  exp  − A ( n )  ∫ Ti ( x ) exp  ∑ niTi ( x )  h ( x ) dx = ⇒ ∂ n  i =1  i −∞ ∞ ∂A ( n )  s  T x exp ( )  ∑ niTi ( x )  exp  − A ( n )  h ( x ) dx = ∂n ⇒ ∫−∞ i  i =1  i ∞

∂A ( n ) ∂A ( n )  s  E T x = ( ) T x exp n T x − A n h x dx = ⇒ ( ) ( ) ( ) ( ) ( ) i ∑ i i i   ∫ ∂ni ∂ni  i =1  −∞ ∞

β)

Παραγωγίζουµε την (*) ως προς n j .

∞   ∂  ∂  ∂A ( n )  s  exp  A n  ( )  ∫ Ti ( x ) exp  ∑ niTi ( x )  h ( x ) dx  =    ⇒ ∂η j  −∞  i =1    ∂η j  ∂ni

3

∞ ∂  ∫ Ti ( x ) ∂n j  −∞ ∞ ∂  ∫ Ti ( x ) ∂n j  −∞

{

}

 ∂  ∂A ( n )   ∂A ( n ) ∂ exp  A ( n )   s  =   + ⇒ exp n T x h x dx exp A n ( ) ( ) ( )     ∑ i i    ∂ni ∂n j  i =1   ∂n j  ∂ni    ∂2 A( n ) ∂A ( n ) ∂  A ( n )    s  exp exp  A ( n )  + exp  A ( n )  ⇒ n T x h x dx ( ) ( ) =  ∑ i i  ∂ni ∂n j  i =1    ∂ni ∂n j

2 ∞   s   ∂ A ( n ) ∂  A ( n )  ∂  A ( n )   T x T x exp n T x h x dx = exp  A n  ( ) ( ) ( ) ( ) ( ) ⇒ ∫ i  j ∑ i i     ∂n ∂n + ∂n ∂ni   i =1  j  j i  −∞  ∞ ∂  A ( n )  ∂  A ( n )  ∂ 2 A ( n )  s  T x T x exp n T x − A n h x dx = + ⇒ ( ) ( ) ( ) ( ) ( ) ∑ i i  ∫ i j ∂n j ∂ni ∂n j ∂ni  i=1  −∞ ∂ 2 A( n) E Ti ( x ) T j ( x )  − E Ti ( x )  E T j ( x )  = ⇒ ∂n j ∂ni

Cov Ti ( x ) , T j ( x )  =

∂2 A( n) ∂n j ∂ni

διότι, ως γνωστόν: Cov [ X , Y ] = E [ X ⋅ Y ] − E [ X ] E [Y ]  ∑ uiTi ( x )  ∞  s  i =1   γ) M T (u ) = E e = ∫ exp ∑ uiTi ( x )  f ( x; n ) dx =   −∞  i =1    ∞  s   s  uiTi ( x )  exp ∑ niTi ( x ) − A ( n )  h ( x ) dx = ∫−∞ exp ∑ i =1   i =1  (και, προσθαφαιρώντας το A ( u + n ) ) s

 s  exp {− A ( n )} exp { A ( u + n )} ∫ exp ∑ ( ui + ni ) Ti ( x ) − A ( u + n )  h ( x ) dx =  i=1  −∞ ∞  s  exp { A ( u + n ) − A ( n )} ∫ exp ∑ ( ui + ni ) Ti ( x ) − A ( u + n )  h ( x ) dx ⇒  i =1  −∞ M T ( u ) = exp { A ( u + n ) − A ( n )} ∞

 s  διότι: ∫ exp ∑ ( ui + ni ) Ti ( x ) − A ( u + n )  h ( x ) dx = 1  i =1  −∞ Συνοπτικά: ∂A ( n ) ∂ 2 A ( n ) M u = exp A u + n − A n E (Ti ( x ) ) = { ( ) ( )} Cov Ti ( x ) , T j ( x )  = T ( ) ∂ni ∂n j ∂ni

και για s = 1 (ειδική περίπτωση) E (T ( x ) ) =

∂A (η ) ∂ 2 A (η ) Cov T ( x ) , T ( x )  = V T ( x )  = ∂η ∂η 2

M T ( u ) = exp { A ( u + η ) − A (η )} 4

Ασκήσεις Έστω X ~ Poisson f ( x; λ ) = e

−λ

λx x!

exp { x log λ − λ}

{

} x1! =

= exp ( −λ ) exp log ( λ x )

{

exp log ( λ x ) − λ

} x1! =

1 . Άρα ανήκει ΕΟΚ µε: x!

n ( λ ) = log λ , T ( x ) = x , B ( λ ) = −λ , h ( x ) =

1 x!

Κανονική µορφή: n ( λ ) = log λ = n ⇒ λ = e n 1 1 ⇒ f ( x;η ) = exp {η x − eη } , δηλαδή A (η ) eη . x! x! n ∂A ( n ) ∂ ( e ) E T ( x )  = E ( x ) = = = en = λ ∂n ∂n 2 n ∂2 A( n ) ∂ ( e ) Cov T ( x ) , T ( x )  = V T ( x )  = = = en = λ 2 2 ∂n ∂n f ( x; λ ) = exp { x log λ − λ}

{

}

M T ( u ) = exp { A ( u + n ) − A ( n )} = exp {eu + n − e n } = exp e n ( eu − 1) =

{

}

exp λ ( eu − 1)

Άσκηση: • X ~ Binomial ( v, p ) ν γνωστό, p άγνωστο. x

 v  p  v  v− x v f ( x, p ) =   p x (1 − p ) =   (1 − p ) =   p  x  1 − p  v    p + v ln (1 − p )   x  exp  x ln 1− p     v  p άρα ανήκει στην ΕΟΚ, µε h ( x ) =   , T ( X ) = x , n ( p ) = ln και 1− p  x B ( p ) = −v ln (1 − p )

Μετατρέπουµε σε κανονική µορφή: exp {− n ( p ) T ( x ) − A ( n )} h ( x ) , θέτοντας: p p =n⇒ = e n ⇒ p = e n − pe n ⇒ p + pen = e n ⇒ 1− p 1− p en n n p (1 + e ) = e ⇒ p = 1 + en

n ( p ) = ln

5

    1 + en − en   v  en    v  f ( x, n ) =   exp  xn + v ln 1 − =   exp  xn + v ln   = n  n x x 1 + e 1 + e           v    1   v  =   exp xn − v ln (1 + e n ) , δηλαδή  x  exp  xn + v ln  n   1 + e   x    

{

}

A ( n ) = v ln (1 + en )

∂ ∂ 1 n A( n ) = v ln (1 + e n ) = v e = vp ∂n ∂n 1 + en e n (1 + en ) − e ne n ∂2 ∂  en  Cov T ( X ) , T ( X )  = V ( X ) = A( n) = = v = v n 2 ∂n 2 ∂n  1 + e n  1 + e ( )

(

E T ( X )  = E ( X ) =

)

2  en (1 + e n )  n n n  en    e e e   v − = v −  = v ( p − p 2 ) = vp (1 − p )  2 2 n n  (1 + en ) (1 + en )  1 + e  1 + e   

{

}

M T ( u ) = exp { A ( u + n ) − A ( n )} = exp v ln (1 + eu + n ) − v ln (1 + en ) =

{

exp ln (1 + e

)

u +n v

− ln (1 + e

)}

n v

  1 + eu + n v   1 + eu + n v = exp ln  =  = n   n  1 + e 1 e +      

v

p   u v 1+ e 1− p  v  1 − p + peu  = ( q + peu ) .   =    1+ p   1− p + p    1− p  

6

Πολυδιάστατη Κατανοµή Θεώρηµα Αν X 1 , X 2 ,..., X v τ.δ., όπου η κατανοµή κάθε X i ανήκει στη µονοδιάστατη sπαραµετρική Ε.Ο.Κ. µε T = (T1 , T2 ,..., Ts ) , τότε το X = ( X 1 , X 2 ,..., X v ) ανήκει σε πολυδιάστατη s-παραµετρική Ε.Ο.Κ. µε διάνυσµα συναρτήσεως v

T * = (T1*, T2 *,..., Ts *) , όπου Ti * = ∑ Ti ( X j ), i = 1, 2,..., s, j = 1, 2,..., v (ν-διάστατη j =1

κατανοµή µε s παραµέτρους. *τ.δ. σηµαίνει ανεξάρτητες και ισόνοµες. Απόδειξη: Έστω f X j ( x,θ ) η σ.π.π. της τ.µ. X j , i = 1,2,..., v και επίσης ότι f ∈ EOK , θα  s  έχουµε ότι f X j ( x,θ ) = β (θ ) exp ∑ ni (θ ) Ti ( x j )  h ( x j ) , ∀x j ∈ S f X (1) . j  i =1  Έστω f X ( x,θ ) η από κοινού σ.π.π. του τυχαίου διανύσµατος X = ( X 1 , X 2 ,..., X v ) . S f X = S f X × S f X × ... × S f X 1

2

v

v

f X ( x,θ ) = ∏ f X ( x j ,θ ) , λόγω της ανεξαρτησίας των X 1 , X 2 ,..., X v . j =1

v    s  Και από την (1) f X ( x,θ ) = ∏  β (θ ) exp ∑ ni (θ ) Ti ( x j )  h ( x j )  = j =1   i =1    v  s v  v  β (θ )  exp ∑  ∑ ni (θ ) Ti ( x j )   ∏ h ( x j ) =   j =1  j =1  i =1 v  s    v v  β (θ )  exp ∑  ni (θ ) ∑ Ti ( x j )   ∏ h ( x j ) = j =1  i =1    j =1  s  * β (θ ) exp ∑ ni (θ ) Ti* ( x ) h* ( x ) ,  i =1 

v

v

όπου: Ti ( x ) = ∑ Ti ( x j ) , β (θ ) =  β (θ )  και h ( x ) = ∏ h ( x j ) , *

v

*

j =1

*

j =1

άρα η κατανοµή του X είναι ν- διάστατη, s- παραµετρική και ανήκει στην ΕΟΚ.

7

Παράδειγµαθ = (θ1 ,θ 2 ) = ( µ ,σ 2 ) ∈ Θ = ℝ × ( 0, ∞ ) .

Έστω X 1 , X 2 ,..., X v τ.δ. από κανονική κατανοµή N ( µ ,σ 2 ) , µε µ ,σ 2 άγνωστα, Ν.δ.ό. η από κοινού σ.π.π. του τ.δ. X = ( X 1 , X 2 ,..., X v ) ανήκει στη ν-διάστατη και διπαραµετρική ΕΟΚ και να υπολογιστούν τα εξής:  v 2  v   v 2 v  E  ∑ x j  , E  ∑ x j  και Cov  ∑ x j , ∑ x j  . j =1  j =1   j =1   j =1  Απόδειξη:  ( x − µ )2  1   j κατά τα γνωστά θα έχουµε: f ( x j ; µ ,σ 2 ) = exp − , x ∈ S f = ℝ 2 2 2 σ 2πσ    x2 1 µ 2 2 xµ 1 2 σ = exp − 2 − 2 + − ln = 2σ 2σ 2 2 2π  2σ   2 xµ  1 x2 µ2 1 = exp  2 − 2 − 2 − ln σ 2  = σ σ σ 2 2 2 2 2 π   2  1  1 µ µ 1 = exp − 2 x j 2 + 2 x j − 2 − ln σ 2  , σ σ σ 2 2 2 2 π    1  1 µ µ2 1 2 = exp − 2 x j + 2 x j − 2 − ln σ 2  σ 2σ 2  2σ  2π 1 µ n1 ( µ ,σ 2 ) = − 2 , T1 ( x j ) = x j 2 , n2 ( µ ,σ 2 ) = 2 , T2 ( x j ) = x j , 2σ σ 2  µ  1 1 β ( µ ,σ 2 ) = exp − 2 − ln σ 2  , h ( x j ) = 2 2π  2σ  Από το θεώρηµα έχουµε ότι:  s  f X ( x; µ ,σ 2 ) = β * ( µ ,σ 2 ) exp ∑ ni ( µ ,σ 2 ) Ti* ( x )  h* ( x ) ,  i =1  όπου: v

   µ2 1   µ2 1 2   β ( µ ,σ ) =  β ( µ ,σ )  = exp − 2 − ln σ  = exp −v 2 − v ln σ 2  2 2  2σ   2σ   *

2

2

v

v

j =1

j =1

v

v

j =1

j =1

v

T1* ( x ) = ∑ T1 ( x j ) = ∑ x j 2 , T2* ( x ) = ∑ T2 ( x j ) = ∑ x j v

v −  1  και h ( x ) = ∏ h ( x j ) =  = 2 π ( )2  π 2   j =1

v

*

8

Μετατροπή σε κανονική µορφή: Κατά τα γνωστά: 1 1 2 n1 ( µ ,σ 2 ) = − 2 = n1 ⇒ σ = − 2n1 2σ n2 ( µ ,σ 2 ) =

n2  1  µ 2 µ = − = n ⇒ µ = n σ ⇒ µ = n − ⇒   2 2 2 2n1 σ2  2n1 

µ2 1 A ( n1 , n2 ) = B ( µ ( n1 , n2 ) ,σ ( n1 , n2 ) ) = v 2 + v ln σ 2 = 2σ 2 2

2

 n2  n2 2 −   2n1  vn1n2 2 v 1  1  1  1  4n12  + − = − − ln ( −2n1 ) = v v ln v + v ln  − =    2 1 2 2 n  1  4 n 2 2  2n1   1  1 − 2 −  n1  2n1  2

 µ  µ2 v v 4  2 vn2 2 v v   1  v  1  σ   − − ln ( −2n1 ) = − − ln  −2  − 2   = σ − ln  2  = 4 2 σ  4n1 2  1  2   2σ   4 − 2  2 σ  2σ  vµ 2 v + ln (σ 2 ) 2 4σ 2  v  ∂A ( n1 , n2 )  ∂  vn2 2 v E  ∑ x j 2  = E T1* ( x )  = = − ln ( −2n1 )  = − ∂n1 ∂n1  4n1 2   j =1  2

 µ  vµ 2 v 2  2 2 4 vn2 v 1 vn2 v v σ  − σ − − 2 = − = = + vσ 2 = ( ) 2 2 2 1 4n1 2 −2n1 4n1 2n1  1   1  4 − 2  2 − 2  σ4  2σ   2σ  vµ 2 + vσ 2  v  ∂A ( n1 , n2 )  ∂  vn2 2 v v * E  ∑ x j  = E T2 ( x )  = = − ln ( −2n1 )  = − 2n2 = − ∂ n ∂ 4 2 4 n n n j = 1 2 2  1  1    µ  v 2  vn σ − 2 = −   = vµ 2n1  1  2 − 2   2σ 

9

 v 2 v  ∂ 2 A ( n1 , n2 ) ∂  ∂A ( n1 , n2 )  * * Cov  ∑ x j , ∑ x j  = Cov T1 ( x ) , T2 ( x )  = =  = ∂ n ∂ n ∂ n ∂ n 1 1 j = j = 1 2 1  2     µ  µ µ v 2  v v 2 2 ∂  vn2  vn2 vµ 2σ 4 σ   σ σ = = = = = 2vµσ 2 − = 2 2 2 1 1 σ ∂n1  2n1  2n1  1  2 4 2 − 2  4 4σ 2σ  2σ 

10

04_mathima

xu xu X X de P X x du = = 2 3 2 3 u f x dx u xf x dx xf xdx ux f x dx uxf x dx f x dx M u ePX x 1 1 2 2 1 2 ( ) xPX x Ex ⋅ = = u u Mu Ee uE...