Normallik Varsayımı Ençok Olabilirlik Yöntemi
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi Yrd. Doç. Dr. A. Talha YALTA TOBB Ekonomi ve Teknoloji Üniversitesi ˙Iktisat Bölümü
˙IKT351 – Ekonometri I
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
Kullanım Sartları ¸
˙Is¸ bu ekonometri ders malzemesi, A. Talha Yalta tarafından, "Creative Commons Attribution-Share Alike 3.0 Unported License" (CC-by-SA-3.0) lisans s¸ artları altında bir açık ders malzemesi olarak genel kullanıma sunulmu¸stur. Yani, eserin ilk sahibinin belirtilmesi ve ˘ geçerli lisansın korunması s¸ artıyla özgürce kullanılabilir, çogaltılabilir, ˘ stirilebilir. Creative Commons örgütü ve “CC-by-SA-3.0” lisansı degi¸ ile ilgili ayrıntılı bilgi “http://creativecommons.org” adresinde bulunmaktadır. Ders notlarının “pdf” biçimindeki en yeni sürümüne “http://yalta.etu.edu.tr” adresinden ula¸sabilirsiniz. Dr. A. Talha Yalta, TOBB Ekonomi ve Teknoloji Üniversitesi (2010)
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
Ders Planı
1
Normallik Varsayımı ˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
2
Ençok Olabilirlik Yöntemi ˘ Örnek 1: ˙Ikiterimli Dagılım ˙ ˘ Örnek 2: Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
˘ Hata Teriminin Olasılık Dagılımları Ekonometrik çözümlemenin amacı Ekonometrik çözümlemede amaç yalnızca ÖB˙I’yi hesaplamak ˘ aynı zamanda AB˙I’ye ili¸skin çıkarsama ve önsav degil, sınamaları da yapabilmektir. ˘ ˘ Bu dogrultuda ui hatalarının olasılık dagılımının bilinmesi veya belirlenmesi iki nedenden dolayı önemlidir: 1 SEK bir katsayı hesaplama yöntemidir. ÖB˙I’den AB˙I’ye yönelik çıkarsama yapmada tek ba¸sına i¸se yaramaz. 2 ˘ βˆ1 ve βˆ2 tahmincileri Y ’nin dogrusal i¸slevi ve Y ’nin kendisi ˘ de ui ’lerin bir dogrusal i¸slevidir. Öyleyse, βˆ1 ve βˆ2 ’nın ˘ ˘ örneklem dagılımları ui ’lerin olasılık dagılımına ili¸skin varsayımlara dayanmaktadır. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
˘ Hata Teriminin Olasılık Dagılımları
˘ ˘ Daha önce ele alınan klasik dogrusal baglanım modeli ˘ (KDBM), ui hata teriminin olasılık dagılımı ile ilgili herhangi bir varsayımda bulunmaz. ˘ ˘ Alma¸sık olarak, “Klasik Normal Dogrusal Baglanım Modeli” (Classical Normal Linear Regression Model) ya da kısaca ˘ gını ˘ varsayar. “KNDBM” (CNLRM) ise ui ’lerin normal dagıldı
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Normallik Varsayımı ˘ ˘ ˘ gı ˘ KNDBM, her bir ui ’nin a¸sagıdaki degerlerle normal dagıldı varsayımını getirir: Ortalama: Varyans: Kovaryans:
E (ui ) = 0 E [ui − E (ui )]2 = E (ui2 ) = σ 2 cov(ui , uj ) = 0, i 6= j
Bu varsayımlar kısaca ui ∼ N(0, σ 2 ) s¸ eklinde gösterilir. ˘ Buradaki (∼), “dagılımlı” (distributed) anlamına gelir. ˘ N ise normal dagılımı göstermektedir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Normallik Varsayımı
˙Iki rastsal degi¸ ˘ skenin kovaryansının sıfır olması bu iki ˘ skenin bagımsız ˘ ˘ degi¸ oldugunu gösterir. Bu nedenle ui ∼ N(0, σ 2 ) yerine ui ∼ NBD(0, σ 2 ) de yazılabilir. ˘ ˘ Burada NBD “normal ve bagımsız dagılımlı” (normally and independently distributed, kısaca NID) demektir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Normallik Varsayımının Nedenleri Normallik varsayımının nedenleri s¸ unlardır: 1
˘ ˘ Merkezi limit kanıtsavına göre bagımsız ve özde¸s dagılımlı ˘ skenlerin toplam dagılımı, ˘ ˘ sken (BÖD) rastsal degi¸ degi¸ sayısı sonsuza yakla¸stıkça normale yakınsar.
2
˘ sken sayısı çok fazla Merkezi limit kanıtsavına göre degi¸ ˘ skenler tam bagımsız ˘ ˘ olmasa ya da degi¸ dagılmasalar bile ˘ toplamları normal dagılabilir.
3
˘ ˘ skenlerin dogrusal ˘ Normal dagılan degi¸ i¸slevleri de normal 2 ˆ ˆ ˘ ˆ ) dagılır. (Örnek: β1 , β2 ve σ
4
˘ Normal dagılım yalnızca iki katsayı (ortalama ve varyans) ˘ içeren basit, istatistiksel özellikleri iyi bilinen bir dagılımdır.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Normallik Varsayımı Altında SEK Tahmincileri βˆ1 ve βˆ2 SEK tahmincileri ile σ ˆ 2 varyans tahmini, normallik varsayımı altında s¸ u istatistiksel özellikleri ta¸sırlar: 1
2
3
4
˘ bir deyi¸sle beklenen degerleri ˘ Yansızdırlar. Diger gerçek ˘ degerlerine e¸sittir. Örnek: E (βˆ1 ) = β1 . ˘ ˘ βˆ1 ve βˆ2 tahmincileri, dogrusal ve dogrusal-dı¸ sı tüm yansız tahminciler içinde enaz varyanslıdır. ˘ büyürken gerçek Tutarlıdırlar. Örneklem sonsuza dogru ˘ degerlerine yakınsarlar. ˘ βˆ1 s¸ öyle dagılır: βˆ1 ∼ N(β1 , σ 2 ).
5
βˆ2 s¸ öyle
6
βˆ1 ve βˆ2
7
(n −
βˆ1 ˘ dagılır: βˆ2 ∼ N(β2 , σβ2ˆ ). 2 2 ˘ tahmincileri σ ˆ ’dan bagımsız
2)ˆ σ 2 /σ 2
˘ degeri ise n − 2 sd ile
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
˘ olarak dagılırlar.
χ2
˘ dagılımına uyar.
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Normallik Varsayımı Altında SEK Tahmincileri
Normallik varsayımı yardımı ile βˆ1 (normal), βˆ2 (normal) ve ˘ σ ˆ 2 (ki-kare) örneklem dagılımları türetilebilmektedir. Bu durum güven aralıklarını belirlemek ve önsav sınaması yapabilmek için önemlidir. Dikkat: ui ∼ N(0, σ 2 ) varsayımı altında, Yi gözlemlerinin de ˘ gı ˘ söylenebilir. Yi ∼ N(β1 + β2 Xi , σ 2 ) olarak normal dagıldı
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
˘ F , t ve ki-kare (χ2 ) olasılık dagılımları temelde normal ˘ dagılımla ili¸skilidirler. ˘ ˘ Bu dagılımların normal dagılımla ili¸skilerini özetleyen yedi kanıtsav bulunmaktadır. Bu kanıtsavların uygulamadaki önemi büyüktür. Yararları ileride daha iyi anla¸sılacaktır.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 1 Kanıtsav 1 ˘ skenleri Zi ∼ N(µ, σ 2 ) olan normal ve Z1 , Z2 , . . . , Zn degi¸ ˘ ˘ ˘ bagımsız dagılımlı P (NBD) rastsal degi¸skenler P olsun. P Bu durumda, Z = ki Zi toplamı da Z ∼ N( ki µi , ki2 σi2 ) ˘ biçiminde gösterilen normal dagılıma uyar. ˘ skenlerin dogrusal ˘ Kısaca normal rastsal degi¸ bile¸simleri de ˘ normal dagılır. Örnek: Z1 ∼ N(10, 2) ve Z2 ∼ N(8; 1,5) varsayalım ve Z rd’si de Z = 0,8Z1 + 0,2Z2 olsun. Buna göre Z : 0,8(10) + 0,2(8) = 9,6 ortalama ve 0,64(2) + 0,04(1,5) = 1,34 varyans ile Z ∼ N(9,6; 1,34) olur. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 2 Kanıtsav 2 ˘ skenleri normal ˘ Z1 , Z2 , . . . , Zn rastsal degi¸ olsun ancak P dagılımlı ˘ ba P gımsız olmasın. Bu durumda P 2 2 Z =P ki Zi toplamı, ortalaması ki µi ve varyansı da ki σi + 2 ki kj cov(Zi , Zj ), i 6= j olan ˘ normal dagılıma uyar. Örnek: Z1 ∼ N(6, 2), Z2 ∼ N(7, 3), cov(Z1 , Z2 ) = 0,8 olsun. Z rd’si de Z = 0,6Z1 + 0,4Z2 olsun. Buna göre Z : 0,6(6) + 0,4(7) = 6,4 ortalama ve 0,36(2) + 0,16(3) + 2(0,6)(0,4)(0,8) = 1,58 varyans ile Z ∼ N(6,4; 1,58) olur. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 3 Kanıtsav 3 ˘ skenleri Zi ∼ N(0, 1) ölçünlü normal ve aynı Z1 , Z2 , . . . , Zn degi¸ ˘ ˘ skenler olsun. Bu durumda zamanda ba gımsız rastsal degi¸ P 2 2 2 2 Zi = Z1 + Z2 + · · · + Zn toplamı da n serbestlik derecesi ile ˘ ki-kare dagılımına uyar. ˘ ˘ Kısaca ölçünlü normal dagılımlı bagımsız rd’lerin kareleri toplamı, toplam terim sayısına e¸sit serbestlik derecesi ile ˘ ki-kare dagılımına uyar. ˘ olarak sd’si k olan χ2 dagılımı ˘ Bir yazım kolaylıgı χ2k diye gösterilebilir. Örnek: Z1 , Z2 , Z3 ∼ N(0, 1) olsun. Buna göre s¸ u geçerlidir: Z12 + Z22 + Z32 ∼ χ23
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 4
Kanıtsav 4 ˘ skenleri her birinin sd’si ki olmak üzere χ2 Z1 , Z2 , . . . , Zn degi¸ ˘ ˘ ˘ skenler olsun. Bu durumda dagılımlı ve bagımsız rastsal degi¸ P bunların toplamı olan PZi = Z1 + Z2 + · · · + Zn rastsal ˘ skeni de sd’si k = ki olan ki-kare dagılımına ˘ degi¸ uyar.
˘ Örnek: Z1 ve Z2 , sd’leri sırasıyla 7 ve 9 olan iki bagımsız ˘ skeni olsun. Buna göre Z1 + Z2 de serbestlik ki-kare degi¸ ˘ skenidir. derecesi 7 + 9 = 16 olan bir χ216 degi¸
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 5
Kanıtsav 5 ˘ Z1 ∼ N(0, 1) ölçünlü normal ve Z2 de Z1 ’den bagımsız ve k sd ˘ ˘ sken olsun. Bu durumda ile χ2 dap gılımına uyan bir rastsal degi¸ ˘ sken de k sd ile t = Z1 /( Z2 /k ) s¸ eklinde tanımlanan degi¸ ˘ Student t dagılımına uyar. ˘ yakla¸stıkça Student t Serbestlik derecesi k sonsuza dogru ˘ ˘ dagılımı ölçünlü normal dagılıma yakınsar. ˘ olarak k sd’li t dagılımı ˘ Bir yazım kolaylıgı tk diye gösterilir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 6
Kanıtsav 6 Z1 ve Z2 , serbestlik dereceleri sırasıyla k1 ve k2 olan ve ˘ ˘ ˘ skeni olsun. Bu durumda bagımsız dagılımlı birer ki-kare degi¸ ˘ skeni de k1 pay F = (Z1 /k1 )/(Z2 /k2 ) olarak tanımlanan F degi¸ ˘ ve k2 payda serbestlik derecesi ile F dagılımına uyar. ˘ bir deyi¸sle, F degi¸ ˘ skeni kendi sd’lerine bölünmü¸s iki Diger 2 ˘ ˘ bagımsız χ degi¸skeni arasındaki oranı gösterir. ˘ olarak, sd’leri k1 ve k2 olan F dagılımlı ˘ Bir yazım kolaylıgı ˘ sken Fk1 ,k2 diye gösterilir. degi¸
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ ui Hata Teriminin Olasılık Dagılımları ˙Ili¸skili Olasılık Dagılımları ˘ ˘ Normal Dagılımla
Kanıtsav 7
Kanıtsav 7 ˘ skeninin karesi, pay Serbestlik derecesi k olan t rastsal degi¸ ˘ sd’si k1 = 1 ve payda sd’si k2 = k ile F dagılımlıdır. Örnek: F1,4 = (t4 )2 ’dir. Örnek: (t25 )2 = F1,25 olur.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Ençok Olabilirlik Yöntemi
˙Istatistikte tüm anakütleler kendilerine kar¸sılık gelen bir ˘ olasılık dagılımı ile tanımlanırlar. Sıradan en küçük kareler yöntemi ise özünde olasılık ˘ dagılımları ile ilgili herhangi bir varsayım içermez. Bu nedenle çıkarsama yapmada SEK tek ba¸sına bir i¸se yaramaz. ˘ stirge tahmin yakla¸sımından çok SEK, genel bir degi¸ ˘ örneklem baglanım i¸slevlerini bulmada kullanılabilecek bir hesaplama yöntemi olarak görülmelidir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Ençok Olabilirlik Yöntemi SEK yönteminden daha güçlü kuramsal özellikler gösteren ˘ nokta tahmincisi ise “ençok olabilirlik” (maximum bir diger likelihood), kısaca “EO” (ML) yöntemidir. Ençok olabilirlik yönteminin ardında yatan temel ilke s¸ u beklentidir: “Rastsal bir olayın gerçekle¸smesi, o olayın ˘ en yüksek olay gerçekle¸sme olasılıgı olmasındandır.” Bu yöntem 1920’li yıllarda ˙Ingiliz istatistikçi Sir Ronald A. Fisher (1890-1962) tarafından bulunmu¸stur. Ki-kare sınaması, Bayesçi yöntemler ve çe¸sitli ölçüt modelleri gibi birçok istatistiksel çıkarım yöntemi temelde EO yakla¸sımına dayanmaktadır. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Ençok Olabilirlik Yöntemi
EO yöntemini anlayabilmek için elimizde rastsal olarak ˘ belirlenmi¸s bir örneklem ve dagılım katsayıları bilinen farklı ˘ anakütle adayları oldugunu varsayalım. ˘ farklı Bu örneklemin farklı anakütlelerden gelme olasılıgı ˘ digerlerine ˘ ve bazı ana kütlelerden gelme olasılıgı göre daha yüksektir. ˘ bu anakütlelerden birinden Elimizdeki örneklem eger ˘ ençok olan anakütleden alınmı¸s alınmı¸ssa, alınma olasılıgı ˘ oldugunu tahmin etmek akılcı bir yakla¸sımdır.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Ençok Olabilirlik Yöntemi
Ençok olabilirlik yöntemi kısaca s¸ öyledir: 1
˘ Anakütlenin olasılık dagılımı belirlenir ya da bu yönde bir varsayım yapılır.
2
˘ Eldeki örneklem verilerinin gelmi¸s olma olasılıgının ençok ˘ anakütlenin hangi katsayılara sahip oldugu ˘ bulunur. oldugu
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 1: ˙Ikiterimli Dagılım (basit): Ençok olabilirlik yöntemini ˘ ele alalım: daha iyi anlayabilmek için s¸ u örnegi Elimizde, içinde siyah veya beyaz toplam on top bulunan ˘ sik torbalar olsun. degi¸ Torbadaki siyah top sayısı i = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10} olmak üzere 11 farklı torba olasıdır. Bu torbalardan birinden “yerine koyarak” (with ˘ replacement) dört top seçtigimizi ve S-B-S-B sırasıyla 2 ˘ varsayalım. siyah top geldigini ˘ ençok Bu sonucun hangi torbadan gelmi¸s olabilecegini olabilirlik yakla¸sımı ile tahmin edelim.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Elimizdeki soru bir “ikiterimli” (binomial) dagılım konusudur. ˙Ikiterimli dagılıma ˘ göre, örnek olarak, 8’i siyah olmak üzere içinde 10 top olan bir torbadan yerine koyarak çekilen 4 ˘ s¸ udur: toptan 2’sinin (belli bir sıra ile) siyah gelme olasılıgı 8 Bi( , 4, 2) = 10
8 10
2
8 1− 10
4−2
= 0,0256
˘ Örnegimizde, içindeki siyah top oranı p’ye göre 11 ayrı torba söz konusudur. Bu 11 torba için, 4 toptan 2’sinin siyah gelmesi durumunun ˘ s¸ u i¸slev ile gösterilebilir: gerçekle¸sme olasılıgı f (p|4, 2) = p 2 (1 − p)4−2 Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Aldıgı ˘ Degerler ˘ Çizelge: Siyah Top Sayısına Göre Olasılıgın Siyah Top Sayısı 0 1 2 3 4 5 6 7 8 9 10
Olasılık 0 Bi( 10 , 4, 2) 1 Bi( 10 , 4, 2) 2 , 4, 2) Bi( 10 3 Bi( 10 , 4, 2) 4 Bi( 10 , 4, 2) 5 , 4, 2) Bi( 10 6 Bi( 10 , 4, 2) 7 , 4, 2) Bi( 10 8 , 4, 2) Bi( 10 9 , 4, 2) Bi( 10 Bi( 10 , 4, 2) 10
= = = = = = = = = = =
(0)2 (1)4−2 (0,1)2 (0,9)4−2 (0,2)2 (0,8)4−2 (0,3)2 (0,7)4−2 (0,4)2 (0,6)4−2 (0,5)2 (0,5)4−2 (0,6)2 (0,4)4−2 (0,7)2 (0,3)4−2 (0,8)2 (0,2)4−2 (0,9)2 (0,1)4−2 (1)2 (0)4−2
= = = = = = = = = = =
0 0,0081 0,0256 0,0441 0,0576 0,0625 0,0576 0,0441 0,0256 0,0081 0
Çizelgeye bakarak eldeki örneklemin ençok olasılıkla siyah ˘ top sayısı 5 olan torbadan alınmı¸s oldugunu tahmin ederiz. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 2: ˙Ikiterimli Dagılım: Aynı soruyu bir de “çözümlemesel” (analytical) olarak ele alalım: ˘ bilinmeyen Elimizde içinde kaç siyah ve beyaz top oldugu bir torba olsun. Torbadaki siyah top oranına 0 ≤ p ≤ 1 diyelim. ˙Ilk örnekte 4 toptan olu¸san bir örneklem alınmı¸stı. Simdi ¸ ise ˘ n, çıkan siyah top sayısı da k olsun. örneklem büyüklügü ˘ Farklı n ve k sonuçları veren toplam N sayıda bagımsız çekili¸s yapalım. Ençok olabilirlik yöntemini kullanarak anakütle katsayısı p’yi tahmin etmek istiyor olalım.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ ˘ biliyoruz: Eldeki sorunun ikiterimli dagılımı ilgilendirdigini ˙Ikiterimli dagılım ˘ ˙Istatistikte ikiterimli dagılım, ˘ ˘ p olan n bagımsız ˘ “ba¸sarı” olasılıgı ˘ deneyden ba¸sarılı olan k’lerin dagılımını gösteren bir kesikli ˘ ˘ olasılık dagılımıdır. Olasılık yogunluk i¸slevi s¸ udur: Bi(k|n, p) = kn p k (1 − p)n−k Dikkat: Yukarıdaki OY˙I sırasız çekili¸sler içindir.
˘ açısından sonuçların belli bir sırayı Çözümleme kolaylıgı ˘ varsayarsak kesikli OY˙I s¸ u olur: izlemesi gerektigini p k (1 − p)n−k Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Elimizdeki olasılık yogunluk i¸slevi s¸ uydu: Bi(k|n, p) = p k (1 − p)n−k
(1)
˘ Toplam N sayıdaki çekili¸s için birle¸sik yogunluk i¸slevi: Bi(ki |ni , p) = Bi(k1 |n1 , p) Bi(k2 |n2 , p) . . . Bi(kN |nN , p)
(2)
Her bir ni ve ki için (1)’i (2)’de koyalım: P yerine P ki Bi(ki |ni , p) = p (1 − p) ni −ki
(3)
˘ n1 , n2 . . . nN ve k1 , k2 . . . kN degerleri veriliyken anakütle ˘ bilinmiyorsa, yukarıda gösterilen i¸sleve katsayısı p eger “olabilirlik i¸slevi” (likelihood P adı verilir: P function) ki ˙ OI(p) = p (1 − p) ni −ki (4) Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel)
˘ gibi EO tahmini, verili ni ve ki ’leri Adından da anla¸sılacagı ˘ gözleme olasılıgını ençoklamaya dayanır. Öyleyse, hedefimiz olabilirlik i¸slevinin “ençoksal” (maximal) ˘ degerini bulmak olmalıdır. ˘ Bu da dogrudan bir türev hesabıdır.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) Bir i¸slev kendi logaritması ile “tekdüze” (monotonous) ili¸skilidir. Bu nedenle olasılık i¸slevi yerine “log-olasılık” ˘ saglar: ˘ (log-likelihood) i¸slevini ençoklamak hesap kolaylıgı ln O˙I(p) =
N X
ki ln(p) +
N X (ni − ki ) ln(1 − p)
(5)
i=1
i=1
˘ (5) e¸sitliginin p’ye göre kısmi türevini alıp sıfıra e¸sitleyelim: N N ∂ ln O˙I X 1 X 1 = (−1) = 0 ki + (ni − ki ) ∂p p 1−p i=1
(6)
i=1
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel)
˜ s¸ öyle bulunur: Sadele¸stirmelerden sonra, EO tahmincisi p PN i=1 ki ˜ = PN p (7) i=1 ni
p üzerindeki (∼) “dalga” (tilde) imi, bunun bir EO tahmincisi ˘ oldugunu göstermek için kullanılmı¸stır.
Görülüyor ki EO yöntemi anakütledeki siyah top oranı k ˘ degerini, N çekili¸s sonunda bulunan siyah top sayısının çekilen toplam top sayısına oranı olarak tahmin etmektedir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım ˘ Örnek 3: Normal Dagılım: Simdi ¸ de Yi = β1 + β2 Xi + ui iki ˘ skenli baglanım ˘ degi¸ modelini EO yöntemi ile tahmin edelim. Bunun için önce hata teriminin sıfır ortalama ile normal ve ˘ ˘ gını ˘ (ui ∼ NBD(0, σ 2 )) varsayalım. bagımsızca dagıldı
˘ sken X ’in olasılık yogunluk ˘ X ∼ N(µ, σ 2 ) rastsal degi¸ i¸slevi ˘ a¸sagıdaki gibidir: ) ( 1 (x − µ)2 1 (8) f (x) = √ exp − 2 σ2 σ 2π Yukarıdaki exp i¸slemcisi e üzeri anlamına gelmektedir.
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım ˘ ˘ Hataların ui ∼ N(0, σ 2 ) oldugunu varsaydıgımıza göre 2 ˘ bir deyi¸sle, Yi degerleri ˘ Yi ∼ N(β1 + β2 Xi , σ )’dir. Diger ˘ β1 + β2 Xi ortalama ve σ 2 varyans ile normal dagılırlar. ˘ Buna göre tek bir Y ’nin olasılık yogunluk i¸slevi s¸ udur: ) ( 1 1 (Y − β1 − β2 X )2 2 (9) f (Y |β1 + β2 X , σ ) = √ exp − 2 σ2 σ 2π ˘ Birbirinden bagımsız i ∈ {1, 2, . . . , n} sayıda Yi ’nin ortak ˘ olasılık yogunluk i¸slevi ise n tekil OY˙I’nin çarpımıdır: f (Yi |β1 + β2 Xi , σ 2 ) = f (Y1 |β1 + β2 X1 , σ 2 ) f (Y2 |β1 + β2 X2 , σ 2 ) . . . f (Yn |β1 + β2 Xn , σ 2 ) (10)
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım Elimizdeki n gözlemdeki her bir Yi ve Xi için (9)’u (10)’da yerine koyarsak, olabilirlik i¸slevini buluruz: O˙I(β1 , β2 , σ 2 ) =
( ) n 2 1 1 X (Yi − β1 − β2 Xi ) √ n exp − 2 σ2 σ n 2π i=1
(11)
˘ logaritmasını alırsak da log-olabilirlik Bu denklemin dogal i¸slevini elde ederiz: n
ln O˙I = −n ln(σ) −
2
1 X (Yi − β1 − β2 Xi ) n ln(2π) − 2 2 σ2
(12)
i=1
˘ ln O˙I degerini ençoklamak en sondaki terimi enazlamak demektir. Bu da en küçük kareler yakla¸sımı ile aynı s¸ eydir. Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım Log olabilirlik i¸slevinin β1 , β2 ve σ 2 ’ye göre kısmi türevleri alınırsa s¸ u e¸sitlikler bulunur: n 1 X ∂ ln O˙I = − 2 (Yi − β1 − β2 Xi )(−1) ∂β1 σ
1 ∂ ln O˙I = − 2 ∂β2 σ
i=1 n X i=1
(13)
(Yi − β1 − β2 Xi )(−Xi )
n n 1 X ∂ ln O˙I = − 2+ 4 (Yi − β1 − β2 Xi )2 ∂σ 2 2σ 2σ
(14)
(15)
i=1
(. . . devam) Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım
(13), (14) ve (15) sıfıra e¸sitlenip sadele¸stirdikten sonra ise ˘ a¸sagıdaki EO tahmincileri elde edilir: ¯ − β˜ X ¯ β˜1 = Y P 2 xy β˜2 = P i 2i xi P 2 uˆi σ ˜2 = n
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
(16) (17) (18)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
˘ Örnek 3: Normal Dagılım ˘ gibi ui ’lerin normal dagıldı ˘ gı ˘ varsayımı altında β Görüldügü ˘ baglanım katsayılarının EO ve SEK tahmincileri aynıdır. ˘ yandan σ 2 tahminleri farklıdır: Diger SEK tahmincisi
EO tahmincisi
uˆi 2 σ ˆ = n−2 2
P
2
σ ˜ =
uˆi 2 n
P
Buna göre σ 2 ’nin SEK tahmincisi yansızken EO tahmincisi ˘ dogru ˘ yanlıdır. a¸sagı ˘ bir deyi¸sle n sonsuza Ancak kavu¸smazsal olarak, diger yakla¸stıkça, EO tahmincisi de yansızla¸sır. Öyleyse, EO tahmincisi “kavu¸smazsal yansızlık” ˘ ta¸sımaktadır. (asymptotic unbiasedness) özelligini Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)
Normallik Varsayımı Ençok Olabilirlik Yöntemi
˘ Örnek 1: ˙Ikiterimli Dagılım ˘ Örnek 2: ˙Ikiterimli Dagılım (Çözümlemesel) ˘ Örnek 3: Normal Dagılım
Önümüzdeki Dersin Konusu ve Ödev
Ödev Kitaptan Bölüm 4 “Classical Normal Linear Regression Model (CNLRM)” okunacak. Önümüzdeki Ders ˙Iki Degi¸ ˘ skenli Baglanım: ˘ Aralık Tahmini ve Önsav Sınaması
Yrd. Doç. Dr. A. Talha YALTA (2007 - 2010)
Normallik Varsayımı ve Ençok Olabilirlik Yöntemi (sürüm 1,81)