СТАТИСТИК ШИНЖИЛГЭЭНИЙ ЗАРИМ АРГА ЗҮЙД ТУЛГУУРЛАН КОМПАНИЙН ДАМПУУРЛЫГ УРЬДЧИЛАН ТААМАГЛАХ ЗАГВАР БОЛОВСРУУЛАХ НЬ С.Цолмон /Мандах Бүртгэл дээд сургуулийн багш, доктор/ Утас: 99115306, Цахим хаяг: tsolmon_muis@yahoo.com Хураангуй Судалгааны зорилго нь статистик шинжилгээний зарим арга зүйд тулгуурлан Монгол улсад үйл ажиллагаа явуулж буй компаниудын дампуурлыг урьдчилан таамаглах загвар боловсруулахад оршино. Бид олон улсын нэр хүнд бүхий сэтгүүлд 1966-аас 2015 оны хооронд нийтлэгдсэн 296 өгүүлэл дэх компанийн дампуурлыг таамаглах 510 загвар болон эдгээр загварыг боловсруулахад ашиглагдаж буй 65 төрлийн статистик аргуудын хэрэглээ болон таамаглах чадварт харьцуулсан судалгаа хийсний үндсэн дээр гурван төрлийн загвар боловсруулж, практик ач холбогдолтой эсэхийг нь шалгав. Бидний судалгаанд ашигласан дискриминант шинжилгээ, ложит, хиймэл оюун ухааны сүлжээ аргуудад тулгуурлан боловсруулсан дампуурлыг таамаглах загваруудаас таамаглах чадвар өндөртэй нь хиймэл оюун ухааны сүлжээ аргад тулгуурласан загвар болох нь тогтоогдов. Судалгааны боловсруулалтад нийт 1320 компанийн 2010-2015 оны санхүүгийн тайлан ашигласнаас гадна судалгааны үндсэн тооцооллыг SPSS.21, Eviews 7.0, NeuroSolutions 7.0, Alyuda Neuro Intelligence, Visual Gene Developer 1.7, Ms.Excel.2010 програм дээр гүйцэтгэв. Түлхүүр үг: дискриминант шинжилгээ, ложит загвар, хиймэл оюун ухааны сүлжээ 1. Оршил Статистик шинжилгээний аргууд нь орчин үед шинжлэх ухааны бүхий л салбарт, тэр дундаа эдийн засаг, бизнесийн салбар шинжлэх ухаанд маш өргөн ашиглагдах болжээ. 20-р зууны эхэн үед уламжлалт аргууд болон энгийн статистик шинжилгээний аргуудыг судлаачид түгээмэл ашиглаж байсан бол орчин үед техник технологийн шинэчлэлтэй уялдан олон хэмжээст, параметрийн бус аргын хэрэглээ нэмэгдэж байна. Компанийн дампуурлыг таамаглах тухай асуудал тэртээ 1930 оноос эхэлсэн бөгөөд бидний олж тогтоосноор олон улсын нэр хүнд бүхий шинжлэх ухааны сэтгүүлд хэвлэгдсэн 510 орчим загварт 65 төрлийн статистик шинжилгээний арга ашигласан байна. Түрүү үеийн судлаачид гол төлөв параметрийн буюу хамгийн сайн хамаарлыг хангах параметрийг тооцох аргууд болох дискриминант шинжилгээ, ложит, пробит зэрэг аргууд ашиглаж байсан бол орчин үеийн судлаачид хиймэл оюун ухааны сүлжээ загвар, шийдвэрийн модны арга, аз туршилтын загвар, амьдрах чадварын шинжилгээ, генетик програмчлалын загвар зэрэг параметрийн бус аргууд өргөн ашиглах болжээ. Дампуурлыг таамаглах загвар боловсруулахад ашиглаж буй статистик шинжилгээний аргуудын гол онцлог нь дампуурсан болон дампуураагүй компаниудыг хамгийн сайн ангилж чадах үл хамааран хувьсагчийн хоорондох статистик хамаарлыг үнэлэх явдал юм. Өөрөөр хэлбэл, эдгээр аргууд нь тэнцүү тооны орц (үл хамаарах хувьсагч) бүхий бүлгүүдийн гарцыг (хамааран хувьсагч) ангилахдаа n хэмжээст огторгуйд n хэмжээст гипер муруй байгуулах явдал юм. 1
2. Дампуурлыг таамаглах загварын түүхэн хөгжил ба статистик аргууд 1930 оны их хямралын үед маш олон компани дампуурсан бөгөөд энэ үеэс эхлэн судлаачдын дунд компанийн дампуурлыг урьдчилан таамаглах оролдлого хийх болжээ. Тухайн үед ашиглаж байсан аргууд нь дампуурсан болон дампуураагүй компаниудын санхүүгийн үзүүлэлтэд ямар онцлог ялгаа, зүй тогтол байгааг энгийн статистик аргад тулгуурлан судалж байсан бөгөөд гол төлөөлөгчид нь Р.Эдмистэр (Edmister 1930), П.Фитцпатрик (FitzPatrick 1932), Ф.Смид болон А.Винакор (Smith and Winakor 1935), А.Вол (Wall 1936), Ц.Мэрвин (Merwin 1942) нар юм. 1968 онд олон хэмжээст дискриминант шинжилгээг (multivariate discriminant analysis) анх Английн нэрт эдийн засагч, профессор Эдвард Альтманы судалгаанд ашиглаж эхэлсэн ба тус арга нь өнөөг хүртэл түгээмэл ашиглагдаж буй шилдэг аргуудын нэг юм (E. Altman 1968). Олон хэмжээст дискриминант шинжилгээ нь дотроо quardratic discriminant analysis, non-param discriminant analysis, utilities additives discriminant, linear discriminant analysis зэрэг хэд хэдэн төрөлтэй боловч эдгээрээс шугаман дискриминант шинжилгээг нь хамгийн өргөн ашигладаг. П.Мейер болон Х.Пайфер нар шугаман магадлалын загварыг анх ашигласан (Meyer ба Pifer 1970) боловч тус аргаар боловсруулсан загваруудын таамаглах чадвар муу, статистик ач холбогдол бага зэргээс шалтгаалан маш цөөн судлаачид ашигласан байдаг. 1977 онд Г.А.Ханвек пробит загвар (Hanweck 1977), Д.Мартин ложит загварыг дампуурлыг таамаглах загвар боловсруулахад анх ашиглаж эхэлсэн (Martin 1977) бөгөөд ложит загвар нь дискриминант шинжилгээний дараа орох хамгийн өргөн хэрэглэгддэг арга юм. Ложит загвар дотороо нь сlassic logit analysis, binomial logit analysis, multinomial logit analysis зэрэг олон төрөлтэй ба тус загварыг ашиглан боловсруулсан хамгийн алдартай дампуурлын загвар нь Ж.А.Оолсоны загвар юм (Ohlson 1980). Пробит загварыг цөөн тооны судлаачид ашигласан байдгаас М.Змижевскийн загвар нь хамгийн алдартайд тооцогддог (Zmijewski 1984) 1990 оноос хойш эрчимтэй ашиглах болсон хиймэл оюун ухааны сүлжээ загварыг анх Т.Бэл, Г.Рибар болон Ж.Верчё (Bell, Ribar and Verchio 1990), К.Тэм болон М.Kиан (Tam and Kiang 1992), П.Коац болон Л.Фант (Coats and Fant 1992), Г.Юдо (Udo 1993), Д.Флетчер болон Э.Госс (Fletcher and Gos 1993) зэрэг судалгааны ажлуудаас харж болно. Хиймэл оюун ухааны сүлжээний загвар нь дотроо learning vector quantization (LVQ), self-organizing map (SOM), probabilistic neural networks (PNN), Fuzzy neural network (FNN), n-net neural network (N-NET), optimal estimation neural network (OENN), counter propagation neural network (CPNN), GRGx neural network (GRGx), radial basis function neural network (RBFN), multi-layer perceptron network (MLP) зэрэг хэд хэдэн төрөлтэй бөгөөд хамгийн өргөн ашигладаг аргуудын нэг нь буцах тархалттай оюун ухааны сүлжээний загвар (Backpropagation neural network) байна. Мөн 1990 оны эхэн үеэс шийдвэрийн модны аргуудыг ашиглах болжээ. Тус аргад тулгуурлан дампуурлын загвар боловсруулсан голлох судлаачид нь С.Чо, Х.Хонг, Б.Ха (Cho, Hong and Ha 2010), В.Квак болон бусад (Kwak, et al. 2014) нар бөгөөд өнөөг хүртэл шийдвэрийн модны аргад тулгуурлан нийт дампуурлын 17 загварыг боловсруулсан байдаг. 2
Шийдвэрийн модны арга нь дотроо Interactive Dichotomizer 3 (ID3), Classification and Regression Trees (CART), QUEST algorithm (QUEST), CHi-squared Automatic Interaction Detector (CHAID), Multivariate Adaptive Regression Splines (MARS), C4.5 болон C5 algorithm (C4.5 and C5) зэрэг олон төрөлтэй бөгөөд эдгээрийг ашиглан дампуурлын загвар боловсруулсан гол бүтээлүүд нь К.Тэм болон М.Kиан ID3 арга (Tam ба Kiang 1992), М.Чен CART арга (Chen 2011), М.Шири болон М.Агангарий (Shiri and Ahangary 2012) нар QUEST, CHAID болон C5 арга, (Fernandez and Olmeda 1995) MARS, C4.5 зэрэг аргуудыг ашигласан байна. Сүүлийн жилүүдэд aз туршилтын загвар, k-хамгийн ойр хөршүүд, aнгиллын дүрмүүд, байесын сүлжээ, тулгуур вектор машин, амьдрах чадварын шинжилгээ, опционы үнийн загвар, генетик програмчлал зэрэг аргуудыг эрчимтэй ашиглах болсон. Харин 1996 оноос хойш хосолсон техник буюу (hybrid techniques) дээрх арга, загваруудыг хослуулан дампуурлыг тааамаглах загвар боловсруулах болсон бөгөөд гол төлөөлөгч болох Б.Бак, Б.Лайтинен болон К.Сере (Back, Laitinen and Sere 1996), Ж.Ингнизё болон Ж.Солтиз (Ignizio and Soltys 1996) нар GA+MLP (Genetic Algorithms+ Multi-layer Perceptron network), С.Мин, Ж.Лий болон И.Хан (Min, Lee and Han 2006) MLP+LR (Multi-layer Perceptron network+ logistic regression), З.Хуа, Я.Ванг, Х.Хью, Б.Жанг болон Л.Лянг (Hua, et al. 2007) нар SVM+LR (Support vector machines+ logistic regression) аргуудыг тус бүр ашиглажээ. Юуны өмнө бид олон улсын хэмжээнд өнгөрсөн хугацаанд судлагдсан компанийн дампуурлыг таамаглах загваруудад харьцуулсан судалгаа хийхийг зорив. Учир нь компанийн дампуурлын загваруудад харьцуулалт хийх нь энэ чиглэлийн судлаачид болон дампуурлын загвар хэрэглэгчдэд чухал ач холбогдолтой билээ. 1966-2015 оны хооронд 296 эрдэм шинжилгээний ажилд нийт 510 орчим компанийн дампуурлыг таамаглах загвар боловсруулжээ. Харин дампуурлыг таамаглах загвар боловсруулахад ашиглаж буй арга, тухайн загварын ач холбогдол, таамаглах чадвар, дампууралд нөлөөлж буй хүчин зүйлийг харьцуулсан М.Азиз болон Х.Дар (Aziz and Dar 2006), Ж.Бэловар болон бусад (Bellovary, Giacomino and Akers 2007), Х.Линдэн (Linden 2015) зэрэг цөөн тооны судалгаа хийгдсэн байна. Үүнд: Хүснэгт 1. Дампуурлын загваруудад харьцуулалт хийсэн судалгааны ажил Судлаачийн нэр М.Азиз, Х.Дар Ж.Бэловар болон бусад
Он 2006
2007 Х.Линдэн 2015 Бидний судалгаа 2016 Эх сурвалж: Судлаачийн тооцоолол
Судалгааны ажлын тоо 44
Дампуурлын загварын тоо 89
Харьцуулалтын хамрах хугацаа 1968-2003
165 51 296
172 72 510
1966-2004 1966-2014 1966-2015
Дампуурлыг таамаглах загварын түүхэн хөгжил нь тухайн үеийн бодит хэрэгцээ болон загвар боловсруулахад ашиглагдаж буй статистик, эконометрик аргуудын хөгжилтэй салшгүй холбоотой юм. Бидний олж тогтоосноор 1966-2015 оны хооронд хийгдсэн 500 гаруй дампуурлыг таамаглах загвар байгаа бөгөөд эдгээрт ойролцоогоор 65 орчим статистик болон эконометрик аргууд ашиглажээ. 3
Эдгээр загварууд нь гол төлөв 1930, 1973, 1982, 1990, 1997, 2000, 2008 оны их хямралуудын дараа илүү их судлагдсан бөгөөд дискриминант шинжилгээ, ложит болон хиймэл оюун ухааны сүлжээ загварууд түлхүү ашиглагдсан байна. Үүнд: Зураг 1. Дампуурлын загвар боловсруулахад түгээмэл ашиглаж буй аргууд 37 32 27 22 17 12 7
-3
1966 1967 1968 1969 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
2
Дискриминант шинжилгээ
Ложит загвар
Хиймэл оюун ухааны сүлжээ
Бусад
Эх сурвалж: Судлаачийн тооцоолол
Компанийн дампуурлыг таамаглах загвар боловсруулахад ашиглаж буй статистик шинжилгээний аргуудыг дотор нь параметрийн болон параметрийн бус гэж үндсэн 2 төрөлд ангилж болох бөгөөд дараах арга, загварууд хамгийн түлхүү ашиглагдах болжээ. Үүнд: -
Дискриминант шинжилгээ (Discriminant Analysis буюу DA) Ложит загвар (Logit model буюу LM) Пробит загвар (Probit model буюу PM) Хиймэл оюун ухааны сүлжээ (Artificial Neural Networks буюу ANN) Шийдвэрийн модны арга (Decision tree буюу DT) Аз туршилтын загвар (Hazard model буюу HM) К-хамгийн ойр хөршүүд (k-nearest neighbours буюу kNN) Ангиллын дүрмүүд (Rule based classification буюу RBC) Бэйсийн сүлжээ (Bayesian network буюу BN) Тулгуур вектор машин (Support vector machine буюу SVM) Амьдрах чадварын шинжилгээ (Survival analysis буюу SA) Опционы үнийн загвар (Option pricing model буюу OPM) Генетик програмчлалын загварууд (Genetic Programming models)
Дампуурлын загвар боловсруулахад ашиглаж буй аль арга нь таамаглах чадвар сайн байгааг үнэлэхдээ Азиз, Дар нарын арга зүйд тулгуурлав (Aziz ба Dar 2006). BSDM, GA зэрэг аргуудад тулгуурласан загваруудын таамаглах чадварын дундаж утга нь хамгийн өндөр байгаа ч тухайн аргуудын хэрэглээ, таамаглах чадварын геометр дундаж болон жигнэсэн вариацаар тооцсон таамаглах чадварын зэрэглэлээс харвал олон хэмжээст дискриминант шинжилгээ (MDA), ложит загвар (LM), хиймэл оюун ухааны сүлжээ (АNN) загвараар үнэлсэн дампуурлын загваруудын таамаглах чадвар хамгийн сайн байгааг дараах хүснэгтээс харж болно. Үүнд: 4
Хүснэгт 2. Статистик, эконометрик аргуудын таамаглах чадварын зэрэглэл Дампуурлын Таамаглах Жигнэсэн Засварлагдсан Жигнэсэн Таамаглах загваруудад чадварын 𝑵𝒊 стандарт стандарт 1 вариац Арга чадварын ашиглагдсан геометр хэлбэлзэл хэлбэлзэл ∗ 𝑷𝑹𝒊 (𝑾𝑽𝒊 ) зэрэглэл аргууд (𝑵𝒊 ) дундаж (𝑷𝑹𝒊 ) (𝑾𝑺𝑫𝒊 ) (𝑨𝑺𝑫𝒊 /𝑵𝒊 ) MDA 145 78% 11305.6 99.6 9.98 0.069 1 LM 110 84% 9203.8 99.4 9.97 0.091 2 АNN 92 78% 7162.7 140.9 11.87 0.129 3 DT 15 84% 1264.0 243.8 15.61 1.041 10 PM 14 76% 1063.4 265.8 16.30 1.164 11 SVM 12 82% 982.5 139.9 11.83 0.986 7 GA 9 86% 770.1 55.0 7.42 0.824 6 PRA 7 78% 547.4 51.7 7.19 1.027 9 LPM 5 76% 380.1 147.4 12.14 2.428 13 PH 5 70% 351.1 222.4 14.91 2.983 16 BSDM 5 87% 436.6 7.0 2.64 0.528 5 KNN 5 71% 354.5 221.1 14.87 2.974 15 BBN 4 74% 295.4 125.2 11.19 2.797 14 JM 4 82% 326.1 79.6 8.92 2.230 12 UA 3 81% 243.2 9.0 2.99 0.998 8 Бусад 33 79% 2597.3 141.0 11.88 0.360 4
Эх сурвалж: Судлаачийн тооцоолол
Энд MDA-ийн LDA, UAD, QAD, NPDA аргууд, LM-ийн BLA, MLA аргууд, АNN-ийн BNN, N-NET, GRGx, OENN, FNN, MLP, PNN, LVQ, SOM, RBFN, CPNN аргууд болон DT-ийн ID3, CART, QUEST, CHAID, MARS, C4.5, C5 аргуудыг тухайн харьяалагдах аргад нь нэгтгэж тооцсон. Харин бусад арга гэдэгт BM, BT, CBR, CMYh, CRIS, CUSUM, DEA зэрэг нийт 24 төрлийн аргыг нэгтгэж тооцов. 3. Судалгаанд ашигласан түүвэр ба арга зүй Судалгааны объект нь сүүлийн 50 гаруй жилийн хугацаанд эрдэмтдийн боловсруулсан дампуурлыг таамаглах 510 загвар болон бодит секторын 1320 аж ахуйн нэгжийн 2010-2015 оны санхүүгийн тайлан байна. Эдгээр компаниудын санхүүгийн тайланг санамсаргүй түүвэрлэлтийн аргаар сонгосон бөгөөд Сангийн Яамны статистик мэдээллийн сангаас авч ашиглав. Үүнээс 426 нь үндсэн загвар боловсруулахад, 772 нь боловсруулсан загварын практик ач холбогдолтой эсэхийг шалгахад ашиглав. Компанийн дампуурлыг урьдчилан таамаглах загварын боловсруулалтад нийт 65 төрлийн статистик арга ашиглаж байгаагаас бидний судалгаанд дискриминант шинжилгээ, ложит, хиймэл оюун ухааны сүлжээ аргууд ашиглагдах болно. Дискриминантын шинжилгээг SPSS.21, ложит загварыг Eviews 7.0, хиймэл оюун ухааны сүлжээ загварыг NeuroSolutions 7.0, Alyuda Neuro Intelligence, Visual Gene Developer 1.7, бусад тооцооллыг Ms.Excel.2010 програм дээр боловсруулав.
3.1 Дискриминантын шинжилгээ (Discriminant analysis) Дискриминантын шинжилгээ нь дотроо хэд хэдэн төрөлтэй бөгөөд голчлон хэрэглэгч нь шугаман дискриминант функц2 юм. Фишерийн загварыг нэрлэсэн үр дүнг тайлбарлах, β параметрийг үнэлэхэд ашигладаг. Энэ аргын нэг онцлог нь хамаарах хувьсагч нь магадлал бус шууд оноо байдлаар тодорхойлогддог явдал юм. 1
Энд байгаа жигнэсэн вариац болон жигнэсэн стандарт хэлбэлзлийг тооцохдоо жигнэсэн дундаж ∑ 𝑵 ∗𝑷𝑹 (weighted mean) болох 𝑊𝑀 = ∑𝒊 𝒊 = 79.668 -ээр тооцсон бөгөөд таамаглах чалварын арифметик 𝑵𝒊
дунджаар тооцсон жигнэсэн дундаж нь ойролцоо буюу 80.166 хувь гарсан. 2 Үүнийг мөн Фишерийн функц буюу загвар гэж нэрлэдэг
5
Дискриминант шинжилгээнд хамааран хувьсагч нь гол төлөв цусны даралт хэвийн болон өндөр, эрсдэлтэй болон эрсдэлгүй зээл гэх мэт хоёр бүлэгт ангилагддаг. Бүлэг тус бүрийн хамааран хувьсагчдын дунд хамгийн үр дүнтэй ялгаварлалт тогтоох үл хамааран хувьсагчдын шугаман хослолын тэгшитгэл дискриминант шинжилгээний үр дүнд боловсруулагддаг. Энэхүү шугаман хослолыг дискриминант функц гэж ойлгоно. Бүх хувьсагчид хоорондын хамаарал (interrelationship)-аас үүдэн үл хамааран хувьсагч бүрийн хувийн жин засварлагддаг. Эдгээр хувийн жинг дискриминант коэффициент байдлаар илэрхийлнэ. Дискриминант тэгшитгэл нь дараах хэлбэртэй бичигддэг. Үүнд: 𝐹 = 𝑏0 + 𝑏1 ∗ 𝑋1 + 𝑏2 ∗ 𝑋2 + + ⋯ 𝑏𝑛 ∗ 𝑋𝑛 + 𝑒
[1]
Энд F нь хамааран хувьсагчдын шугаман хослолоос тооцоологдсон хувьсагч, X1 , X2 , . . Xn нь p-дүгээр үл хамааран хувьсагч, e нь алдааг илтгэх хувьсагч бол b0 , b1 , b2 . . bn нь дискриминант коэффициентууд. Дискриминант шинжилгээгээр Y хувьсагчийн бүлгийн ангилал хамгийн багадаа Xi -ийн нэг хувьсагчаас хамаарч байгаа эсэхийг шинжилдэг ба дараах таамаглалыг дэвшүүлнэ3. H0: Y хувьсагч Xi -ийн ямар ч хувьсагчаас хамаарахгүй H1: Y хувьсагч Xi -ийн хамгийн багадаа нэг хувьсагчаас хамаарна Дискриминант шинжилгээний зорилгууд: Бүлэг тус бүрийн ялгааг шинжлэх Бүлгүүдийг ялгах хамгийн оновчтой аргыг тодорхойлох Бүлэг тус бүрийн ялгааг илэрхийлж чадахгүй байгаа хувьсагчдыг хасах Учир шалтгаануудыг бүлгүүдэд ангилах Учир шалтгаанууд таамагласантай нийцтэй байгаа эсэхийг дүгнэх замаар онолын үндсийг тестлэх 3.2 Ложит загвар (Logit model) Ложит загвар нь 𝑌𝑖 = 𝑓(𝛽, 𝑋𝑖 ) + 𝑢𝑖 байдлаар тодорхойлогдох ба 𝑌𝑖 нь 0 эсвэл 1 гэсэн утга авна. Өөрөөр хэлбэл тухайн компани дампуурсан, эвсэл дампуураагүй гэсэн утгыг илэрхийлнэ. Мөн 𝑌𝑖 = 1 утга авах магадлал нь 𝑃𝑖 , 𝑌𝑖 = 0 утга авах магадлал нь (1 − 𝑃𝑖 ) болно. Ложит загварын хувьд 𝑃𝑖 магадлалын ложистик тархалтын хуульд захирагдана гэж үздэг ба ложит загварын тэгшитгэлийн тавил нь 𝑌
𝑃𝑖 = 𝐸 (𝑋𝑖 ) = 𝑖
1 1+𝑒
хувьсагч байна. 𝑌𝑖
−(𝛽0 +𝛽𝑘 𝑋𝑘,𝑖 )
байна. 𝑌𝑖 нь хамааран хувьсагч, 𝑋𝑘,𝑖 нь үл хамааран
Энд бид 𝑀𝑖 = (𝛽0 + 𝛽𝑘 𝑋𝑘,𝑖 ) гэж орлуулбал функц маань 𝑃𝑖 =
1
𝐸 (𝑋 ) = 1+𝑒 −𝑀𝑖 болох ба үүнийг ложистик тархалтын функц гэнэ. Тус функцийн 𝑖
тэнцүүгийн тэмдгийн хоёр талыг сөрөг тэмдгээр үржүүлсний дараа нэгийг нэмбэл 1
𝑒 −𝑀𝑖
1 − 𝑃𝑖 = 1 − 1+𝑒 −𝑀𝑖 = 1+𝑒 −𝑀𝑖 болно4. 3
Tabachnick.B.G, Fidell.L.S (2006). Using multivariate statistics (5 th ed). California State University, Northridge, USA, chapter 9, page 375-436. 4 Hosmer. D. W, Lemeshow. S. (2000). Applied logistic regression (2nd ed.). New York: Wiley USA, chapter 4, page 91-142.
6
Тэнцүүгийн тэмдгийн хоёр талыг 𝑃𝑖 –д хувааж пропорцын чанарыг ашиглавал 𝑃𝑖 1−𝑃𝑖
=
1 1+𝑒−𝑀𝑖 𝑒−𝑀𝑖 1+𝑒−𝑀𝑖
1
= 𝑒 −𝑀𝑖 = 𝑒 𝑀𝑖 болох бөгөөд хоёр талаас натурал логарифм авч эмхтгэвэл
𝑃
ln (1−𝑃𝑖 ) = 𝑀𝑖 = (𝛽0 + 𝛽𝑘 𝑋𝑘,𝑖 ) гарна. 𝑖
Энэ нь ложит загварын хувьд параметр үнэлэх үндсэн тэгшитгэл байх болно. Ложит загвараар үнэлгээ хийхэд хамааран хувьсагч нь (0, 1) утга авна гэж үзвэл 0
0
𝑙n (1) эсвэл 𝑙n (1) гэсэн тодорхойгүй байдалд хүрнэ. Тиймээс энэ хүндрэлээс гарахын тулд хамааралгүй хувьсагчийн утгын хувьд тодорхой бүлэглэл хийж бүлэг тус бүрд харгалзах 𝑃𝑖 магадлалын үнэлгээг олно. 3.3 Хиймэл оюун ухааны сүлжээ загвар (Artificial Neural Network) Хиймэл оюун ухааны сүлжээ (ANN) загвар нь хүний мэдрэлийн эсийн мэдээлэл хүлээн авч боловсруулах, сурах процессыг математик аргаар томъёолсон мэдээлэл боловсруулах загвар юм. Гол зорилго нь тэнцүү тооны орц бүхий бүлгүүдийн гарцыг ангилахдаа n хэмжээст огторгуйд n хэмжээст гипер муруй байгуулах явдал юм. Хүний сая сая мэдрэлийн эс (нейрон) нь маш нарийн зохион байгуулалттай хоорондын уялдаа холбоотойгоор ажиллаж мэдээлэл хүлээн авч, боловсруулснаар сурах болон туршлага хуримтлуулдаг. Энэхүү мэдлэг, туршлагад тулгуурлан аливаа асуудалд нийцэх оновчтой шийдвэр гаргадаг. Хиймэл оюун ухааны загвар нь үүнтэй яг адилхан зарчмаар хэрэгждэг. Өөрөөр хэлбэл, их хэмжээний ажиглалтын утга буюу өгөгдөл дээр хиймэл оюун ухааны загварын параметрүүдийг сүлжээний бүтэцтэй уялдуулан сургаснаар уг загвар нь үзэгдэл, процесс, ирээдүйн чиг хандлагыг таамаглах хүчирхэг зэвсэг болдог. Анх 1940-өөд оны үед Канадын сэтгэл зүйч, мэдрэлийн эмч Дональд Олдинг Хебб хүний мэдрэлийн эсийн сурах процессыг математик загвартай холбон тайлбарлах боломжтой талаар санал дэвшүүлсэн (Hebb 1949). Энэхүү санаа нь удалгүй биеллээ олж 1943 онд АНУ-ын мэдрэлийн системийн физиологич В.С.МакКалох болон логик судлаач В.Х.Питц нар хиймэл оюун ухааныг анхны математик загварыг гаргасан боловч тухайн үеийн техникийн нөхцөл боломжоос шалтгаалан практикт бүрэн ашиглах боломжгүй байжээ (McCulloch and Pitts 1943). Орчин үед дүрс, дуу таних, роботын өөрөө удирдах систем болон нисгэгчгүй онгоцны удирдлагын систем гэх мэт шинжлэх ухаан, технологийн хамгийн өндөр зэрэгт хүрсэн салбаруудад уг загварчлалын арга өргөн ашиглагдаж байна. Тухайлбал, анагаах ухаан (элэгний үрэвсэл, шар өвчний онош), харилцаа холбоо (дуу хоолойг таних), физик электроник (програм хангамжийн алдаанаас үүдэлтэй цахилгаан холбооны алдааг засах), хэл шинжлэл (Хятад ханзны олон утгатай үгийн тайлал хийх, гараар бичсэн бичвэрийг таних), аж үйлдвэр (усан доорх ордын нөөцийг тогтоох) зэрэг олон салбарт ашиглаж байгаагаас Bank of America, Boston consulting group, J.P.Morgan, KPMG зэрэг байгууллагууд бизнесийн салбарт ашиглаж байна.
7
Хүснэгт 1. Бизнесийн салбар дахь хиймэл оюун ухааны сүлжээ загварын хэрэглээ Банк санхүү Нягтлан бодох бүртгэл - Компанийн дампуурлыг таамаглах; - Буруу илэрхийлэлтэй санхүү, татварын тайлан илрүүлэх; - Гарын үсэг, зээлийн баримт шалгах; - Аудит, хяналт шалгалт хийх; - Эрсдэлийн шинжилгээ хийх; Маркетинг - Валютын ханшийн таамаглал; - Хэрэглэгчийн худалдан авалт болон - Хувьцааны үнийг таамаглах; хэрэглээг сегментчилэх; - Зээлдэгчийн зээлийн зэрэглэл тогтоох; - Зээлийн картын баталгаа болон залилан; - Шинэ бүтээгдэхүүний шинжилгээ хийх; - Борлуулалтын таамаглал хийх; - Бизнесийн мөчлөгийн цэг тодорхойлох; - Хэрэглэгчийн зан төлөвийг тодорхойлох; - Бондын зэрэглэл болон худалдаа; Менежмент - Зээлийн баталгааг тодорхойлох; - Ажилчдын үр бүтээлтэй ажлын - Эдийн засаг, санхүүгийн таамаглал; гүйцэтгэл, ажиллах чадвар, бүтээмж - Хөрөнгө оруулалтын шийдвэр гаргах; болон зан төлөвийг таамаглах; - Даатгуулагчийн нас барах магадлал; - Хүний нөөцийн хэрэгцээ тодорхойлох; Эх сурвалж: Yashpal Singh and Alok Singh Chauhan (2009), Neural Networks in Data Mining, Journal of Theoretical and Applied Information Technology, JATIT 37, www.jatit.org.
Харин хиймэл оюун ухааны сүлжээ загварын ашиглан дампуурлын загвар боловсруулах явдал анх 1990 оноос эхэлсэн ба гол төлөөлөгчид нь Т.Бэл, Г.Рибар болон Ж.Верчё (Bell, Ribar and Verchio 1990), К.Тэм болон М.Kиан (Tam and Kiang 1992), Р.Уилсон болон Р.Шэрда (Wilson and Sharda 1994), П.Коац болон Л.Фант (Coats and Fant 1992), Д.Флетчер болон Э.Госс (Fletcher and Gos 1993), Э.Альтман, Г.Марко болон Ф.Варето (Altman, Marco and Varetto 1994) зэрэг судлаачид юм. Зураг 2. Биологийн мэдрэлийн тогтолцооны схем
Эх сурвалж: Kumar.P and Sharma.P (2014), Artificial Nerual Networks-A Stusdy, Interational Journal of Emerging Engineering Reserch and Technology, vol.2, iss.2, pp.143-148.
Энд: dendrites-мэдрэлийн эсийн мөчир, soma-төв мэдрэлийн систем, axon-мэдрэлийн эсийн сэртэн, myelin sheath-миелин бүрхүүл, synaptic terminals-мэдрэлийн ширхэг хоорондын туйлын хязгаар. Хүний тархинд мэдээлэл ирэхэд энэ нь синапс (synapse) буюу мэдрэлийн эсүүдийн холбоосоор дамжуулан бүх мэдрэлийн эсүүдэд мэдээллийг хүргэнэ. Энэ үед синапс болгоны хувьд өөр өөр хууль үйлчилнэ. Ингэж дамжсаар гол эсийн хэсэгтээ очих ба энд мэдээллийг хүлээж авч боловсруулаад дахин гаргаж синапсаар дамжуулан шийдвэр гаргах эс дээр очно. 8
Судлаачдын бий болгосон хиймэл оюун ухааны сүлжээ загвар нь дээрхийн адил хуулиар явагдана. Орц буюу өгөгдөл өгөхөд эдгээр өгөгдөл нь боловсруулах шатанд орох бөгөөд боловсруулалтад орох үед орц болгоны хувьд өөр өөр байдлаар боловсруулалтад нөлөөлнө. Боловсруулалтаас гарсан үр дүн нь дахин мэдрэлийн эс буюу синапсуудаар дамжиж эцсийн шийдвэрийг гаргана. ANN нь асуудлыг шийдэхийн тулд бүх параметрүүдээ өөрчилдөг дасан зохицох шаталсан систем юм. Энэхүү үе шатыг сургах (Training) үе шат гэх бөгөөд загвар өөрийн төлөвшлөө олж, судалж байгаа үзэгдэл процессын хамгийн чухал ааш авирыг параметрүүдээ сургах замаар тусган авч оновчтой шийдэл гаргах дараагийн алхамд бэлтгэнэ. Хамгийн оновчтой загварыг боловсруулахад орц ба гарцын өгөгдлүүд хамгийн чухал бөгөөд шугаман бус хэлбэр нь уг системийг маш уян хатан болгодог байна. Үндсэндээ ANN бол маш нарийн зохион байгуулалттай шаталсан систем бөгөөд орцыг хүлээн авч боловсруулаад гарц нь юу болохыг тодорхойлж өгдөг. Орцыг өгч үнэлээд гарсан утгыг зорилтот буюу хүссэн үр дүнтэй харьцуулах замаар алдааг тооцдог. Уг алдааны тухай мэдээлэл нь тухайн системд хариу үйлдэл үзүүлэх замаар системт загварын бүх параметрүүдийг засварладаг. Уг үйл явц гарцын алдааг хамгийн бага болтол үргэлжилнэ. Үүнийг сурах процесс (Learning Process) гэнэ. Зураг 3. Хиймэл оюун ухааны сүлжээ загварын шилжүүлэх функц (Transfer function) Identity
𝑦=𝑥
{−∞, +∞}
Unit step
𝑦 = 𝑠𝑖𝑔𝑛(𝑥) 𝑦 = 𝐻(𝑥)
{−1, +1} {0, +1}
Piecewise linear
−1, 𝑠𝑖 𝑥 < −1 𝑦 = {𝑥, 𝑠𝑖 + 1 ≤ 𝑥 ≤ −1 +1, 𝑠𝑖 𝑥 > +1
[−1, +1]
Sigmoid
𝑦 = 1/(1 + 𝑒^(𝑥)) 𝑦 = 𝑡𝑔ℎ(𝑥)
[0, +1] [−1, +1]
Gaussian
𝑦 = 𝐴𝑒 −𝐵𝑥
Sinusoidal
𝑦 = 𝐴𝑠𝑖𝑛(𝜔𝑥 + 𝜑)
2
[0, +1]
[−1, +1]
Эх сурвалж: Funes.E, Allouche.Y, Beltran.G, Jimenez.A (2015), A Review: Artifical Neural Networks as Tool for Control Food Industry Process, Journal od Sensor Technology, vol.5.
Энд байгаа x1 , x2 ,....xn буюу орц нь харгалзах хувийн жин 𝑤𝑖,𝑗 –р үржигдэн мэдрэлийн эсэд очих ба түүнээсээ дамжуулах функц (Transfer function) дээр очно. Энэ функцийн хэлбэрээс хамааран гарц тодорхойлогдоно. Үүнээс үзвэл дамжуулах функц нь бидэнд өгөх утгыг тодорхойлдог. ANN-ыг ажиллуулахдаа мэдрэлийн эсүүд нь хоорондоо хэрхэн холбогдсон болон тэдгээрийн холбоосны хувийн жин 𝑤𝑖,𝑗 –г сонгох хэрэгтэй. Холбоосууд нь мэдрэлийн эсүүд нэг нэгэндээ нөлөөлөх боломжийг илэрхийлэх ба хир хүчтэй нөлөөлөх вэ гэдэг нь 𝑤𝑖,𝑗 –аас шалтгаална. 9
Зураг 4. Дан давхарга бүхий хиймэл оюун ухааны сүлжээ загвар
Эх сурвалж: A.NagaBhushana Rao and K.Eswara Rao (2014), Estimize Bull speed using Back propagation, Internatioal Journal of Modern Engineering Research, vol.4, iss.11.
Энд 𝑥𝑝 -орц (input), 𝑤𝑘,𝑗 -жин (weight), 𝐼 = ∑ 𝑤𝑖 𝑥𝑖 бүх орцуудаас ирсэн жинлэгдсэн утгуудын нийлбэр, 𝑣𝑘 -цэвэр орц (net input), 𝑌𝑘 -гарц (output), 𝜃𝑗 зааглалтын цэг (threshold), φ(·)-идэвхжүүлэх функц (activation function), ∑.дамжуулах функц (transfer function) бөгөөд тухайн бодлого болон өгөгдлийн хэлбэрээс хамаарна. -
АNN загварын оновчтой шийдэл гаргах математик үндэслэл
Бүх орцуудаас ирсэн жинлэгдсэн утгуудын нийлбэр дамжуулах функц-д очих ба томьёогоор илэрхийлбэл: 𝑣𝑘 = ∑𝑛𝑗=1 𝑥𝑗 𝑤𝑘𝑗 [2] 𝑌𝑘 нь дамжуулах функцээс хамаарсан утга буюу 𝑌𝑘 = 𝜑(∑𝑛𝑗=1 𝑥𝑗 𝑤𝑘𝑗 ) = 𝜑(𝑣𝑘 ). ℎ𝑤 (𝑥) = 𝜑(∑𝑛𝑗=1 𝑥𝑗 𝑤𝑘𝑗 )
[3]
[3] тэгшитгэл нь үнэлэгдсэн утгын томьёо ба эндээс алдааг дараах байдлаар томъёолно: 1
1
2 𝐸 = 2 ∗ 𝐸𝑡𝑡 = 2 (𝑦𝑘 − ℎ𝑤 (𝑥))2
[4]
[4] тэгшитгэлээс wj –аар уламжлал авах замаар wj –н өөрчлөлт алдааг хир хэмжээгээр бууруулж байгааг тооцно: 𝜕𝐸 𝜕𝑊𝐽
=
1 2
2) 𝜕( ∗𝐸𝑡𝑡
𝜕𝑤𝑗
𝜕𝜑(∑𝑛 𝑗=1 𝑥𝑗 𝑤𝑘𝑗 )
= 𝐸𝑡𝑡 ∗ (
𝜕𝑤𝑗
) = −𝐸𝑡𝑡 ∗ 𝜑 ′ (∑ 𝑤𝑘𝑗 ∗ 𝑥𝑗 ) ∗ 𝑥𝑗
[5]
Энд [5] томъёог сурах түвшнээр үржиж, засварлах хэмжээг олж, хуучин wj дээр нэмэн засварлах юм. Ингэж засварласнаар [6] тэгшитгэл гарна5. 𝑤𝑘𝑗(шинэ) = 𝑤𝑘𝑗(хуучин) + 𝛼 ∗ 𝐸𝑡𝑡 ∗ 𝜑 ′ (∑ 𝑤𝑘𝑗 ∗ 𝑥𝑗 ) ∗ 𝑥𝑗
[6]
[6] тэгшитгэл нь нэг удаагийн засварлагдсан жин болно. α – learning rate 5
Krose.B, Smagt.P. (1996). An introductionto Neural Networks (8th ed). University of Amsterdam, Netherlands. Chapter 1-2, page 11-82.
10
Зураг 5. Олон давхарга бүхий хиймэл оюун ухааны сүлжээ загвар
Эх сурвалж: Haykin S. 1999. Neural Networks: A Comprehensive Foundation, 2nd ed. Prentice Hall.
Олон давхаргатай үед гарц болон далд давхарга хоорондын 𝑤𝑗,𝑖 –г өмнөхтэй адил буюу дараах дүрмээр засна: 𝑤𝑗𝑖 = 𝑤𝑗𝑖 + 𝛼 ∗ 𝑎𝑗 ∗ ∆𝑖 [7] Энд: ∆𝑖 = 𝐸𝑡𝑡 ∗ 𝑔′(∑ 𝑤𝑗𝑖 ∗ 𝑎𝑗 ) бөгөөд бичлэг хялбарчлах үүднээс дараах орлуулгыг хийвэл 𝜗 = ∑ 𝑤𝑖 ∗ 𝑎𝑗 болно. Үүний дараа далд давхаргын өөрчлөлтийг олох ёстой ба үүнийг [8] томьёогоор олно. Үүнд: ∆𝑖 = 𝑔′ (𝜗) ∗ ∑𝑖 𝑤𝑗,𝑖 ∗ ∆𝑖 [8] Далд давхарга ба орцыг холбосон 𝑤𝑗,𝑖 -г дараах дүрмээр олно: 𝑤𝑘𝑗 = 𝑤𝑘𝑗 + 𝛼 ∗ 𝑎𝑘 ∗ ∆𝑗 𝜕𝐸 𝜕𝑤𝑘𝑗
𝜕𝑎
= − ∑𝑖(𝑦𝑖 − 𝑎𝑖 ) ∗ 𝜕𝑤 𝑖 = − ∑𝑖 (𝑦𝑖 − 𝑎𝑖 ) ∗ 𝑘𝑗
− ∑𝑖 ∆ 𝑖 ∗
𝜕(∑ 𝑤𝑗𝑖 ∗𝑎𝑗 ) 𝜕𝑤𝑘𝑖
𝜕𝑔(𝜗𝑖 ) 𝜕𝑤𝑘𝑗
𝜕(𝜗 )
= − ∑𝑖(𝑦𝑖 − 𝑎𝑖 ) ∗ 𝑔′ (𝜗𝑖 ) ∗ 𝜕𝑤 𝑖 =
𝜕𝑎
= ∑𝑖 ∆𝑖 ∗ 𝑤𝑗𝑖 ∗ 𝜕𝑤 𝑗
𝑘𝑗
[9]
𝑘𝑗
Энд: 𝑎𝑗 = 𝑔(𝜗𝑖 ) бөгөөд [9] тэгшитгэлээс 𝑎𝑖 –р уламжлал авбал: 𝜕(𝜗 )
− ∑𝑖 ∆𝑖 ∗ 𝑤𝑗𝑖 ∗ 𝑔′ (𝜗) ∗ 𝜕𝑤 𝑖 = − ∑𝑖 ∆𝑖 ∗ 𝑤𝑗𝑖 ∗ 𝑔′ (𝜗) ∗ 𝑘𝑗
(𝜗𝑖 ) ∗ 𝑎𝑘 = −𝑎𝑘 ∗ ∆𝑖
𝜕(∑ 𝑤𝑘𝑗 ∗𝑎𝑘 ) 𝜕𝑤𝑘𝑗
= − ∑𝑖 ∆𝑖 ∗ 𝑤𝑗𝑖 ∗ 𝑔′ ∗
[10]
Тэгшитгэл [10] нь 𝑤𝑗,𝑖 өөрчлөлтийн хэмжээ бөгөөд үүнийг мөн сурах түвшингээр үржин өмнөх 𝑤𝑗,𝑖 дээр нэмж засварлавал 𝑤𝑘𝑗 = 𝑤𝑘𝑗 + 𝛼 ∗ 𝑎𝑘 ∗ ∆𝑗 гарах бөгөөд энэхүү засварлах ажиллагааг дахин дахин давтсанаар хамгийн сайн (хамгийн бага хазайлттай) загвар бий болно (Jha 2011). ANN тооцоолох програм хангамж Төлбөртэй програм: Statistica Neural Network, TNs2Server, DataEngine, Know Man Basic Suite, Partek, Saxton, ECANSE- Environment for Computer Aided Neural Software Engineering, Neuroshell, Neurogen, Neural Network Toolbar. Төлбөргүй програм: Net II, SPSS, Net with free Java source, Spider Nets Neural Nerwork Library, NeuDC, Binary Hopfeild, Neural shell, PlaNet, Valentino Computational Neuroscience Work bench, Neural Simulation Language versionNSL, Brain neural network Simulator. 11
4. Компанийн дампуурлыг таамаглах загварын боловсруулалт 4.1 Хамааран хувьсагч болон үл хамааран хувьсагчийн сонголт Бидний судалгаанаас үзвэл 1966-2015 оны хооронд хийгдсэн дампуурлын загваруудад 400 гаруй ялгаатай хувьсагчид ашиглагдсанаас санхүүгийн үзүүлэлтүүд 86 хувийг бүрдүүлж байна. Эдгээр үзүүлэлт нь гол төлөв дангаараа хэрэглэгдэхээс гадна санхүүгийн бус хүчин зүйлстэй нэгдэх замаар ашиглагдах тохиолдол цөөнгүй байна. Бид үл хамааран хувьсагч сонгохдоо эдгээр санхүүгийн үзүүлэлтээс хамгийн өргөн хэрэглээтэй санхүүгийн 50 харьцааг ашиглах бөгөөд эдгээр нь давхардсан тоогоор 1778 удаа ашиглагджээ. Судалгаанд ашигласан үл хамааран хувьсагчдийг хавсралт 1-д тусгав. Харин хамааран хувьсагчийн хувьд дампуурсан болон дампуураагүй компанийн ангиллыг хийхдээ компанийн дампуурлын тухай хуулийн дагуу бус санхүүгийн хувьд хүндрэлд орсон эсэхэд нь тулгуурлан үндсэн хоёр бүлэгт ангилав. Энэхүү шалгуурт тулгуурлан дампуурлын загвар боловсруулахад ашиглах 426 түүврийн (санхүүгийн тайлангийн) 16 буюу 3.8 хувь, загварын практик ач холбогдлыг шалгах 772 түүврийн 75 буюу 9.7 хувь нь дампуурсан буюу yi = 0 ангилалд багтааж байна. Өөрөөр хэлбэл судалгаанд ашиглаж буй 1198 түүврийн 13.5 хувь нь дампуурсан гэж үзэж болох тул yi = 0 ангилалд хамруулав. 4.2 Ач холбогдол өндөртэй үл хамааран хувьсагчийн сонголт Компанийн дампуурлын загваруудад түгээмэл ашиглаж байгаа санхүүгийн 50 харьцаанаас (үл хамааран хувьсагчаас) компанийн дампууралд хүчтэй нөлөөлөх магадлалтай үл хамааран хувьсагчийг илрүүлэхийн тулд эхний удаад бид нэг хүчин зүйлийн вариацын шинжилгээг ашиглав. Жишээлбэл, нийт хөрөнгийн ашигт ажиллагааны (NITA) вариацын шинжилгээнээс харвал F статистикийн ажиглалтын утга нь критик утгаас их (Fаж = 8.0798 > Fkу = 3.8635) гарсан тул тус хувьсагч нь компанийн дампууралд хүчтэй нөлөөлдөг байх магадлал өндөртэйг харуулж байна. Хүснэгт 4. NITA-ийн нэг хүчин зүйлийн вариацын шинжилгээ Groups Count Sum Average Variance Column 1 16 -7.32 -0.4575 0.3365 Source of Variation SS df MS F Between Groups 3.73476855 1 3.734769 8.079751 Within Groups 195.98895 424 0.462238 Total 199.723718 425
P-value F crit 0.004692 3.863484
Эх сурвалж: Судлаачийн тооцоолол
Судалгааны явцад 50 үл хамааран хувьсагчаас 17 хувьсагчийг хасаж үлдсэн 33 хувьсагчийг нэг хүчин зүйлийн вариацын шинжилгээгээр үнэлэхээр болсон. Учир нь зарим үзүүлэлтийн хувьд тооцоолох боломгүй, хамааран хувьсагчийг сонгоход ашигласан учир үнэлгээнд сөрөг нөлөө үзүүлэх боломжтой зэрэг хэд хэдэн шалтгааны улмаас хассан. Иймд үлдсэн 33 хувьсагчийн нэг хүчин зүйлийн вариацын шинжилгээг SPSS.21 програмыг ашиглан тооцоолж үр дүнг хавсралт 2-т оруулав. Тус шинжилгээгээр NITA, WCTA, TLTA, RETA зэрэг нийт 11 хувьсагч статистик ач холбогдолтой гарсан тул үлдсэн хувьсагчдийг цаашид үнэлгээнээс хасах болсон. 12
Вариацын шинжилгээнээс шүүгдэн үлдсэн 11 хувьсагч нь хоорондоо хүчтэй корреляц хамааралтай байгаа үед ямар нэг загвар боловсруулах боломжгүй болдог. Тиймээс ач холбогдол өндөртэй үл хамааран хувьсагч сонгох дараагийн шалгуур нь мультколлениар шинж тэмдэг илэрсэн хавсралт 3-д тусгасан корреляцийн матриц ашиглан шалгав. Эцэст нь хоорондоо сул хамааралтай, харин хамааран хувьсагчтай харьцангуй өндөр хамааралтай байгаа дараах 4 үл хамааран хувьсагч үлдэв. Үүнд: Хүснэгт 2. Үл хамааран хувьсагчийн статистик (dep=0 болон dep=1 ангилал) 6 Дундаж Үл хамааран хувьсагчид Dep=0 Dep=1 EBITTA -0.457500 0.041707 ETA -1.551875 0.607317 LOGTA 5.936250 6.126512 LE -15.54125 1.824293 Эх сурвалж: Судлаачийн тооцоолол
Стандарт хазайлт Dep=0 Dep=1 0.580086 0.685461 2.125459 0.374631 1.227914 1.012306 33.34601 20.27471
Бүгд 0.022958 0.526221 6.119366 1.172066
Бүгд 0.687804 0.680758 1.020152 21.11304
Дампуурсан болон дампуураагүй компаниудын дээрх үзүүлэлтийн дундаж нь ихээхэн зөрүүтэй гарсан. Үүнээс гадна эдгээр үзүүлэлтийн дундаж нь тэнцүү эсэхийг шалгах Anova F тест; Welch F тест, медиан нь тэнцүү эсэхийг шалгах Med.Chisquare; Adj.Med. Chi-square; Kruskal-Wallis; vander Waerden тест, вариац нь тэнцүү эсэхийг шалгах Bartlett; Levene; Brown-Forsythe тестүүдийн ажиглалтын утга нь критик утгаасаа их гарсан зэргээс үзвэл компанийн дампууралд дээрх дөрвөн хүчин зүйл нь хүчтэй нөлөөлөх боломжтойг харуулж байна. 4.3 Ложит загварын үнэлгээний үр дүн Үнэлгээг хийхдээ Eviews 7.0 программ дахь бинар өргөтгөлтэй аргын нэг болох ложит загвараар үнэлэхдээ хамгийн их давтамж (max iteration) 500, нийлэмж (convergence) нь 0.0001, оновчлолын алгоритм (optimization algorithm) нь QHC (quadratic hill climbing) байхаар хязгаарлалт хийв. Хамааран хувьсагч нь дампуурсан компанийн түүвэр (dep=0) 16, дампуураагүй компанийн түүвэр (dep=1) 410 байх болно. Энэхүү үнэлгээ нь статистикийн хувьд ач холбогдол өндөр гарсан. Өөрөөр хэлбэл z статистикийн магадлал нь бүгд 5 хувиас бага байгаа нь сонгож авсан үл хамааран хувьсагчид нь хамааран хувьсагчид хүчтэй нөлөөлж байгааг харуулж байна. Үүнээс гадна хамгийн их үнэний хувь бүхий үнэлгээ нь 𝐿𝑖𝑘𝑒𝑙𝑜ℎ𝑜𝑜𝑑 𝑟𝑎𝑡𝑖𝑜 = 2(ll(m2) − ll(m1)) = 73.988, түүний магадлал нь 5 хувиас бага, Акайк мэдээллийн шинжүүр 0.17, шварц мэдээллийн шинжүүр 0.217, алдааны квадратын нийлбэр 𝑆𝑆𝑅 = ∑nt=1 e2t = 9.25, Макфаддены R квадрат 0.54 гарсан зэргээс үзвэл тус үнэлгээ нь статистик ач холбогдол өндөр байгааг харуулж байна. Энд байгаа e нь 2.718 бүхий Эйлерийн тогтмол тоо байна. Ингээд ложит загвараар үнэлсэн тэгшитгэл нь дараах хэлбэртэй гарав. Үүнд: 𝑍
ln (1−𝑍) = 8.506 + 1.209 ∗ 𝐸𝐵𝐼𝑇𝑇𝐴 + 3.03 ∗ 𝐸𝑇𝐴 − 0.844 ∗ 𝐿𝑂𝐺𝑇𝐴 + 0.024 ∗ 𝐿𝐸 1
буюу 𝑍 = 1+𝑒 −(8.506+1.209∗𝐸𝐵𝐼𝑇𝑇𝐴+3.03∗𝐸𝑇𝐴−0.844∗𝐿𝑂𝐺𝑇𝐴+0.024∗𝐿𝐸) 6
Хэрэв дампуурсан компанийн үзүүлэлт бол dep=0, дампуураагүй компанийн үзүүлэли бол dep=1.
13
Тэгшитгэл боловсруулсны дараах гол асуудлын нэг зааглалтын цэг (cutpff point) ямар үед дампуурах эрсдэл өндөр байгааг тодорхойлох асуудал юм. Ложит загвараар үнэлгээ хийсэн дийлэнх судлаачид зааглалтын цэгийг 0.5 байхаар сонгодог. Учир нь тус загвараар үнэлгээ хийх үед хамааран хувьсагч нь чанарын хувьсагч буюу 0 эсвэл 1 утга авахаас гадна загварын хүлээлтийн утга нь 0 < 𝑍𝑖 < 1 хязгаарт орших тул түүний голч болох 0.5-ыг авах нь зүйтэй гэж үздэг. Иймд зааглалтын цэг 0.5 үеийн үнэлгээ нь дараах байдалтай гарав. Үүнд: Хүснэгт 3. Зааглалтын цэг 0.5 үеийн хүлээгдэж буй таамаглал Estimated Equation Dep=0 Dep=1 P(Dep=1)<=C P(Dep=1)>C Total Correct % Correct % Incorrect Total Gain* Percent Gain**
7 9 16 7 43.75 56.25 43.75 43.75
Total
3 407 410 407 99.27 0.73 -0.73 NA
10 416 426 414 97.18 2.82 0.94 25.00
Constant Probability Dep=0 Dep=1 0 16 16 0 0.00 100.00
0 410 410 410 100.00 0.00
Total 0 426 426 410 96.24 3.76
Эх сурвалж: Судлаачийн тооцоолол
Үүнээс үзвэл ложит загварын үнэн таамаглах ерөнхий чадвар (жигнэсэн дундаж) нь 97.18 хувь буюу таамаглах чадвар маш өндөр байгааг харуулж байна. Тэр дундаа дампуурах эрсдэлгүй компанийг үнэн таамаглах чадвар 99.27 хувь гарлаа. Харин зааглалтын цэг 0.5 үед дампуурах эрсдэлгүй компанийг үнэн таамаглах чадвар сул буюу 43.75 хувь гарч байна. Харин зарим судлаачид зааглалтын цэгийг 0.5-аар авах нь учир дутагдалтай гэж үздэг ба оновчтой зааглалтын цэгийг (optimal cutoff point) хэрхэн сонгох талаар хэд хэдэн өгүүлэл бичигдсэн байдаг. Тухайлбал, М.Соурэшжаний болон А.Кимягарий нарын “Ложит болон хиймэл оюун ухааны сүлжээ загварын үнэлгээний оновчтой зааглалтын цэгийг тогтоох нь: Арилжааны банкны зээлдэгчийн зээлийн эрсдэлийг үнэлэх жишээн дээр” сэдэвт судалгаанд тодорхой тусгасан байна (Soureshjani and Kimiagari 2013). Тэдний зөвлөж байгаагаар def=0 буюу дампуурсан компанийг үнэн таамаглах чадвар (specifity) болон def=1 буюу дампуураагүй компанийг үнэн таамаглах чадварын (sensitivity) нийлбэр хамгийн их үеийн зааглалтын цэг нь хамгийн оновчтой гардаг байна. Хүснэгт 4. Ялгаатай зааглалтын цэг бүхий таамаглах чадварын үнэлгээ Үнэн таамаглах чадвар (def=0) Specifity Cut off point 0.01 25.0 0.1 25.0 0.2 25.0 0.3 31.3 0.4 37.5 0.5 43.8 0.6 50.0 0.7 62.5 0.8 62.5 0.9* 75.0 0.99 100.0 Эх сурвалж: Судлаачийн тооцоолол
Үнэн таамаглах чадвар (def=1) Sensitivity 100.0 100.0 100.0 99.8 99.3 99.3 98.3 98.3 97.8 97.8 68.1
Зааглалтын цэг
14
Дундаж
Нийлбэр
Avg 97.2 97.2 97.2 97.2 97.0 97.2 96.5 97.0 96.5 97.0 69.3
Sum 125.0 125.0 125.0 131.0 136.8 143.0 148.3 160.8 160.3 172.8 168.1
Зааглалтын цэг 0.9 үед дампуурсан болон дампуураагүй компанийг үнэн таамаглах чадваруудын нийлбэр хамгийн их буюу оновчтой зааглалтын цэг дээр байна. Иймээс бид оновчтой зааглалтын цэгийг 0.9 байхаар үнэлгээ хийлээ. Ложит загварын зааглалтын цэг 0.9 үед дампуурсан компанийг үнэн таамаглах чадвар 97.8 хувь, дампуураагүй компанийг үнэн таамаглах чадвар 75 хувь буюу тус загварын үнэн таамаглах дундаж чадвар
Specifity∗𝑛1 +Sensitivity∗𝑛2 𝑁
= 96.95 хувь гарч байна.
Иймээс ложит загварын үнэлгээгээр гарсан утга нь 0.9 ≤ 𝑍𝑖 ≤ 1 хязгаарт оршиж байвал дампуураагүй, харин 0 ≤ 𝑍𝑖 < 0.9 хязгаарт оршиж байвал тухайн компанийг дампуурсан гэж үзэж болно. 4.4 Дискриминант шинжилгээний үр дүн Дискриминант шинжилгээг SPSS 21.0 програмын analyse-classify цэсний discriminant аргаар үнэлэхдээ урьдчилсан таамаглал нь (prior probabilities) бүх групп тэнцүү байхаар авав. Үүнээс гадна хамааран хувьсагч болон үл хамааран хувьсагч нь ложит загварыг үнэлсэнтэй ижил хязгаарлалттай байхаар үнэлгээг хийсэн болно. Зураг 6. EBITTA, ETA, LE-ийн гурав ди (3D) цэгэн график
Эх сурвалж: Судлаачийн тооцоолол
Үл хамааран хувьсагчдын хоорондох 3D (гурван хэмжээст) цэгэн графикаас харвал дампуурсан болон дампуураагүй компаниудын үл хамааран хувьсагчид нь хоорондоо зөрүү ихтэй байгаа нь харагдаж байна. Мөн групп хоорондын ялгаатай байдлыг илэрхийлсэн статистик шинжилгээнээс харвал LOGTA-аас бусад үл хамааран хувьсагчид нь хоорондоо маш зөрүүтэй болох нь харагдаж байна. Өөрөөр хэлбэл, дампуурсан болон дампуураагүй компаниудын EBITTA, ETA, LLE-ийн дундаж болон стандарт хазайлт нь ихээхэн зөрүүтэй гарчээ. Жишээлбэл, дампуурсан компаниудын EBITA-ийн дундаж нь -45.75 хувь байгаа бол дампуураагүй компаниудын дундаж нь 4.17 хувь гарсан байна. 15
Хүснэгт 8. Групп дундын ковариац болон корреляц матриц
EBITTA ETA LOGTA LLE
Ковариацын матриц EBITTA ETA LOGTA 0.465 0.050 -0.024 0.050 0.295 0.034 -0.024 0.034 1.042 -0.188 -1.502 -0.369
LLE EBITTA -0.188 1.000 -1.502 0.136 -0.369 -0.035 435.860 -0.013
Корреляцийн матриц ETA LOGTA 0.136 -0.035 1.000 0.062 0.062 1.000 -0.132 -0.017
LLE -0.013 -0.132 -0.017 1.000
Эх сурвалж: Судлаачийн тооцоолол
Дискриминантын шинжилгээнд ашиглаж буй хүчин зүйлсийн групп тус бүрийн ач холбогдлын түвшинг шалгахад Вилксийн лямбда тестийг өргөн ашигладаг ба тус утга нь 0-ээс 1-ийн хооронд оршдог. Бидний үнэлгээнд Wilk’s Lamba-ийн магадлал нь LOGTA-аас бусад үзүүлэлтийн хувьд бүгд 5 хувиас бага гарсан тул эдгээр үзүүлэлтийг групп болгон ангилж үнэлгээ хийх нь статистик ач холбогдолтой байна. Хүснэгт 9. Каноник дискриминант функцийн Эйгийн утга, Вилксийн лямбда Function Eigenvalue
% of Cumulative Canonical Test of Wilks' Chidf Sig. Variance % Correlation Function(s) Lambda square 1 0.643a 100.0 100.0 0.626 1 0.609 209.550 4 .000 a. First 1 canonical discriminant functions were used in the analysis.
Эйгийн утга буюу хувийн утга нь (eigenvalue) гол төлөв характеристик шалтгаан гэж нэрлэгддэг бөгөөд тус шинжүүр нь тухайн загвар дахь тайлбарлагдсан (explained) болон тайлбарлагдаагүй (unexplained) вариацийн (variation) дунд оршдог. Дискриминантын шинжилгээний хувьд ямар ч тохиолдолд цор ганц эйгийн утга байх бөгөөд статистик ач холбогдолтой загварын хувьд эйгийн утга нь 1-ээс их гардаг. Хүснэгт 32-оос харвал каноник корреляцийн коэффициент нь rc = 62.6 хувь (>35% бол ач холбогдолтой), Вилксын лямбдагийн магадлал нь p value = 0.000 (<0.05) гарсан. Иймд тус дискриминантын функц нь статистик ач холбогдол өндөртэй, маш сайн үнэлэгдсэн ба дараах хэлбэртэй гарч байна. 𝑍 = −0.916 + 0.065 ∗ 𝐸𝐵𝐼𝑇𝑇𝐴 + 1.808 ∗ 𝐸𝑇𝐴 − 0.009 ∗ 𝐿𝑂𝐺𝑇𝐴 + 0.016 ∗ 𝐿𝐸 Дискриминантын шинжилгээ хийх үед зааглалтын цэгийг (cutoff point) сонгохдоо ложит, хиймэл оюун ухааны сүлжээ зэрэг аргуудаас арай өөр аргаар сонгодог. Учир нь ложит, хиймэл оюун ухааны сүлжээ зэрэг аргуудын хамааран хувьсагч нь 0 < Zi < 1 хязгаарт байдаг бол дискриминантын функцийн хувьд −∞ < Zi < ∞ хязгаарт оршдог. Энэхүү аргад тулгуурлан загвар боловсруулдаг судлаачид гол төлөв групп тус бүрийн төв цэгүүдийн дунджаар зааглалтын цэгийг тооцдог. Өөрөөр хэлбэл COP = E(centroid1 + centroid2) = E(E(Z0 ) + E(Z1 )). Энд Z0 болон Z1 нь тус бүр дампуурсан болон дампуураагүй компаниудын загварын утга байна. Тиймээс бидний боловсруулсан дискриминант функцийн төв цэгүүд нь тус бүр E(Z0 ) = −4.050, E(Z1 ) = 0.158 гарсан тул зааглалтын цэг нь COP = −1.946 болно. Зураг 7. Групп тус бүрийн төв цэг (grup centroids) -4.050 Төв цэг 1
0.158
-1.946 Зааглалтын цэг
Эх сурвалж: Судлаачийн тооцоолол
16
Төв цэг 2
Ихэнх судлаачид зааглалтын цэгийг дээрх аргаар тооцдог хэдий ч групп тус бүрийн түүврийн хэмжээ, дундаж болон төв цэг хоорондын зай зэргээс шалтгаалан үр дүнд сөрөг нөлөө үзүүлэх эрсдэлтэй байж болно. Дискриминант функцийн оновчтой зааглалтын цэгийг тооцох арга зүйн талаар Малайз улсын судлаач Т.Рамаяийн бусадтай хамтарсан судалгаанаас харж болно (Ramayah, et al. 2010). Зураг 8. Оновчтой зааглалтын цэг байгуулах аргачлал
Эх сурвалж: Ramayah, T; Ahmad, N.H; Halim, H.A; Zainal, S.R.M; Lo,M.C (2010), Discriminant analysis: An illustrated example, African Journal of Business Management Vol. 4(9), pp. 1654-1667, 4 August, 2010
Энд 𝑍𝐶𝑆 нь оновчтой зааглалтын цэг, 𝑍𝐴 болон 𝑍𝐵 нь A болон B группийн төв цэг, 𝑁𝐴 болон 𝑁𝐵 нь A болон B группийн түүврийн хэмжээ байна. Тус аргаар үнэлбэл бидний боловсруулсан дискриминант функцийн оновчтой зааглалтын цэг нь 𝑍𝐶𝑆 = 0.15879 гарч байна. Ингээд хэвийн зааглалтын цэг болох COP = −1.946 болон оновчтой зааглалтын цэг тус бүрээр үнэлэв. Үнэлгээний үр дүнгээс харвал дампуурсан болон дампуураагүй компанийг үнэн таамаглах ерөнхий чадвар (жигнэсэн дундаж) хэвийн зааглалтын цэгтэй үед 96.71 хувь, оновчтой зааглалтын цэгтэй үед 96.95 хувь үнэн таамаглаж байна. Хүснэгт 10. Хэвийн ба оновчтой зааглалтын цэг дэх таамаглах чадварын үнэлгээ Z Тоо Хувь
Дампуурсан
Оновчтой зааглалтын цэг
Хэвийн зааглалтын цэг Дампуурсан 10
Дампуураагүй Дампуурсан 6 5
Дампуураагүй 11
Нийт 16
Дампуураагүй
8
402
2
408
410
Дампуурсан Дампуураагүй
62.5 2.0
37.5 98.0
31.3 0.5
68.8 99.5
100.0 100.0
Эх сурвалж: Судлаачийн тооцоолол
4.5 Хиймэл оюун ухааны сүлжээ загварын үр дүн Хиймэл оюун ухааны сүлжээ загварын боловсруулалтыг хийдэг хэд хэдэн програм байдаг боловч бидний хувьд хамгийн өргөн ашигладаг SPSS 21.0, NeuroSolutions 7.0, Alyuda Neuro Intelligence, Visual Gene Developer 1.7 гэсэн 4 төрлийн програмыг зэрэг ашиглав. Учир нь зарим програм шаардлагатай үр дүнг дутуу тооцдог зэрэг хэд хэдэн шалтгаантай. Эхний удаад бид Alyuda Neuro Intelligence програмын тусламжтайгаар оновчтой бүтцийг (optimal architecture) тодорхойлохыг зорьсон. Учир нь хиймэл оюун ухааны сүлжээ загварт орж буй орцын (input) тоо, чанараас хамаараад үр дүнтэй, ач холбогдол бүхий гарцыг (output) олж тогтоохын тулд оновчтой бүтцийг тодорхойлох хэрэгтэй болдог. Орцыг шилжүүлэхэд гол төлөв шугаман (linear), ложистик (logistic), гиперболлог тангенс (hyperbolic tangent) гэсэн функцүүд ашигладаг бол гарцыг шилжүүлэхэд эдгээр функцээс гадна софт макс (softmax) функцийг өргөн ашигладаг.
17
Орц нь бидний судалгаанд ашиглаж буй үл хамааран хувьсагчид байх бол гарц нь дампуурсан эсэхийг тодорхойлох утга байна. Мөн орцын алдааны функц хөндлөн энтроп (cross-entropy), хүлээн зөвшөөрөх түвшин нь 0.5, нийцлийн шинжүүр (fitness criterion) нь акайкийн мэдээллийн шинжүүр (akaike info criterion), хамгийн их давталтын тоо (max iteration) 500, хүлээн зөвшөөрөх (accept level) болон татгалзах (reject level) түвшин нь тус бүр 0.5 байхаар үнэлэв. Хиймэл оюун ухааны сүлжээ загвар боловсруулдаг зарим програм нь сургах (training set), үнэлэх (validation set), шалгах (testing test) гэсэн 3 хэсэгт түүврийг ангилахыг шаарддаг бөгөөд ангилал хийхдээ тухайн програм нь түүврийн хэмжээнээс хамаараад харилцан адилгүй хувь санал болгодог. Бидний бэлтгэсэн 426 түүврийн 14 нь үнэлгээ хийх боломжгүй учир хасагдаж үлдсэн 412 түүврийг 68:16:16 гэсэн харьцаагаар ангилан бодолт хийсэн. Хасагдсан түүврийн хувьд программ −1.23 > 𝐸𝐵𝐼𝑇𝑇𝐴 < 0.92, −1.67 < 𝐸𝑇𝐴 < 1, 3.1 < 𝐿𝑂𝐺𝑇𝐴 < 8.47, −68.31 < 𝐿𝐸 < 65.55 хязгаарт оршихгүй нөхцөлд хэвийн бус гэж үзээд түүврийг автоматаар хассан байна. Орцын шилжүүлэх функц шугаман үеийн үнэлгээг (linear input activation function) хийж үзэхэд [4-1-1] гэсэн бүтэц хамгийн оновчтой буюу 4 орц (input variable), 1 нуугдмал давхарга дахь зангилааны тоо (hidden layer nodes), 1 гарцын давхаргатай (output layer) үед хамгийн оновчтой гарсан. Харин орцын хөрвүүлэх функц ложистик үеийн үнэлгээ (logistic input activation function) хийж үзэхэд [4-6-1] үед оновчтой байгаа бол орцын хөрвүүлэх функц гиперболлог тангенс үеийн (hyperbolic tangent input activation function) үнэлгээгээр [4-3-1] бүтэцтэй гарсан. Эдгээр бүтцээс сонголт хийхдээ нийцлийн болон акайк мэдээллийн шинжүүр модулиараа хамгийн их буюу 3280.658, мөн үнэн таамаглах чадвар хамгийн өндөр (сурах процессын хэсэгт 100.0 хувь, бүтцийг тодорхойлох хэсэгт 98.46 хувь, шалгах хэсэгт 96.92 хувийг тус бүр зөв таамагласан) гарсан гиперболлог тангенс шилжүүлэх функц бүхий бүтцийг сонгож нэмэлт шинжилгээг хийхээр болов. Хүснэгт 11. Орцын хөрвүүлэх функц гиперболлог тангенс үеийн үнэлгээ ID Architecture Weights Fitness Train Validation Test 1 [4-1-1] 7 2662.759418 0.978723 0.969231 0.969231 2 [4-2-1] 13 2569.633073 0.971631 0.984615 1 3 [4-3-1]* 19 3280.658044 1 0.984615 0.969231 4 [4-4-1] 25 3268.658044 1 0.984615 0.969231 5 [4-5-1] 31 3256.658044 1 0.984615 0.969231 6 [4-6-1] 37 3244.658044 1 0.984615 0.969231 7 [4-7-1] 43 3232.658044 1 0.969231 0.969231 8 [4-8-1] 49 3220.658044 1 0.984615 0.969231 9 [4-9-1] 55 3208.658044 1 0.984615 0.969231 10 [4-10-1] 61 3196.658044 1 0.984615 0.969231
AIC -2662.759418 -2569.633073 -3280.658044 -3268.658044 -3256.658044 -3244.658044 -3232.658044 -3220.658044 -3208.658044 -3196.658044
Эх сурвалж: Судлаачийн тооцоолол
Үүний дараа бид VisualGeneDeveloper програмын тусламжтайгаар [4:3:1] бүтэц бүхий гиперболлог тангенс шилжүүлэх функцтэй үнэлгээг хийлээ. Үүнд: 18
Хүснэгт 12. VisualGeneDeveloper программ дахь бодолтын хураангуй үр дүн Үзүүлэлт Parameter Орцын тоо Нуугдмал давхаргын тоо Нуугдмал давхаргын зангилааны тоо Гарцын давхаргын тоо Сурах түвшин Моментын коэффициент Нуугдмал давхаргын шилжүүлэх функц Гарцын давхаргын шилжүүлэх функц Сурах процессын хамгийн их утга Хүлээн зөвшөөрөх алдааны хэмжээ Хязгаарлалтын урьдач аргачлал Шинжилгээний шинэчлэлт хийх давтамж Алдааны нийлбэр Орц тус бүрд ногдох дундаж алдаа
Number of input variables Number of hidden layer Node # of hidden layer Number of output layer Learning rate Momentum coefficient Hidden layer activition function Output layer activition function Max # of training cycle Target error Initialization method of threshold Analysis update interval (cycles) Sum of error Avg error per output per dataset
Нэгж
4 1 3 1 0.001 0.1 Гиперболлог тангенс Ложистик 1000000 0.00001 (1E-05) Санамсаргүй 500 2.85687637329102 0.00670628256641
Сүлжээний зангилааны цэгүүдийн холбоосын (synaptic) хувийн жин нь орцоос нуугдмал давхаргад шилжихдээ сул гишүүн (bias), хүү татварын өмнөх ашгаар тооцсон нийт хөрөнгийн ашигт ажиллагаа, компанийн хэмжээг илэрхийлсэн үзүүлэлтийн хувьд сөрөг, мөн нуугдмал давхарга дахь 1-р зангилаанаас Z=1 утга; 2 болон 3-р зангилаанаас Z=0 утгатай сөрөг хувийн жингээр, бусад тохиолдолд эерэг хувийн жингээр (𝑆𝑊 > 0) холбогдож байна. Хиймэл оюун ухааны сүлжээ загварын зааглалтын цэгийг М.Соурэшжаний болон А.Кимягарий нарын зөвлөсөн арга болох хиймэл оюун ухааны сүлжээ загварын оновчтой зааглалтын цэгийг def=0 буюу дампуурсан компанийг үнэн таамаглах чадвар (specifity) болон def=1 буюу дампуураагүй компанийг үнэн таамаглах чадварын (sensitivity) нийлбэр хамгийн их үеийн зааглалтын цэг нь цэг 0.4-0.7 үед хамгийн оновчтой болох нь харагдаж байна. 4.6 Боловсруулсан загварыг шалгасан тестийн үр дүн Судалгааны энэ хэсэгт бид DA, LM, ANN аргаар боловсруулсан загварууд нь практикт хэрхэн нийцэж байгааг шалгах үүднээс санамсаргүй түүвэрлэлтийн аргаар сонгосон 772 компанийн санхүүгийн тайланг ашиглан шалгав. Эдгээр компаниудын хувьд шүүхийн шийдвэрийн дагуу дампуурал нь албан ёсоор зарлагдаагүй ч өөрийн хөрөнгө, хуримтлагдсан ашиг болон тайлант үеийн цэвэр ашиг зэрэг нь сөрөг утгатай гарсан 75 компани байна. Ингээд боловсруулсан загваруудын практик ач холбогдол ямар байгааг шалгаж үзэхэд хиймэл оюун ухааны сүлжээ загвар нь аль ч тохиолдолд хамгийн бага алдаатай таамаглаж байна. Хүснэгт 13. Загваруудын таамаглах чадвар, хэвийн зааглалтын цэгтэй үед Дампуурсныг зөв Дампуураагүйг зөв таамагласан таамагласан Боловсруулсан арга Тоо Хувь Тоо Хувь Дискриминант шинжилгээ 50 66.7% 664 95.3% Ложит загвар 66 88.0% 559 80.2% Хиймэл оюун ухааны сүлжээ 61 81.3% 686 98.4% Эх сурвалж: Судлаачийн тооцоолол
19
Ерөнхий таамаглах чадвар 92.5% 81.0% 96.8%
Ложит аргад тулгуурлан боловсруулсан дампуурлын загвар нь бусад аргад тулгуурлан боловсруулсан загваруудаа бодвол харьцангуй сул таамаглаж байна. Өөрөөр хэлбэл оновчтой хязгаарлалттай үед ложит загвараар үнэлсэн дампуурлын загвар нь дампуурсан компанийг 98.7 хувь, дампуураагүй компанийг 56.4 хувь үнэн таамагласан тул ерөнхий таамаглах чадвар нь ийнхүү 60.5 хувь гарахад хүргэжээ. Хүснэгт 14. Загваруудын таамаглах чадвар, оновчтой зааглалтын цэгтэй үед Дампуурсныг зөв Дампуураагүйг зөв Ерөнхий таамагласан таамагласан таамаглах Боловсруулсан арга чадвар Тоо Хувь Тоо Хувь Дискриминант шинжилгээ 31 41.3% 678 97.3% 91.8% Ложит загвар 74 98.7% 393 56.4% 60.5% Хиймэл оюун ухааны сүлжээ 61 81.3% 686 98.4% 96.8% Эх сурвалж: Судлаачийн тооцоолол
Харин хиймэл оюун ухааны сүлжээ загвар нь зааглалтын түвшин хэвийн болон оновчтой аль ч үед дампуурсан компанийг 81.3 хувь, дампуураагүй компанийг 98.4 хувь (үнэн таамаглах ерөнхий чадвар 96.8 хувь) үнэн таамагласан тул хамгийн сайн нийцэх загвар болсон гэж үзэж байна. Мөн тус арга нь загвар боловсруулахад ашигласан 426 түүврийг ямар ч зааглалтын цэгтэй үед бусад аргуудаар үнэлсэн загваруудаасаа харьцангуй сайн таамаглаж байгааг хүснэгт 46-аас харж болно. Хүснэгт 15. Дампуурлын загваруудын таамаглаж буй ерөнхий чадварын нэгтгэл Дампуурлын загвар боловсруулан арга Ложит загвар Дискриминант шинжилгээ Хиймэл оюун ухааны сүлжээ
Сургах түүвэр (426) Хэвийн Оновчтой 97.2 97.0 96.71 96.95 99.3 99.1
Шалгах түүвэр (772) Хэвийн Оновчтой 81.0 60.5 92.5 91.8 96.8 96.8
Эх сурвалж: Судлаачийн тооцоолол
5. Судалгааны дүгнэлт болон санал, зөвлөмж Параметрийн бус аргад тулгуурласан компанийн дампуурлыг таамаглах загвар нь аль ч тохиолдолд таамаглах чадвар өндөртэй байгааг бидний судалгаа харуулж байна. Тиймээс манай улсад үйл ажиллагаа явуулж буй компаниудын дампуурлыг таамаглахын тулд хиймэл оюун ухааны сүлжээ аргаар боловсруулсан загвар илүү тохиромжтой юм. 1960-1970 онуудад дискриминант шинжилгээ, 1970-1980 онуудад шугаман магадлалын загвар, 1980-1990 онуудад ложит, пробит загвар зэрэг параметрийн загвар ашиглаж байсан бол 1990-ээд оноос хойш хиймэл оюун ухааны сүлжээ, шийдвэрийн модны арга, тулгуур вектор машин, генетик програмчлал, аз туршилтын загвар, ангиллын дүрэм зэрэг параметрийн бус арга, загварыг дангаар нь болон хослуулах замаар ашиглах болсон нь компанийн дампуурлыг таамаглах загварын хөгжилд үнэтэй хувь нэмэр оруулсан байна. Бидний загвар нь зөвхөн богино хугацаанд буюу 1 жилийн дараах дампуурах эрсдэлийг урьдчилан таамаглах боломжтой бөгөөд, хугацаа уртсах тусам таамаглах чадвар нь буурах болно. Мөн тус загвар нь аль нэг салбар, хөрөнгийн хэмжээ болон өмчлөлийн хэлбэрээс хамааруулан ямар нэг хязгаарлалт хийгээгүй тул Монгол улсад үйл ажиллагаа явуулж буй ямар ч компанийн дампуурлыг таамаглах боломжтой юм. 20
ЭХ СУРВАЛЖ Altman, E. "Discriminant Analysis and the Prediction of Corporate Bankruptcy." The Journal of Finance, 1968: pp. 589-609. Altman, E, I, G Marco, and F Varetto. "Corporate Distress Diagnosis: Comparisons Using Linear Discriminate Analysis and Neural Networks." Journal of Banking and Finance, 1994: 18, 505–529. Aziz, M, A, and H, A Dar. "Predicting corporate bankruptcy: Where we stand? ." Corporate Governance, 2006: 6(1), 18-33. Back, B, T Laitinen, and K Sere. "Neural network and genetic algorithm for bankruptcy predictions. ." 1996: Exp Syst Appl 11:407–413 . Bell, T, G Ribar, and J Verchio. "Neural Nets Versus Logistic Regression: a Comparison of Each Model’s Ability to Predict Commercial Bank Failures, In Proceeding of the 1990 Deloitte Touche/Univ. ." Kansas Symp. On Auditing Problems, 1990: 29–53. Bellovary, J,L, D,E Giacomino, and M,D Akers. "A Review Of Going Concern Prediction Studies: 1976 To Present. ." Journal of Business & Economics Research – May 2007 , 2007: Volume, Number 5. Chen, M-Y. "Bankruptcy prediction in firms with statistical and intelligent techniques and a comparison of evolutionary computation approaches." Computers and Mathematics with Applications, 2011: 62 (2011), 4514-4524. Cho, S, H Hong, and B-C Ha. "A hybrid approach based on the combination of variable selection using decision trees and case-based reasoning using the Mahalanobis distance: For bankruptcy prediction." Expert Systems with Applications": Vol. 37 (2010), 3482–3488. Coats, P, and L Fant. "A Neural Network Approach to Forecasting Financial Distress, ." Journal of Business Forecasting, 1992: 10(4), 9-12. Edmister, R. "An Empirical Test of Financial Ratio Analysis for Small Business Failure Prediction." Journal of Financial and Quantitative Analysis. Vol. 7. No. 2, 1930: 14771493. Fernandez, E, and I Olmeda. " Bankruptcy prediction with artificial neural networks." Lect. Notes Comput., 1995: Sc., pp. 1142–1146, 1995. FitzPatrick, P.J. "A Comparison of Ratios of Successful Industrial Enterprises with Those of Failed Companies." The Certified Public Accountant, 1932: 727-731. Fletcher, D, and E Gos. "Forecasting with Neural Networks—an Application Using Bankruptcy Data." Information Management, 1993: 24, 59–167. Hanweck, G.A. "Predicting Bank Failure." Research Paper in Banking and Financial Economics,, 1977: Financial Studies Section, Division of Research and Statistics, Board of Governors of the Federal Reserve System, November. Hebb, Donald, Olding. The Organization of Behavior. New York: Wiley, 1949. Hua, Z, Y Wang, X Xu, B Zhang, and L Liang. " Predicting corporate financial distress based on integration of support vector machine and logistic regression. ." Exp Syst Appl , 2007: 33:434–440. Ignizio, JP, and JR Soltys. "Simultaneous design and training of ontogenic neural network classifiers. ." Comput Oper Res , 1996: 23:535–546.
21
Jha, Girish Kumar. Artificial neural networks and its applications. . New Delhi-110-012.: I.A.R.I., http://www.iasri.res.in/ebook/ebadat/5Modeling%20and%20Forecasting%20Techniques% 20in%20Agriculture/5-ANN_GKJHA_2007.pdf , 2011. Kwak, W, X Cheng, J Ni, Y Shi, G Gong, and N Yan. "Bankruptcy Prediction for Chinese Firms: Comparing Data Mining Tools With Logit Analysis." 2014. Linden, H. "Synthesis of research studies examining prediction of bankruptcy." Department of Accounting School of Business, 2015: Accounting Master's thesis. Martin, D. "Early Warning of Bank Failure: A Logit Regression Approach." Journal of Banking and Finance, 1977: 1, 249-276. McCulloch, W,S, and W,H Pitts. "A Logical Calculus of the Ideas Immanent in Nervous Activity." Bulletin of Mathematical Biophysics, 1943: 5, 115-133. Merwin, C. "Financing Small Corporations." Bureau of Economic Research. New York, 1942. Meyer, P,A, and H,W Pifer. "Prediction of Bank Failures." The Journal of Finance, 1970: 25(4), 853-868. http://dx.doi.org/10.1111/j.1540-6261.1970.tb00558.x. Min, SH, J Lee, and I Han. "Hybrid genetic algorithms and support vector machines for bankruptcy prediction." Exp Syst Appl, 2006: 31:652–660. Ohlson, J,A. "Financial Ratios and the Probabilistic Prediction of Bankruptcy." Journal of Accounting Research (spring), 1980: 109-131. Ramayah, T, Noor Hazlina Ahmad, Hasliza Abdul Halim, Siti Rohaida Mohamed Zainal, and MayChiun Lo. "Discriminant analysis: An illustrated example." African Journal of Business Management, 2010: Vol. 4(9), pp. 1654-1667, 4 August, 2010. Shiri, M,M, and M Ahangary. "Corporate Bankruptcy Prediction using Data Mining Techniques: Evidence from Iran." African Journal of Scientific Research , 2012: Vol. 8, No. 1. Smith, F.R, and A.H Winakor. "Changes in Financial Structure of Unsuccessful Corporations." Bureau of Business Research. No. 31. University of Illinois., 1935. Soureshjani, Mehrnaz Heidari, and Ali Mohammad Kimiagari. "Calculating the best cut off point using logistic regression and neural network on credit scoring problem- A case study of a commercial bank. ." African Journal of Business Management, 2013: DOI: 10.5897/AJBM11.394, Vol. 7(16), pp. 1414-1421, 28 April, 2013. Tam, K, and M Kiang. "Managerial Applications of the Neural Networks: the Case of Bank Failure Predictions." Management Science, 1992: 38, 416–430. Udo, G. "Neural Network Performance on the Bankruptcy Classification Problem." Computers and Industrial Engineering, 1993: 5, 377-380. Wall, A. "How to evaluate financial statements." Harper. New York, 1936. Wilson, R, L, and R Sharda. "Bankruptcy Prediction Using Neural Networks, ." Decision Support Systems, 1994: 11(5), 545–557. Zmijewski, M. "Methodological issues related to the estimation of financial distress prediction models." Journal of Accounting Research 22 (Suppl.), 59–82.8, 1984.
22
ХАВСРАЛТ № 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
Хавсралт 1. Компанийн дампууралд нөлөөлөгч санхүүгийн хүчин зүйлс Түгээмэл ашиглагдаж буй топ 50 санхүүгийн харьцаа Тэмдэглэл Давтамж Хувь Цэвэр ашиг/ Нийт хөрөнгө NITA 136 7.6% Эргэлтийн хөрөнгө / Богино хугацаат өр төлбөр CACL 126 7.1% Ажлын капитал / Нийт хөрөнгө WCTA 107 6.0% Нийт өр төлбөр / Нийт хөрөнгө TLTA 105 5.9% Хуримтлагдсан ашиг / Нийт хөрөнгө RETA 98 5.5% Хүү, татварын өмнөх ашиг / Нийт хөрөнгө EBITTA 97 5.5% Борлуулалтын орлого/ Нийт хөрөнгө STA 80 4.5% Эргэлтийн хөрөнгө / Нийт хөрөнгө CATA 71 4.0% (Эргэлтийн хөрөнгө-бараа материал)/Богино хугацаат өр төлбөр CICL 69 3.9% Цэвэр ашиг / Өөрийн хөрөнгө NIE 51 2.9% Бэлэн мөнгө / Нийт хөрөнгө CTA 46 2.6% Үйл ажиллагааны мөнгөн гүйлгээ / Нийт өр төлбөр CFOTL 45 2.5% Өөрийн хөрөнгийн зах зээлийн үнэ / Нийт өр MVED 44 2.5% Богино хугацаат өр төлбөр / Нийт хөрөнгө CLTA 34 1.9% Өөрийн хөрөнгө/ Нийт хөрөнгө ETA 28 1.6% Үйл ажиллагааны мөнгөн гүйлгээ / Богино хугацаат өр төлбөр CFOCL 26 1.5% Үйл ажиллагааны мөнгөн гүйлгээ/ Нийт хөрөнгө CFOTA 26 1.5% Цэвэр ашиг / Борлуулалтын орлого NIS 25 1.4% Урт хугацаат өр төлбөр / Нийт хөрөнгө LTDTA 24 1.3% Хүү, татварын өмнөх ашиг / Зээлийн хүүгийн зардал EBITI 23 1.3% Үйл ажиллагааны орлого / Нийт хөрөнгө OITA 23 1.3% Өр төлбөр / Өөрийн хөрөнгө LE 23 1.3% Бэлэн мөнгө / Богино хугацаат өр төлбөр CCL 21 1.2% Үйл ажиллагаа мөнгөн гүйлгээ/ Борлуулалтын орлого CFOS 21 1.2% Эргэлтийн хөрөнгө / Борлуулалтын орлого CAS 21 1.2% Бараа материал / Борлуулалтын орлого IS 21 1.2% Нийт хөрөнгийн логарифм LOGTA 19 1.1% Цэвэр ашгийн өөрчлөлт CHIN 19 1.1% Өөрийн хөрөнгийн бүртгэлийн үнэ цэнэ / Нийт өр BVED 19 1.1% Цэвэр ашгаарх мөнгөн гүйлгээ / Өр төлбөр CFD 18 1.0% Борлуулалтын орлогын логарифм LOGS 18 1.0% Ажлын капитал / Борлуулалтын орлого WCS 17 1.0% (Нийт орлого-Борлуулсан бүтээгдэхүүний өртөг)/ ББӨ RCGS 16 0.9% Үндсэн хөрөнгө / Хөрөнгө CA 16 0.9% Богино хугацаат өр төлбөр / Эргэлтийн хөрөнгө CLCA 16 0.9% Хүү, татварын өмнөх ашиг / Богино хугацаат өр төлбөр EBITCL 16 0.9% Борлуулалтын орлого / Бараа материал SI 16 0.9% Үйл ажиллагааны зардал / Үйл ажиллагааны орлого OEOI 16 0.9% Үйл ажиллагаанаас бий болсон нөөц/ Нийт өр төлбөр FULT 16 0.9% Нийт өр төлбөр нь нийт хөрөнгөөс их бол 1, үгүй бол 0 OENEG 16 0.9% Цэвэр ашиг нь сүүлийн 2 жил сөрөг байсан бол 1, үгүй бол 0 INTWO 16 0.9% Цэвэр борлуулалт / Нийт хөрөнгө NSTA 16 0.9% Нийт орлого / Хөрөнгө RA 16 0.9% Татварын өмнөх цэвэр ашиг / Цэвэр борлуулалт NIBTS 16 0.9% Түргэн хөрвөх хөрөнгө / Борлуулалт QAS 15 0.8% Борлуулалтын орлого/ Эргэлтийн бус хөрөнгө SFA 15 0.8% Ажлын капитал / Өөрийн хөрөнгө WCE 15 0.8% (Авлага / Борлуулалтын орлого) *360 RS 14 0.8% Борлуулалтын орлого / Эргэлтийн хөрөнгө хөрөнгө SCA 13 0.7% Хөрөнгө оруулалтын мөнгөн урсгал / Өр төлбөр CFIATA 13 0.7% Эх сурвалж: Судлаачийн тооцоолол
23
Хавсралт 2. Үл хамааран хувьсагчдын вариацын шинжилгээ Хүчин Дампуурсан компани Дампуураагүй компани F статистик F стат зүйл магадлал Дундаж Медиан С.т.д.Х Дундаж Медиан С.т.д.Х NITA -0.46 -0.12 0.58 0.03 0.01 0.68 8.08*** 0.00 CACL 0.72 0.32 0.82 44.73 1.57 459.12 0.15 0.70 WCTA -1.55 -0.59 2.45 0.08 0.08 0.41 109.45*** 0.00 TLTA 2.55 1.41 2.13 0.39 0.32 0.37 243.20*** 0.00 RETA -2.48 -1.63 2.82 -0.06 0.00 0.55 157.22*** 0.00 EBITTA -0.46 -0.12 0.58 0.04 0.01 0.69 8.25*** 0.00 STA 0.44 0.31 0.36 0.66 0.39 0.87 1.09 0.30 CATA 0.31 0.11 0.31 0.38 0.36 0.27 1.16 0.28 CICL 0.43 0.15 0.51 22.33 1.01 171.62 0.26 0.61 NIE 0.84 0.28 1.74 0.14 0.02 1.65 2.76* 0.10 CTA 0.02 0.00 0.03 0.07 0.01 0.15 1.93 0.17 CLTA 1.86 1.02 2.32 0.30 0.20 0.35 121.00*** 0.00 ETA -1.55 -0.41 2.13 0.61 0.69 0.37 243.20*** 0.00 NIS -1.35 -0.48 2.39 -0.35 0.02 4.08 0.95 0.33 LOGTA 0.70 0.03 1.20 0.09 0.00 0.06 5.08** 0.02 OITA 0.27 0.11 0.36 0.32 0.13 0.70 0.10 0.75 LE -15.54 -2.62 33.35 1.82 0.41 20.27 10.65*** 0.00 CCL 0.04 0.01 0.07 18.01 0.09 165.55 0.19 0.66 CAS 1.73 0.50 2.69 9.27 0.68 54.72 0.30 0.58 IS 0.80 0.22 1.89 1.15 0.16 5.60 0.06 0.80 WCE 5.94 5.59 1.23 6.13 6.12 1.01 0.54 0.46 LOGS 5.40 5.21 1.25 5.61 5.62 1.19 0.50 0.48 WCS -3.59 -1.55 4.77 1.89 0.15 31.15 0.49 0.48 CA 0.69 0.89 0.31 0.62 0.64 0.27 1.14 0.29 CLCA 105.0 3.57 299.6 30.90 0.64 377.34 0.60 0.44 EBITCL -0.53 -0.19 1.13 -4.36 0.05 201.24 0.01 0.94 OEOI 2.85 1.71 3.96 2.04 0.88 14.67 0.05 0.83 NINSTA 0.44 0.31 0.36 0.67 0.40 0.87 1.13 0.29 RA 0.44 0.31 0.36 0.67 0.40 0.86 1.13 0.29 NIBTS -1.35 -0.48 2.39 -0.41 0.03 3.77 0.97 0.33 QAS 0.14 0.01 0.42 1.16 0.04 6.31 0.41 0.52 WCE 6.87 1.20 23.89 0.02 0.13 11.25 0.51 0.84 RS 181.80 61.7 258.1 1962 50.8 14087 0.25 0.61 Тайлбар: *, **, *** тус бүр 10, 5, 1 хувийн критик утга Хавсралт 3. Үл хамааран хувьсагчдын корреляц матриц NITA
WCTA
TLTA
RETA
EBITTA
NIE
CLTA
ETA
LTDTA
NITA
1.00
0.19
-0.19
0.12
0.94
0.41
-0.14
0.19
-0.13
0.01
-0.01
WCTA
0.19
1.00
-0.80
0.73
0.20
-0.06
-0.92
0.80
0.09
0.02
-0.02
TLTA
-0.19
-0.80
1.00
-0.79
-0.19
0.06
0.87
-1.00
0.40
0.01
0.02
RETA
0.12
0.73
-0.79
1.00
0.13
-0.08
-0.70
0.79
-0.30
0.01
-0.01
EBITTA
0.94
0.20
-0.19
0.13
1.00
0.41
-0.14
0.19
-0.13
0.01
-0.01
NIE
0.41
-0.06
0.06
-0.08
0.41
1.00
0.08
-0.06
-0.02
-0.20
0.51
-0.14
-0.92
0.87
-0.70
-0.14
0.08
1.00
-0.87
-0.10
0.01
0.01
0.19
0.80
-1.00
0.79
0.19
-0.06
-0.87
1.00
-0.40
-0.01
-0.02
-0.13
0.09
0.40
-0.30
-0.13
-0.02
-0.10
-0.40
1.00
0.01
0.01
0.01
0.02
0.01
0.01
0.01
-0.20
0.01
-0.01
0.01
1.00
-0.71
-0.01
-0.02
0.02
-0.01
-0.01
0.51
0.01
-0.02
0.01
-0.71
1.00
CLTA ETA LTDTA LE LOGTA
Эх сурвалж: Судлаачийн тооцоолол
24
LE
LOGTA
Хавсралт 4. Хиймэл оюун ухааны сүлжээ загваруудын үр дүн Training Cross validation Testing № Model Name RMSE Correct RMSE Correct RMSE Correct 1 MLPR-1-O-M (Regression MLP) 0.288 97.2% 0.169 100.0% 0.086 98.5% 2 MLPC-1-O-M (Classification MLP) 0.558 95.5% 0.299 100.0% 0.007 97.1% 3 LinR-0-B-R (Linear Regression) 0.728 96.2% 0.512 98.5% 0.134 100.0% 4 LinR-0-B-L (Linear Regression) 0.697 96.2% 0.530 98.5% 0.033 98.5% 5 LogR-0-B-R (Logistic Regression) 0.718 95.5% 0.389 98.5% 0.013 98.5% 6 LogR-0-B-L (Logistic Regression) 0.694 95.5% 0.372 98.5% 0.000 97.1% 7 MLPR-1-B-L (Regression MLP) 0.540 95.9% 0.305 100.0% 0.419 97.1% 8 MLPC-1-B-L (Classification MLP) 0.962 95.5% 0.951 97.1% 0.951 98.5% 9 PNN-0-N-N (Probabilistic Neural Network) 0.735 96.2% 0.469 98.5% 0.000 100.0% 10RBF-1-B-L (Radial Basis Function) 0.573 96.6% 0.451 98.5% 0.056 100.0% 11GFFR-1-B-L (Reg Gen Feedforward) 0.612 95.5% 0.369 98.5% 0.126 98.5% 12GFFC-1-B-L (Class Gen Feedforward) 4.862 95.5% 6.132 97.1% 6.884 98.5% 13MLPRPC-1-B-L (Reg MLP with PCA) 0.438 97.9% 0.565 98.5% 0.245 98.5% 14MLPCPC-1-B-L (Class MLP with PCA) 0.604 97.2% 0.378 98.5% 0.498 100.0% 15SVM-0-N-N (Classification SVM) 8.315 95.5% 6.079 97.1% 1.156 98.5% 16TDNN-1-B-L (Time-Delay Network) 0.280 99.3% 0.166 100.0% 0.166 98.5% 17TLRN-1-B-L(Time-Lag Recurrent Network) 0.953 95.8% 0.972 97.1% 0.930 98.5% 18RN-1-B-L (Recurrent Network) 0.749 95.8% 0.435 98.5% 0.127 100.0% 19MLPR-2-B-L (Regression MLP) 0.509 98.3% 0.082 100.0% 0.053 97.1% 20MLPC-2-B-L (Classification MLP) 0.658 95.5% 0.422 98.5% 0.258 97.1% 21MLPR-1-B-R (Regression MLP) 0.517 96.9% 0.208 100.0% 0.087 98.5% 22MLPC-1-B-R (Classification MLP) 0.684 95.1% 0.333 98.5% 0.000 97.1% 23MLPR-2-O-M (Regression MLP) 0.412 97.2% 0.265 100.0% 0.399 98.5% 24MLPC-2-O-M (Classification MLP) 0.952 95.8% 0.951 97.1% 0.950 98.5% 25MLPR-2-B-R (Regression MLP) 0.404 98.3% 0.336 100.0% 0.596 97.1% 26MLPC-2-B-R (Classification MLP) 0.625 95.1% 0.350 98.5% 0.126 97.1% 27MLPRPC-1-O-M (Reg MLP with PCA) 0.616 95.8% 0.547 98.5% 0.119 98.5% 28MLPCPC-1-O-M (Class MLP with PCA) 0.926 95.8% 0.873 97.1% 0.833 98.5% 29MLPRPC-1-B-R (Reg MLP with PCA) 0.762 96.2% 0.614 98.5% 0.109 100.0% 30MLPCPC-1-B-R (Class MLP with PCA) 0.774 95.5% 0.657 98.5% 0.000 98.5% 31GFFR-1-O-M (Reg Gen Feedforward) 0.562 95.1% 0.361 98.5% 0.003 97.1% 32GFFC-1-O-M (Class Gen Feedforward) 0.901 95.8% 0.788 97.1% 0.663 98.5% 33GFFR-1-B-R (Reg Gen Feedforward) 0.661 96.5% 0.358 100.0% 0.060 100.0% 34GFFC-1-B-R (Class Gen Feedforward) 0.686 95.1% 0.337 98.5% 0.000 97.1% 35RBF-1-O-M (Radial Basis Function) 0.715 95.5% 0.436 98.5% 0.179 98.5% 36RBF-1-B-R (Radial Basis Function) 0.660 95.8% 0.478 98.5% 0.281 100.0% 37TDNN-1-O-M (Time-Delay Network) 0.222 99.3% 0.108 100.0% 0.035 98.5% 38TDNN-1-B-R (Time-Delay Network) 0.148 100.0% 0.227 100.0% 0.054 100.0% 39RN-1-O-M (Recurrent Network) 0.759 96.2% 0.607 98.5% 0.038 98.5% 40RN-1-B-R (Recurrent Network) 0.600 96.2% 0.535 98.5% 0.056 98.5% 41TLRN-1-O-M (Time-Lag Recurrent Network) 0.680 96.5% 0.569 98.5% 0.208 98.5% 42TLRN-1-B-R(Time-Lag Recurrent Network) 1.003 95.8% 1.007 97.1% 1.006 98.5% Эх сурвалж: Судлаачийн тооцоолол
25