McGormick etal: Ha számít a pénz

Ha számít a pénz: kapcsolat az oktatási kiadások, a hallgatói bevonódás és a hallgatók tanulási eredményei között1 Pike, Gary R., Kuh, George D., McCormick, Alexander C., Ethington, Corinna A. és Smart, John C.

Azon problémával foglalkozó kérdések, vajon a f iskolák (colleges) és az egyetemek hatékonyan használják-e fel az er forrásaikat a hallgatók tanulásának segítése érdekében, részben a fels oktatás elszámoltathatóságára irányuló igények felé sarkallnak. Sajnos, túl kevés a tudás arról, hogy a pénz mekkora szerepet játszik az elérni kívánt fels oktatási (college) eredményekben. Felhasználva a 2004es Hallgatói bevonódás Országos Felmérésére (NSSE2) tett hallgatói válaszokat, összhangban az Integrált Posztszekunderi Oktatási Adatrendszer (IPEDS3) és a Fels oktatási Tanács (College Board) intézményi adataival, ez a tanulmány felmérte az oktatási kiadások, a hallgatói bevonódások és a kiválasztott hallgatók önbevallott tanulási eredményei közötti összefüggéseket, figyelembe véve az intézményi és hallgatói sajátosságokat. Az eredmények azt mutatták, hogy a kiadások mérsékelten álltak kapcsolatban a hallgatói bevonódással és a tanulási eredményekkel. Mindazonáltal e kapcsolatok jellege eltért egymástól a bevonódás/tanulási eredmény mértékét l és a hallgató évfolyamától függ en.

Bowen (1980) megfigyelte, hogy a f iskolák és az egyetemek annyi pénzt igyekeznek megszerezni, amennyit csak tudnak, és utána az összes pénzt, amit összegy jtöttek, olyan tevékenységekre költik, amelyeknek vitatható az érdemlegességük. Nyilvánvalóan ez a szemlélet nincs összhangban a policy létrehozók és az üzleti vezet k érdekeivel, akik akarják tudni, hogy amit a f iskolák és egyetemek költenek, milyen szinten áll összefüggésben azzal, hogy mennyit tanulnak a hallgatók. Valójában, a zárójelentésében az Egyesült Államok Fels oktatás Jöv jét Vizsgáló Oktatási Bizottsága 4 (2006, p. 4) javasolta, hogy a f iskolák és az egyetemek „váljanak átláthatóvá a költség, az ár és a hallgatói eredmények sikerességének megítélésének tekintetében”. A Bizottság fenti javaslata képviseli a fels oktatás min ségével és költségeivel foglalkozó számos fórum és kutatócsoport végs álláspontját (Ewell, 2008; Leveille, 2006).

Habár az információk a kiadások és a hallgatók tanulása közötti kapcsolatokról elengedhetetlen fontosságúak, meglep módon kevés ismeret van arról, hogy vajon és hogyan „számít a pénz” az elérni kívánt fels oktatási eredmények esetében. E tanulmány megkezdi betömni a hézagot a szakirodalomban az összefüggések feltárásával az intézményi kiadások, a hallgatói bevonódás és a hallgatók tanulása között.

Háttér A Coleman-jelentés óta, Equality of Educational Opportunity5 (Coleman et al., 1966), sok tanulmányt készítettek az oktatási kiadásokkal és a tanulók tanulásával kapcsolatban a K-12 szinten. Az a viszonylag kevés tanulmány, mely a fels oktatási kiadásokat és a hallgatói eredményeket (outcomes) vizsgálta, kétértelm eredményeket mutattak fel. Sajnos, megbízhatósági szempontból, az összefüggések a fels oktatási kiadások és a f iskolai eredmények között nem voltak ellentmondásmentesek sem a tanulmányok között, sem azokon belül. Például, az 1970-es években a 1

2 3 4 5

Pike, G., Kuh. G.D., McCormick, A. C., Ethington, C.A. & Smart, J.C. (2011) If and When Money Matters: The Relationships Among Educational Expenditures, Student Engagement and Students’ Learning Outcomes. Research in Higher Education, 52 (1), 81-106.

NSSE: National Survey of Student Engagement IPEDS: Integrated Postsecondary Education Data System The Secretary of Education's Commission on the Future of Higher Education Esélyegyenl ség az oktatásban

59

kutatóknak nem sikerült statisztikailag szignifikáns összefüggéseket találni a kiadások és mind a hallgatók záró teszteredményei (Rock et al., 1970, 1972) és a diplomaszerzés utáni kereseteik (James és Alsalam, 1993; James et al., 1989) között. Az újabb tanulmányok már találtak statisztikailag szignifikáns kapcsolatokat a kiadások és a f iskolai eredmények között, még a különböz intézményi és hallgatói sajátosságok statisztikai kontrollja után is (Astin, 1993; Gansemer-Topf és Schuh, 2006; Hayek, 2001; Ryan, 2004; Smart et al., 2002; Toutkoushian and Smart, 2001). Azonban az eredmények nem voltak megegyez ek a vizsgálatok között. Miközben Astin (1993), újabban Webber és Ehrenberg (2009) beszámolt arról, hogy a hallgatói szolgáltatásokra tett kiadások pozitív kapcsolatban álltak a hallgatói perzisztenciával6 (persistence). Ryan (2004) eközben nem talált ilyesfajta kapcsolatot, viszont azt tapasztalta, hogy az oktatásra és a tanulmányi támogatásra tett kiadások pozitívan kapcsolódnak a hallgatói perzisztenciához. Hayek (2001) szintén arra jutott, hogy szignifikáns pozitív összefüggés van a hallgatói perzisztencia és az oktatás és tanulmányi támogatásra tett kiadások között, miközben a kutatási és intézményi támogatásra tett kiadások negatív kapcsolatban álltak a hallgatói perzisztenciával és a diplomát szerz k számával. Legújabban, és egyben ellentétben az el z tanulmányokkal, Gansemer-Topf és Schuh (2006) azt találta, hogy a hallgatói perzisztencia kapcsolatban állt a magán, alapképzéseket nyújtó intézményekben a tanulmányi támogatási kiadásokkal, nem állt összefüggésben az oktatási kiadásokkal, és negatív kapcsolatban állt a hallgatói szolgáltatásokra és az intézményi támogatásra szánt kiadásokkal.

A Kooperatív Intézményi Kutató Program7 (CIRP), Toutkoushian és Smart (2001) azt találták, hogy az oktatási kiadások pozitívan kapcsolódtak a bevallott (a hallgatók által) interperszonális fejl déshez.

Ezzel ellentétben, Smart és mtsai. (2002) arról számoltak be, hogy az oktatási kiadások negatívan függtek össze a vezet i képességek (leadership) fejl désével. Toutkoushian és Smart (2001) azt is találták, hogy a tanulmányi támogatási kiadások pozitívan függtek össze a hallgatók mesterképzésre való felkészültségük önbevallásával, viszont negatívan kapcsolódtak a megszerzett tudáshoz és a kommunikációs készségek fejl déséhez.

Legalább négy tényez magyarázhatja meg a gyenge és inkonzisztens eredményeket az intézményi kiadások és az oktatási eredményekre vonatkozó kapcsolataira. Els ként, bármifajta kapcsolatok a kiadások és az eredmények között valószín leg csillapítottak, mivel a hallgatói eredményekben mutatkozó variancia csupán kis hányada köszönhet az intézmények között megtalálható különbségeknek. Pascarella és Terenzini (1991, 2005) és Kuh (2007) arra a következtetésre jutott, hogy a különbségek a hallgatók között nagyobbak az intézményeken belül, mint a különbségek az intézmények között. Továbbá, Pascarella és Terenzini (1991) szerint, az intézmények közötti variancia hiánya teszi bonyolulttá azonosítani az intézményi sajátosságokat, amelyek konzisztens módon összefüggésben állnak az oktatási eredményekkel. Az intézmények közötti variancia hiányából ered statisztikai problémák súlyosbítják a helyzetet akkor, amikor intézményeken belüli és intézmények közötti mértékeket kombinálnak ugyanazon vizsgálatban, mint ahogy az el bb hivatkozott, kiadásokkal és tanulási eredményekkel foglalkozó tanulmányok esete is mutatja. Amikor, hallgatói szint és intézményi szint változókat kombinálnak, kismérték összefüggéseket az eredmények és az intézményi sajátosságok között könnyedén elnyomhatják az er sebb kapcsolatok a hallgatói szint változók és az eredmények között.

A második tényez , amely hozzájárul a gyenge és inkonzisztens összefüggésekhez az oktatási kiadások és a tanulmányi eredmények között az, hogy sok vizsgálat különböz változókat és kiadásokra vonatkozó definíciókat használ. Például, néhány tanulmány csupán az oktatásra és a tanulmányi támogatásra szánt kiadásokat vizsgálja, miközben más tanulmányok a hallgatói szolgáltatásokra összpontosítanak. Adalékként, az intézmények nem egyformán tartják számon a kiadásaikat. A köz- és magán intézmények az IPEDS kiadási kérd ívei felé különböz elszámolási 6

7

Perzisztencia (persistence): hallgatói perzisztencia, azon tulajdonság, hogy a hallgatók a fels oktatási éveik alatt felmerül hátráltató vagy esetleg éppen serkent hatások ellenére képesek befejezni a tanulmányaikat (kiemelten fontos ez az etnikumhoz tartozó hallgatóknál és más hátrányos helyzet csoportoknál) Cooperative Institutional Research Program

60

követelményekkel rendelkeznek (National Center for Education Statistics, 2000). Még e két széles intézményi kategória között is a kiadások elszámolása jelent sen eltérhet, mivel a kiadási kategóriák definíciói jelent s teret hagynak az intézmények (kiadásokkal kapcsolatos) interpretációinak. A jelentések (reporting) ilyes fajta szeszélyei gyengíthetik a kapcsolatok er sségét, és nehézzé tehetik az ellentmondásoktól mentes összefüggések megtalálását a kiadások és a tanulási eredmények között.

A harmadik tényez az, hogy a kiadások közvetetten, és nem közvetlenül, kapcsolódnak a tanulási eredményekhez. Ez a feltételezés párhuzamban áll a K-12 szektorban végzett tanulmányok eredményeivel (Elliott, 1998; Wenglinskey, 1997), ahol a tanulók tanítására szánt oktatási kiadások hatásai olyan tényez kkel8 voltak közvetítve (mediated), mint a tanár-tanuló arány. A fels oktatásban a kapcsolatokat a kiadások és a tanulási eredmények között olyan mediációs tényez kkel lehet közvetíteni, mint a hallgatói bevonódás szintje, egy olyan elméleti konstruktum (construct), melynek eredete Tyler (1932) munkájában található, és Pace (1980, 1984), Astin (1984, 1985), és Kuh (2001, 2003) által vált népszer vé. Habár ezen írók különböz kifejezéseket használtak, hogy jellemezzék a hallgatói bevonódást, az nézeteik mind arra az el zetes feltevésre alapultak, hogy amennyit a hallgatók a f iskolán (college) tanulnak, az egyik függvénye annak, hogyan használják az idejüket és energiáikat (Kuh, 2003). A kutatások er s, egységes támogatását nyújtották e feltételezésnek azzal, hogy rámutattak, hogy a bevonódás pozitív összefüggésben áll a tanulási eredményekkel (Gellin, 2003; Kuh és mtai., 2000; Pascarella és mtai., 1996; Pike and Kuh, 2005; Pike és mtai., 2003). Habár ezen elméletek a hallgatói bevonódásra koncentrálnak, a meghúzódó alapfeltevés e megközelítés mögött az, hogy az intézményi sajátosságok és tevékenységek befolyásolják a bevonódást az egyetemen (campus) (Astin, 1985; Kuh és mtai., 1991, 2005; Pace, 1984). A hallgatói bevonódással és a tanulási eredményekkel kapcsolatos intézményi tényez k között találhatóak az intézmény mérete, küldetése, hallgatói szelekciója, mesterképzésekre fektetett hangsúly, és temérdek demográfiai adat a hallgatókról úgy, mint a teljes munkaid s (nappali tag.) hallgatók, az intézményt váltó hallgatók, m vészetek és tudományok mestert végz k és a kampuszon lakók aránya. (Kinzie és mtai., 2004; Kuh és mtai., 2005, 2007; McCormick és mtai., 2009; Pike és mtai., 2006).

Amikor Hayek (2001) felhasználta az er feszítés min ségét jelz indikátorokat a College Student Experiences Questionnaire (CSEQ) felmérésb l együtt az IPEDS és U.S. News and World Report tanulmányok változóival, hogy meghatározza, vajon a kiadások számítottak-e a hallgatói bevonódás tekintetében, azt találta, hogy a hallgatók er feszítéseinek min sége szignifikánsan kapcsolódott az intézményi támogatásra és a hallgatói szolgáltatásokra tett kiadásokkal, de nem állt összefüggésben az oktatásra és tanulmányi támogatásra tett kiadásokkal. Ezzel ellentétben Ryan (2005) negatív összefüggést talált a bevonódás és az intézményi támogatásra tett kiadások között. Porter (2006) nagyon gyenge kapcsolatot fedezett fel a kiadások és a hallgatói bevonódás között. Mindazonáltal, Porter (2006) kutatása behatárolt volt abban a tekintetben, hogy a kiadási változók a kutatás támogatásán, a közszolgálaton, a létesítmények üzemeltetésén és fenntartásán és az ösztöndíjakon alapultak. Porter adataiba beletartoztak mind az alapképzést, mind a mesterképzést végz hallgatókra szánt kiadások. Pike és mtai. (2006) vizsgálták a kapcsolatokat az intézmények NSSE benchmark eredményei és a kiadások között. Habár az összefüggések az intézményi irányítás és a hallgatók képzési szintjei alapján eltértek egymástól, Pike és mtai. (2006) azt találták, hogy az oktatásra, a tanulmányi támogatásra, a hallgatói szolgáltatásokra és az intézményi támogatásra szánt kiadások pozitívan összefüggtek a benchmark mutatókkal. Ennél fogva, ésszer nek t nhet az elvárás, hogy az oktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és intézményi támogatásra szánt egyesített kiadások valószín leg pozitívan és közvetlen módon kapcsolódnak a hallgatói bevonódáshoz, és közvetett módon kapcsolódnak a hallgatók tanulásához.

Pike és mtai. (2006) tanulmányának eredményei azt sugallják, hogy egy negyedik tényez t is számba kell venni a kiadások és a tanulási eredmények közötti kapcsolatok gyenge és inkonzisztens eredményeinek tekintetében. Korábbi kutatások általában a hallgatók tanulási eredményeit vizsgálták egy-egy adott id pontban- freshmen, sophomores, juniors és seniors (els , második, harmadik és 8

Mediációs tényez kkel

61

negyedik éves hallgatók). A probléma azzal, hogy ezeket a hallgatókat egyetlen elemzésbe összes rítik az, hogy a kapcsolatok ezek a változók között osztályszintt l (class level) függ en eltérnek egymástól (Pike és mtai., 2006). Ez a kutatás ezt a problémát úgy oldja meg, hogy az összefüggéseket a kiadások, a hallgatói bevonódás és a tanulási eredmények között külön-külön vizsgálja az els éves és negyed (utolsó) éves hallgatók körében. Összegezve, a kiadásokról és tanulási eredményekr l szóló múltbeli kutatások gyenge és ellentmondásos eredményekkel jellemezhet ek. Néhány kutatás pozitív kapcsolatokat mutattak fel a tanulási eredmények és az oktatásra és a tanulmányi támogatásokra szánt kiadások között, miközben más kutatások pozitív összefüggéseket tártak fel a tanulási eredmények és a hallgatói szolgáltatásokra tett kiadások között. Ezen ellentmondások talán köszönhet ek, ha csak részben is, az intézményi különbségek fokozatos elt nésének problémájának és a f iskolai (college) karrierjük különböz szakaszánál járó hallgatók egy vizsgálatba történ bevonásának összemosó hatásainak. Kutatások azt sugallják, hogy az oktatási kiadások és a tanulási eredmények közötti, gyenge és inkonzisztens kapcsolatok eredményei lehetnek a hallgatói bevonódás közvetít (mediating) hatásainak és az intézmények sajátosságaiból ered különbségek által létrehozott esetleges hatásoknak.

Négy kérdés vezérelte ezt a kutatást, amelyek arra a négy tényez re vonatkoztak, amelyekr l azt feltételezzük, hogy befolyásolják a kiadások és a tanulási eredmények közötti kapcsolatokat: 1. Eltérnek-e a hallgatói tanulási eredmények az intézmények között?

2. Miután számításba vettük a hallgatók és az intézmények sajátosságaiban rejl különbségeket, vajon a hallgatói tanulási eredmények közvetlenül állnak-e kapcsolatban az alapképzési oktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és az intézményi támogatásra szánt egyesített kiadásokkal?

3. Miután számításba vettük a hallgatók és az intézmények sajátosságiban rejl különbségeket, vajon az egyesített kiadások közvetlen módon állnak-e kapcsolatban a hallgatói bevonódás mértékével, ezáltal közvetett módon kapcsolódnak-e a hallgatók tanulásához?

4. Vajon az oktatási kiadások, a hallgatói bevonódás és a tanulási eredmények közötti kapcsolatok eltérnek-e a hallgatók osztályszintjét l9 (class level) függ en?

Az els kérdés megválaszolása lehet vé teszi számunkra a meghatározását annak, hogy van-e elegend mérték különbség a f iskolák (college) között ahhoz, hogy érzékelhessük, hogy léteznek-e jelent s összefüggések az alapképzés oktatásra szánt intézményi kiadások és a tanulás és fejl dés intézmény-szint értékei között. A második vizsgálati kérdés az egyesített oktatási kiadásokra koncentrál, és a lehet vé teszi számunkra, hogy kikerüljük a különböz kategóriákra szánt kiadások inkonzisztens jelentéseib l (különböz módon értelmezik a kategóriákat) adódó problémákat. A harmadik kutatási kérdés megválaszolásával meghatározhatjuk, hogy van-e közvetett kapcsolat az oktatási kiadások és a tanulási eredmények között, amelyeknél a közvetít (mediáló) változó szerepét a hallgatói bevonódás szintje tölti be. Végül, külön-külön vizsgálva az els éves és az utolsó (negyedik) éves hallgatókat kiküszöbölhetjük a hallgatók összekeveréséb l (akik a f iskolai karrierjük különböz szakaszánál tartanak) származó csillapító hatás problémáját.

Kutatási módszerek Koncepcionális modell Ezt a tanulmányt vezérl koncepcionális modell feltételezi, hogy az intézményi és hallgatói sajátosságok és a hallgatói bevonódás mind-mind összefüggésben állnak a tanulási eredményekkel. Az 9

Mennyi kreditet szerzett meg a hallgató, mennyire el rehaladott a képzésében

62

1. ábrán a modell alsó fele a hallgató-szint kapcsolatokat ábrázolja, és a modell fels része az intézmény-szint kapcsolatokat mutatja. Fontos, hogy megértsük, hogy a hallgatók az intézményeken belül kapnak helyet ebben a modellben.

El z kutatásokra alapozva, a hallgató-szint tanulási eredményekr l feltételezzük, hogy kapcsolatban állnak olyan hallgatói jellemz kkel, mint például a nem, az etnikum, az intézményváltás és a hallgatói státusz, és a hallgatói bevonódás olyan formáival, mint a tudományos tevékenységeknek szentelt er feszítések, aktív és együttm köd tanulás és a hallgató-fakultás interakció (Kuh és mtai., 2005, 2006). Hallgatói sajátosságok szintén kapcsolatban állnak a hallgatói bevonódás szintjével.

Fontos megérteni, hogy a hallgatói bevonódás, a tanulási eredmények az intézményi kontextuson belül jönnek létre. Tehát ezek a kapcsolatok az intézményen belül találhatóak.

Intézményi szinten feltételezzük az olyan intézményi sajátosságokról, mint a méret, a hallgatók szelektálása, a mesterképzés oktatásra fektetett hangsúly, és az oktatási kiadások, hogy összefüggésben állnak mind a hallgatói bevonódással, mind a tanulási eredményekkel (McCormick és mtai., 2009; Pike és mtai., 2006). A koncepcionális modellben az intézményi sajátosságoktól (beleértve a kiadásokat) a hallgatói bevonódásig, és a hallgatói bevonódástól a tanulási eredményekig vezet utak (nyilak) mutatják be a közvetlen kapcsolatokat az oktatási kiadások és a tanulmányi eredmények között (lásd: Kuh és mtai., 2007; Pike és mtai., 2006; Webber és Ehrenberg, 2009).

Matematikai nyelven, a hallgató-szint kapcsolatok a következ egyenlettel fejezhet ki:

Ahol az Yij a tanulási eredménye vagy a bevonódási értéke egy adott tanulónak (i) egy adott f iskolán vagy egyetemen (j); a oj els szint együttható mutatja az intézmény egyedi hatását (azaz, a 63

korrigált átlagát); a qj els szint együttható mutatja egy adott hallgatói sajátosságnak, vagy bevonódás mértékének (Xqij); és az rij az els szint véletlen hatása egy bizonyos intézményt látogató adott hallgatónak.

A kapcsolatot az intézményi sajátosságok és a tanulási eredmények vagy a hallgatói bevonódási mértékek között a következ egyenlet mutatja:

Ahol a 0j mutatja az egyedi hatását egy adott intézménynek (j); yos az s-szint együtthatók mutatják a kapcsolatokat az intézmények egyedi hatását az els szinten és az intézmények sajátosságait (Wsj); és az uoj a második szint véletlen hatás.

Minta A résztvev k ebben a tanulmányban olyan alapképzésben részt vev hallgatók, akik kitöltötték az NSSE felmérést 2004 tavaszán. Az intézmények, melyek szerepeltek a felmérésben nagyon hasonlóak voltak földrajzi régió és városi-vidéki elhelyezkedés tekintetében az egyetemek nemzeti profiljához.

Mesterképzéseket nyújtó f iskolák (college) és egyetemek felülreprezentáltak voltak, miközben az általános-alapképzést nyújtó f iskolák alulreprezentáltak voltak a résztvev intézmények között (National Survey of Student Engagement, 2004). 200 f iskola és egyetem hallgatóinak volt meg a lehet sége arra, hogy a weben keresztül vagy papír és toll segítségével válaszolhassanak a kérd ívre, és 175 iskola döntött a csak webes adminisztráció mellett. 2004-ben az NSSE bevezette a Web+ adminisztrációt, amely magában foglalta többféle elektronikus elérhet ségi lehet séget és a papír és toll alapú kérd ívek levél formájában való elküldésének lehet ségét a kiválasztott (els körben) nemválaszolók számára. Összesen 98 intézmény választotta ezt a módját az adminisztrációnak. 2004-ben körülbelül a válaszolók 13%-a töltötte ki a kérd ív papír alapú verzióját, és 87% használta a webet (National Survey of Student Engagement 2004). Általánosságban az adminisztráció módja nem befolyásolja az NSSE eredményeket, kivéve, hogy a webes válaszadást választók nagyobb mérték elektronikus technológia használatát jelentették (Carini és mtai., 2003). A köz- és magánintézmények oktatási költségeinek elszámolásának módjaiban lév különböz ségek miatt, kizárólag az NSSE 2004es felmérésében szerepl nyilvános f iskolák (public colleges) és egyetemek szerepeltek a tanulmányban.

A hallgatói és intézményi adatbázisok gondos sz rését hajtottuk végre, hogy teszteljük a multikollinearitást, és hogy azonosítsuk és kizárjuk az extrém értékeket, amelyeket kiugró (outlier) értékeknek tekinthetünk. A teljes adatbázis 34,823 els éves hallgatóból és 34,606 utolsó éves hallgatóból állt össze, akik 171 különböz nyilvános f iskolára és egyetemre jártak. Ahogy az összes NSSE felmérésben, a n k és a nappali tagozatos (full-time) hallgatók felülreprezentáltak voltak. Az els éves hallgatók közül 66% n volt és 96%-uk nappali tagozatosként jártak az intézményekbe.

Kicsivel kevesebb, mint 63%-a az utolsó éves hallgatóknak volt n és 84%-uk volt nappali tagozatos hallgató. Egészében véve a résztvev k hasonlóak voltak társaikhoz a rassz/etnikum, az intézményváltás (transfer status), a kampusz lakhely és a tudományos szakterület szempontjaiból.

Továbbá, ebben a tanulmányban szerepl nyilvános intézmények hasonlóak voltak az összes, NSSE 2004-es felmérésben szerepl nyilvános intézményhez nemzeti szinten. Körülbelül az intézmények 33%-a volt kutatóegyetem, 53%-a volt mesterképzésekre specializálódott f iskola és az intézmények 14%-a f leg alapképzéseket nyújtott. Majdnem 13%-a f iskoláknak és az egyetemeknek volt kisebbségeket célzó (minority serving) intézmény (5% HBCU), és 15%-uk volt földdel rendelkez (land-grant) f iskola és egyetem. FTE10 beiskolázottság-szám 692 és 47,202 között volt, és az átlagos 10

FTE enrollment: full-time equivalent enrollment – nappali tagozattal egyenérték beiskolázás

64

FTE beiskolázottság 10,918 volt. Az átlagos, egy nappali tagozatosnak tekinthet (FTE), alapképzésre járó hallgatóra jutó kiadás $7,830 volt.

Mér eszközök A mér eszközök, melyeket ebben a tanulmányban használtunk, az NSSE’s The College Student Report felmérésre adott hallgatói válaszokból, az IPEDS adatbázisból, az intézmények CDS11-éb l és a Fels oktatási Tanács (College Board) adatrendszeréb l vettük. A hallgatók önbevallásai (self-report) hozzák létre az alapját a legtöbb értéknek, amelyet ebben a kutatásban használtunk, és az adatok érvényességét és megbízhatóságát mélyrehatóan vizsgálták (Baird, 1976; Berdie, 1971; Pace, 1985; Pike, 1995; Pohlmann és Beggs, 1974). A kutatások azt mutatják, hogy az önbevallási adatok valószín leg érvényesnek tekinthet ek az alábbi öt feltétel esetében: 1. Az információ ismert a válaszoló számára 2. A kérdések világosan megfogalmazottak és egyértelm ek 3. A kérdések mostani tevékenységekre utalnak 4. A válaszadók úgy gondolják, hogy a kérdések komoly és átgondolt választ érdemelnek; és 5. A kérdések megválaszolása nem fenyegeti, zavarja vagy sérti a válaszadó anonimitását és jogait (privacy), vagy bátorítja a válaszadót arra, hogy szociálisan elvárt módon válaszoljon (Kuh, 2001, p.4).

Tanulmányok azt jelzik, hogy a College Student Report megfelel ennek az öt kritériumnak, és pontos, jelentés teli információkat ad a hallgatók f iskolai tapasztalatairól és a tanulási eredményekr l (Kuh, 2001; Kuh és mtai., 2001; Ouimet és mtai., 2004).

A hallgatói bevonódást az NSSE öt benchmarkján vagy skáláján a hallgatók által elért értékek által fejeztük ki. A benchmarkok a College Student Report 42 itemén alapultak, és olyan tevékenységek csoportjait fedik le, amelyeket a tanulmány bemutat, hogy pozitívan kapcsolódnak az oktatási eredményekhez. A benchmarkok számára az itemek kiválasztása elméleten és az NSSE itemek analízisének segítségével történt (Kuh és mtai., 2001). A Tudományos Kihívás (Academic Challenge) benchmark olyan tevékenységekre fókuszál, amelyek bemutatják, hogy egy intézmény hangsúlyozza a hallgatók számára a tudományos er feszítések fontosságát, és magas elvárásokat állít a tanulói teljesítmény irányában, legf képpen az írás és a magasabb-rend m veletek12 területein. Az Aktív és Együttm köd Tanulás (Active and Collaborative Learning) benchmarkjára vonatkozó kérdések arra kérik a hallgatókat, hogy mondják el, milyen mértékben várják el t lük, hogy gondolkodjanak arról, és alkalmazzák azt, amit tanulnak, és milyen mértékben kell együtt dolgozniuk más hallgatókkal, hogy megoldjanak problémákat és legy zzék a nehéz feladatokat. A Hallgató-Fakultás Interakció (StudentFaculty Interaction) itemek arra fókuszál, hogy milyen gyakran kommunikálnak a hallgatók és az oktatókkal a tantermen belül és kívül. Az Oktatási Tapasztalatszerzés (Enriching Educational Experiences) benchmark azon célirányos tanulási tevékenységek széles skáláját fedi le, mint például a sokszín ség megtapasztalása, technológia-használat, külföldön tanulás és közös kutatás az oktatókkal.

Az utolsó benchmark, a Támogató Kampusz Környezet (Supportive Campus Environment) a hallgatók által érzékelt, az intézmény hallgatók sikerében való elkötelez désére és a hallgatók más hallgatókkal, oktatókkal és az adminisztrációval való kapcsolatainak a min ségére koncentrál. Az NSSE benchmarkokat alkotó itemek listáját és a hallgatók tanulásának mér eszközeit a függelékben írjuk le.

11 12

CDS – Common Data Sets Bloom-féle taxonómia rendszer

65

A felmérés kezdete óta, az NSSE személyzete újraskálázták az itemeket, hogy biztosítsák azt, hogy az összes egy-egy benchmarkot alkotó item egy azon skálán legyen. Azért lett ez végrehajtva, hogy megel zzék azt, hogy bármely item is nagyobb hatást gyakoroljon a skálára, mint a többi item (Kuh és mtai., 2001). 2004-es kezdetkor az összes itemet, amelyet felhasználtak az NSSE benchmarkjainak kiszámolásához, egy 0-100-ig terjed skálán helyeztek el, amelyen a 0 jelezte a lehetséges legalacsonyabb pontszámot a skálán, és a 100 jelentette a lehetséges legmagasabb értéket a skálán.

Minden egyes item négy válaszadási lehet sséggel rendelkezett, így a skála értékei 0.00, 0.33, 0.66, 100.00 lehettek (National Survey of Sutdent Engagement 2004). A felmérés 2004-es feldolgozásából származó adatokat felhasználva a becsült reliabilitás 0.62 (Oktatási Tapasztalatszerzés) és 0.78 (Támogató Kampusz Környezet) közé esett. Az alfa reliabilitási együtthatók (Cronbach-alfa) az összes skálához a függelékben megtalálhatóak.

A hallgatói tanulási eredményeket két skála mentén fejeztük ki: szerzett kognitív javak és szerzett nem-kognitív javak. A „szerzett kognitív javak” skála kilenc itemen alapult, amelyek arra kérték a tanulókat, hogy jelezzék mekkora mértékben járultak hozzá a f iskolai tapasztalataik a fejl désükhöz az olyan területeken, mint az általános oktatás, hatékony módon való írás és beszéd, kvantitatív elemzés és kritikai gondolkodás. A „szerzett nem-kognitív javak” skála hét kérdésre adott hallgatói válaszokból származott, amelyek az önismeretre, másokkal való együttm ködésre, az etikai normák fejl désére és a civil/közösségi bevonódásra vonatkoztak. Az összes tanulási eredményekkel foglalkozó kérdéseket egy négy-pontos skálán mértük fel azokkal a válaszlehet ségekkel, hogy: (4) Nagyon, (3) Eléggé, (2) Valamennyire, (1) Kevéssé. A tanulási eredmények skála pontszámait ugyanazon lépések mentén számoltuk ki, mint amelyeket az NSSE benchmark egyéni pontszámai esetében is alkalmaztunk (National Survey of Student Engagement, 2004). El ször, az item pontszámokat 0-100-ig skáláztuk. Aztán a skála pontszámait számoltuk ki az itemek számtani átlagaként. Az alfa reliabilitási együtthatója (Cronbach-alfa) a szerzett kognitív javak és a szerzett nem-kognitív javak skáláinak 0.87 és 0.85 volt.

El z kutatásokra alapozva, hét további hallgató-szint változót vontunk be, mint statisztikai kontroll-változókat. Ezen mér eszközök közül az összes dichotóm változó volt. A változók az alábbiak voltak: nem (n ), etnikum (Fehér), intézményváltás (intézményt váltott hallgató), hallgatói státusz (nappali tagozatos hallgató), els generációs hallgató (els generációs hallgató), lakhely elhelyezkedése (kampuszon lakik), tudományos szakterület (a m vészetek és tudományok területén végez tanulmányokat, beleértve a társadalomtudományokat). Az összes érték a College Student Report kérdéseire adott hallgatói válaszokon alapultak, kivéve a nemet és az etnikumot, amelyeket az intézmények biztosítottak az NSSE munkatársai számára.

Nyolc intézmény-szint változót szintén bevontunk a tanulmányba kontroll-változóként, mert korábbi kutatások azt találták, hogy e változók kapcsolatban álltak vagy a hallgatói bevonódássel vagy a tanulási eredményekkel (McCormick és mtai., 2009; Pike és mtai., 2006). Ezek a változók a következ ek voltak: (1) intézmény mérete (kifejezve az összes szi FTE beiskolázási szám által 1000 hallgató léptékben), (2) mester/doktori beiskolázási szám aránya a teljes beiskolázási számhoz képest, (3) intézmény hallgatói szelekciója (a hallgatók ACT pontszámának átlaga a belép évfolyam 25-dik percentilisében), (4) a nem nappali tagozatos alapképzésre járó hallgatók aránya a teljes beiskolázási számhoz képest, (5) diplomák párhuzamossága (olyan alapképzési területek aránya, melyeken mesterszint diploma szintén megszerezhet volt), (6) lakossági jellemz (a kampuszon lakó hallgatók aránya), (7) alapképzésben részt vev , a m vészetek és tudományok (beleértve a társadalomtudományokat) területén tanuló hallgatók aránya, és (8) az új alapképzésben résztvev k aránya, akik éppen intézményt váltottak. Ezen paramétereket a 2005 Carnegie osztályozásban használták (McCormink és mtai., 2009). A paraméterekhez az adatok az IPEDS-b l, az intézményi CDS-b l és a Fels oktatási Tanács adatbázisából nyertük.

Az utolsó változó a tanulmányban egy intézmény alapképzésre szánt oktatási kiadások (1000 dollárban) osztva FTE, alapképzésre járó hallgatók számával. Az oktatási kiadások az oktatásra, a

66

tanulmányi támogatásra, a hallgatói szolgáltatásokra és az intézményi támogatásra szánt összegzett kiadások voltak. A kiadási adatok a 2003-2004 IPEDS pénzügyi felmérésb l származtak. A kiadások úgy lettek beállítva, hogy tükrözzék az alapképzésre szánt források arányát, olyan eljárásokkal, melyeket az NCHEMS13 fejlesztett ki (Ewell, személyes beszélgetés, 2004.11.15.). El ször, a mester/doktori FTE beiskolázási számot beszorozták az egy FTE hallgatóra jutó kiadásokkal, és 1.5-tel (a mesterszint képzésekre számított tipikus többletköltség a legtöbb állami pénzelosztási modellben és a legtöbb költségtanulmányban), hogy kiszámolják a mester/doktori oktatási kiadásokat. A mester/doktori kiadásokat majd kivonták a teljes kiadásokból, hogy kiszámolják az alapképzésre jutó kiadásokat. Végül, az alapképzésre jutó kiadásokat elosztották az alapképzési FTE beiskolázási számmal és 1000-rel, hogy kialakítsák azt a kiadási mér számot, melyet ebben a tanulmányban használtunk.

1. Táblázat – A tanulmányban használt változók leíró statisztikái Els éves hallgatók N Átlag SD Szerzett kognitív javak Szerzett nem-kognitív javak Tudományos kihívás Aktív és együttm köd tanulás Hallgató-fakultás interakció Oktatási tapasztalatszerzés Támogató kampusz környezet N hallgatók Fehér hallgatók Intézményt váltott hallgató Nappali tagozatos hallgató Els -generációs hallgató Kampuszon lakó M vészeteket és tudományt hallgató Méret (FTE beiskolázási szám, 1000 hallg.)

Mester/doktori hallgatók százalékos aránya Szelektivitás (ACT, 25-ös percentilis) Rész munkaid s hallgató Diploma párhuzamosság Lakhely jellemz k M vészetet és tudományt hallgatók aránya Intézményt váltott hallgatók aránya Kiadások/FTE ($1,000 dollárban)

34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 34,823 171 171 171 171 171 171 171 171 171

60.08 44.76 50.81 38.75 29.62 24.80 59.95 0.66 0.77 0.08 0.96 0.34 0.65 0.38 10.92 12.07 19.54 17.42 34.11 26.99 44.97 29.57 7.83

19.57 22.40 13.00 14.71 15.95 11.84 17.17 0.47 0.42 0.27 0.20 0.47 0.48 0.49 9.01 9.15 2.44 11.96 23.81 17.58 15.89 19.01 2.37

Negyedéves hallgatók N Átlag SD 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 34,606 -

67.58 46.73 54.96 49.55 40.39 37.27 56.35 0.63 0.77 0.44 0.84 0.37 0.10 0.42 -

19.39 23.01 13.99 16.60 20.38 16.63 17.57 0.48 0.42 0.50 0.36 0.48 0.30 0.49 -

Adatelemzés Az egyik bonyolító tényez a tanulási eredményeket vizsgáló kutatásokban az a tény, hogy a hallgatói sajátosságok és a bevonódási értékek interkorrelálnak. Hasonlóan, sok intézményi sajátosság interkorrelál. Ezek az interkorrelációk súlyos problémákat okozhatnak (Ethington és mtai., 2002). A multikollinearitás egy el zetes ellen rzéseként, OLS regresszió analízist futtattunk végig a hallgatószint adatokon és az összegy jtött intézmény-szint adatokon. Tolerancia együtthatókat és 13

National Center on Higher Education Management Systems – Fels oktatási Menedzsment-rendszerek Országos Központja

67

variancianövel tényez ket (VIF) figyelembe vettük az összes tényez nél. Habár néhány tényez , különösen a bevonódás paraméterei mérsékelten korreláltak, tolerancia és a VIF együtthatók jóval az elfogadható határokon belül voltak, ami jelzi, hogy a multikollinearitás nem volt súlyos probléma.

Mivel a hallgatókat az intézményeken belül helyeztük el, ezért hierarchikus lineáris modelleket határozták meg és tesztelték a HLM6 számítógépes program segítségével (Raudenbush és mtai., 2004). A bonyolító tényez a mostani vizsgálatban az NSSE által használt mintavételi séma. Az intézmények eldöntik, hogy részt vesznek-e: majd hallgatók véletlenszer mintáit választják ki. Ez a megközelítés a jellemz je a véletlenszer , többlépcs s mintavételezésnek, nem pedig a véletlenszer mintavételezésnek. Amikor az adatok véletlenszer , többlépcs s mintavételen alapulnak, akkor a tradicionális szignifikancia tesztekben használt standard hiba túl kicsi, és els fajú hibák valószín ek (Kalton, 1983; Pike, 2007). Számos statisztikai program képes kiszámolni korrigált standard hibákat, amelyek megfelel ek a véletlenszer , többlépcs s mintavételekb l származó adatoknak; mindazonáltal, ezek a korrigált standard hibák nem elérhet a hierarchikus lineáris modellek számára (du Toit és mtai., 2007). Alternatívaként, Thomas (2006) azt javasolja, hogy állítsunk be egy konzervatívabb p-értéket a statisztikailag szignifikáns összefüggések azonosításához. Ehhez a tanulmányhoz egy konzervatív valószín ségi értéket (p < 0.0001) választottunk, hogy azonosítsunk statisztikailag szignifikáns összefüggéseket a hallgatói szinten (els szint analízisek). Az intézményi szinten (második szint analízisek), a véletlenszer , többlépcs s mintavétel nem súlyos probléma, és a megszokott valószín ségi szintet (p<0.05) használtuk.

A lépéssorozatot, amellyel ezt a modellt meghatároztuk és teszteltük, a Byrk és Raudenbush (1992) és Ethington (1997) által javasolt m veletsorokkal határoztuk meg. A modellek els csoportja az els éves és utolsó éves hallgatók kognitív és nem-kognitív kimeneti eredményeire koncentráltak. A kezdeti, kognitív és nem-kognitív modellek tartalmazták a hallgatói szint egy tengelymetszetét (intercept), de más független változókat nem. A tengelymetszetek képviselték az egyes f iskolák és egyetemek átlageredményeit, és az intézmények-közötti varianciakomponensek chi-négyzet próbája jelezte, vajon voltak-e statisztikailag szignifikáns eltérések a tanulási eredményekben az intézmények körében. Továbbá, egy adott eredmény (outcome) intézmények-közötti varianciakomponensét elosztva saját magával, és hozzáadva az intézményen-belüli varianciakomponenst biztosította a hallgatói tanulási eredmények variancia hányadának (proportion of variance) a megbecsülését, amely az intézményeknek volt tulajdonítható. Továbbá, az els kutatási kérdést megválaszolandó, ezek a modellek szolgáltak kiindulópontokként, hogy melyik következ modelleket értékeltük ki.

A hallgatók háttérjellemz it hozzáadtuk a tanulási eredményekhez az adatok elemzésének következ lépéseként. Az intézmények-közötti és belüli varianciakomponensek a kiinduló modell varianciakomponenseivel való elosztás általi változások biztosították az intézmények-közötti és belüli variancia hányadának a megbecsülését, amelyek már a hallgatók háttérjellemz inek voltak tulajdoníthatóak. Az adatok elemzésének harmadik lépéseként a hallgatói bevonódás értékeket adtuk hozzá a tanulási eredmények modellekhez. Ismét, az intézmények-közötti és belüli varianciakomponensek bekövetkez változásokat vizsgáltuk, hogy meghatározzuk az variancia hányadát, amely már a hallgatói bevonódási értékeknek volt tulajdonítható. Az intézmények-közötti varianciakomponensek chi-négyzet próbáit hajtottuk végre, hogy meghatározzuk, vannak-e jelen statisztikailag szignifikáns eltérések a korrigált intézményi kimeneti átlageredményekben.

Azon kimenet (outcome) modellek, melyek statisztikailag szignifikáns eltérésekkel bírtak a tengelymetszetekben (azaz szignifikáns eltérések a korrigált intézményi kimeneti eredmény átlagokban), egy két-szint modellt határoztunk meg és teszteltünk. A modell tartalmazta az összes hallgatói-szint változót és az intézmény-szint változókat, beleértve a kiadásokat és az alapképzésre változókról feltételeztük, hogy az els -szint járók oktatását. Az intézmény-szint tengelymetszetekkel állnak kapcsolatban. Az intézmények-közötti varianciakomponensek a kiinduló modell intézmény-közötti varianciakomponensével való elosztás általi változások mutatták a kimeneti eredmények átlagában lév intézmény-szint variancia hányadát, amely az intézmény-szint

68

változóknak volt tulajdonítható. Mind a hallgató- és mind a intézmény-szint modellek regressziós paramétereinek szignifikancia tesztjeit felhasználtuk, hogy azonosítsuk a modellek azon komponenseit, amelyek kapcsolódtak a hallgatók tanulási eredményeihez. A kiadások együtthatói kiemelt fontosságúak voltak, mivel azok mutatták a közvetlen kapcsolatot a kiadások és tanulási eredmények között, kontrollálva a modellben szerepl összes többi változót. A regressziós együtthatók kiértékelhet ségének javítása érdekében az összes hallgató- és intézmény-szint változó, amelyek nem voltak dichotóm változók, a nagy átlagaik köré lettek elhelyezve (centered) (Bryk és Raudenbush, 1992). A hatásnagyságokat úgy határoztuk meg, mint a kiadásokban bekövetkezett egy egységnyi szórásnégyzetbeli változáshoz társított tanulási eredményekben bekövetkezett szórásnégyzetbeli változást.

Az adatok elemzésének végs fázisa hallgatói bevonódás értékekre, mint függ változókra koncentrált. Az analitikus eljárások ugyanazok voltak, mint amelyeket a vizsgálat korábbi szakaszaiban használtunk. Kezdetben csupán tengelymetszeteket tartalmazó kiinduló modellek sorát azonosítottuk és teszteltük. A következ modelleket úgy elemeztük, hogy a hallgatói sajátosságok (jellemz k), mint független változókat vontuk be. Az intézmények-közötti és belüli varianciakomponensek a kiinduló modell varianciakomponenseivel való elosztása általi változások biztosították a variancia mér számait a bevonódási értékekben, melyeket hallgatói sajátosságokkal magyarázunk. Az intézményen-belüli varianciakomponensek chi-négyzet próbáit is megállapítottuk, hogy meghatározhassuk azt, hogy van-e megfelel intézményen-belüli variancia a bevonódási értékek esetében a folytatáshoz. Ha az intézményen-belüli varianciakomponensek statisztikailag szignifikánsak voltak, akkor az intézményi sajátosságokat hozzáadtuk a modellhez, mint második szint változók. Ismét, az intézmények-közötti varianciakomponensek bekövetkez változásokat számoltuk ki, hogy meghatározhassuk, vajon az intézményi sajátosságok magyarázzák-e a variancia hányadának jelent s részét a korrigált bevonódási átlagokban (azaz tengelymetszetekben). Regressziós paraméterek szignifikancia tesztjeit használtuk, hogy azonosítsuk a statisztikailag szignifikáns összefüggéseket a hallgatói bevonódás és mind a hallgatói és mind az intézményi sajátosságok között.

A nem-dichotóm intézményi értékeket ugyancsak a nagy átlagaik értékei köré helyeztük el (centered).

A kiadások és a bevonódás értékeinek tengelymetszetei közötti statisztikailag szignifikáns összefüggések, együtt a bevonódás és a tanulási eredmények értékeinek statisztikailag szignifikáns összefüggéseivel, biztosították a bizonyítékot a hallgatói bevonódás közvetít (mediáló) szerepére (azaz közvetlen hatásaira). Ezt a bizonyítékot inkább csak „sugalmazónak”, mint sem perdönt jelleg nek kell tekinteni, mert a HLM nem teszi lehet vé hatások közvetlen és közvetett hatásokra való szétbontását. Hasonlóképpen, az els éves és utolsó éves hallgatók regressziós együtthatóiban tapasztalható különbségek biztosították a bizonyítékot arra, hogy a különböz osztályszintek (hallgatók) összekeverése összezavarhatja a kiadások és mind a bevonódás, mind a tanulási eredmények közötti összefüggéseket. Még egyszer a hatásnagyságokat kiszámoltuk a kiadások és bevonódások közötti statisztikailag szignifikáns összefüggésekhez.

Eredmények Hallgatói tanulási eredmények Az els éves hallgatók szerzett kognitív javai eredményeinek a vizsgálata felfedte, hogy statisztikailag szignifikáns eltérés van a szerzett javak terén (kognitív) az intézményekben ( 2= 798.60; df = 170; p <0.05), amely felel s volt kicsit több mint a teljes variancia 2%-áért a szerzett kognitív javak terén. A hallgatói sajátosságok modellhez való hozzáadása volt felel s a variancia 13%-áért (körülbelül) és kevesebb, mint a variancia 1%-áért hallgatói szinten. A hallgatói bevonódás értékeinek hozzáadása számol az intézmény-szint variancia több mint feléért (51%) és a hallgató-szint variancia 43%-áért.

Az intézmény-szint variancia jelent s csökkenése ellenére, az intézmények-közötti különbségek továbbra is statisztikailag szignifikánsak maradtak ( 2 = 551.63; df = 170; p <0.05). Ennek eredményeképp, az intézményi sajátosságokat belevontuk a második szint modellbe. A végs modell

69

eredményei felfedték, hogy az intézményi sajátosságok voltak a felel sek az intézmények-közötti variancia 17%-áért.

Szintén volt statisztikailag szignifikáns eltérés az els éves hallgatók szerzett nem-kognitív javai terén az intézményekben ( 2 = 1251.43; df = 170; p <0.05), amelyek alig kevesebb, mint a teljes variancia 4%-áért volt felel s. A hallgatói sajátosságok hozzáadása a modellhez magyarázta az intézmények-közötti variancia 21%-át és az intézményeken-belüli variancia kevesebb, mint 1%-át; ellenben a hallgatói bevonódás értékek bevonása tartozott az intézmények-közötti variancia 43%-áért és az intézményen-belüli variancia majdnem 38%-áért. Még a hallgatói sajátosságok és bevonódásek értékeinek a modellhez való hozzáadása után is, az intézmények-közötti variancia az els éves hallgatók szerzett nem-kognitív jelleg tanulási eredményei terén továbbra is statisztikailag szignifikáns volt ( 2= 847.26; df = 170; p <0.05). Az intézményi sajátosságok modellhez való hozzáadása segített megmagyarázni a variancia további 2%-át a szerzett nem-kognitív javak terén az intézményekben.

A negyed éves hallgatók szerzett kognitív javainak kiinduló modellje azt jelezte, hogy statisztikailag szignifikáns variancia mutatkozik az intézmények között ( 2 = 814.47; df = 170; p <0.05), amely magyarázta a szerzett kognitív javak teljes varianciájának alig kevesebb, mint 2%-át. A hallgatói sajátosságok modellhez való hozzáadása számolt az intézmények-közötti variancia majdnem 5%-áért és az intézményen-belüli variancia 1%-áért. A hallgatói bevonódás értékek voltak felel sek az intézmények-közötti variancia több mint 51%-áért és az intézményen-belüli variancia 41%-áért. Ismét, statisztikailag szignifikáns különbségeket találtunk az intézmények között, még a hallgatói sajátosságok és bevonódás szintjeinek kontrollja után is ( 2 = 638.93; df = 170; p <0.05). Az intézményi sajátosságok modellhez való hozzáadása magyarázta a variancia 7%-át az intézmények között.

A negyed éves hallgatók szerzett nem-kognitív javainak eredményei azt mutatták, hogy szignifikáns eltérés van az intézmények között ( 2 = 1484.71; df = 170; p <0.05), és az intézmények-közötti eltérések számolhatóak el több mint a teljes variancia 4%-áért. A hallgatói sajátosságok modellbe való bevonása számolt az intézmények-közötti variancia majdnem 26%-áért és az intézményen-belüli variancia majdnem 2%-áért. A hallgatói bevonódás volt elszámolható az intézmények-közötti variancia kb. 42%-áért és az intézményen-belüli variancia 37%-áért. A hallgatói sajátosságok és bevonódás szintjeinek kontrollja után az intézmények-közötti variancia továbbra is statisztikailag szignifikáns maradt ( 2 = 852.01; df = 170; p <0.05). Mindazonáltal, az intézményi sajátosságok hozzáadása felelt az intézmények között lév variancia 1%-áért.

Az els éves hallgatók kognitív tanulási eredményeinek nem standardizált regressziós paramétereinek vizsgálata (Táblázat, 2.) felfedte azt, hogy „els -generációs hallgatónak lenni” pozitívan kapcsolódott az els évben szerzett kognitív javakkal, miközben „Fehérnek lenni”, a kampuszon lakni és a m vészetek és tudományok területén hallgatni negatív összefüggésben álltak a szerzett kognitív javakkal. Az összes bevonódási érték szignifikánsan és pozitívan kapcsolódott az els éves hallgatók szerzett kognitív javaihoz. A leger sebb összefüggéseket a „tudományos kihívás” és a „támogató kampusz környezet” értékeinél találtuk. Négy intézményi sajátosság függött össze a szerzett kognitív javak intézményi korrigált átlagával. Minden egyes százalékpont-növekedés a részid s beiskolázásban együtt járt szerzett kognitív javak korrigált átlagának növekedésével, miközben minden egyes százalékpont-növekedés a m vészetek és tudományokat hallgatók és az új, intézményt váltott hallgatók beiskolázása körében együtt járt az intézményi korrigált átlag csökkenésével az els éves hallgatók szerzett kognitív javainak körében.

Az alapképzési oktatásra szánt kiadások szignifikáns és pozitív kapcsolatban álltak az intézmények els éves hallgatók szerzett kognitív javainak átlagával, még a hallgatói sajátosságok és hallgatói bevonódás szintek (statisztikai) kontrollja után is. Specifikusabban, $1,000 növekedés az alapképzési oktatásra szánt kiadásokban együtt járt 0.15-nyi korrigált átlagában való növekedéssel az intézmény els éves hallgatóinak kognitív tanulási eredményeiben. Hogy ezt kontextusba tegyük, az egységnyi 70

szórásnégyzet (azaz, $2,368), vagy kicsit több mint 30% növekedés az oktatási kiadásokban együtt járt 0.36-nyi pontnövekedéssel az intézmény korrigált átlagában az els éves hallgatók szerzett kognitív javainak tekintetében. Ez 0.21-nyi növekedés szórásnégyzetnél a szerzett kognitív javakban.

2. Táblázat – A tanulási eredmények modelleknek nem standardizált regressziós együtthatói Változó N Fehér Intézményt váltott Nappali tagozatos Els -generációs Kampuszon lakó M vészetek és tudományok Tudományos kihívás Aktív/együttm köd tanulás Hallgató-oktató interakció Oktatási tapasztalatszerzés Támogató kampusz körny.

Tengelymetszet Méret Mesterképzés ek arány Szelektivitás Rész munkaid s hallg.

Diploma párhuzamosság Lakhely jellemz M vészetek/tudományok aránya Intézményt váltottak aránya Kiadások Hatásnagysága a kiadásoknak

Els éves kognitív 0.09 -0.89** -0.08 -0.38 1.07** -1.74** -1.38** 0.51** 0.07** 0.05** 0.05** 0.46** 62.38** 0.02 -0.03 -0.09 0.05* 0.02 0.01 -0.02* -0.02* 0.15* 0.21

Els éves nemkognitív 1.42** -2.90** -0.17 -1.35 0.78** 0.92** -0.42 0.25** 0.10** 0.11** 0.19** 0.56** 46.63** 0.05 -0.10* -0.37* -0.03 0.01 -0.01 0.01 0.00 0.14 -

Negyedéves kognitív -1.21** -0.34 -1.24** -1.44** 1.58** -1.78** -1.70** 0.45** 0.06** 0.04** 0.02** 0.45** 70.61** 0.00 0.01 0.05 0.01 0.02 -0.03* 0.00 -0.01 0.09 -

Negyedéves nem-kognitív 1.27** -3.01** -1.54** -0.66 1.42** 0.54 0.99** 0.25** 0.12** 0.02** 0.14** 0.59** 48.55** 0.01 -0.04 -0.28* -0.04 0.00 -0.03 0.02 0.00 0.03 -

*p<0.05, **p<0.001

Az els éves hallgatók szerzett nem-kognitív javai regressziós együtthatóinak a vizsgálata felfedte, hogy „n nek lenni”, els -generációs hallgatónak lenni és a kampuszon lakni pozitívan függtek össze a tanulási eredmények értékeivel, és „Fehérnek lenni” negatívan kapcsolódott a szerzett nem-kognitív javakhoz. Szintén, öt bevonódási érték kapcsolódott pozitívan a szerzett nem-kognitív javakhoz. Habár a „támogató kampusz környezet” volt a leger sebb összefüggésben a szerzett nem-kognitív javakkal, az „aktív és együttm köd tanulás”, a „hallgató-fakultás interakció” és az „oktatási tapasztalatok szerzése” együtthatóinak mértékei nagyobbak voltak, mint az ehhez kapcsolódó kognitív tanulási eredmények együtthatói, és hasonló mértékkel bírtak a „tudományos kihívás” együtthatójához. Az intézményi szinten az „intézményi hallgatói szelekció„ és a „mester/doktori beiskolázás” százaléka negatív kapcsolatban állt az intézményben történ nem-kognitív fejl dés korrigált átlagához. A kiadások nem kapcsolódtak szignifikánsan az intézmény els éves hallgatóinak nem-kognitív fejl dési korrigált átlagához. „Els -generációs hallgatónak lenni” pozitívan függött össze a negyed éves hallgatók szerzett kognitív javaival, miközben n nek, intézményt váltott hallgatónak, nappali tagozatosként beiskolázva, 71

kampuszon él nek és a m vészetek és tudományok hallgatójának lenni negatívan kapcsolódott a szerzett kognitív javakhoz. Mint ahogy az els éves hallgatók esetében is, mind az öt bevonódási érték pozitívan függött össze a szerzett kognitív javakkal, a leger sebb összefüggést a „tudományos kihívás” és a „támogató kampusz környezet” értékeinél találtuk. Mindösszesen a kampusz lakhatási jellemz i kapcsolódtak a szerzett kognitív javak korrigált átlagához, és az a kapcsolat negatív volt.

Három hallgatói sajátosság függött össze pozitívan a negyed éves hallgatók szerzett nem-kognitív javaival (n nek, els -generációsnak és m vészeteket vagy tudományok területén hallgatónak lenni). „Fehérnek lenni” és „intézményt váltott hallgatónak lenni” negatívan kapcsolódtak a negyed évesek szerzett nem-kognitív javaihoz. A bevonódási értékek és a negyed éves hallgatók szerzett kognitív javai közötti összefüggések mintázata megegyezett az els éves hallgatók mintázatával, annak figyelembe vételével, hogy a „támogató kampusz környezet” kapcsolódik a legszorosabban a tanulási eredmények értékeihez. Az intézményi szinten, mindössze a hallgatók szelekciója kapcsolódott az intézmények korrigált átlagához a negyed évesek szerzett nem-kognitív javai terén, és ez a kapcsolat negatív volt.

Els éves hallgatók bevonódása A „tudományos kihívás” kiinduló modellje létrehozott statisztikailag szignifikáns intézmények-közötti varianciakomponenst ( 2 = 1075.20; df = 170; p <0.05). A varianciakomponens mértéke jelezte, hogy a „tudományos kihívás” pontszámaiban lév variancia majdnem 3%-a felelt az intézményi különbségekért. A hallgatói sajátosságok modellhez való hozzáadása volt a felel s az intézményekközötti variancia majdnem 8%-áért és az intézményen-belüli variancia kb. 1%-áért. Az intézményi sajátosságok feleltek az intézmények-közötti variancia 18%-áért.

Az „aktív és együttm köd tanulás” kiinduló modellje szintén létrehozott statisztikailag szignifikáns intézmények-közötti varianciakomponenst ( 2 = 1503.41; df = 170; p <0.05). Az intézmények közötti különbségek feleltek a teljes variancia több mint 4%-áért az „aktív és együttm köd tanulás” pontszámainál az els éves hallgatók körében. A hallgatói sajátosságok modellhez való hozzáadása volt a felel s a variancia kevesebb, mint 4%-áért intézményi szinten és a variancia kevesebb, mint 1%-áért hallgatói szinten. Az intézményi sajátosságok feleltek az intézmények-közötti variancia 4%-áért. Az intézmények-közötti „hallgató-fakultás interakció” varianciakomponens szintén statisztikailag szignifikáns volt ( 2 = 1065.13; df = 170; p <0.05), amely a teljes variancia 3%-át képviseli. A hallgatói sajátosságok modellhez való hozzáadása felelt az intézmények közötti variancia csaknem 5%-áért és az intézményen belüli variancia 1%-áért. Az intézményi sajátosságok voltak a felel sek az intézmények közötti variancia 23%-áért.

A „oktatási tapasztalatszerzés” kiinduló modellje szintén létrehozott statisztikailag szignifikáns intézmények-közötti varianciakomponenst ( 2 = 2274.02; df = 170; p <0.05), amely képviselte a teljes variancia több mint 5%-át az els éves hallgatók körében. A hallgatói sajátosságok modellhez való hozzáadása magyarázta az intézményi szinten a variancia 22%-át és a hallgató-szint variancia csaknem 2%-át. Az intézményi sajátosságok modellbe való bevonása számolt az intézmények közötti „oktatási tapasztalatszerzés” átlageredmények varianciájának 19%-áért. A „támogató kampusz környezethez” kapcsolódóan az intézmények közötti varianciakomponens statisztikailag szignifikáns volt ( 2 = 1306.16; df = 170; p <0.05), és a teljes variancia 4%-áért felelt. A hallgatói sajátosságok modellhez való hozzáadása volt felel s az intézmények-közötti variancia 7%-áért és az intézményenbelüli variancia kevesebb, mint 1%-áért. Az intézményi sajátosságok modellbe való bevonása felet az intézmények-közötti variancia 19%-áért.

A 3. Táblázat mutatja be az els éves hallgatók bevonódási szint modelljeinek regressziós együtthatóit, együtt a kiadások és bevonódás közötti statisztikailag szignifikáns hatásnagyságokkal. „N nek, nappali tagozatos hallgatónak és m vészeteket és tudományokat hallgatónak lenni” pozitív kapcsolatban állt a „tudományos kihívásokat rejt tevékenységekben elkötelezettnek lenni” 72

állapotával, miközben „Fehérnek lenni” negatív kapcsolatban állt a „tudományos kihívással”. Az intézményi sajátosságok együtthatóinak egy vizsgálata felfedte, hogy az intézményi hallgatói szelekció és a m vészetet és tudományokat hallgatók aránya pozitívan függött össze az intézmények „tudományos kihívásának” korrigált átlagával. Az alapképzési oktatásra tett kiadások szintén pozitívan kapcsolódtak a „tudományos kihívás” korrigált átlagához. Egységnyi szórásnégyzet növekedés a kiadásokban együtt járt 0.43-nyi növekedéssel, amely megfelel egy 0.20-nyi szórásnégyzetbeli növekedésnek a „tudományos kihívás” korrigált átlagában.

3. Táblázat – Az els éves hallgatók bevonódási modelljeinek nem standardizált regressziós együtthatói Változó

Tudományos Kihívás

Aktív és Együttm köd tanulás

HallgatóFakultás Interakció

Oktatási Tapasztalatszerzés

Támogató Kampusz Környezet

N Fehér Intézményt váltott Nappali tagozatos Els -generációs Kampuszon lakó M vészetek és tudományok Tengelymetszet Méret Mester hallgatói arány Szelektivitás Rész munkaid s Diploma párhuzamosság Lakhely jellemz M vészet és tudomány arány Intézményt váltottak aránya Kiadások Hatásnagysága a kiadásoknak

1.75** -1.29** 0.96 4.76** -0.39 -0.05 0.63** 45.93* -0.01 0.01 0.23 -0.01 -0.01 0.00 0.03* 0.01 0.18* 0.20

-0.04 -1.38** 1.29** 3.99** -0.78** 0.63 0.70** 36.02* -0.07 0.02 -0.16 -0.02 -0.02 0.00 0.00 -0.01 0.14 -

-0.45 -2.33** 1.69** 2.53** -0.76 -0.51 1.32** 29.59* -0.06* -0.01 -0.20 -0.04 -0.02 0.04 -0.01 0.01 0.27* 0.24

0.77** -1.51** 1.15** 3.23** -1.12** 1.81** 1.86** 20.55* 0.01 0.03 0.19 0.02 0.01 0.02 0.04* 0.01 0.04 -

0.23 -1.40** -1.50** 1.78** 0.05 1.54** -0.37 58.39* -0.02 -0.07* 0.12 -0.08* -0.02 0.00 0.00 0.02 -0.10 -

*p <0.05, ** p<0.001

„Intézményt váltott hallgatónak lenni”, „nappali tagozatosnak lenni” és „m vészeteket és tudományt hallgatónak lenni” pozitívan összefüggtek a hallgatók „aktív és együttm köd tanulásának” és a „hallgató-fakultás interakciónak” pontszámaival. Mind „Fehérnek lenni” és mind „els -generációs hallgatónak lenni” negatívan kapcsolódott az „aktív és együttm köd tanulással” és a „hallgatófakultás interakcióval”. Ezek a hallgató-szint hasonlóságok nem ismétl dtek meg intézmény-szinten.

A második szint modellben egyik intézményi sajátosság sem volt szignifikáns kapcsolatban az „aktív és együttm köd tanulás” korrigált átlagával. Ezzel ellentétben a méret (FTE beiskolázási szám) negatív módon függött össze a „hallgató-fakultás interakció” átlagával. A kiadások szintén pozitív kapcsolatban álltak a „hallgató-fakultás interakcióval”. Egy egységnyi szórásnégyzet növekedés a kiadásokban együtt járt az intézményi korrigált átlagok 0.64-nyi növekedésével a „hallgató-fakultás interakció” tekintetében. Ez az intézményi szinten 0.24-nyi szórásnégyzetbeli növekedést jelent a „hallgató-fakultás interakció” esetében.

Minden egyes hallgatói sajátossági érték kapcsolódott az „oktatási tapasztalatszerzésben” való elkötelezettséghez. „N nek lenni”, „intézményt váltott hallgatónak lenni”, „nappali tagozatos hallgatónak lenni”, „kampuszon lakni”, „m vészeteket és tudományt hallgatni” mind pozitívan függtek össze a hallgatók „oktatási tapasztalatszerzési” pontszámaival. „Fehér hallgatónak lenni” és 73

„els -generációs hallgatónak lenni” negatívan kapcsolódtak az els éves hallgatói bevonódáséhez az „oktatási tapasztalatszerzés” terén. Intézményi szinten, csupán a m vészeteket és tudományt hallgatók százaléka volt pozitív összefüggésben az „oktatási tapasztalatszerzés” korrigált átlagával.

Négy hallgatói sajátosság állt összefüggésben a hallgatók „támogató kampusz környezetr l” alkotott percepcióival kapcsolatban. A nappali tagozatos hallgatók beiskolázási száma és a kampuszon él k száma pozitív összefüggésben voltak a kampusz környezet, támogatóként való érzékelésében, miközben a „Fehérnek lenni” és az „intézményt váltott hallgatónak lenni” negatívan kapcsolódott a kampusz környezetének megítélésében. Intézményi szinten a mester/doktori beiskolázási szám százaléka és a rész munkaid s hallgatók beiskolázási számának százaléka negatív összefüggésben álltak az intézményi korrigált átlaggal a „támogató kampusz környezet” értékének esetében.

Negyedéves Hallgatók Bevonódása A „tudományos kihívás” pontszámaiban lév intézményi variabilitást bemutató kiinduló modell eredmények azt jelezték, hogy statisztikailag szignifikáns eltérések voltak az intézmények között ( 2 = 860.25; df = 170; p <0.05), és ezen eltérések voltak felel sek a negyedéves hallgatók „tudományos kihívás” pontszámaiban lév variabilitás 2%-áért. A hallgatói sajátosságok modellhez való hozzáadása felelt az intézmények-közötti variancia 8%-áért, és az intézményen belüli variancia 3%-áért. Az intézményi sajátosságok modellbe való bevonása magyarázta az intézmények-közötti variancia 26%-át a „tudományos kihívás” átlagaiban.

Az „aktív és együttm köd tanulás” kiinduló modelljének varianciakomponensek egy vizsgálata rámutatott, hogy szignifikáns eltérések vannak az intézményekben ( 2 = 1358.16; df = 170; p <0.05), amely eltérések a pontszámok összvarianciájának a 4%-áért feleltek. A hallgatói sajátosságok modellhez való hozzáadása segített megmagyarázni az intézmények-közötti variancia majdnem 17%át, és kicsit több mint 3%-át az intézményen-belüli varianciának. Az intézményi sajátosságok modellbe való bevonása felelt az intézmények-közötti „aktív és együttm köd tanulás” varianciájának további 35%-áért.

A „hallgató-fakultás interakció” kiinduló modelljének eredményei azt jelezték, hogy a pontszámok varianciája az intézményekben statisztikailag szignifikáns ( 2 = 1669.21; df = 170; p <0.05). Az intézmények-közötti különbségek feleltek a „hallgató-fakultás interakció” varianciájának kicsit több mint 5%-áért. A hallgatói sajátosságokat modellhez való hozzáadása volt felel s az intézményekközötti variancia közel 30%-áért, és az intézményen-belüli variancia 3%-áért. Az intézményi sajátosságok modellhez való hozzáadása segített megmagyarázni az intézmények-közötti variancia további 32%-át. Az „oktatási tapasztalatszerzés” kiinduló modelljének együtthatóinak egy vizsgálata felfedte, hogy intézményi szinten szignifikáns eltérések találhatóak ( 2 = 2063.34; df = 170; p <0.05), amely a pontszámokban lév összvariancia kicsit több mint 6%-áért számolt el. A hallgatói sajátosságok modellhez való hozzáadása volt felel s az intézmények-közötti variancia 43%-áért és a hallgatók közötti variancia 5%-áért. Az intézményi sajátosságok számoltathatóak el az intézményekközötti variancia további 17%-áért.

A negyedéves hallgatók kampusz környezetr l való véleményeinek varianciakomponenseinek vizsgálata kimutatta, hogy szignifikáns eltérések voltak az intézményekben ( 2 = 1522.58; df = 170; p <0.05). Az intézményi különbségek feleltek a „támogató kampusz környezet” pontszámaiban lév variancia majdnem 4%-áért. A hallgatói sajátosságok modellhez való hozzáadása volt elszámoltatható az intézmények-közötti variancia 5%-áért és az intézményen-belüli variancia kevesebb, mint 1%-áért.

A 4. Táblázat mutatja a negyedéves hallgatók bevonódási szintjeit magyarázó modellek nem standardizált regressziós együtthatóit. A „tudományos kihívás” együtthatóinak vizsgálata megmutatta, hogy „n nek lenni” és „nappali tagozatos hallgatónak lenni” pozitív összefüggésben álltak a bevonódássel, miközben „Fehérnek lenni” és „kampuszon lakni” negatív kapcsolatban álltak a 74

tudományosan kihívást rejt tevékenységekben való részvétellel. Az intézményi sajátosságok együtthatói megmutatták, hogy a m vészeteket és tudományt hallgatók százalékos aránya pozitív kapcsolatban állt az intézmények „tudományos kihívási” korrigált átlagával. Az alapképzési oktatásra tett kiadások szintén pozitívan kapcsolódtak a „tudományos kihívás” korrigált átlagaihoz. Az együtthatók értékének nagysága azt jelezte, hogy egységnyi szórásnégyzetbeli ($2,368) növekedés a kiadásokban együtt járt 0.36-nyi növekedéssel a „tudományos kihívás” korrigált átlagaival. Ez a változás a korrigált átlagok szórásnégyzetének 0.17-nyi változását jelentette.

4. Táblázat – A negyedéves hallgatók bevonódási modelljeinek nem standardizált regressziós együtthatói Változó

N Fehér Intézményt váltott Nappali tagozatos Els -generációs Kampuszon lakó M vészetek és tudományok Tengelymetszet Méret Mester hallgatói arány Szelektivitás Rész munkaid s Diploma párhuzamosság Lakhely jellemz M vészet és tudomány arány Intézményt váltottak aránya Kiadások Hatásnagysága a kiadásoknak

Tudományos Kihívás

Aktív és Együttm köd tanulás

HallgatóFakultás Interakció

Oktatási Tapasztalatszerzés

Támogató Kampusz Környezet

2.26** -1.12** 0.39 6.18** 0.03 -0.81** -0.24 49.40* -0.01 -0.04 0.12 0.00 -0.01 0.01 0.05* 0.01 0.15* 0.17

2.36** -1.02** -1.40** 6.08** -0.54 -0.06 -3.55** 46.44* -0.02* -0.07 -0.43* -0.07* -0.01 0.01 0.02 -0.01 -0.09 -

0.17 -0.87 2.32** 6.12** -1.36** 1.60** 3.51** 36.15* -0.13* -0.09* -0.22 -0.09* -0.01 0.04 0.03 -0.02 0.17* 0.10

2.73** -1.00** -4.46** 5.50** -2.11** 2.23** 2.11** 33.11* 0.04 -0.05 0.05 -0.05 0.00 0.04* 0.06* 0.00 0.13 -

0.40 -1.20** -1.42** 2.32** 0.30 1.06** -0.86** 56.23* -0.06 -0.07* 0.15 -0.04 -0.04* 0.02 0.01 0.01 -0.23 -

*p <0.05, ** p<0.001

Az „aktív és együttm köd tanulás” együtthatói megmutatták, hogy „n nek lenni” és „nappali tagozatosnak lenni” pozitívan kapcsolódott a bevonódás ilyen formájához. „Fehérnek lenni”, „intézményt váltott hallgatónak” és „m vészeteket és tudományt hallgatónak lenni” mind negatív összefüggésben állt az „aktív és együttm köd tanulással”. Három intézményi sajátosság (méret, hallgatói szelekció, rész munkaid s hallgatók százalékos aránya) kapcsolódott negatívan az „aktív és együttm köd tanulás” korrigált átlagaihoz.

Az egyetlen hallgatói sajátosságok, melyek nem álltak összefüggésben a „hallgató-fakultás interakcióval”, a „n nek lenni” és a „Fehérnek lenni” voltak. Intézményi szinten, a méret, a mester/doktori hallgatók számának százalékos aránya és a rész munkaid s hallgatók százalékos aránya negatívan függtek össze az intézményi „hallgató-fakultás interakciói” pontszámainak korrigált átlagaival, miközben a kiadások pozitívan kapcsolódtak a „hallgató-fakultás interakcióhoz”. Egy egységnyi szórásnégyzetbeli növekedés a kiadásokban együtt járt 0.40-nyi vagy egy szórásnégyzetben 0.10-nyi növekedéssel az intézményi „hallgató-fakultás interakciói” korrigált átlagokban.

Minden hallgatói sajátosság a modellben szignifikáns kapcsolatban állt az „oktatási tapasztalatszerzési” pontszámokkal. „N nek lenni”, „nappali tagozatosnak lenni”, „kampuszon lakni” 75

és „m vészeteket és tudományt hallgatni” pozitív kapcsolatban álltak az „oktatási tapasztalatszerzéssel”, miközben „Fehérnek lenni”, „intézményt váltottnak lenni” vagy „els generációsnak lenni” mind negatívan kapcsolódtak. Mind az intézmény lakhatási jellemz i és mind a m vészeteket és tudományt hallgatók aránya pozitív kapcsolatban álltak az „oktatási tapasztalatszerzés” korrigált átlagaival.

A „nappali tagozatos beiskolázási szám” és a „kampuszon élés” pozitív módon kapcsolódott a negyedévesek „támogató kampusz környezetr l” alkotott percepcióival. Ezzel ellentétben, „Fehérnek lenni”, „intézményt váltott hallgatónak lenni” és „m vészeteket és tudományokat hallgatónak lenni” negatívan függtek össze a kampusz környezetr l el nyben részesített észrevételekkel. Három intézményi sajátosság (méret, mester/doktori hallgatók beiskolázási aránya, diplomák párhuzamossága) negatívan függött össze a „támogató kampusz környezet” korrigált átlagával.

Korlátozások, megkötések Ügyelni kell arra, hogy a kutatás eredményeit nehogy túláltalánosítsuk. A vizsgálat megállapításai azon nyilvános intézményekre korlátozódnak, melyek részt vettek az NSSE 2004-es felmérésében.

Habár a nyilvános f iskolák és egyetemek, melyek részt vettek a 2004-es Fels oktatási Hallgatói Jelentésben14, jellemezték a nyilvános intézményeket általában, a vizsgálatok különböz intézményi mintákat használtak, amelyek különböz eredmények produkálhattak. Hozzátéve, hogy a kiadások jelentésének módjai eltér ek a nyilvános és magán f iskolák és egyetemek körében, valószín tlennek t nik, hogy e kutatás eredményei pontosan megismételhet ek lennének egy magán intézmények körében elvégzett vizsgálat során. Ezen eredmények ugyanakkor egy id pontban való pillanatfelvételt képviselnek. Általában, a 2004-es felmérés megállapításai összhangban vannak a korábbi évek eredményeivel; mindazonáltal, lehetséges, hogy a különböz évekb l származó adatok különböz eredményeket hoznának.

Ezen kívül, a Fels oktatási Hallgatói Jelentés egy viszonylag rövid felmérés, és nem méri a hallgatói bevonódás összes szempontját vagy a hallgatói tanulás dimenzióit. Ha további itemeket vontunk volna be, vagy más kérd ívet használtunk volna, az eredmények lehet, hogy ismeretlen módokon eltértek volna. Hasonlóképpen, a hallgatói és intézményi kontrollváltozók sz kös skáláját használtuk az elemzés során. A vizsgálatban más kontrollváltozók használata talán más eredményeket hozott volna létre. Szintén, nem teljesen világos, mib l állt a kiadási mér szám, mely a használatunkra rendelkezésre állt az elemzés során. Az oktatási és a tanulmányi támogatási kiadásokat, vagy hallgatói szolgáltatási és intézményi támogatási kiadásokat is használhattunk volna. Habár egy általános kiadások mér szám használata a jelenlegi tanulmány egy korlátja, az egyesített kiadások egy megbízhatóbb becslését adták az oktatási kiadásoknak, mint a korábbi tanulmányok mér számai tették. Valójában, a feltételezett pontosságba vetett hit a kiadások kategóriáinak használatában az általános kiadási mér szám helyett csalóka lehet, mivel ugyanabban a kategóriában a kiadásokat alapvet en különböz célokra lehet felhasználni. A korábbi kutatások oktatási kiadásokkal kapcsolatos részletek hiányosságainak megörökléséb l adódóan nem meglep , hogy az összefüggések a kiadások, a hallgatói bevonódás és a tanulási eredmények között tipikusan meglehet sen gyengék vagy esetenként kétértelm ek.

Talán a legfontosabb az, hogy a vizsgálat eredményei nem használhatóak fel ok-okozati következtetések levonására az intézményi sajátosságok, hallgatói sajátosságok, bevonódás és tanulási eredmények közötti összefüggések esetében. Az összes hallgató-szint adat gy jtése keresztmetszeti mintavételezéssel történt. Id beli rendezés nélkül, nem lehetséges okozati állításokat kimondani. Az szintén lehetséges, hogy a vizsgálatba be nem került változók befolyásolták a hallgatók intézményválasztásának módjait (melyik f iskolát vagy egyetemre járjanak), és szintén befolyásolhatták a hallgatók bevonódási szintjét és/vagy a tanulási eredményeket. A „kihagyott 14

The College Student Report (2004)

76

változó torzítás” miatt lehetetlen okozati állításokat kimondani. (Cellini, 2008). Habár számos statisztikai eljárást dolgoztak ki arra, hogy számoljanak az ilyen típusú torzítással, beleértve az instrumentális változók módszerét (Angrist és mtai., 1996), és a hajlandósági mutató alapú párosítást (prospensity-score matching) (Titus, 2007), komoly gondok vannak a változók azonosításával kapcsolatban azzal, hogy azok instrumentális változókként használhatóak-e fel, vagy hajlandósági mutatókat lehet-e velük kiszámolni (példaként lásd: Bound, 1995). Ezen problémák korlátozzák mind a két eljárás alkalmazhatóságát. Továbbá, e statisztikai módszerek nem kompatibilisek a leíró hierarchikus lineáris modellekkel. Fontos felismerni mindazonáltal azt, hogy a kapcsolatokra összpontosító leíró tanulmányok fontos szerepet töltenek be a fels oktatási kutatásokban. Amint Cellini (2008, p. 348) megjegyezte: „leíró kvantitatív és kvalitatív vizsgálatok egyforma módon fontosak a korrelációs mintázatok létrehozásában, az elméletek kialakításában és a figyelmünk olyan területek felé való irányítása, melyeknél a további kutatások indokoltak”.

Eredmények értelmezése Ezen megkötések és korlátozások ellenére a mostani vizsgálat megállapításai fontos következményekkel bírnak az elmélet, a kutatások és a gyakorlat számára. E tanulmány eredményei felfedték, hogy statisztikailag szignifikáns különbségek voltak az átlagos tanulási eredmények között az intézményekben. Mindazonáltal eme intézmények-közötti eltérések nagyon csekélyek voltak összehasonlítva az intézményen-belüli, hallgatók között meglév különbségekhez képest. Az intézményi különbségek voltak a felel sek a szerzett kognitív javak varianciájának 2%-áért és a szerzett nem-kognitív javak varianciájának 4%-áért mind az els éves és mind a negyedéves hallgatók körében. A magyarázott variancia becslései csupán kissé voltak nagyobbak a hallgatók bevonódási értékei esetében. Az intézmények-közötti különbségek feleltek az els éves hallgatók bevonódási pontszám-varianciájának 3-5%-áért és a negyedéves hallgatók bevonódási pontszám-varianciájának 2-6%-áért. Amint Pascarella és Terenzini (1991, 2005) megjegyezte, hasonló megállapításokat tettek mások is más fels oktatási hallgatói tanulmányokban.

A variancia hiánya a tanulási eredmények és a hallgatói bevonódás értékeiben szintén figyelmeztetésként hat abban a tekintetben, ha túl nagy hangsúlyt fektetünk ezekre a mér számokra a megbízhatósági jelentési rendszerekben (accountability reporting systems). Az intézményi pontszámok eltérhetnek és el is térnek a College Student Report különböz adminisztrációs bázisai között. Az eltérések mind a mérési hibáknak és mind a mintavételi hibáknak is elkönyvelhet ek. Ha az intézmények közötti különbségek kicsik, még a legenyhébb intézményi pontszámokban bekövetkez véletlenszer változások is lényeges hatásokkal bírnak az adott intézmény helyzetére a többi intézményhez képest. Az intézmény-szint átlagok legkisebb változásának túlértékelésében rejl veszélyei miatt Kuh (2007) határozottan figyelmeztetett az ellen, hogy a kapott értékeket felhasználják az intézmények összehasonlítására vagy rangsorolására.

Az oktatásra, tanulmányi támogatásra, hallgatói szolgáltatásokra és az intézményi támogatásra tett alapképzési oktatási kiadások egyesítése nem hozott létre er s mér számot, amely közvetlenül kapcsolódott volna a hallgatók tanulási eredményeinek széles skálájában lév intézményi különbségekhez. Ehelyett, a kiadások szignifikánsan és pozitívan egyetlen tanulási eredmény mér számmal függtek össze (az els éves hallgatók önbevallott, kognitív tanulási eredményeinek intézményi korrigált átlagával). A kiadások és az els éves hallgatók szerzett kognitív javai közötti összefüggés plusz más intézményi sajátosságok feleltek az intézmények-közötti szerzett kognitív javak varianciájának 17%-áért. Pontosabban, egységnyi szórásnégyzet (vagy 30%) növekedés a kiadásokban együtt járt 0.21-nyi szórásnégyzet növekedéssel a kognitív fejl dés korrigált átlagaiban. A tény, hogy a kiadások összefüggtek az els évesek kognitív tanulási eredményeivel, de más tanulási eredményekkel nem, nem feltétlenül meglep , ha hozzátesszük, hogy az alapképzési oktatásra szánt kiadások általában aránytalanul vannak szétosztva az olyan programok számára, melyek az els évesek

77

tanulási és tudományos sikerének növelése érdekében lettek megtervezve (Gardner és mtai., 1997; Upcraft és mtai., 1989).

Az alapképzési oktatásra szánt egyesített kiadások pozitív kapcsolatban álltak az ötb l két hallgatói bevonódás benchmarkkal (a „tudományos kihívással” és a „hallgató-fakultás interakcióval) mind az els - és mind a negyedévesek körében. Az els éves hallgatók körében egységnyi szórásnégyzetbeli növekedés a kiadásokban együtt járt 0.20-nyi szórásnégyzet növekedéssel a „tudományos kihívás” intézményi korrigált átlagaiban és 0.24-nyi szórásnégyzetbeli növekedéssel a „hallgató-fakultás interakció” átlagaiban. A hatásnagyságok a negyedéves hallgatók körében mérsékeltek voltak. Egy egységnyi szórásnégyzetbeli növekedés a kiadásokban együtt járt 0.17-nyi szórásnégyzetbeli növekedéssel a „tudományos kihívás” intézményi korrigált átlagaiban és 0.10-nyi szórásnégyzetbeli növekedéssel a „hallgató-fakultás interakció” korrigált átlagaival. Itt is, er s összefüggések az els éves hallgatók körében azt a tényt tükrözik, hogy a kiadások az els évesek célozzák.

A „tudományos kihívás” pontszámok voltak az egyik a kett benchmark közül, amelyek legszorosabban kapcsolódtak mind az els éves mind a negyedéves hallgatók kognitív fejl déséhez.

Ugyanakkor, a „tudományos kihívás” és a „hallgató-fakultás interakció” szignifikánsan összefüggött mind az els éves és mind a negyedéves hallgatók nem-kognitív fejl déséhez. A szignifikáns kapcsolatok jelenléte mind a kognitív és mind a nem-kognitív tanulási eredmények és a „tudományos kihívás” pontszámai között, együtt a szignifikáns kapcsolatokkal a kiadások és a „tudományos kihívás” szintjei között er teljesen sugallja, hogy a kiadások közvetett összefüggésben állnak a tanulási eredményekkel. Ezek a szignifikáns közvetett összefüggések az alapképzési oktatásra szánt kiadások és tanulási eredmények közt, melyeket felfedtünk, összhangban vannak Pascarella és Terenzini (1991) következtetésével, hogy a legtöbb és fontosabb fels oktatási hatások közvetettek.

Ezek a megállapítások azt sugallják, hogy ahelyett, hogy a pénzt közvetlen módon költenénk a hallgatók tanulásának, intézményben maradásának (retention) és diplomaszerzési rátájának befolyásolására, az intézményvezet k az er forrásaikat a f iskolák olyan szempontjaira helyezzék el, amelyr l a tapasztalat, az elmélet és a kutatás is jelzi, hogy kapcsolatban állnak a tanulással és a sikerrel a f iskolákban (példaként lásd: Kuh és mtai., 2007; Pike és mtai., 2006; Webber és Ehrenberg 2009). A mostani tanulmány megállapításai azt mutatják, hogy ilyen stratégia kiváltképp megfelel , amikor a cél a hallgatók nem-kognitív fejl désének növelése vagy a negyedévesek kognitív fejl désének javítása.

E tanulmány eredményei fontos betekintést is nyújtanak az összefüggésekbe az oktatási szempontból céllal rendelkez tevékenységekkel kapcsolatos hallgatói bevonódások és a hallgatói tanulási eredmények között. Mind az öt bevonódási érték (benchmark) szignifikánsan és pozitívan függött össze a hallgatók kognitív és nem-kognitív szerzett javaival a tanulásban és fejl désben. A statisztikai álláspontból nézve ez a megállapítás meglep . Elég gyakori, hogy amikor egy kimeneti érték (outcome measure) közepesen inter-korrelációs változók egy csoportja (mint például az ebben a tanulmányban használt bevonódás értékek) általi regresszió analízisét végezzük, elnyomó (suppressor) hatások megfordíthatják a vizsgált összefüggések irányát egy vagy több független változó esetében (Ethington és mtai., 2002). Ebb l következ en, nem lenne meglep , ha egy vagy több bevonódás érték (benchmark) negatív kapcsolattal rendelkezne a hallgatói tanulással szemben, ha mind az öt benchmark értéket egy regressziós modellbe helyeznénk el. Ez nem fordult el ebben a tanulmányban.

Tehát, úgy t nik, hogy az NSSE benchmark által képviselt öt bevonódás típus egyedülálló és pozitív hozzájárulással bír a hallgatók tanulásához és fejl déséhez. Kétségtelenül, némely kapcsolatok er sebbek a többinél, de az összes összefüggés pozitív és statisztikailag szignifikáns. Gyakorlati szemszögb l tekintve ezek az eredmények azt sugallják, hogy a hallgatói tanulásban bekövetkezett legnagyobb javulások valószín leg az olyan intézményi politikákból és gyakorlatokból erednek, melyek javítják a hallgatói bevonódási pontszámokat több dimenzió mentén is (Kuh és mtai., 2005; Pascarella és Terenzini 2005).

78

E tanulmány több említésre méltó hasonlóságot és különbséget is azonosított az intézményi sajátosságok és az els - és negyedévesek bevonódási szintjeinek összefüggései között. Habár a kiadások és hallgatói bevonódások közötti összefüggések nagyon stabilnak voltak tekinthet ek az els éves és negyedéves hallgatók körében, ugyanaz nem mondható el más intézményi sajátosságok és a hallgatók bevonódása közötti kapcsolatairól. Intézményi méret (FTE beiskolázási szám) negatívan kapcsolódott a „hallgató-fakultás interakcióhoz” az els éves hallgatók körében, de negatívan kapcsolódott a negyedévesek „aktív és együttm köd tanulásához”, „hallgató-fakultás interakcióihoz” és a „támogató kampusz környezetr l” alkotott nézeteikhez is. A mesterképzés oktatás a kiemelkedése szintén úgy t nt, hogy negatív befolyást gyakorolt a negyedévesek bevonódására. A beiskolázási szám százalékos aránya, amely a mester/doktori hallgatók számára lett meghatározva, szintén negatívan függött össze az els éves hallgatók „támogató kampusz környezetr l” alkotott percepcióival, de negatívan kapcsolódott a negyedévesek „hallgató-fakultás interakcióival” és a „támogató kampusz környezetr l” alkotott véleményeivel is. A diplomák párhuzamossága szintén negatívan kapcsolódott a negyedévesek „támogató kampusz környezetr l” alkotott percepcióiról.

Végül, az intézményi hallgatói szelekció szignifikánsan és pozitívan összefüggött a „tudományos kihívással” az els éves hallgatók körében, de nem a negyedéves hallgatókéban. Ehelyett a szelektivitás negatívan kapcsolódott a negyedévesek „aktív és együttm köd tanulásával”.

A hallgatói bevonódás és hallgatói sikermér k (mint például a hallgatói perzisztencia és elégedettség) közötti pozitív kapcsolatok miatt sok f iskola és egyetem a hallgatói bevonódás magas szintekre való er sítésének módjait keresi. A legtöbb intézmény ezek közül a kisebbségi hallgatók és az els -generációs hallgatók bevonódására összpontosítottak. E vizsgálat eredményei azt sugallják, hogy az els -generációs hallgatók fókuszba állítása indokolt. Mindazonáltal, a kisebbségi hallgatók „nem-bevonódása” iránti aggodalmak felnagyítottak lehetnek. Ebben a tanulmányban a Fehér férfiak voltak kitéve annak, hogy a legkevésbé lesznek elkötelezettek. Ráadásul ezek a veszélytényez k ugyanolyan nagyok voltak a negyedévesek, mint az els éves hallgatók számára.

Összegzés Számít-e a pénz a f iskolai hallgatók tanulásában és fejl désében? A tanulmány eredményeire alapozva a válasz a kérdésre úgy t nik, hogy „Igen”-nek min síthet . Az alapképzési oktatásra szánt kiadások közvetlen módon a tanulási eredmények sz k rétegével álltak kapcsolatban (az els éves hallgatók kognitív fejl désével). A kiadások és tanulási eredmények közötti közvetett kapcsolatok, a hallgatói bevonódás által közvetítve, a tanulási eredmények szélesebb körére gyakoroltak hatást.

Habár érdekesek e tanulmány eredményei csupán szemléltet jelleg ek. Ezen eredmények nem mondanak ki ok-okozati viszonyokat a kiadások, a bevonódás és a tanulási eredmények között. Sokkal több kutatás szükséges, hogy feltárjuk ezeket a kapcsolatokat, és megértsük azokat a feltételeket, amelyek esetében a pénz számít.

79

Függelék Kognitív tanulásban és fejl désben szerzett javak ( = 0.87) • • • • • • • • •

Széleskör általános oktatásban való részvétel Foglalkozással vagy munkával kapcsolatos ismeretek és képességek elsajátítása Érthet és hatékony írás Érthet és hatékony beszéd Kritikus és analitikus gondolkodás Kvantitatív problémák elemzése Információs vagy számítógépes technológiák használata Hatékony önálló tanulás Való életb l vett komplex problémák megoldása

Nem-kognitív tanulásban és fejl désben szerzett javak ( = 0.85) • • • • • • •

Hatékonyan együttdolgozni másokkal Helyi, állami vagy nemzeti szavazásokon való részvétel Önismeret Más rasszú vagy etnikumú háttérrel rendelkez emberek megértése Egyéni érték és etikai kódex kifejlesztése A közösség jólétéhez való hozzájárulás Egy elmélyültebb szellemiségi érzék kifejlesztése

Tanulmányi Kihívás ( = 0.75) • • • • • • • • •

Órákra való felkészülés (tanulás, olvasás, írás, próbálás és stb. kapcsolatosan a képzési programokhoz) A szöveggy jtemények és tankönyvek elolvasásának száma, vagy a könyv-hosszúságú „tanfolyamcsomagok” (tananyagjegyzetek) elolvasásának a száma 20 oldal vagy hosszabb írott jegyzetek és tanulmányok száma; 5 és 19 oldalhossz közötti jegyzetek vagy tanulmányok száma; 5 oldalnál rövidebb jegyzetek vagy tanulmányok száma Órai tevékenységek, melyek hangsúlyozzák az elméletek vagy új ötletek alapelemeinek elemzését Órai tevékenységek, melyek hangsúlyozzák az elméletek, ötletek és tapasztalatok szintézisét és szervezését új, összetettebb értelmezésekbe és kapcsolatokba Órai tevékenységek, melyek hangsúlyozzák a módszerek, bizonyítékok és információk értékér l való ítéletek meghozását Órai tevékenységek, melyek hangsúlyozzák az elméletek vagy elképzelések gyakorlati problémák vagy új helyzetek során való alkalmazását Keményebben dolgozni annál, mint ahogy te hitted, hogy képes vagy annak érdekében, egy oktató elvárásainak vagy mércéinek megfelelj Kampusz környezet, mely hangsúlyt fektet a tanulásra és a tudományos munkára szánt id re

Aktív és Együttm köd Tanulás ( = 0.65) • • •

Feltett kérdések az osztályban, vagy az osztályban történ viták, megbeszélésekhez való hozzájárulás Készített órai prezentációt Kurzus folyamán részt vett más hallgatókkal együtt projektekben

80

A kurzus feladatainak az elvégzése érdekében együttdolgozott a többi hallgatóval az osztálytermen kívül Más hallgatókat tanított vagy oktatott (tutorált) Részt vett egy közösségi-alapú projektben, mint egy általános kurzus része Megbeszélt-e ötleteket az olvasmányaiból vagy az óráiról másokkal az évfolyamtársain kívül (hallgatók, családtagok, munkatársakkal, stb.)

• • • •

Hallgató-Fakultás Interakció ( = 0.75) Megbeszélte a jegyeit vagy feladatait egy oktatóval Beszélt-e karrierterveir l egy oktatóval vagy tanácsadóval Megbeszélt-e ötleteket az olvasmányaiból vagy az óráiról más az évfolyamon nem tanító oktatóval A kurzuson végzett feladatokon kívül is dolgozott együtt az oktatókkal (bizottságok, tájékoztatás, hallgatói élettel kapcsolatos tevékenységek, stb.)

Az egyetemi teljesítményér l a hallgató pontos visszajelzést kap (írott vagy szóbeli) Oktatókkal dolgozott együtt kutatási projekteken a kurzusokon kívül is vagy a képzési követelményeken kívül is

• • • • • •

Oktatási Tapasztalatszerzés ( = 0.62) • • • • • • • • • • •

Tanterv-melletti (co-curricular) tevékenységekben való részvétel (szervezetek, publikációk, hallgatói önkormányzat, sport és stb.)

Kihelyezett gyakorlat (practicum), szakmai gyakorlat, terepgyakorlat, együttm ködéssel kapcsolatos tapasztalatok vagy klinikai feladatok Közösségi szolgáltatás és önkéntes munka Idegen nyelv kurzustevékenységek vagy külföldön való tanulás Független tanulmányok vagy önállóan kialakított szakosodás (major) A szakzárás módja (komprehenzív vizsga, záró képzés (capstone course), szakdolgozat, projekt és stb.)

Komoly hangvétel beszélgetések a hallgatókkal a vallásokról, politikai álláspontokról vagy egyéni értékekr l Komoly hangvétel beszélgetések a különböz rasszokról vagy etnikumokról Elektronikus technológiák felhasználása a feladatok megbeszélése vagy teljesítése során A különböz gazdasági, szociális, rasszú és etnikumú hátterekkel rendelkez hallgatók érintkezéseit er sít kampusz környezet Egy tanulási közösségben vagy más formális képzésben való részvétel, ahol a hallgatók csoportja két vagy több évfolyamot vagy csoportot (classes) ölel fel

Támogató Kampusz Környezet ( = 0.78) • • • • • •

Olyan kampusz környezet, mely biztosítja a támogatást mely megadja a szükséges segítséget, hogy tanulmányi (academically) sikereket érjél el Olyan kampusz környezet, mely segít megbirkóznod a nem-tanulmányi felel sségeiddel (munka, család, stb.)

Olyan kampusz környezet, mely biztosítja a támogatást, amely ahhoz szükséges, hogy megbirkózz a szociális kihívásokkal A kapcsolatok min sége más hallgatókkal A kapcsolatok min sége az oktatókkal A kapcsolatok min sége az adminisztrációs személyzettel és irodákkal

81

Hivatkozások Angrist, J. D., Imbens, G. W., & Rubin, D. B. (1996). Identification of causal effects using instrumental variables. Journal of the American Statistical Association, 91, 444–455.

Astin, A. W. (1984). Student involvement: A developmental theory for higher education. Journal of College Student Development, 25, 297–308.

Astin, A. W. (1985). Involvement: The cornerstone of excellence. Change, 17(4), 35–39.

Astin, A. W. (1993). What matters in college? Four critical years revisited. San Francisco: JosseyBass.

Baird, L. L. (1976). Using self-reports to predict student performance. New York: The College Board.

Berdie, R. (1971). Self-claimed and tested knowledge. Educational and Psychological Measurement, 31, 629–636.

Bound, J., Jaeger, D. A., & Baker, R. M. (1995). Problems with instrumental variables estimation when the correlation between the instruments and the endogenous explanatory variable is weak.

Journal of the American Statistical Association, 90, 443–450.

Bowen, H. R. (1980). The costs of higher education: How much do colleges and universities spend per student and how much should they spend?. San Francisco: Jossey-Bass.

Bryk, A. A., & Raudenbush, S. W. (1992). Hierarchical linear models: Applications and data analysis methods. Newbury Park, CA: Sage.

Carini, R. M., Hayek, J. H., Kuh, G. D., Kennedy, J. M., & Ouimet, J. A. (2003). College student responses to web and paper surveys: Does mode matter? Research in Higher Education, 44, 1–19.

Cellini, S. R. (2008). Causal inference and omitted variable bias in financial aid research: Assessing solutions. Review of Higher Education, 31, 329–354.

Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D., et al.

(1966). Equality of educational opportunity. Washington, D.C.: U. S. Government Printing Office. du Toit, S., du Toit, M., Mels, G., & Cheng, Y. (2007). LISREL for Windows: SURVEYGLIM user’s guide.

Chicago, IL: Scientific Software.

Retrieved April 17, 2008, from http://www.ssicentral.com/lisrel/ techdocs/SGUG.pdf#pagemode=bookmarks.

Elliott, M. (1998). School finance and opportunities to learn: Does money well spent enhance students’ achievement? Sociology of Education, 71, 223–245.

Ethington, C. A. (1997). A hierarchical linear modeling approach to studying college effects. In J. Smart (Ed.), Higher education: Handbook of theory and research (Vol. 12, pp. 165–194). New York: Agathon.

Ethington, C. A., Thomas, S. L., & Pike, G. R. (2002). Back to the basics: Regression as it should be.

In J. C. Smart (Ed.), Higher education: Handbook of theory and research (Vol. XVII, pp. 263–293).

Dordrecht, The Netherlands: Springer.

Ewell, P. T. (2008). Assessment and accountability in America today: Background and context. In V. M. H. Borden & G. R. Pike (Eds.), Assessing and accounting for student learning: Beyond the 82

Spelling’s Commission (New Directions in Institutional Research Series No. S1, pp. 7–17). San Francisco: Jossey- Bass.

Gansemer-Topf, A. M., & Schuh, J. H. (2006). Institutional selectivity and institutional expenditures: Examining organizational factors that contribute to retention and graduation. Research in Higher Education, 47, 614–641.

Gardner, J. N., Van der Veer, G., et al. (1997). The senior year experience: Facilitating integration, reflection, closure, and transition. San Francisco: Jossey-Bass.

Gellin, A. (2003). The effect of undergraduate student involvement on critical thinking: A metaanalysis of the literature, 1991–2000. Journal of College Student Development, 44, 746–762.

Hayek, J. C. (2001). A student-centered approach for identifying high performing colleges and universities. Dissertation Abstracts International, AAT 3024295.

James, E., & Alsalam, N. (1993). College choice, academic achievement and future earnings. In E. P. Hoffman (Ed.), Essays on the economics of education (pp. 111–138). Kalamazoo, MI: W. E. Upjohn Institute for Employment Research.

James, E., Alsalam, N., Conaty, J. C., & To, D. (1989). College quality and future earnings: Where should you send your child to college? American Economic Review, 79(2), 247–252.

Kalton, G. (1983). Introduction to survey sampling (Sage University Paper series on Quantitative Applications in the Social Sciences, 07-035). Beverly Hills, CA: Sage.

Kinzie, J., Schuh, J. H., & Kuh, G. D. (2004, November). A deeper look at student engagement: An examination of institutional effectiveness. Paper presented at the annual meeting of the Association for the Study of Higher Education, Kansas City, MO. Kuh, G. D. (2001). The National Survey of Student Engagement: Conceptual framework and overview of psychometric properties. Bloomington, IN: Indiana University Center for Postsecondary Research.

Kuh, G. D. (2003). What we’re learning about student engagement from NSSE. Change, 35(2), 24–32.

Kuh, G. D. (2007). Risky business: Promise and pitfalls of institutional transparency. Change, 39(5), 30–35.

Kuh, G. D., Hayek, J. C., Carini, R. M., Ouimet, J. A., Gonyea, R. M., & Kennedy, J. (2001). NSSE technical and norms report. Bloomington, IN: Indiana University Center for Postsecondary Research.

Kuh, G. D., Hu, S., & Vesper, N. (2000). ‘‘They shall be known by what they do:’’ An typology of college students. Journal of College Student Development, 41, 228–244.

Kuh, G. D., Kinzie, J., Buckley, J., Bridges, B. K., & Hayek, J. C. (2006, July). What matters to student success: A review of the literature. Commissioned report for the national symposium on postsecondary student success: Spearheading a dialog on student success. Washington, D.C.: National Postsecondary Education Cooperative.

Retrieved June 23, 2008, from http://nces.ed.gov/IPEDS/research/pdf/ Kuh_Team_Report.pdf.

Kuh, G. D., Kinzie, J., Cruce, T., Shoup, R., & Gonyea, R. M. (2007). Connecting the dots: Multifaceted analyses of the relationships between student engagement results from the NSSE, and the institutional practices and conditions that foster student success. Final report prepared for Lumina Foundation for Education. Bloomington, IN: Center for Postsecondary Research.

83

Kuh, G. D., Kinzie, J., Schuh, J. H., Whitt, E. J., et al. (2005). Student success in college: Creating conditions that matter. San Francisco: Jossey-Bass and American Association for Higher Education.

Kuh, G. D., Schuh, J. H., Whitt, E. J., et al. (1991). Involving colleges: Encouraging student learning and personal development through out-of-class experiences. San Francisco: Jossey-Bass.

Leveille, D. E. (2006). Accountability in higher education: A public agenda for trust and cultural change. Berkeley, CA: University of California Center for Studies in Higher Education.

McCormick, A. C., Pike, G. R., Kuh, G. D., & Chen, D. P. (2009). Comparing the utility of the 2000 and 2005 Carnegie classification systems in research on students’ college experiences and outcomes.

Research in Higher Education, 50, 144–167.

National Center for Education Statistics. (2000). IPEDS finance data FASB and GASB—What’s the difference? Retrieved October 28, 2004, from http://nces.ed.gov/ipeds/web2000/gasb-fasb.asp.

National Survey of Student Engagement. (2004). Student engagement: Pathways to collegiate success.

Bloomington, IN: Indiana University Center for Postsecondary Research.

Ouimet, J. A., Bunnage, J. B., Carini, R. M., Kuh, G. D., & Kennedy, J. (2004). Using focus groups to establish the validity and reliability of a college student survey. Research in Higher Education, 45, 233–250.

Pace, C. R. (1980). Measuring the quality of student effort. Current Issues in Higher Education, 2, 10– 16.

Pace, C. R. (1984). Measuring the quality of college student experiences. An account of the development and use of the College Student Experiences Questionnaire. Los Angeles: Higher Education Research Institute.

Pace, C. R. (1985). The credibility of student self-reports. Los Angeles: Center for the Study of Evaluation, University of California Los Angeles.

Pascarella, E. T., & Terenzini, P. T. (1991). How college affects students: Findings and insights from twenty years of research. San Francisco: Jossey-Bass.

Pascarella, E. T., & Terenzini, P. T. (2005). How college affects students: A third decade of research (Vol. 2). Sacn Francisco: Jossey-Bass.

Pascarella, E. T., Whitt, E. J., Nora, A., Edison, M., Hagedorn, L. S., & Terenzini, P. T. (1996). What have we learned from the first year of the national study of student learning? Journal of College Student Development, 37, 182–192.

Pike, G. R. (1995). The relationship between self reports of college experiences and achievement test scores. Research in Higher Education, 36, 1–21.

Pike, G. R. (2007). Adjusting for nonresponse in surveys. In J. C. Smart (Ed.), Higher education: Handbook of theory and research (Vol. XXII, pp. 411–449). Dordrecht, The Netherlands: Springer.

Pike, G. R., & Kuh, G. D. (2005). A typology of student engagement for American colleges and universities. Research in Higher Education, 46, 185–210.

Pike, G. R., Kuh, G. D., & Gonyea, R. M. (2003). The relationship between institutional mission and students’ involvement and educational outcomes. Research in Higher Education, 44, 243–263.

84

Pike, G. R., Smart, J. C., Kuh, G. D., & Hayek, J. C. (2006). Educational expenditures and student engagement: When does money matter? Research in Higher Education, 47, 847–872.

Pohlmann, J., & Beggs, D. (1974). A study of the validity of self-reported measures of academic growth. Journal of Educational Measurement, 11, 115–119.

Porter, S. R. (2006). Institutional structures and student engagement. Research in Higher Education, 47, 521–558.

Raudenbush, S. W., Bryk, A. S., Cheong, Y. F., Congdon, R., & du Toit, M. (2004). HLM6: Hierarchical linear and nonlinear modeling. Chicago: Scientific Software International.

Rock, D. A., Baird, L. L., & Linn, R. L. (1972). Interaction between college effects and students’ aptitudes. American Educational Research Journal, 9, 149–161.

Rock, D. A., Centra, J. A., & Linn, R. L. (1970). Relationships between college characteristics and student achievement. American Educational Research Journal, 7, 109–121.

Ryan, J. F. (2004). The relationship between institutional expenditures and degree attainment at baccalaureate colleges. Research in Higher Education, 45, 97–114.

Ryan, J. F. (2005). Institutional expenditures and student engagement: A role for financial resources in enhancing student learning and development? Research in Higher Education, 46, 235–249.

Secretary of Education’s Commission on the Future of Higher Education. (2006). A test of leadership: Charting the future of U. S. higher education. Washington, D.C.: U. S. Department of Education.

Smart, J. C., Ethington, C. A., Riggs, R. O., & Thompson, M. D. (2002). Influence of institutional expenditure patterns on the development of students’ leadership competencies. Research in Higher Education, 43, 115–132.

Thomas, S. L. (2006). Sampling: Rationale and rigor in choosing what to observe. In C. F. Conrad & R. C. Serlin (Eds.), The SAGE handbook for research in education: Engaging ideas and enriching inquiry (pp. 393–404). Thousand Oaks, CA: Sage.

Titus, M. A. (2007). Detecting selection bias, using propensity score matching, and estimating treatment effects: An application to the private returns to a Master’s degree. Research in Higher Education, 48, 487–521.

Toutkoushian, R. K., & Smart, J. C. (2001). Do institutional characteristics affect student gains from college? Review of Higher Education, 25, 39–61.

Tyler, R. W. (1932). Service studies in higher education. Columbus: Bureau of Educational Research, Ohio State University.

Upcraft, M. L., Gardner, J. N., et al. (1989). The freshman year experience. San Francisco: JosseyBass.

Webber, D. A., & Ehrenberg, R. G. (2009, August). Do expenditures other than instructional expenditures affect graduation and persistence rates in American higher education (unpublished research report). Ithaca, NY: Cornell Higher Education Research Institute.

Wenglinskey, H. (1997). When money matters: How educational expenditures improve student performance and how they don’t. Princeton, NJ: Educational Testing Service.

85