98 / Testy pro personální práci
8.4 Zjištění validity jednotlivých položek Validita umožní zjistit, zda naše metoda, kterou se snažíme vytvořit, skutečně měří extroverzi, asertivitu a míru přesnosti při myšlení a řešení. Již v první fázi tvorby dotazníku jsme se snažili vytvořit co nejlepší základ pro validní metodu, a to tím, že jsme si definovali jednotlivé charakteristiky – nyní se nám naše snaha bude hodit. V teoretické části jsme si uvedli několik druhů validity, nyní se k nim vrátíme s praktickými ukázkami.
Obsahová validita Zaměřuje se na skutečnost, zda naše metoda opravdu zkoumá extroverzi, asertivitu a přesnost v myšlení a řešení. Jaké postupy jsme pro její zajištění zvolili? 1. Definovali jsme co nejpřesněji, i s vysvětlivkami, oblasti, které jsme zamýšleli měřit. Ty jsme poté předložili třem nezávislým odborníkům s bohatou personální praxí a požádali jsme je o vyjádření, zda s těmito definicemi souhlasí. Definice jsme upravili podle jejich připomínek. 2. Položky, které jsou přiřazeny k jednotlivým zkoumaným oblastem a mají za úkol zkoumat jejich míru, jsme opět předložili třem nezávislým odborníkům s personální praxí. Požádali jsme je o kritické zhodnocení a analýzu, zda s předloženými tvrzeními souhlasí. 3. Našli jsme pro srovnání metodu, která měří totéž, co jsme si vytyčili měřit i my, a máme v úmyslu porovnat výsledky.
Ekologická validita Ekologickou validitu jsme zajistili diskuzí se skupinou personalistů, kteří se vyjádřili k otázce, zda tyto tři charakteristiky, které zkoumáme (extroverze, asertivita, přesnost v myšlení a řešení), patří skutečně mezi kompetence nutné a nezbytné v praxi na pozici pracovníka pro helpdesk. Teprve po jejich schválení jsme pokračovali dále ve vytváření našeho dotazníku.
Velmi často se setkáváme v praxi se zjednodušujícím přístupem, kdy se tvůrce diagnostické metody cítí být sám dostatečně velkým odborníkem, a proto nepožádá nikoho dalšího o konzultaci nad svou vytvářenou metodou. Je to velká chyba, protože pohled odborně zdatné osoby „zvenčí“ ukáže často pohled na problematiku, jaký samotného tvůrce, ponořeného do práce s metodou, nenapadne.
Ukázka elektronické knihy, UID: KOS205403
Osobnostní dotazník krok za krokem / 99
Kritériová validita Kritériovou validitu dotazníku lze určit tak, že výsledky vytvořeného dotazníku porovnáme s nějakým již hotovým a ověřeným nástrojem. V našem případě tuto možnost máme. Míru shody v odpovědích na oba dotazníky posoudíme pomocí korelačních koeficientů (Pearsonův a Spearmanův koeficient korelace). Výpočet těchto statistických charakteristik v Excelu jsme již podrobně popsali při analýze testu účetních vědomostí v předchozí kapitole. Výsledky korelační analýzy jsou shrnuty v tabulce 11. Tabulka 11 Výsledky korelační analýzy Korelační koeficienty
Extroverze
Asertivita
Míra přesnosti
Pearson
0,98571
0,97018
0,96739
Spearman
0,95573
0,92759
0,94123
Dotazníky byly předloženy celkem dvaceti osobám, kritické hodnoty pro statistickou významnost Pearsonova korelačního koeficientu (viz příloha) na hladině významnosti 0,05 je 0,4438, pro Spearmanův koeficient pořadové korelace je to 0,4451. Námi určené korelační koeficienty jsou nad těmito hranicemi, dokonce jsou velice blízké hodnotě 1, což ukazuje na silnou korelaci mezi odpověďmi na nově sestavených dotaznících a výsledky z dotazníků kontrolních. Lze-li předpokládat, že kontrolní dotazníky jsou validní, na základě spočítaných hodnot korelačních koeficientů by validní měly být i dotazníky nové.
8.5 Reliabilita dotazníku Díky validitě víme, že měříme přesně ty kompetence, které chceme změřit. Nyní nás čeká cesta, na konci které zjistíme, s jakou přesností naše metoda pracuje, tj. zda se liší její vypovídající hodnota od kvízů a dotazníků ve víkendových přílohách novin. Podobně jako u testu účetních vědomostí posoudíme reliabilitu pomocí Cronbachova alfa a pomocí korelací jednotlivých položek s celkovým skóre. Zaměříme se zvlášť na každou sledovanou charakteristiku, tedy zvlášť na míru extroverze, asertivity a přesnosti, podobně jako jsme to dělali při ověřování validity (kritériové). Vzhledem k tomu, že jednotlivé části dotazníku obsahují pouze šest položek, nebudeme odhadovat reliabilitu pomocí metody split-half. Výpočet Cronbachova alfa pro jednotlivé části dotazníku pomocí Excelu je stejný jako v případě výpočtu této charakteristiky u testu účetních vědomostí. Lze jej tedy určit buď pomocí postupného určování jednotlivých rozptylů (rozptyly odpovědí na jednotlivé položky a rozptylu celkového dosaženého skóre) a dosazení do vzorce pro výpočet Cronbachova alfa, nebo lze využít analytického nástroje ANOVA: dva faktory bez opakování, výsledky viz tabulka 12.
Ukázka elektronické knihy, UID: KOS205403
100 / Testy pro personální práci
Tabulka 12 Výsledky sledovaných charakteristik s využitím Cronbachova alfa Charakteristika Cronbachovo alfa
Extroverze
Asertivita
Míra přesnosti
0,841
0,768
0,742
Reliabilita odhadnutá na základě Cronbachova alfa je pro jednotlivé části dotazníku větší než 0,7. Vzhledem k tomu, že dotazník nevyplnilo příliš mnoho osob a jednotlivé části obsahují pouze šest položek, lze tato čísla považovat za uspokojivá a dotazník tedy za reliabilní. Spočítáme nyní korelační koeficienty mezi odpověďmi na jednotlivé položky a celkovým dosaženým skóre ve třech částech dotazníku. Tabulka 13 Výpočet korelačních koeficientů Korelační koeficient
Extroverze
Pearson
0,88186
0,53968
0,85795
0,73745
0,82218
Spearman
0,72324
0,52371
0,77960
0,48902
0,71416
Asertivita Pearson
0,65979
0,69585
0,38972
0,75113
0,69585
Spearman
0,61464
0,54878
0,50918
0,60453
0,56600
Míra přesnosti Pearson
0,72691
0,44684
0,81371
0,81814
0,46694
Spearman
0,65879
0,41854
0,76541
0,81145
0,16497
Korelační koeficienty jsou všechny kladné, což je v pořádku. Pokud by se v dotazníku vyskytovala položka se zápornou korelací, znamenalo by to, že odpovědi na tuto otázku jsou „opačné“ nežli je tomu při srovnání s celkovým dosaženým skóre. Taková položka může být problematická. Obvykle snižuje celkovou reliabilitu i validitu testu. V našem případě však k takové situaci nedošlo. Téměř všechny hodnoty korelačních koeficientů jsou statisticky významné, jejich hodnoty jsou větší než kritické hodnoty (podobně jako u ověřování validity je pro Pearsonův korelační koeficient tato kritická hodnota pro hladinu významnosti 0,05 rovna 0,4438 a pro Spearmanův korelační koeficient je 0,4451). Shrneme-li výsledky analýzy validity a reliability vytvořeného dotazníku, lze konstatovat, že z hlediska kritériové validity je dotazník validní, a posoudíme-li reliabilitu pomocí Cronbachova alfa a korelačních koeficientů mezi odpověďmi na jednotlivé položky a celkovým dosaženým skóre ve třech částech dotazníku, lze dotazník považovat za reliabilní.
Korelační koeficienty jsou všechny kladné, což je v pořádku. Pokud by se v dotazníku vykytovala položka se zápornou korelací, znamenalo by to, že odpovědi na tuto otázku jsou „opačné“ nežli je tomu při srovnání s celkovým dosaženým skóre.
Ukázka elektronické knihy, UID: KOS205403