PRAVIDLO PÁTÉ Tolik k penězům. Co zdraví? Zaměřme se na otázku života a smrti – která léčba funguje a která ne. Jako „zlatý standard“ medicínských důkazů se často popisuje randomizovaná kontrolovaná studie (RKS). V rámci RKS někteří lidé dostanou testovaný lék a jiní, náhodně vybraní, buď placebo, nebo nejlepší známý lék. RKS je skutečně nejspravedlivější jednorázový test nového léčebného postupu, jenže pokud RKS podléhají publikačnímu zkreslení, neutvoříme si úplný obrázek o všech provedených testech a naše závěry budou nejspíš značně pokřivené.31 Třeba v roce 2008 se při rychlém přehledu studií různých antidepresiv zjistilo, že 48 z nich prokázalo pozitivní účinek a tři žádný takový pozitivní účinek neobjevily. To zní dost povzbudivě, dokud se ovšem člověk nezamyslí nad rizikem publikačního zkreslení. Autoři tohoto přehledu se tedy do tématu ponořili hlouběji a našli 23 nepublikovaných studií, z nichž 22 skončilo negativním závěrem, že daný lék pacientům nepomáhá. Navíc zjistili, že 11 studií, které se v článcích, jež je popisovaly, jevily jako pozitivní, ve skutečnosti v souhrnech překládaných Úřadu pro kontrolu potravin a léčiv USA dospělo k negativním závěrům. V článcích se tedy podařilo vyzobat příznivá zjištění a nepříznivá uklidit stranou, takže nakonec dávaly pozitivně působící obrázek o léku, který ve skutečnosti neúčinkoval. Opravený výsledek tedy nezněl 48‒3, ale 38‒37 ve prospěch toho, že antidepresiva fungují. Možná že přece jen účinkují, minimálně někdy nebo u někoho, ale dá se oprávněně tvrdit, že publikované výsledky správně neodrážely všechny experimenty, které proběhly.32 A to už není jen tak. Když se kvůli klamu přeživších rozhodujeme, aniž bychom měli k dispozici všechny podstatné informace – o investičních fondech, které zkrachovaly, o začínajících podnikatelích, kteří se nikdy nedostali dál než do fáze kutění v garáži, o akademických studiích, které nebyly publikovány, a o klinických studiích, které neprokázaly účinek zkoumaného léku –, vyhazují se z okna miliardy dolarů a zbytečně umírají statisíce lidí. Tato kapitola doposud líčila jednu velkou katastrofu. Jediný světlý bod představuje zjištění, že tyto problémy už dnes nepoměrně lépe než ještě před pěti lety chápeme a bereme na vědomí. Pojďme se tedy teď na tento světlý bod na okamžik zaměřit a zjistit, jestli existuje naděje na zlepšení. Z hlediska vědců je jasné, jak by zlepšení mělo vypadat: nesmějí zatajovat tu část výzkumu, která odpovídá příběhům z Kickended. Musejí transparentně uvádět data, která shromáždili, ale nepublikovali, statistické testy, které provedli, ale pak odložili stranou, klinické studie, které neprokázaly účinek zkoumaných léků, i studie, které vedly k fádním výsledkům a neprošly recenzním řízením časopisů nebo skončily v šuplíku, zatímco se dotyčný badatel pustil do něčeho slibnějšího. Ti, kteří o výzkumu píší, nesou podobnou zodpovědnost: nejen oznamovat úžasné nové výsledky, ale zasazovat je do kontextu toho, co už bylo
98
Ukázka elektronické knihy, UID: KOS509361
Zjistěte si souvislosti publikováno – a pokud možno i toho, co mělo být publikováno, ale místo toho to upadlo v zapomnění. V ideálním případě se musíme umět vznést nad „zahradu, v které se cestičky rozvětvují,“ Andrewa Gelmana a prohlédnout si celé to bludiště shora včetně slepých uliček a stezek, kudy se tolik nechodí. Tento pohled shora se nám naskytne, když budeme mít všechny relevantní informace v uživatelsky přívětivé podobě. K dosažení těchto standardů to máme ještě daleko – ale už se objevují znatelné známky zlepšení. Pomalého, neúplného, ale přece jen zlepšení. V lékařství například v roce 2005 Mezinárodní výbor redaktorů lékařských časopisů vyhlásil, že nejvýznamnější lékařské časopisy, které zastupuje, přestanou otiskovat klinické studie, které neprošly předregistrací. Předregistrace znamená, že vědci musejí před zahájením studie vysvětlit, co plánují dělat a jak plánují analyzovat výsledky, a toto vysvětlení vyvěsit na veřejně přístupný web. Taková předregistrace představuje důležitý opravný prostředek proti publikačnímu zkreslení, protože vědci se mohou snadno seznámit s případy, kdy se studie plánovala, ale výsledky se pak v zápalu boje jaksi ztratily. Měla by ostatním vědcům taky umožnit, aby si přečetli její popis a později si zkontrolovali, že byl dodržen plán analýzy dat, místo aby se ve chvíli, kdy data vyšla najevo, upravil. Předregistrace ale není všelék. Výzvu představuje zejména pro terénní studie ve společenských vědách, při kterých se akademici často musejí přiživovat na projektu vedeném státem nebo neziskovou organizací. Takové projekty se časem vyvíjejí tak, že to vědci neovlivní a ani nedokážou předpovědět. A i když lékařské časopisy předregistraci vyžadují, může se stát, že tento požadavek nebudou vynucovat.33 Ben Goldacre se svými kolegy z Centra lékařství založeného na důkazech při Oxfordské univerzitě několik týdnů systematicky monitoroval vydávání nových článků v hlavních lékařských časopisech. Goldacrova skupina zjistila 58 článků, které nevyhověly ohlašovacím standardům, jež se časopisy zavázaly dodržovat – například v případě klinických studií, u nichž bylo předem uvedeno, že budou měřit konkrétní dopad na pacienty, ale poté se zaměřily na informování o jiných účincích. Redaktorům časopisů ihned zasílali dopisy s žádostí o nápravu, ty však byly často místo otištění odmítnuty.34 Člověka zamrzí, když si uvědomí, že se normy vynucují jen namátkově, ale asi by nás to – vzhledem k tomu, že se celý systém prakticky reguluje sám, pomocí standardů profesní komunity, místo aby měl jednoho vševědoucího ředitele – nemělo překvapovat. I tak mi nicméně vážně připadá, že se situace za poslední dvě desetiletí výrazně zlepšila: roste povědomí o problému, upozorňuje se na nežádoucí postupy a je koneckonců lepší mít namátkově vynucované normy než vůbec žádné. Navíc existují vědecké časopisy jako Trials, který vychází od roku 2006 a který otiskne výsledky kterékoli klinické studie bez ohledu na to, jestli měla pozitivní, nebo negativní, ohromující, nebo nezajímavý výsledek, čímž
99
Ukázka elektronické knihy, UID: KOS509361
PRAVIDLO PÁTÉ zajišťuje, aby žádná vědecká studie nevyšuměla bez zveřejnění jenom proto, že ji odborný svět nepožadoval za dostatečně zajímavou. Otevírají se ohromné příležitosti většího využití automatických nástrojů, například k automatickému rozpoznání chybějících prací, tedy studií, které prošly předregistrací, ale pak nebyly publikovány, nebo k upozornění na novější články citující starší výzkumy, které byly mezitím aktualizovány, opraveny nebo staženy.35 V psychologii se zdá, že rozruch ohledně jasnozřivosti byl nakonec přínosný. Akademičtí psychologové pochopitelně chtějí publikovat, ale většina nechce dělat pseudovědu – chtějí se dobrat pravdy. Díky krizi reprodukovatelnosti se podle všeho zlepšuje povědomí o pravidlech řádného výzkumu, za snahy o replikaci se rozdává víc cukru a za nekvalitní výzkumy uplatňuje víc biče. Objevují se taky povzbudivé známky toho, že replikační snahy vítá víc vědců. V roce 2010 například politologové Brendan Nyhan a Jason Reifler vydali studii jevu, který vešel ve známost jako „efekt zpětného rázu“ – a který ve stručnosti znamená, že lidé spíš věřili nepravdivému výroku, pokud jim byla předložena fakta, která ho vyvracela. Toto zjištění vyvolalo mezi některými novináři morální paniku, zejména po nástupu Donalda Trumpa. Ověřování fakt je jenom na škodu! Intuici se opět protivilo přesně do té míry, aby dokonale ťalo do živého. Jenže Nyhan s Reiflerem vyzvali k dalším studiím a z těch vyplývá, že efekt zpětného rázu obvyklý není a kontrola vážně pomáhá. Ve shrnutí celého výzkumu je uveden závěr: „obecně vzato může vyvracení mylných informací zpřesnit názory lidí na konkrétní tvrzení.“ Toto shrnutí na Twitteru několikrát citoval sám Nyhan, když zaznamenal, že se někdo opírá o jeho původní práci, aniž by bral v úvahu návazné studie.36 Mnozí statistikové se domnívají, že krize svědčí o potřebě přepracovat samotné standardní statistické testy – že hrubé nedostatky vykazuje už sám koncept „statistické významnosti“. Matematický test probíhá velice jednoduše. Začíná se od předpokladu, že zkoumaná teze neplatí (lék neúčinkuje, mince není cinklá, jasnozřivost neexistuje, stánky s 24 a šesti druhy džemu jsou stejně lákavé), a na něj navazuje otázka, jak nepravděpodobná jsou pozorovaná data. Pokud například předpokládáme, že mince se chová, jak má, a desetkrát s ní hodíme, budeme očekávat, že panna padne pětkrát, ale nepřekvapí nás ani, pokud by padla šestkrát, možná i sedmkrát. Zato pokud by padla desetkrát za sebou, vyvolalo by to v nás úžas – a vzhledem k tomu, že náhodně by takový výsledek nastal v jednom případě z tisíce, bylo by zřejmě namístě zpochybnit původní předpoklad, že mince cinklá není. Testování statistické významnosti vychází ze stejného principu: jestliže teze neplatí, jsou nasbíraná data překvapivá? Například při testování léku začne statistická analýza od předpokladu, že lék neúčinkuje, a jestliže zaznamenáme, že se stav velké části pacientů, kteří ho užívají, oproti těm, kteří dostávají placebo, výrazně zlepší, je potřeba předpoklad zrevidovat.
100
Ukázka elektronické knihy