Když už víš, že máš před sebou studii, která stojí za přečtení, přichází druhá polovina práce: přečíst ji tak, aby tě nezmátla. Podstatných je jen pár věcí – v které části práce se skrývá to důležité, která čtyři čísla o něčem skutečně vypovídají, koho a jak dlouho sledovali a kdo to celé zaplatil. Statistice rozumět nemusíš.
Toto je pokračování článku „Jak číst vědecké studie a nenechat se oklamat titulky“, který se zabývá tím, co dokážou jednotlivé typy studií prokázat. Nyní se podíváme podrobněji na jednu konkrétní práci.
Kde ve studii hledat pravdu
Každá vědecká práce má stejnou strukturu. Když ji znáš, víš, kam se podívat.
Abstrakt je shrnutí na začátku, jedna až dvě věty z každé části. Jedná se v podstatě o marketingovou prezentaci práce; píše se tak, aby zaujal a dal se citovat. Všechny výhrady, omezení a „ale“ se do něj nevejdou. Existuje pro to i posměšný výraz: bojovník abstraktů. Člověk, který si přečte shrnutí a vydá se s ním do internetové debaty v přesvědčení, že dané téma pochopil.
Úvod vysvětluje, co je již známo, co je sporné, a především dvě věci: cíl a hypotézu. Zapamatuj si je, později budeš kontrolovat, zda se práce skutečně věnovala tomu, co slíbila.
Metodika je nejnudnější a nejdůležitější část. Kdo byli účastníci, kolik jich bylo, jak dlouho to trvalo, co přesně se měřilo a jak. Devadesát procent problémů se studiemi lze odhalit právě zde.
Výsledky obsahují suchá čísla bez výkladu, tabulky a grafy.
Diskuse je část, kde autoři sami přiznávají, čeho jejich práce nedokáže. Obvykle se tam nachází překvapivě upřímný odstavec o omezeních a jedná se zpravidla o dvacet nejcennějších řádků celé práce. Pokud nemáš čas na nic jiného, přečti si abstrakt a poté omezení v diskusi. Rozdíl mezi tím, jak to zní na začátku, a tím, co autoři přiznávají na konci, ti toho hodně napoví.
Financování a střet zájmů jsou uvedeny úplně na konci, drobným písmem. O tom za chvíli.
Procenta, která vypadají vyšší, než ve skutečnosti jsou
Velikost efektu nespočívá v tom, zda rozdíl existuje, ale v tom, jak velký je. Toto číslo se v titulcích téměř nikdy neuvádí, ačkoli je ze všech nejdůležitější. Existující, ale nepatrný rozdíl je v praxi totéž jako žádný.
Relativní versus absolutní čísla. „Snížení rizika o 50 %“ zní dramaticky. Dokud nezjistíte, že riziko kleslo ze dvou případů na jeden případ na sto tisíc lidí. Absolutní rozdíl je jeden případ na sto tisíc. Relativní rozdíl je polovina. Obě čísla jsou pravdivá, ale jedno z nich je zavádějící. Je snadné uhodnout, které z nich se dostane do titulku. Vždy hledejte absolutní čísla. Pokud v článku nejsou, autor je buď nepochopil, nebo je záměrně vynechal.
Významnost a interval, který odhalí nejistotu
Statistická významnost, tedy p-hodnota, zjednodušeně řečeno udává, jaká je pravděpodobnost, že by k takovému výsledku došlo čistě náhodou.
0,05
Je třeba si uvědomit dvě věci. Za prvé, statisticky významný neznamená důležitý: u dostatečně velkého vzorku vyjde jako významný i rozdíl, který v běžném životě nepoznáš. Za druhé, tato hranice je pouze dohodou, takže výsledky těsně pod ní a těsně nad ní jsou si mnohem bližší, než jak se o nich píše.
Interval spolehlivosti je rozsah, v němž se pravděpodobně nachází skutečná hodnota. Pokud studie uvádí, že dané opatření zlepšilo výkon o 5 % s intervalem od 4 do 6 %, jedná se o poměrně jistý výsledek. Pokud je interval od −2 do 12 %, znamená to, že ve skutečnosti nevíme téměř nic: možná to velmi pomáhá, možná to škodí. Široký interval je znakem malého vzorku a je to jeden z nejlepších rychlých ukazatelů toho, jak vážně lze výsledek brát.
Kdo, jak dlouho a kolik jich odpadlo
Tři otázky z metodiky, které vyřadí většinu senzačních zjištění.
Kdo? Dvacet vysokoškoláků ještě není reprezentativní vzorek. Výsledky získané u profesionálních sportovců se automaticky nedají vztáhnout na běžného člověka po čtyřicítce. Studie provedená výhradně na mladých mužích se nevztahuje na ženy po menopauze. Vždy se podívej, zda se účastníci alespoň vzdáleně podobají tobě.
Jak dlouho. To je největší slabina výzkumu výživy a životního stylu vůbec. Nejdelší randomizované studie o stravě trvaly dva roky, drtivá většina z nich trvá čtyři až šest týdnů. Důvod je prostý: lidé nedokážou dodržovat dietu déle a nikdo to nezaplatí. To znamená, že o dlouhodobých účincích čehokoli víme podstatně méně, než se tváří polovina internetu.
Kolik lidí to vzdalo. Když studie začala se stovkou lidí a dokončilo ji čtyřicet, výsledek vypovídá o těch čtyřiceti vytrvalých, a to je úplně jiná skupina, než s jakou se začínalo. Vysoká míra odpadnutí je varovným signálem, který se v abstraktu nikdy nezmiňuje.
Jak lze s výsledky manipulovat
Ne vždy jde o podvod. Často je to jen lidská tendence hledat v datech něco hezkého. Výsledek je ale stejný.
Změna otázky na základě výsledku. Poctivý postup je následující: formuluji hypotézu, předem zaznamenám protokol, provedu pokus a pokud se mi nepodaří, změním závěr. Nečestný postup je opačný: provedu pokus, podívám se, jak dopadl, a dodatečně k němu doplním otázku, jako bych ji měl od začátku. Dobrý výzkumník mění závěry tak, aby odpovídaly datům. Špatný výzkumník mění data a otázky tak, aby odpovídaly závěru.
Hledání statistické významnosti. Pokud ve studii měříte dvacet ukazatelů, čistě statisticky se jeden z nich ukáže jako významný, i když ve skutečnosti nic nefunguje. Stačí pak napsat článek o tom jednom. Proto se dnes protokoly předem registrují ve veřejných registrech, aby bylo vidět, co se mělo původně měřit. Pokud studie takovou registraci zmiňuje, je to dobré znamení.
Publikace zkreslují výsledky. Studie, které nic neprokázaly, se publikují hůře. Časopisy chtějí objevy, ne nudu. Výsledkem je, že odborná literatura jako celek je posunuta směrem k pozitivním výsledkům, i když nikdo nic nezfalšoval.
Vybírání třešniček. Nejčastější chyba čtenářů i lidí, kteří píší o vědě na sociálních sítích. K téměř jakémukoli tvrzení lze najít alespoň jednu studii, která ho podporuje.
Mýtus
Našel jsem studii, která to potvrzuje.
Fakt
Otázka nikdy nezní, zda nějaká studie existuje. Zní: co vyplývá z celkového souboru důkazů.
Kdo to zaplatil a kde to vyšlo
Zdroj financování najdeš na konci každé práce spolu s prohlášením o střetu zájmů.
Studie financovaná výrobcem nemusí být automaticky špatná. Velká část seriózního výzkumu vzniká díky finančním prostředkům z průmyslu, protože to prostě nikdo jiný nezaplatí. Je to však důvod k pečlivějšímu čtení, zejména pokud závěr podezřele přesně kopíruje marketingové sdělení zadavatele, nebo pokud byl měřen právě ten ukazatel, který produktu vyhovuje.
Stejně tak se vyplatí podívat se, kde byla práce publikována. Existují takzvané „predátorské“ časopisy, které za poplatek zveřejní cokoli bez skutečného recenzního řízení. A pozor také na preprinty, tedy práce zveřejněné před recenzním řízením. Nejsou bezcenné, ale ještě neprošly odbornou recenzí.
Kde si to ověříš
Nemusíš věřit článku, který o té studii píše. Téměř vždy se dá sehnat původní zdroj.
PubMed je bezplatná databáze biomedicínské literatury, ve které najdeš abstrakty prakticky všeho. Cochrane Library obsahuje systematické přehledy, které patří k nejpřísněji zpracovaným na světě. Google Scholar ukáže, kolikrát byla daná práce citována a kým.
K ověření poctivosti slouží dvě stránky: Retraction Watch sleduje stažené studie a PubPeer shromažďuje odborné výhrady k jednotlivým pracím. Když se studie, o které se právě píše, objeví na jedné z nich, víš dost.
A ještě jedna praktická věc: většina novinových článků o vědě neuvádí odkaz na původní práci. To samo o sobě je varovným signálem. Pokud se k originálu nelze dostat, berte dané tvrzení jako pouhou pověst.
Malý slovníček
Randomizace — náhodné rozdělení účastníků do skupin. Jediný spolehlivý způsob, jak oddělit účinek od náhody a od vlivu životního stylu.
Slepá studie — účastníci a v případě dvojité slepé studie i výzkumníci nevědí, komu byl podán skutečný lék a komu placebo.
Placebo – neúčinná náhrada, která slouží k porovnání. Samotné očekávání účinku může skutečně ovlivnit výsledek, a proto nelze bez srovnávací skupiny nic posoudit.
Kohorta — skupina lidí, která je dlouhodobě sledována.
Zavádějící proměnná — třetí faktor, který ovlivňuje obě sledované veličiny současně a vytváří zdánlivou souvislost.
Náhradní ukazatel — naměřená hodnota, která má zastupovat to, co nás skutečně zajímá, například cholesterol namísto infarktu.
Velikost efektu — jak velký je zjištěný rozdíl, nikoli pouze to, zda existuje.
p-hodnota — pravděpodobnost, že by k takovému výsledku došlo náhodou. Hranice 0,05 je dohoda, nikoli zákon.
Konfidenční interval — rozsah, v němž se pravděpodobně nachází skutečná hodnota. Čím je širší, tím méně toho víme.
Metaanalýza — statistické sloučení výsledků několika studií do jedné hodnoty.
Systematický přehled — práce, která podle předem stanovených pravidel shromažďuje a vyhodnocuje všechny studie k danému tématu.
Preprint — práce zveřejněná před odborným recenzním řízením.