Jak číst vědecké studie a nenechat se oklamat nadpisy

Každý týden to samé. „Nová studie prokázala, že káva prodlužuje život.“ O měsíc později: „Vědci varují, že káva škodí srdci.“ Vejce byla deset let jed, pak najednou superpotravina. Snídaně je nejdůležitější jídlo dne, pokud zrovna není v módě přerušovaný půst. Člověk to přestane sledovat, mávne rukou a řekne si, že věda si stejně protiřečí a nedá se jí věřit.

Věda si však neodporuje. Odporují si titulky.

Za těmito dvěma protichůdnými nadpisy se obvykle skrývají dvě zcela odlišné věci: jednou jde o průzkum mezi sto tisíci lidmi prostřednictvím dotazníku, jindy o pokus na třiceti myších. V novinách se obě označují jako „studie“. Obě dostanou stejně sebevědomý titulek. A přitom jedna z nich má vypovídací hodnotu asi jako předpověď počasí na příští měsíc.

Dobrou zprávou je, že rozlišit kvalitní studii od té bezcenné se dá naučit za jedno odpoledne. Nepotřebuješ k tomu doktorát ani znalosti statistiky. Musíte vědět, na co se ptát, a mít disciplínu klást otázky i tehdy, když vám výsledek vyhovuje a potvrzuje to, čemu již věříte.

Ne každý důkaz má stejnou váhu

To je základ všeho ostatního. Slovo „studie“ nic neříká, dokud nevíš, o jaký typ se jedná. Existuje poměrně jasná hierarchie důkazů a vyplatí se znát alespoň její hlavní úrovně.

Úplně na spodní úrovni jsou laboratorní pokusy a pokusy na zvířatech. Buňky v misce, myši, krysy. Jsou nenahraditelné, protože bez nich bychom nevěděli, kde vůbec hledat. Nejsou však důkazem toho, jak něco funguje u člověka. Myši jsme z rakoviny vyléčili už mnohokrát. Lidi zatím ne. Pokud titulek hovoří o průlomovém objevu a v textu se někde skromně zmiňují hlodavci, je to zajímavý podnět pro další výzkum, nic víc.

O patro výš se nacházejí kazuistiky a série případů. Popis jednoho nebo několika pacientů. Jsou užitečné u vzácných onemocnění a při odhalování neočekávaných vedlejších účinků, ale nelze z nich vyvodit žádné obecné závěry.

Průřezové studie a dotazníkové průzkumy zachycují stav v daném okamžiku: co lidé jedí, jak se cítí, kolik váží. Problém je v tom, že nevíš, co bylo první. Jsou ti lidé štíhlí, protože se tak stravují, nebo se tak stravují, protože jsou štíhlí? Průřezová studie to nerozliší.

Kohortové studie zahrnují velkou skupinu lidí a sledují ji po dobu několika let až desetiletí. Jedná se o seriózní práci a většina toho, co víme o dlouhodobých dopadech životního stylu, pochází právě odtud. Stále však platí, že nikdo nikoho do ničeho nerozděloval. Pouze se sledovalo, co lidé dělají sami od sebe, a to s sebou nese problém, který rozebíráme níže.

Právě randomizace je tím, co rozhoduje

Randomizované kontrolované studie rozdělí účastníky náhodně do dvou skupin, z nichž jedna dostane sledovaný zásah, druhá placebo nebo nic, a výsledky se pak porovnají. Právě v tom náhodném rozdělení spočívá kouzlo: zajistí, že se obě skupiny budou ve všem ostatním podobat, a to i v tom, co nikoho nenapadlo měřit. Je to jediný způsob, jak spolehlivě zjistit, zda něco skutečně způsobuje daný výsledek. Je-li studie navíc zaslepená, tedy účastníci nevědí, v které skupině jsou, případně dvojitě zaslepená, kdy to nevědí ani výzkumníci, je to ještě lepší.

Na vrcholu jsou systematické přehledy a metaanalýzy. Tyto práce neprovádějí vlastní experiment. Podle předem stanovených pravidel vyhledají všechny dosavadní studie k danému tématu, posoudí jejich kvalitu a shrnou jejich výsledky. Dobrá metaanalýza randomizovaných studií je to nejlepší, co v dané otázce máme.

Jedna důležitá výhrada: metaanalýza je jen tak dobrá, jak dobré jsou studie, z nichž je sestavena. Když vezmeš dvacet špatných studií a spočítáš z nich průměr, dostaneš sice přesněji vypočítaný, ale nesmyslný výsledek. Proto poctivé metaanalýzy vždy obsahují hodnocení kvality zahrnutých studií, a proto se vyplatí zkontrolovat, zda takové hodnocení vůbec existuje.

Praktický závěr: když narazíš na titulek, první otázka zní – na kom to prováděli a rozdělil je někdo náhodně?

Souvislost není příčina

To už slyšel každý, a přesto se na to všichni vrhnou, včetně novinářů, kteří o tom minulý měsíc psali článek.

Představ si, že by se zjistilo, že lidé, kteří pravidelně jedí ořechy, žijí v průměru déle. To zní jako dobrý důvod, proč jíst ořechy. Ale kdo jsou ti lidé? Obvykle mají vyšší příjem, více se hýbou, méně kouří, chodí na preventivní prohlídky a celkově se o sebe starají. Ořechy jsou jen jedním z viditelných projevů celého životního stylu.

Odborně se tomu říká matoucí proměnná, tedy něco třetího, co ovlivňuje obě sledované veličiny najednou. Statistici se to snaží vypočítat, ale nikdy to nedokážou zcela odstranit, protože nemohou zohlednit to, co nikdo neměřil.

Jak to poznáš v textu: slova „spojované s“, „související s“, „asociované s“ nebo „častěji se vyskytovalo u“ znamenají souvislost. V nadpisu se z nich téměř vždy stane „způsobuje“. Pokud studie nikoho náhodně nerozdělila, o příčině nehovoří. Tečka.

Tento mechanismus ještě není výsledkem

Toto je nejčastější marketingový trik v oblasti výživových doplňků a je třeba si ho uvědomit.

Postup je následující: v laboratoři se zjistí, že určitá látka aktivuje buněčnou dráhu, která souvisí například s růstem svalů nebo spalováním tuků. To je ten mechanismus. A hned nato se objeví produkt s tvrzením, že vědecky prokázaně podporuje růst svalové hmoty.

Tělo je však souhrnem stovek takových drah, které probíhají současně a vzájemně se ovlivňují. To, že daný mechanismus existuje, vůbec nezaručuje, že se projeví ve výsledku, který tě zajímá. Mezi „aktivuje signální dráhu v buňce“ a „narostou ti svaly“ je obrovská propast, kterou je třeba překlenout skutečným pokusem na lidech.

Vždy se zeptej: měřilo se něco, co skutečně cítím a chci, tedy svaly, hmotnost, infarkty, délka života, nebo jen biochemický ukazatel, o kterém někdo doufá, že s tím souvisí? To druhé se nazývá náhradní ukazatel a je to jedna z nejzrádnějších oblastí celé medicíny. Lék může skvěle zlepšovat hodnoty v krvi, a přitom nezachránit ani jeden život.

Jedna studie ještě není důkazem

To si zaslouží zarámovat a pověsit nad monitor.

Jedna studie představuje jeden hlas v diskusi. Nic víc. Výsledek začne platit teprve tehdy, až jej nezávisle zopakují jiné týmy a až to někdo shrne do systematického přehledu.

V posledních letech se ukázalo, že velkou část slavných experimentů, zejména v psychologii a medicíně, se při opakování nepodařilo potvrdit. Ne proto, že by někdo lhal. Většinou proto, že původní studie byly malého rozsahu, výsledek se pohyboval těsně pod hranicí statistické významnosti a nikdo se neobtěžoval jej ověřit.

A právě to vysvětluje ty protichůdné titulky z úvodu. Média vytáhnou jednu izolovanou studii, udělají z ní zázrak nebo strašáka, a za měsíc totéž s opačným výsledkem. Přitom se v odborné literatuře mezitím prakticky nic nezměnilo, celkový soubor důkazů se posouvá pomalu a nudně.

Nejtěžší je zkontrolovat sám sebe

Dosud šlo vždy jen o techniku. Tohle je charakter.

Máme přirozenou tendenci bez výhrad přijímat studie, které potvrzují to, co si již myslíme, a naopak hledat chyby v těch, které nám odporují. Dělají to všichni, i vědci, zejména ti, kteří si na nějakém tématu vybudovali kariéru.

Existuje na to jednoduchý test. Když narazíš na studii, která ti sedí, přečti si ji stejně kriticky, jako by ti neseděla. Projdi si těch pár otázek níže. Pokud najednou nemáš co namítat a všechno je zázračně v pořádku, je velmi pravděpodobné, že nečteš, ale jen sbíráš munici do debaty.

A ještě jedna věc, možná ještě důležitější: nikdy nevypínej mozek. Ani když studii zveřejnil prestižní časopis. Ani když ji cituje někdo s akademickými tituly. Ani když to říká člověk, kterému jinak důvěřuješ. Samotná vědecká metoda je spolehlivá. Lidé, kteří ji používají, se však mohou mýlit stejně jako všichni ostatní.

Deset otázek pro rychlou kontrolu

Než něco sdílíš dál nebo na základě toho změníš svůj život, projdi si těchto deset otázek:

1. Lidé, nebo myši a buňky?
2. Randomizované rozdělení, nebo jen pozorování?
3. Kolik lidí, jak dlouho a kolik jich odpadlo?
4. Vypadají ti účastníci jako já?
5. Měřil se skutečný výsledek, nebo jen mechanismus či náhradní ukazatel?
6. Jaká je absolutní hodnota, nikoli procentuální změna?
7. Jaký je interval spolehlivosti – úzký, nebo od nuly až po nekonečno?
8. Byl protokol zaregistrován předem?
9. Kdo to financoval a kde to vyšlo?
10. Potvrdil to už někdo nezávisle?

Pokud na většinu z nich nedokážeš odpovědět na základě toho, co čteš, problém není ve vědě. Problém je v tom článku.

Prvních pět otázek zvládneš na základě tohoto textu. Zbytek tvoří čísla a metodika, které je třeba si prohlédnout přímo v práci, a o nich pojednává pokračování: Na co se v studii zaměřit, než jí uvěříš.