Metodologické chyby, které děláme při vyhodnocování účinnosti očkování

Minimálně 99% lidí z obou covidových názorových stran (nechtěně) argumentuje na základě chybných závěrů. Tento blogpost vznikl jako pokus dát dohromady seznam nejčastěji vyskytujících se biasů. Bez nároku na úplnost.

Statistika je obecně značně neintuitivní disciplína. Náš odhad i u velmi triviálních úloh velmi často fatálně selhává. Jen si vzpomeňte na Monty Hallův problém nebo jiný ze stovek známých paradoxů. Proto je statistika tak těžká na pochopení a obvykle bývá neoblíbeným předmětem na školách. Dokonce i profesionální statistici každodenně a nevědomky biasům podléhají.

Jiná velikost skupin

Začněme velmi jednoduše. Médii proběhla zpráva, že máme dnes 242 nových hospitalizovaných, z nichž je 128 naočkovaných a 114 nenaočkovaných. Neočkovaných je ale jen 30%, takže porovnávat můžeme až čísla po přeškálování, tj. 128 je z 70% populace a 114 ze 30%.

Jiná struktura skupin

Přeškálovat velikost ale nestačí. Starší část populace je proočkovaná více. A starši populace obecně je rizikovější. Těch 128 jsme tedy vybírali z rizikovější populace a tuto rizikovost je třeba odstranit. Třeba tak, že budeme srovnávat jen tak úzké věkové skupiny, že rozdíl rizikovosti v nich můžeme zanedbat.

Srovnávat všechny očkované proti všem neočkovaným není metodologicky správné, protože to je jako bychom testovali doplněk stravy pro sportovce tak, že bychom ho dali atletům a kontrolní skupinou by byli důchodci.

Jiná struktura skupin znovu a lépe

Ani to ale není správně. Arbitrárně jsme zvolili věk jako kritérium rizikovosti. Ale co je rizikovost ve skutečnosti? Bude to funkce několika faktorů – věk tam určitě patří, ale dále například míra obezity, přítomnost cukrovky, chronická onemocnění, množství pohybu, celkový zdravotní stav… Je potřeba důkladně prozkoumat korelace jednotlivých faktorů a můžeme spočítat, jak velkou část rizikovosti ten který faktor vysvětluje. Má smysl opět porovnávat pouze skupiny, uvnitř kterých můžeme rozdíly v rizikovosti zanedbat.

Očkovaní a neočkovaní netvoří náhodný výběr

Dalším problémem je to, že naše kontrolní skupiny netvoří náhodný výběr. Ten je přitom silným předpokladem všech statistických metod. Lidé, kteří se rozhodnou pro očkování, mohou vést jiný způsob života, jíst jinou stravu, mít jiné množství peněz atd. a na základě toho můžeme zase srovnávat atlety s doplňkem s nesportujícími, jen to nebude tak velký rozdíl. Zkrátka stačí malý konzistentní rozdíl mezi těmito skupinami a výrazně to může ovlivnit výsledek. V praxi mimo laboratorní prostředí je ovšem dosažení náhodného výběru nemožné.

Nesrovnávat pozitivní

Očkovaní neměli po jistou dobu povinnost absolvovat testy. Díky tomuto přístupu nelze vůbec porovnávat počty pozitivních případů. Navíc testů býva občas nedostatek a výber testovaných také není náhodný.

Kdo rozhoduje o hospitalizovaném

Problém s je i s vyhodnocováním toho, zda nemocného hospitalizovat nebo ne. V různých nemocnicích se to rozhoduje jinak striktně. Záleží na přijímajícím lékaři i na kapacitě. I to pak ohýbá naše statistiky.

Časová vzdálenost od dávky

Očkovaný/neočkovaný není ano nebo ne. Hodně záleží na době uplynulé od očkování, viz například zde. Měli bychom upřesnit hypotézu, kterou zkoumáme. Tj. místo “očkování chrání s účinností X” je třeba říct “účinnost očkování se vyvíjí v čase tak a tak” a tomu přizpůsobit používané statistické metody.

Různé druhy vakcín

Když začínaly vakcíny, hodně se řešila jejich účinnost. Dnes ale směšujeme různé druhy vakcín dohromady a přistupujeme k nim stejně i když struktura účinku stejná být vůbec nemusí.

Mezinárodní srovnávání

Naprosto nelze srovnávat jakákoliv mezinárodní čísla. To, že nějaká země má jiný počet pozitivních/mrtvých/hospitalizovaných/očkovaných neznamená absolutně nic. Každá země si data tvoří odlišně a ve většině případů (včetně ČR) velmi tvůrčími způsoby.

Závěr

Biasům podléháme a podléhat budeme. Mějme respekt k názorové protistraně, protože ani naše argumentace většinou není bez chyby.