A társadalom- és viselkedéstudományokban az elmúlt évtizedben számos reform indult annak érdekében, hogy a kutatások átláthatóbbá, megismételhetőbbé és megbízhatóbbá váljanak. Eddig azonban kevés figyelem irányult arra, hogy mennyire függenek a kutatási eredmények attól, hogy az adatokat pontosan hogyan elemzik.

A tudományos gyakorlatban egy adatállományt általában egyetlen kutató vagy kutatócsoport dolgoz fel, és a publikáció egyetlen elemzési út eredményeit mutatja be. A lektorálás ugyan ellenőrzi a módszertani elfogadhatóságot, de ritkán derül ki, hogy más, szintén védhető statisztikai döntések esetén milyen eredmények születtek volna. Pedig egy empirikus kutatás során számos döntési pont adódik: hogyan tisztítják az adatokat, miként definiálják a változókat, milyen statisztikai modellt vagy szoftvert használnak, és milyen keretben értelmezik az eredményeket. Ezek együtt adják az úgynevezett elemzési variabilitást – vagyis azt a rugalmasságot, amely alapvetően befolyásolhatja a végső következtetéseket.

Ezt a jelenséget vizsgálta egy nagyszabású nemzetközi együttműködés Aczél Balázs (ELTE) és Szászi Barnabás (Corvinus Egyetem) vezetésével. A projektben 457 független elemző összesen 504 újraelemzést végzett el 100, véletlenszerűen kiválasztott, korábban publikált tanulmány adatain.
Az elemzők ugyanazt az adatállományt és kutatási kérdést kapták meg, de teljes szabadságuk volt abban, hogyan végzik el az elemzést.

A vizsgálat kimutatta: az azonos adatokon alapuló elemzések gyakran eltérő eredményeket hoztak, ami igazolja, hogy az eredményeket jelentősen befolyásolják az elemzés során hozott módszertani döntések.

Az eredmények nagyban különböztek. Bár az újraelemzések többsége nagy vonalakban megerősítette az eredeti tanulmányok fő állításait, a hatásméretek, a statisztikai becslések és a bizonytalanság mértéke gyakran érdemben eltért. Az eseteknek mindössze körülbelül egyharmadában jutott minden elemző pontosan ugyanarra a következtetésre, mint az eredeti szerzők.

„Az eltérések nem az elemzők felkészületlenségéből fakadtak" - teszi hozzá a közleményben. A tapasztalt, statisztikában jártas kutatók ugyanolyan gyakran jutottak eltérő eredményekre, mint mások. Ugyanakkor a megfigyeléses vizsgálatok kevésbé bizonyultak robusztusnak, mint a kísérleti tanulmányok, ami arra utal, hogy a komplexebb adatstruktúrák nagyobb elemzési szabadságot – és ezzel nagyobb bizonytalanságot – engednek meg”
– fűzte hozzá Szászi Barnabás.

A szerzők hangsúlyozzák: eredményeik nem a korábbi kutatások hitelességét kérdőjelezik meg. Épp ellenkezőleg, arra hívják fel a figyelmet, hogy egyetlen elemzés bemutatása gyakran nem tükrözi a valós empirikus bizonytalanságot, és az elemzési variabilitás figyelmen kívül hagyása indokolatlan magabiztossághoz vezethet. A tanulmány ezért a több elemzőt bevonó és a multiverse típusú elemzések szélesebb körű alkalmazását javasolja, különösen a tudományos vagy társadalmi szempontból kiemelten fontos kérdések esetében. Ezek a megközelítések nem egyetlen „igaz” választ keresnek, hanem láthatóvá teszik, mennyire stabilak – vagy éppen törékenyek – a tudományos következtetések.

Ezek is érdekelhetnek:

Öt történelmi tévhit, amit sokan a mai napig elhisznek Történelmünk tele van izgalmasabbnál izgalmasabb eseményekkel, sztorikkal, feljegyzésekkel, de ugyebár nem minden arany, ami fénylik.

Erre az öt, nyugtalanító fizikai paradoxonra máig nincs magyarázat Öt meglepő gondolatkísérlet, ami alapjaiban kérdőjelezi meg a világ működését.

Rejtély, hogy miből áll ez a galaxis - 99%-át nem normál anyag alkotja Találtak egy galaxist, amiben alig van látható anyag.

(Forrás: Nature, ELTE)