Problemi replikacije

Nastao je pravi metež u vezi sa „krizom replikabilnosti“ u psihologiji nakon objave nove studije u časopisu Njujork tajms (New York Times). Cilj takozvanog projekta reproducibilnosti bio je da se uradi replikacija 100 čuvenih psiholoških studija i došlo se do zaključka da se samo u jednoj trećini slučajeva može doći do istovetnih rezultata s jednakim statističkim značajem. To je posebno poražavajuće za nalaze koji su bili interesantni širokom auditorijumu, kao što je mišljenje da su ljudi navodno moralno tolerantniji nakon što razmišljaju o čistoći ili to da zauzete žene smatraju slobodne muškarce privlačnijim tokom perioda ovulacije.

Reagovanja štampe i blogosfere umnogome su uključivala prikupljanje poena, što je razumljivo. Bilo je izrugivanja autora koji su pokušali da objasne ovo poniženje.

Izašle su na videlo pobude akademika, izdavača časopisa i novinara da objavljuju i pišu o istraživanjima koja tvrde da su došla do određenog rezultata (naročito nečeg iznenađujućeg, što je zanimljivo) pre nego o istraživanjima koja nisu otkrila nikakve efekte (što je dosadno).

Međutim, u srcu problema je mnogo ozbiljnije pitanje statističke metodologije koja se koristi prilikom testiranja hipoteza.

Ekonomista Džon Kvigin (John Quiggin) objašnjava tehničke detalje koji stoje iza statističkih tvrdnji da su „istraživanja s najvećim brojem objava pogrešna“.

Od medija, najveću pažnju ovim problemima posvetio je časopis Ekonomist (The Economist), koji već godinama prati ovu temu.

Njegov iscrpni izveštaj iz 2013. godine o (ne)pouzdanosti naučnih rezultata i dalje je izvor na koji se upućuju čitaoci, a koji uključuje sjajan animirani grafikon koji demonstrira gorepomenute statističke tvrdnje.

Izveštaj Ekonomista takođe iznosi važno zapažanje da ovo nije samo problem „meke“ društvene nauke kao što je psihologija, već se odnosi i na mnoge druge oblasti uključujući medicinsko istraživanje - u kojima se donose veoma konsekventne odluke.

Šta je sa ekonomijom? I ovde su problemi replikacije nalaza istraživanja potencijalno rasprostranjeni, a i konsekventni utoliko što su odluke o merama koje utiču na veliki broj ljudi zasnovane na rezultatima ekonomskih istraživanja.

Noa Smit (Noah Smith) opisuje neke od najozloglašenijih, kao što je uticajna studija Karmen Rajnhart (Carmen Reinhart) i Keneta Rogofa (Kenneth Rogoff) o korelaciji između visokog javnog duga i ekonomskog rasta. Ona je imala dalekosežni efekat na debatu o merama fiskalne štednje - međutim, ta povezanost se nije zadržala u ponovljenim studijama.

Tim Harford se nedavno dotakao novog navodnog problema replikacije u poznatoj studiji iz oblasti razvojne ekonomije o efektima antiparazitnih programa na pohađanje škole. Majkl Klemens (Michael Clemens) preispituje i mnoge druge slučajeve.

Sve ovo je razlog za brigu, ali ne i očaj. Istraživačke zajednice nesumnjivo imaju zadatak da istraže kako se istraživanja selektuju i proveravaju pre objavljivanja.

Za društvo u celini pak lekcija je da se naučna istraživanja ne odbacuju zbog izostanka replikabilnosti, već da treba obavljati više ponavljanja studija.

Harford navodi: „Međutim, veće pitanje je zašto se tako značajna teorija zasniva na šačici kliničkih ispitivanja. Apsolutno je tačno da ispitujemo postojeće studije kako bismo proverili njihove tvrdnje, ali je još korisnije sprovođenje novih ispitivanja u kojima se dolazi do novih informacija.“ Ili samo ponavljanje testa?

Replikabilnost može biti dobra za naučne studije. To je prilično dubiozna karakteristika političara, kada preuzima oblik dinastičkog nasleđivanja. U SAD verovatno predstoji borba članova porodice Buš i Klinton za predsedničku fotelju - prvi kandidat je sin i brat dva prethodna predsednika, a drugi supruga trećeg nekadašnjeg predsednika. Rik Perlstin (Rick Perlstein) u svom članku govori ono što treba da se zna o tome koliko su SAD postale dinastičke - ne samo kada je u pitanju vrlo ekskluzivna predsednička politika već i šira ekonomska sfera, sve do preraspodele prihoda.

Da li tu ima nešto loše? Pored toga što vređaju one koji imaju demokratske i meritokratske sklonosti, međunarodni dokazi ukazuju na to da ne postoji povezanost između dinastija i ekonomskog uspeha (osim, kako se pretpostavlja, za same dinastije).

Prema studiji o subnacionalnim državama i opštinama u nekoliko azijskih zemalja, unutar svake zemlje prisutnost dinastija je manja u mestima sa većim prihodima ili bržim napretkom. Povezanost, naravno, nije isto što i uzročnost, ali dinastije i veliki prosperitet ne idu zajedno.