Juhuslikult sattusin uudiste ja teabe voos kokku artikliga Science Scientific Reports. See sisaldab andmeid 1500 teadlase uuringutulemuste korratavuse kohta. Kui varem tõstatati see probleem bioloogiliste ja meditsiiniliste uuringute jaoks, kus ühelt poolt on see seletatav (valed korrelatsioonid, uuritavate süsteemide üldine keerukus, mõnikord süüdistatakse isegi teaduslikku tarkvara), siis teisalt on sellel fenomenoloogiline iseloom (näiteks hiired kipuvad teadlastega käituma erinevalt) eri soost (1 ja 2)).
Rohkemate loodusteadustega, nagu füüsika ja tehnika, keemia, ökoloogia, pole aga kõik ladus. Näib, et need väga distsipliinid põhinevad "absoluutselt" reprodutseeritavatel katsetel, mis viiakse läbi kõige kontrollitavamates tingimustes, paraku hämmastav - selle sõna igas tähenduses - uuringu tulemus: kuni 70% teadlastest on kohanud taasesitatavaid katseid ja tulemusi, mis on saadud mitte ainult teiste teadlaste rühmade poolt, Aga ka avaldatud teadustööde autorite / kaasautorite poolt!
Kas iga liivahunnik kiidab oma sood?
Ehkki 52% vastanutest osutab teaduse reprodutseeritavuse kriisile, peab vähem kui 31% avaldatud andmeid põhimõtteliselt ebaõigeks ja enamus märkis, et nad usaldavad avaldatud tööd endiselt.
Küsimus: kas tulemuste korratavus on kriisis?
Muidugi ei tohiks pelgalt selle küsitluse põhjal õlgu maha tõmmata ja kogu teadust kui sellist linkida: pooled vastanutest olid ikkagi teadlased, kes on ühel või teisel viisil seotud bioloogiliste teadusharudega. Nagu autorid märgivad, on füüsikas ja keemias reprodutseerimise ja saadud tulemuste kindluse tase palju kõrgem (vt allolevat graafikut), kuid siiski mitte 100%. Kuid meditsiinis on asjad ülejäänutega võrreldes väga halvad.
Reklaamvideo:
Anekdoot tuleb meelde:
Inglismaa Bristoli ülikooli bioloogipsühholoog Marcus Munafo tunneb pikka aega huvi teaduslike andmete reprodutseerimise vastu. Meenutades oma tudengipäevade päevi, ütleb ta:
Küsimus: mitu teie valdkonnas avaldatud teost on reprodutseeritavat?
Laius- ja pikkuskraadi probleemi sügavus
Kujutage ette, et olete teadlane. Te olete kohanud huvitavat artiklit, kuid tulemusi / katseid ei saa laboris korrata. Loogiline on sellest kirjutada originaalartikli autoritele, küsida nõu ja küsida täpsustavaid küsimusi. Uuringu kohaselt on vähem kui 20% seda oma teadusliku karjääri jooksul igal ajal teinud!
Uuringu autorid märgivad, et võib-olla on sellised kontaktid ja vestlused teadlaste endi jaoks liiga keerulised, kuna need paljastavad nende ebakompetentsuse ja ebajärjekindluse teatavates küsimustes või näitavad liiga palju praeguse projekti üksikasju.
Lisaks üritas valdav osa teadlasi avaldada ümberlükamatute tulemuste ümberlükkamist, seistes silmitsi toimetajate ja arvustajate vastuseisuga, kes nõudsid võrdluste vähendamist algsest uuringust. Kas on ime, et võimalus teaduslike tulemuste reprodutseerimatuse kohta teatada on umbes 50%.
Esimene küsimus: kas olete proovinud katse tulemusi korrata?
Teine küsimus: kas olete proovinud tulemusi korrata?
Ehk siis vähemalt laboris korrata reprodutseeritavustesti? Kõige kurvem on see, et kolmandik vastanutest pole KUNAGI isegi mõelnud meetodite loomisele andmete reprodutseeritavuse kontrollimiseks. Ainult 40% märkisid, et kasutavad selliseid tehnikaid regulaarselt.
K: Kas olete kunagi välja töötanud spetsiaalsed tehnikad / tehnilised protsessid tulemuste korratavuse parandamiseks?
Veel üks näide, Suurbritannia biokeemik, kes ei soovinud oma nime avaldada, ütleb, et katsed oma laboriprojekti jaoks tehtud töid korrata, paljundada lihtsalt kahekordistavad aja- ja materjalikulud, andmata või lisamata teosele midagi uut. Täiendavaid kontrolle tehakse ainult uuenduslike projektide ja ebatavaliste tulemuste osas.
Ja muidugi välismaa kolleege piinama hakanud igavesed vene küsimused: kes on süüdi ja mida teha?
Kes on süüdi?
Töö autorid tõid välja tulemuste korratavuse kolm peamist probleemi:
- Ülemuste surve avaldada teos õigel ajal avaldatud
- Valikuline aruandlus (ilmselt tähendab see teatud andmete mahasurumist, mis "pilti rikkuvad")
- Ebapiisav andmete analüüs (sealhulgas statistiline)
Küsimus: Millised tegurid põhjustavad ebaproduktiivsete teaduslike tulemuste olemasolu?
Vastused (ülalt alla): –proovide esitamine –Bossirõhk –Paranalüüs / statistika –Eksperimendi ebapiisav korratavus laboratooriumis –Ebapiisav järelevalve - Meetodi või koodi puudumine –Poor eksperimentaalne kavandamine –Toormeandmete puudumine primaarlaborist - Pettus - Ebapiisav kontroll ekspertide / retsensentide poolt –Probleemid reprodutseerimisprobleemidega –– Reprodutseerimiseks on vaja tehnilist ekspertiisi - Standardreaktiivide muutlikkus - “Nyudachka ja Pichalka”
Mida teha?
1500 küsitletud hulgast rääkis üle 1000 spetsialisti andmete kogumise ja töötlemise statistika parendamise, ülemustepoolse järelevalve kvaliteedi parandamise ja katsete rangema kavandamise poolt.
K: Millised tegurid aitavad reprodutseeritavust parandada?
Vastused (ülevalt alla): - statistika parem mõistmine - rangem järelevalve - parem eksperimentaalne ülesehitus - koolitus - laboratooriumi sisemine ülevaade - täiustatud praktilised oskused - formaalse andmete ristkontrolli soodustamine - laboritevaheline ülevaade - projektijuhtimiseks rohkem aega eraldada - teadusajakirjade standardite tõstmine - Rohkem aega laboriregistritega töötamiseks
Järeldus ja isiklik kogemus
Esiteks on isegi minu kui teadlase jaoks tulemused jahmatavad, ehkki olen juba harjunud tulemuste teatava taasesitamatusega. Eriti ilmneb see teostes, mida hiinlased ja indiaanlased teostavad ilma kolmandate osapoolte "auditeerimiseta" Ameerika / Euroopa professorite näol. On hea, et probleem teadvustati ja selle lahendus (ed) välja mõeldi. Ma seoses hiljutise skandaaliga vaikin taktitundeliselt Venemaa teadusest, kuigi paljud teevad ausalt oma tööd.
Teiseks, artikkel ignoreerib (või pigem ei arvesta) teaduslike mõõdikute ja eelretsenseeritavate teadusajakirjade rolli uurimistulemuste taasesitamatuse probleemi ilmnemisel ja arendamisel. Väljaannete kiiruse ja sageduse saavutamiseks (loe, viitade indeksite suurenemine) langeb kvaliteet järsult ja tulemuste täiendavaks kontrollimiseks pole aega.
Nagu öeldakse, on kõik tegelased väljamõeldud, kuid põhinevad reaalsetel sündmustel. Millegipärast oli ühel tudengil võimalus artikkel üle vaadata, sest mitte igal professoril pole aega ja energiat artikleid läbimõeldult lugeda, nii et kogutakse 2–3–4 üliõpilase ja arsti arvamust, millest ülevaade moodustatakse. Kirjutati ülevaade, mis tõi välja tulemuste taasesitamatuse vastavalt artiklis kirjeldatud meetodile. Seda demonstreeriti professorile selgelt. Kuid selleks, et mitte rikkuda suhet "kolleegidega" - õnnestub neil ju kõiges - õnnestus ülevaade "parandada". Ja selliseid artikleid on 2 või 3 avaldatud.
See osutub nõiaringiks. Teadlane saadab artikli ajakirja toimetajale, kus ta osutab „soovitud” ja mis kõige tähtsam - „soovimatutele” retsensentidele, see tähendab, et tegelikult jäetakse autorite meeskonda ainult need, kes on positiivselt meelestatud. Nad vaatavad teose üle, kuid ei saa kommentaarides passida ja proovivad valida kahest pahest väiksema - see on loetelu küsimustele, millele tuleb vastata, ja siis avaldame artikli.
Teine näide, millest ajakirja Nature toimetaja vaid kuu aega tagasi rääkis, on Grazeli päikesepaneelid. Kuna teadusringkonnad on selle teema vastu tohutult huvitatud (tahavad nad ikkagi artiklit Looduses!), Pidid toimetajad looma spetsiaalse küsimustiku, milles tuleb märkida palju parameetreid, pakkuda seadmete kalibreerimist, sertifikaate jms, et kinnitada, et efektiivsuse mõõtmise meetod paneelid vastavad mõnele üldpõhimõttele ja standardile.
Ja kolmandaks: kui taaskord kuulete kõike ja kõiki vallutavast imevaktsiinist, siis uus lugu töökohtadest seelikus, uutest akudest või GMOde või nutitelefonide kiirgusest tulenevatest ohtudest / eelistest, eriti kui seda propageerisid ajakirjanduse kollased kirjanikud, siis ole mõistlik ja ära hüppa järeldustele. Oodake tulemuste kinnitust teiste teadlaste rühmade poolt, massiivi ja andmeproovide kogunemist.
