Jeszcze o EBM

“A lot of what is published is incorrect.”
I’m not allowed to say who made this remark because we were asked to observe Chatham House rules. We were also asked not to take photographs of slides. Those who worked for government agencies pleaded that their comments especially remain unquoted, since the forthcoming UK election meant they were living in “purdah”—a chilling state where severe restrictions on freedom of speech are placed on anyone on the government’s payroll. Why the paranoid concern for secrecy and non-attribution?
Because this symposium—on the reproducibility and reliability of biomedical research, held at the Wellcome Trust in London last week—touched on one of the most sensitive issues in science today: the idea that something has gone fundamentally wrong with one of our greatest human creations.

The case against science is straightforward: much of the scientific literature, perhaps half, may simply be untrue. Affl cited by studies with small sample sizes, tiny effects, invalid exploratory analyses, and flagrant conflicts of interest, together with an obsession for pursuing fashionable trends of dubious importance, science has taken a turn towards darkness. As one participant put it, “poor methods get results”. The Academy of Medical Sciences, Medical Research Council, and Biotechnology and Biological Sciences Research Council have now put their reputational weight behind an investigation into these questionable research practices. The apparent endemicity of bad research behaviour is alarming. In their quest for telling a compelling story, scientists too often sculpt data to fit their preferred theory of the world. Or they retrofit hypotheses to fit their data. Journal editors deserve their fair share of criticism too. We aid and abet the worst behaviours. Our acquiescence to the impact factor fuels an unhealthy competition to win a place in a select few journals. Our love of “significance” pollutes the literature with many a statistical fairy-tale. We reject important confirmations. Journals are not the only miscreants. Universities are in a perpetual struggle for money and talent, end points that foster reductive metrics, such as high-impact publication. National assessment procedures, such as the Research Excellence Framework, incentivise bad practices. And individual scientists, including their most senior leaders, do little to alter a research culture that occasionally veers close to misconduct.
Can bad scientific practices be fixed? Part of the problem is that no-one is incentivised to be right.
Instead, scientists are incentivised to be productive and innovative. Would a Hippocratic Oath for science help? Certainly don’t add more layers of research redtape.
Instead of changing incentives, perhaps one could remove incentives altogether. Or insist on replicability statements in grant applications and research papers.
Or emphasise collaboration, not competition. Or insist on preregistration of protocols. Or reward better pre and post publication peer review. Or improve research training and mentorship. Or implement the recommendations from our Series on increasing research value, published last year. One of the most convincing proposals came from outside the biomedical community. Tony Weidberg  is a Professor of Particle Physics at Oxford. Following several high-profile errors, the particle physics community now invests great effort into intensive checking and rechecking of data prior to publication.

By filtering results through independent working groups, physicists are encouraged to criticise. Good criticism is rewarded. The goal is a reliable result, and the incentives for scientists are aligned around this goal. Weidberg worried we set the bar for results in biomedicine far too low. In particle physics, signifi cance is set at 5 sigma—a p value of 3 × 10–7 or 1 in 3·5 million (if the result is not true, this is the probability that the data would have been as extreme as they are). The conclusion of the symposium was that something must be done. Indeed, all seemed to agree that it was within our power to do that something. But as to precisely what to do or how to do it, there were no fi rm answers. Those who have the power to act seem to think somebody else should act fi rst. And every positive action (eg, funding well-powered replications) has a counterargument (science will become less creative). The good news is that science is beginning to take some of its worst failings very seriously. The bad news is that nobody is ready to take the fi rst step to clean up the system.

Richard Horton
richard.horton@lancet.com

"Wiele z opublikowanych informacji jest niepoprawnych."
Nie wolno mi powiedzieć, kto zgłosił tę uwagę, ponieważ proszono nas by przestrzegać zasad Chatham House. Poproszono nas również by nie robić zdjęć slajdów.
Ci, którzy pracowali dla agencji rządowych wystąpili z prośbą by ich uwagi  pozostały nieodnotowane, w szczególności od czasu zbliżających się Wielkiej Brytanii wyborów, mając na uwadze, że żyli w "purdah" - stanie wyciszenia, w którym surowe ograniczenia wolności słowa są postulowane wobec każdego, kto jest na liście płac rządowych. Skąd ta paranoiczna troska o tajemnicę i brak powiązań?
Ponieważ to sympozjum na temat odtwarzalności i wiarygodności badań biomedycznych, które odbyło się w Wellcome Trust w Londynie w zeszłym tygodniu - dotknęło jednej z  najbardziej wrażliwych kwestii w dzisiejszej nauce: idei, że coś poszło zasadniczo nie tak z jedną z naszych największych ludzkich kreacji [naukowych].

Casus przeciwko nauce jest prosty: znaczna część literatury naukowej, prawdopodobnie połowa, może po prostu być nieprawdziwa.
Obowiązują badania na niewielkich rozmiarach próbek, z małymi efektami, nieprawidłowe analizy eksploracyjne i konflikty interesów, wraz z obsesją na punkcie ścigania modnych trendów o wątpliwej wadze - nauka skręciła w ciemność. Jak powiedział jeden z uczestników "słabe metody przynoszą rezultaty".
Akademia Medyczna Nauki, Rada Badań Medycznych oraz Rada ds. Biotechnologii i Badań Nauk Biologicznych już teraz swoją reputację postawiły poza śledztwem w sprawie tych wątpliwych  praktyk badawczych. Ta oczywista endemiczność złego zachowania badawczego jest alarmująca. W ich poszukiwaniu opowiadania przekonujących historii, naukowcy zbyt często rzeźbią dane, aby dopasować swoją preferowaną teorię świata. Albo dopasowują hipotezy do swych danych. Także redaktorzy czasopism zasługują na swoją sprawiedliwą część krytyki. Pomagamy i wynosimy najgorsze zachowania. Nasza zgoda na sensacje  jest  paliwem niezdrowej konkurencji, by wygrać miejsce w kilku wybranych czasopismach. Nasza miłość do "doniosłości" zanieczyszcza literaturę  wieloma statystycznymi baśniami. Odrzucamy ważne potwierdzenia.
Czasopisma nie są jedynymi niegodziwcami.
Uniwersytety są w ciągłej walce o pieniądze i talenty, punkty końcowe, które sprzyjają redukcyjnym wskaźnikom, takim jak publikacja o dużym znaczeniu. Krajowe procedury oceny, takie jak Research Excellence Framework, zachęcają do złych praktyk. A indywidualni naukowcy, w tym większość ich wyższych rangą mentorów  niewiele robią, aby zmienić kulturę badań, co okazjonalnie zbliża się do niewłaściwego postępowania.
Czy można złagodzić złe praktyki naukowe? Część problemu polega na tym, że nikt nie jest zachęcany do tego, by mieć rację.
Zamiast tego naukowcy są zachęcani do bycia produktywnymi i innowacyjnym. Czy Przysięga Hipokratesa dotycząca nauki pomaga?
Z pewnością nie dodawaj więcej warstw biurokracji [redtape] do badań.
Zamiast zmieniać bodźce, być może można całkowicie je usunąć.

[pomijam niektóre dalsze dywagacje o możliwościach uzdrowienia sytuacji, przechodząc do wyjaśnienia owych 5 sigma]

Pojawiła się jedna z najbardziej przekonujących propozycji spoza społeczności biomedycznej. Tony Weidberg jest profesorem fizyki cząstek w Oxfordzie. W wyniku kilku znaczących popełnionych  błędów społeczność fizyki cząstek teraz z wielką intensywnością zajmuje się sprawdzaniem i ponowną weryfikacją danych przed publikacją.
Poprzez filtrowanie wyników przez niezależne grupy robocze, fizycy są zachęcani do krytykowania. Dobra krytyka jest nagradzana. Cel to wiarygodny wynik, a zachęty dla naukowców są dostosowane do tego celu. Weidberg martwił się, że ustalamy poprzeczkę dla wyników w biomedycynie o wiele za nisko. W fizyce cząstek wartość jest ustawiana na odchylenia 5 sigma - wartości 3 × 10 do minus 7 lub 1 na 3 do 5 milionów (jeśli wynik nie jest prawdziwy, jest to prawdopodobieństwo, że dane byłyby tak ekstremalne, jak są).

Zakończenie sympozjum było takie, że należy coś zrobić. Rzeczywiście, wszyscy wydawali się zgodni, że to jest w naszej mocy, aby to zrobić. Ale co do tego, co robić i jak to robić, nie było żadnych odpowiedzi. Ci, którzy mają moc działania wydają się myśleć, że ktoś inny powinien działać pierwszy. A każde pozytywne działanie (np. Finansowanie dobrze 'napędzanych' replik) ma kontrargument (nauka stanie się mniej twórcza). Dobra wiadomość jest taka, że ​​nauka zaczyna poważnie traktować niektóre z jej najgorszych błędów. Zła wiadomość jest taka, że ​​nikt nie jest gotowy na pierwszy krok do oczyszczenia systemu.

Richard Horton
richard.horton@lancet.com