Czy powinnismy ufać informacjom naukowym – rozważania ignoranta.

Do tych rozważań skłonił mnie artykuł sprzed kilkunastu dni dni, z czasopisma Svenska Dagbladet, autorstwa dziennikarza naukowego Henrika Ennarta.

Pisze on:

„W ciągu ostatnich kilku lat zwielokrotniła się liczba opracowań naukowych. Jednocześnie zarówno redaktorzy renomowanych czasopism naukowych, jak i ci, którzy przeglądają artykuły, ostrzegają, że pogorszyła się jakość wielu opracowań i wiele wyników jest błędnych.

Na niektóre z nich mają wpływ sponsorzy, inne nie mogą być powtórzone przez niezależnych badaczy i ponadto wiele opracowań w czasie pandemii opublikowano jako tzw. preprinty, zanim zostały one przejrzane przez ekspertów.

Czytając wiadomości naukowe należy postawić sobie kilka pytań.

-Czy jest to to rozsądne?

Jeśli coś wydaje się zbyt niewiarygodne, aby mogło być prawdziwe, to prawdopodobnie tak jest. Czasopisma naukowe i inne media zwykle nagradzają spektakularne odkrycia. Badania, które wykazują efekt zerowy, nie przyciągają tak wielu czytelników, mimo że wyniki mogą mieć znaczenie naukowe. Jeśli wynik odbiega od wszystkiego, co wcześniej wiedzieliśmy, to zwykle nowy wynik jest błędny. Kolejnym krokiem jest zebranie wyników z wielu badań, co odbywa się w systematycznych przeglądach badań. To mówi więcej niż badania indywidualne.

-Czy jest to dla Ciebie ważne?

Czasami wiadomości w zakresie np. medycyny dotyczą podstawowych badań, w których leczenie chorych trwa latami. Droga od badań podstawowych do zakończonego leczenia może być długa i wąska.  Aby otrzymać dalsze finansowanie, cele pośrednie muszą zostać osiągnięte i zgłoszone. Może więc ten konkretny wynik był ważniejszy dla badacza niż dla Ciebie?

-Jak duży jest efekt? Czy wynik ma dla mnie znaczenie?

Ryzyko, które wzrasta o 100 procent, nadal może być minimalne, jeśli ryzyko było znikome od samego początku. To samo dotyczy oczywiście znaczenia, korzyści. Dlatego ważne jest, aby rozróżnić, czy efekt jest względny, czy bezwzględny, absolutny. Nawet bardzo duży procentowy wzrost może być zupełnie nieistotny osobiście dla mnie czy dla innych.

-Co jest przyczyną a co skutkiem?

Badania obserwacyjne badają relacje, ale nie mogą samodzielnie określić, z czego wynikają. To, że badanie wykazało związek między A i B, niekoniecznie oznacza, że ​​A powoduje B. Ale tutaj uważaj! Brak dowodu na związek przyczynowy nie jest dowodem na brak związku przyczynowego. Wręcz przeciwnie, często zdarza się, że wyraźny związek – korelacja – powtarzana w wielu różnych badaniach, faktycznie ma przyczynę i skutek, taki jak np. palenie i rak płuc. Tutaj należy przedstawić i ocenić inne dowody.

Wytyczną jest zwykle przestrzeganie kryteriów statystyka Austina Bradforda Hilla, które obejmują siłę związku (czy jest to małe czy duże badanie?); zgodność z innymi wynikami; zależności dawka-odpowiedź, jeśli istnieje teoretycznie uzasadniona podstawa; mechanizm, który potrafi wyjaśnić efekt; wyniki badań laboratoryjnych, które idą w tym samym kierunku; czy istnieje grupa kontrolna.

-Jak pewne są wyniki?

Poziom istotności jest jedną z kilku miar mierzących niepewność statystyczną. Jeśli badanie zostanie powtórzone 100 razy dokładnie w ten sam sposób, wartość P wynosząca na przykład 0,05 oznacza, że ​​tego samego wyniku można oczekiwać w 95 z nich. Z drugiej strony poziom nie mówi nic o tym, jak silny jest efekt, czy jest on ważny czy nieistotny.

-Czy badanie jest opublikowane w czasopiśmie naukowym?

Podstawowym wymogiem jest tutaj recenzja przez innych ekspertów. Odbywa się to przed publikacją w czasopismach naukowych w procesie zwanym recenzowaniem, w ramach którego odsiewa się badania, które nie są wystarczająco wysokiej jakości. W renomowanych czasopismach, takich jak Nature i Science, recenzja jest wyjątkowo ostrożna. Podczas pandemii pilność i korzyści płynące z szybkiego rozpowszechniania wyników badań skłoniły zarówno badaczy, jak i media informacyjne do poluzowania  wymogu wstępnego badania przesiewowego. W takim przypadku musi to jasno wynikać ze sprawozdania i jest to czymś, co obniża wiarygodność wyników.

-Co mówią inni badacze?

Czy istnieje konsensus wśród badaczy, czy też istnieje wiele alternatywnych wyjaśnień? Czy komentowali doświadczeni badacze? Nauka nie jest powszechnie akceptowana. Ci, którzy znają temat, faktycznie ważą więcej niż inni, ale inni nie zawsze się z tym zgadzają. Ostrzeżenie: wielu ekspertów lubi być w centrum uwagi i często komentuje poza swoim obszarem wiedzy.

-Czy badacze mają podstawy do swoich wniosków?

Wyniki, które naukowcy podają w swoim artykule, nie zawsze w pełni odpowiadają niekiedy bardziej przekrojowym wnioskom, którymi artykuł jest zaokrąglony. Badacze muszą zawsze określać ograniczenia badania. Często są to punkty, na które naciskali niezależni eksperci, którzy czytali i przeglądali badanie.

-Kto zapłacił?

Należy to stwierdzić w opracowaniu. Szukaj konfliktów interesów. Wiele badań jest sponsorowanych przez producentów, aby znaleźć argumenty przemawiające za ich własnym produktem. Wyniki bardzo rzadko są sprzeczne z interesami finansisty. Nie musi to oznaczać, że badanie jest złe, ale dlaczego badano tę konkretną rzecz, a nie coś innego i konkretnego badacza i skąd wiemy, że w szufladzie biurka nie ma innych wyników, które wskazywałyby na coś innego?”

Te rady doświadczonego dziennikarza naukowego są warte zapamiętania, zwłaszcza dla ignorantów odważających się na poruszenie ważnego tematu i nie kumającym jak się gra w naukę  zoologii opartej o statystykę. Bo czy możemy zaufać pięciu  naukowcom polskim publikujących artykuł o frapującym tytule: „The illegal shooting and snaring of legally protected wolves in Poland”?

Przynajmniej kilka z powyższych pytań daje odpowiedzi, nacechowane niepewnością, przykładowo pytania o rozsądek, o przyczynę i skutek, o pewność badań czyli o poziom istotności, co mówią inni naukowcy, czy naukowcy mają podstawy do swoich wniosków. 

Ignorant jak to ignorant czyta na sieci coś w tym stylu:

„W statystyce niewiele możemy powiedzieć, że coś jest …. na pewno, na 100%. Statystyka bazuje na rachunku prawdopodobieństwa. Poziom istotności jest to próg, wedle którego oceniamy z jakim prawdopodobieństwem różnice, które zaobserwowaliśmy są dziełem przypadku. Każdy wynik testu statystycznego ma określony poziom istotności…”

I zastanawia się później, ignorancko i nieśmiało pukając od dołu w niezmierzone pokłady wiedzy krytykujących go naukowców, dlaczego naukowcy, poważni przecież, usiłują mnie przekonać na podstawie 5 przypadków zastrzelonych w ciągu czterech lat wilków (2017-2020), iż co roku, w znacznej części, ale nieokreślonej, strzela się ich i zabija od 147-216?

Ale potem,  usiłując dalej zgłębić tajemnice statystyki, ignorant czyta pracę przyciągającą swoim tytułem „Poziom istotności i granica rozsądku” a w niej:

„Jednym z najważniejszych zastosowań statystyki jest uzyskiwanie informacji o populacji generalnej na podstawie próby. Cel ten osiągany jest poprzez weryfikację hipotez statystycznych za pomocą odpowiednich schematów postępowań nazywanych testami statystycznymi.

Definiuje się 5 etapów:

-Formułowanie hipotezy zerowej i hipotezy alternatywnej

-określenie poziomu istotności statystycznej

-wyliczenie wartości odpowiednio dobranego testu statystycznego na podstawie danych z próby

-porównanie otrzymanych wartości testu z wartościami krytycznymi ustalonymi dla danego poziomu istotności

-podjęcie decyzji o nieodrzuceniu hipotezy zerowej lub jej odrzuceniu i przyjęciu hipotezy alternatywnej na określonym poziomie istotności.”

Czytając opis tych pięciu etapów, ignorant, powracając do czytania artykułu o wilkach, autorstwa pięciu polskich naukowców, zastanawia się, ignorancko oczywiście, gdzie w tym artykule mamy na przykład wyraźne określenie hipotezy zerowej i hipotezy alternatywnej czy określenie poziomu istotności statystycznej, aby wymienić tylko dwa z koniecznych etapów testu statystycznego. Albo nie był to statystyczny test?

Wszystko możliwe, no ale co tu wymagać od ignoranta, którego jednak naukowiec Dariusz Danel pociesza końcowymi słowami swojej statystycznej pracy naukowej: Najlepiej więc starać się nie przekroczyć granicy zdrowego rozsądku.

Nasze cztery artykuły na Monitorze Leśnym dotyczą wiarygodności nauki, nie tylko zresztą leśnej i w gruncie rzeczy są wezwaniem do zachowania zwykłej rozwagi i trzeźwości przez naukowców.

Nikt rozsądny nie kwestionuje znaczenia nauk statystycznych w badaniach naukowych, natomiast każdy z nas, laików naukowych, usiłujących stworzyć sobie z badań naukowych jakiś wiarygodny drogowskaz, ma prawo do postawienia sobie pytań, takich jak powyższe i w związku z tym, odpowiednich odpowiedzi i oczekiwań.

Naukowcy reprezentujący tylko jedną, z góry założoną hipotezę i propagujacy ją w mediach zgodnie ze swymi aktywistycznymi przekonaniami, są, zdaniem laika i ignoranta, zupełnie niewiarygodnym drogowskazem.

Czytaj również: Polscy myśliwi, kłusujący wilki do potęgi 100.000 powtórzeń!

Naukowcy spod znaku Wilka nie próżnują – giną kolejne wilki.

                           Naukowcy nie rozumieją poziomu istotności i wartości p, prawdopodobieństwa testowego.