Kult istotności statystycznej a idee otwartej nauki 1400-236KIS-n

Wykład poświęcony jest przede wszystkim powszechnej praktyce sprowadzania wnioskowania statystycznego do testów istotności statystycznej, możliwym jej przyczynom i negatywnym dla nauki skutkom. Odwołując się do wybranych prostych metod statystycznych pokazuje jak skromnej ilości informacji dostarcza testowanie i jak bardzo jest przeceniane. Jednocześnie, analizowane są różne powszechnie występujące przejawy błędnych przekonań na temat istotności statystycznej lub jej braku. Pytanie o ich przyczyny prowadzi do rozważań nad funkcjonowaniem ludzkiego umysłu, także w kontekście ewolucyjnym. Zaś pytanie o skutki – do rozpatrzenia niewątpliwie znacznej roli paradygmatu testowania statystycznego w coraz powszechniej dostrzeganym kryzysie powtarzalności wyników w nauce.
Refleksje te prowadzą do pytania , w jakim stopniu stosowanie zasad otwartej nauki może pomóc w rozwiązaniu problemów stworzonych przez paradygmat testowania istotności. Dopóki on obowiązuje, dopóty otwarty dostęp do zasobów nauki nie zlikwiduje ślepoty na niepewności statystyczne.
Wykład nie jest kursem statystyki, a wybrane metody statystyczne rozpatrywane są nie tyle w kontekście szczegółów ich podstaw matematycznych, a jako przykłady w aspekcie charakteru odpowiedzi których dostarczają na temat badanych fragmentów rzeczywistości. Pojawiają się metody parametryczne i nieparametryczne dla jednej i dwu prób, analiza wariancji w klasyfikacji pojedynczej i podwójnej, metody analizy częstości, analiza korelacji, regresji liniowej i regresji logistycznej, przykłady metod wielowymiarowych. Szczególna uwaga poświęcona jest niepewnościom w analizie interakcji, jako jednej z kwestii bardziej zaniedbywanych w podręcznikach.
Krótkie omówienia niektórych spośród tych metod powiązane jest z rozpatrzeniem kwestii i pytań ogólniejszych, które zajmują znaczącą część wykładu, np.:
(1) Ważniejsze argumenty w trwającej przez dziesięciolecia debacie na temat użyteczności testów istotności – od akceptacji, przez uznanie konieczności, po postulat wyeliminowania testów z praktyki naukowej. Moc testu statystycznego. Rozpowszechnione, ale rzadko respektowane zalecenia dotyczące wystarczającej mocy statystycznej. Paradoks nadmiernej mocy, wynikający z błędnego rozumienia testów. Moc testów a precyzja oszacowań.
(2) Współczesny paradygmat testowania istotności statystycznej jako zadziwiający produkt ewolucji kulturowej – hybryda różnych koncepcji, których autorzy najpewniej by się pod obecnym wynikiem nie podpisali.
(3) Czym jest wynik negatywny? Wnioskowanie z niewiedzy, wszechobecność błędów II rodzaju. Kiedy wynik negatywny jest wynikiem, a kiedy brakiem wyniku? Wiedza o braku znacznych efektów może być ważną wiedzą, czasami o taką właśnie chodzi. Ważne nauki płynące z metod testowania (bio)równoważności. Dokonywana wbrew ogólnej regule akceptacja hipotez zerowych jako często występujący element procedur statystycznych, jej poważny negatywny wpływ na poprawność wnioskowań. Skrajne konsekwencje poglądów Johna Ioannidisa: kiedy zaawansowana aparatura badawcza zostaje sprowadzona do roli najdroższego generatora liczb losowych?
(4) "Polowanie" na istotność statystyczną, tzw. torturowanie danych, a czasem wręcz torturowanie rzeczywistości. Interpretacje wyników "prawie istotnych" statystycznie, co może tkwić u ich podstaw? Tradycyjne rozróżnienie między istotnością statystyczną a istotnością merytoryczną i jego niekompletność z punktu widzenia kontroli ryzyka błędu. HARKing.
(5) Istotność statystyczna postrzegana – absurdalnie – jako wymiar rzeczywistości. Elementy analizy języka używanego w opisie statystycznej analizy wyników badań. Pomieszanie stwierdzeń dotyczących prób ze stwierdzeniami dotyczącymi zbiorowości. Figury retoryczne pozwalające uniknąć nie tylko pytań ilościowych, ale też spełnienia powszechnie wymaganego kryterium istotności statystycznej. Jak bardzo poważnie jest traktowane wnioskowanie statystyczne przez badaczy? Oczekiwania badaczy w stosunku do statystyków, faktyczne miejsce wnioskowań statystycznych w procesach badawczych. Istotność statystyczna, empatia i etyka analizy danych.
(6) Zmniejszanie się efektów w kolejnych badaniach tego samego zjawiska. Tzw. filtr istotności i przeszacowywanie efektów, "przekleństwo zwycięzcy". Poprawki na wielokrotne testowanie, rozbieżności poglądów statystyków na celowość ich stosowania, częstość fałszywych odkryć, selektywne przedstawianie wyników.
(7) Jak silną chcemy mieć pewność i czego ma ona dotyczyć? Ryzyka błędów I rodzaju i III rodzaju (kierunkowego, typu S) a poziomy ufności. Pomyłka Jerzego Neymana, uznawanego za ojca przedziałów ufności, w uzasadnieniu potrzeby ich wyznaczania – czy badacze rzeczywiście chcą oszacowań przedziałowych? Wcześniejsza historia przedziałów ufności, powracające mało skuteczne nawoływania do stosowania estymacji przedziałowej, tzw. "reforma statystyczna" i "nowa statystyka".
(8) Dwie ważne przeszkody na które napotyka myślenie w kategoriach przedziałowych: niechęć do niepewności i nadmierny optymizm. Aspekty psychologiczne i próby wyjaśnień ewolucyjnych. Prawo wielkich liczb i wiara w "prawo małych liczb" (sensu Tversky i Kahnemann). Zachowania w obliczu niepewności, Zasada Rzeczy Pewnej (Sure Thing Principle) L. Savage'a i jej częste naruszenia. Realizm depresyjny a ewolucja nadmiernego optymizmu. Optymizm jako strategia osobnika lub jako realizowanie przez osobnika strategii ewolucyjnej, w którą zdarzyło mu się zostać wpisanym. Z jakiego punktu widzenia "obsesja średnich" jest błędem, a z jakiego nim nie jest?
(9) Kryzys odtwarzalności i powtarzalności w nauce (irreproducibility crisis), jego nagłośnienie w ciągu ostatnich dwu dekad, inicjatywy podjęte w celu zrozumienia problemu. Odtwarzalność i powtarzalność w ujęciu metrologii a mniej precyzyjne rozumienie tych terminów w nauce czystej. Kiedy uznaje się, że wynik wcześniejszego doświadczenia udało się powtórzyć? Rola paradygmatu testowania statystycznego w kryzysie powtarzalności. Kult istotności statystycznej jako zjawisko odwracające uwagę od ważnych pytań. Wybrane próby poprawienia sytuacji i związane z nimi kontrowersje.
Niektóre aspekty obliczeniowe omawianych podejść do wnioskowania statystycznego są przedmiotem osobnych zajęć "Ukryte niepewności statystyczne a powtarzalność wyników badań".
Ostrzeżenie: uświadomienie sobie skali niepewności statystycznych może zniechęcać do mechanicznego i bezrefleksyjnego stosowania wielu rozpowszechnionych procedur.