Ujawnianie niepewności statystycznych ukrytych w wynikach badań 1400-236UNSwBN

Zajęcia stanowią nietypowy przegląd wybranych prostych metod statystycznych, głównie z perspektywy niepewności statystycznych i częściowo w kontekście powtarzalności wyników i tzw. kryzysu powtarzalności w nauce. Duża część zajęć polega na znajdowaniu statystycznych przedziałów niepewności (przedziałów ufności, przedziałów predykcji, przedziałów tolerancji) w sytuacjach gdy nie są dostępne surowe dane, a jedynie wyniki ich analizy dokonanej za pomocą statystycznych testów istotności, czyli zgodnej z najbardziej rozpowszechnionym standardem postępowania. W ten sposób ujawnione i określone zostają niepewności co do rzeczywistej wielkości efektów, które pozostają ukryte gdy końcowym produktem analizy jest istotność statystyczna. Zamiast ulegać urokowi testów i fałszywej pewności najczęściej z ich stosowania wynikającej, pytamy o to, czego można się na podstawie danych dowiedzieć i z jakim stopniem pewności. Dążymy tu do pokazania elastycznego podejścia z perspektywy rozkładów ufności i krzywych p-wartości (krzywych ufności). Jednocześnie, zamiast ograniczać się do analizy wartości średnich, eksponujemy zmienność indywidualną.
Pierwszym przykładem może być porównanie dwu grup, doświadczalnej i kontrolnej, dla którego dysponujemy p-wartością w teście t Studenta i wyliczonymi średnimi, chcemy zaś się dowiedzieć jaka co najmniej, lub jaka co najwyżej jest prawdziwa wielkość rzeczywistego efektu (różnicy średnich populacyjnych) i w jakich granicach może się mieścić określona część indywidualnych wartości, różnic między nimi etc. Można do tego dojść przez "rozgryzanie" (reverse engineering). Takie właśnie "rozgryzanie" stanowi ważną część kursu. Ta formuła zajęć wymaga uważnego wniknięcia w szczegóły rozpatrywanych i używanych metod, a tym samym prowadzi do dokładnego zaznajomienia się z nimi.

Tego rodzaju postępowanie jest w trakcie zajęć stosowane do różnych metod: porównania średnich, częstości, analizy wariancji, korelacji, regresji. Kiedy nie są możliwe rozwiązania dokładne, szukamy przybliżeń. W przypadku dwuwymiarowej analizy wariancji szczególna uwaga jest poświęcona analizie interakcji. Gdy to możliwe, uwzględniane są metody permutacyjne (rerandomizacyjne) i bootstrapowe. Obliczenia wykonywane są głównie za pomocą systemu R, mogą być też wykorzystywane dostępne w internecie kalkulatory dedykowane różnym aspektom analizy niepewności statystycznych. Używane są głównie przykłady stylizowane, ale zachowujące znaczne podobieństwo do sytuacji powszechnie spotykanych w literaturze naukowej.

Uzupełnieniem są symulacje Monte Carlo pokazujące zmienność wyników pomiędzy powtórzeniami tego samego doświadczenia, a tym samym zmienność wniosków, do których można na podstawie tych wyników dojść. Dają one możliwy obraz niepewności statystycznych w przypadkach bardziej złożonych, gdy nie istnieją proste sposoby przejścia od istotności statystycznej do przedziału ufności.

Uwaga: Do aktywnego udziału w zajęciach niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym, z ew. minimalnym uszczerbkiem wywołanym upływem czasu.
Ogólne spojrzenie na problematykę niepewności statystycznych bez wnikania w szczegóły obliczeniowe jest przedmiotem osobnego wykładu (w sem. zimowym) pt. "Kult istotności statystycznej".