Ujawnianie niepewności statystycznych ukrytych w wynikach badań 1400-237UNSUWB-OG

Zajęcia stanowią nietypowy przegląd wybranych prostych metod statystycznych, głównie z perspektywy niepewności statystycznych i częściowo w kontekście powtarzalności wyników i tzw. kryzysu powtarzalności w nauce. Duża część zajęć polega na znajdowaniu statystycznych przedziałów niepewności (przedziałów ufności, przedziałów predykcji, przedziałów tolerancji) w sytuacjach gdy nie są dostępne surowe dane, a jedynie wyniki ich analizy dokonanej za pomocą statystycznych testów istotności, czyli zgodnej z najbardziej rozpowszechnionym standardem postępowania. W ten sposób ujawnione i określone zostają niepewności co do rzeczywistej wielkości efektów, które pozostają ukryte gdy końcowym produktem analizy jest istotność statystyczna. Zamiast ulegać urokowi testów i fałszywej pewności najczęściej z ich stosowania wynikającej, pytamy o to, czego można się na podstawie danych dowiedzieć i z jakim stopniem pewności. Dążymy tu do pokazania elastycznego podejścia z perspektywy rozkładów ufności i krzywych p-wartości (krzywych ufności). Jednocześnie, zamiast ograniczać się do analizy wartości średnich, eksponujemy zmienność indywidualną.
Pierwszym przykładem może być porównanie dwu grup, doświadczalnej i kontrolnej, dla którego dysponujemy p-wartością w teście t Studenta i wyliczonymi średnimi, chcemy zaś się dowiedzieć jaka co najmniej, lub jaka co najwyżej jest prawdziwa wielkość rzeczywistego efektu (różnicy średnich populacyjnych) i w jakich granicach może się mieścić określona część indywidualnych wartości, różnic między nimi etc. Można do tego dojść przez "rozgryzanie" (reverse engineering). Takie właśnie "rozgryzanie" stanowi ważną część kursu. Ta formuła zajęć wymaga uważnego wniknięcia w szczegóły rozpatrywanych i używanych metod, a tym samym prowadzi do dokładnego zaznajomienia się z nimi.

Tego rodzaju postępowanie jest w trakcie zajęć stosowane do różnych metod: porównania średnich, częstości, analizy wariancji, korelacji, regresji. Kiedy nie są możliwe rozwiązania dokładne, szukamy przybliżeń. W przypadku dwuwymiarowej analizy wariancji szczególna uwaga jest poświęcona analizie interakcji. Gdy to możliwe, uwzględniane są metody permutacyjne (rerandomizacyjne) i bootstrapowe. Obliczenia wykonywane są głównie za pomocą systemu R, mogą być też wykorzystywane dostępne w internecie kalkulatory dedykowane różnym aspektom analizy niepewności statystycznych. Używane są głównie przykłady stylizowane, ale zachowujące znaczne podobieństwo do sytuacji powszechnie spotykanych w literaturze naukowej.

Uzupełnieniem są symulacje Monte Carlo pokazujące zmienność wyników pomiędzy powtórzeniami tego samego doświadczenia, a tym samym zmienność wniosków, do których można na podstawie tych wyników dojść. Dają one możliwy obraz niepewności statystycznych w przypadkach bardziej złożonych, gdy nie istnieją proste sposoby przejścia od istotności statystycznej do przedziału ufności.

Uwaga: Do aktywnego udziału w zajęciach niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym, z ew. minimalnym uszczerbkiem wywołanym upływem czasu.
Ogólne spojrzenie na problematykę niepewności statystycznych bez wnikania w szczegóły obliczeniowe jest przedmiotem osobnego wykładu (w sem. zimowym) pt. "Kult istotności statystycznej".

Kierunek podstawowy MISMaP

ochrona środowiska
geologia
matematyka
astronomia
geografia
biotechnologia
gospodarka przestrzenna
psychologia
fizyka
informatyka
biologia
chemia
geologia stosowana

Rodzaj przedmiotu

ogólnouniwersyteckie
fakultatywne
nieobowiązkowe
monograficzne

Tryb prowadzenia

w sali

Założenia (opisowo)

Zakłada się, że uczestnicy mieli wcześniej choćby przelotny kontakt z podstawowymi metodami wnioskowania statystycznego i nie wykazują niechęci do operowania (prostymi) formułami matematycznymi . Przydatna jest odrobina doświadczeń w programowaniu; jej brak nie przekreśla możliwości udziału w zajęciach, ale może spowodować konieczność poniesienia większych nakładów pracy. Do aktywnego udziału w zajęciach niezbędna jest wiedza matematyczna na poziomie co najmniej maturalnym, z ew. minimalnym uszczerbkiem wywołanym upływem czasu.

Koordynatorzy przedmiotu

Tomasz Wyszomirski

Efekty kształcenia

Po zaliczeniu kursu student:

- dostrzega istnienie niepewności statystycznych na różnych etapach badań naukowych, rozumie potrzebę ich kwantyfikacji i zna stosowane w tym celu metody;

- wykazuje zmniejszoną podatność na uleganie urokowi istotności statystycznej;

- krytycznie analizuje stwierdzenia napotkane w literaturze;

- jest wyczulony na rozróżnienie merytorycznych i społecznych uwarunkowań wnioskowania w badaniach naukowych;

- potrafi używać spójnej i wnikliwej argumentacji do pokazania obszarów niewiedzy;

- dostrzega potrzebę analizowania wyników badań z różnych punktów widzenia;

- umie wykorzystywać argumenty pochodzące z formalizmu matematycznego i symulacji komputerowej do określenia zakresów niepewności.

Kryteria oceniania

Zaliczenie na ocenę na podstawie rozwiązań zadań i problemów w trakcie zajęć. Obecność na zajęciach jest obowiązkowa. Uzupełniającym elementem (mogącym podnosić ocenę) może być przygotowanie opierającego się na obliczeniach opracowania dotyczącego np. ujawniania niepewności statystycznych w rzeczywistych przykładach z literatury, ew. wizualizacji niepewności statystycznych – temat do uzgodnienia z prowadzącym w pierwszej części semestru.

Literatura

Literatura (uzupełnienia w trakcie zajęć):

Acree MC. 2021. The Myth of Statistical Inference. Springer.

Bird KD. 2004. Analysis of Variance via Confidence Intervals. SAGE.

Clarke BS, Clarke JL. 2018. Predictive statistics. Cambridge University Press.

Cumming G. 2011. Understanding the New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis. Routledge.

Halsey LG, Curran-Everett D., Vowler SL, Drummond G. 2015. The fickle P value generates irreproducible results. Nature Methods, 12: 179-185.

Ioannidis J.P.A. 2005. Why most published research findings are false. PLoS Med 2(8): e124.

Kline R.B. 2004. Beyond Significance Testing. Reforming Data Analysis Methods in Behavioral Research. American Psychological Association.

Krishnamoorthy K., Mathew T. 2009. Statistical Tolerance Regions. Theory, Applications, and Computation. Wiley.

Lazzeroni LC, Lu Y, Belitskaya-Levy I. 2014. P-values in genomics: Apparent precision masks high uncertainty. Molecular Psychiatry, 19: 1336–1340.

Lecoutre B, Poitvineau J. 2014. The Significance Test Controversy Revisited. The Fiducial Bayesian Alternative. Springer.

Meeker WQ, Hahn GJ, Escobar LA. 2017. Statistical intervals: A guide for practitioners and researchers. Wiley.

Motulsky H. 2014. Intuitive Biostatistics, 3rd edition. Oxford University Press.

Nuzzo R. 2014. Scientific method: statistical errors. Nature 506: 150-152.

Polansky AM. 2008. Observed confidence levels. Chapman & Hall.

Schweder T, Hjort NL. 2016. Confidence, Likelihood, Probability: Statistical Inference with Confidence Distributions. Cambridge University Press.

Wang C. 1992. Sense and Nonsense of Statistical Inference: Controversy, Misuse, and Subtlety. CRC Press.

Więcej informacji

Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami:

Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb:

Strona przedmiotu 1400-237UNSUWB-OG w USOSweb