Statystyczne uczenie maszynowe 1000-1M18SUM

W ostatnich latach klaruje się pogląd, że głębokie sieci neuronowe są skuteczne tam, gdzie danych jest dużo, zmienne wyjaśniające mają pewną przestrzenną lub czasową organizację (jak np. sygnały, teksty czy obrazy) i stosunek sygnału do szumu jest duży. Natomiast tam, gdzie danych jest mało lub nie mają specjalnej organizacji lub sygnał jest słaby lub ważna jest interpretowalność wyników -- tam lepsze są nowoczesne metody liniowe, jak lasso czy gradient boosting (Robert Tibshirani, wykład laureata nagrody ISI, 2021). Wykład "Statystyczne uczenie maszynowe" jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na takich właśnie metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W pierwszej części omawiam podstawową metodę predykcji cechy ciągłej, czyli model regresji liniowej, a ponadto regresję grzbietową, lasso oraz wybór podzbioru zmiennych wyjaśniających. W drugiej części przedstawiam liniowe metody predykcji cechy dyskretnej, czyli klasyfikacji takie, jak liniowa analiza dyskryminacyjna Fishera, regresja logistyczna czy maszyny wektorów podpierających. W części trzeciej omawiam uniwersalne, nieliniowe predyktory takie, jak metoda k-najbliższych sąsiadów oraz drzewa decyzyjne. Część czwarta jest poświęcona metodom regularyzacji uczenia i wzmacniania siły predykcji - omawiam: penalizację błądu predykcji, kernelizację zmiennych wyjaśniających oraz boosting (kombinacje liniowe “słabych” predyktorów).

Wykład jest zogniskowany na ważnych metodach uczenia maszynowego, które są rozwiązaniami zadania minimalizacji penalizowanego błędu predykcji na danych uczących. W ten sposób otrzymujemy zbiory funkcji predykcyjnych indeksowanych “hiperparametrem” (np. wagą kary na parametrach funkcji predykcyjnej), którego wartość obliczamy na dodatkowych danych walidacyjnych lub za pomocą kroswalidacji na danych uczących. Wiele uwagi poświęcę, aby w możliwie ścisły sposób uzasadnić popularne postępowania walidacyjne.

Wykład można zaliczyć na podstawie dwóch rodzajów aktywności: rozwiązywania zadań matematycznych lub programowania i eksperymentów komputerowych.