Uczenie maszynowe 1000-135UM
(I) Klasyczne uczenie maszynowe
0. Podstawowe pojęcia, zadania, metody.
• Pojęcia: dane – próba z populacji, funkcja straty, ryzyko/błąd, predykcja, parametry, hiperparametry, uczenie/trenowanie/dopasowanie/estymacja, błąd uczenia, błąd uogólnienia.
• Zadania: uczenie bez nadzoru: redukcja wymiaru zmiennych (PCA) i redukcja wymiaru danych (klasteryzacja); uczenie z nadzorem: predykcja = regresja + klasyfikacja.
• Uczenie za pomocą minimalizacji (penalizowanego) ryzyka empirycznego.
1. Uczenie bez nadzoru.
• Redukcja wymiaru zmiennych, czyli Principal Component Analysis (PCA) - użycie SVD.
• Klasteryzacja na przykładzie algorytmu k-means. Soft k-means dla mieszanki rozkładów normalnych.
2. Predykcja liniowa. Dopasowanie modelu logistycznego za pomocą Iteratively Reweighted Least Squares.
3. Penalizacja predykcji liniowej.
• Wybór zmiennych, czyli penalizacja L0.
• Ridge Regression, czyli penalizacja L2. Strojenie kary z wykorzystaniem SVD.
• Lasso, czyli penalizacja L1. Dopasowanie modelu za pomocą Coordinate Descent. Strojenie kary za pomocą kroswalidacji.
4. Wzmocnienie predykcji liniowej za pomocą jądrowego przekształcenia zmiennych wyjaśniających: Kernel Regularized Least Squares oraz Support Vector Machines (SVM). Dopasowanie SVM za pomocą Gradient Descent (GD) i optymalizacji kwadratowej z ograniczeniami.
5. Metody predykcji drzewiastej.
• Miary położenia, rozrzutu i zależności oparte na gęstościach prawdopodobieństwa.
• Zachłanne generowanie drzew i ich przycinanie za pomocą penalizacji L0.
• Lasy losowe.
6. Wzmocnienie predykcji liniowej i drzewiastej za pomocą metody Gradient Boosting.
(II) Wstęp do głębokich sieci neuronowych
7. Podstawowe pojęcia: sieć, architektura, warstwa, szkielet, wsad danych, epoka uczenia.
8. Multi-layer perceptron (MLP) – dopasowanie za pomocą algorytmu Stochastic Gradient Descent z automatycznym różniczkowaniem (back-propagation).
9. MLP do reprezentacji danych. Sieć Autoencoder (nieliniowy odpowiednik PCA) z zastosowaniem do klasyfikacji ręcznie pisanych cyfr.
10. Convolutional Neural Networks (ConvNets) z zastosowaniem do klasyfikacji obrazów. Splot z jądrem lokalnym lub globalnym. Obliczanie splotu (dyskretnego, cyklicznego, 1-2 wym) z jądrem globalnym za pomocą transformacji Fouriera (twierdzenie o splocie oraz FFT).
11. Transformery z zastosowaniem do przetwarzania sekwencji (tekst, mowa, szeregi czasowe). Włożenie słów i liczb naturalnych w R^512 oraz przekształcenie uśredniające “uwaga” (attention).
Rodzaj przedmiotu
Założenia (opisowo)
Koordynatorzy przedmiotu
Efekty kształcenia
Student:
Rozumie podstawowe pojęcia, zadania i metody uczenia maszynowego.
Rozumie i używa algorytmów uczenia bez nadzoru takich, jak PCA czy k-means.
Rozumie i używa penalizacji L0 - L2 predykcji liniowej.
Rozumie i używa wzmocnienia jądrowego predykcji liniowej.
Rozumie i używa predykcji drzewiastej.
Rozumie i używa algorytmu gradient boosting.
Rozumie podstawowe pojęcia związane z głębokimi sieciami neuronowymi.
Rozumie i używa algorytmu automatycznego różniczkowania i Stochastic Gradient Descent.
Rozumie i używa sieci takich, jak MLP, ConvNet czy autoencodera do klasyfikacji cyfr.
Rozumie i używa prostych transformerów do klasyfikacji sentymentów.
Kryteria oceniania
Ocena końcowa na podstawie rozwiązań zadań domowych oraz egzaminu pisemnego z treści wykładu.
Literatura
- Hastie, T., Tibshirani, R., Friedman, J. H., & Friedman, J. H. The elements of statistical learning: data mining, inference, and prediction. Springer 2009.
- Shalev-Shwartz, S., & Ben-David, S. Understanding machine learning: From theory to algorithms. Cambridge University Press 2014.
- Bishop, C. M., & Bishop, H. Deep learning: foundations and concepts. Springer 2024.
Więcej informacji
Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami:
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: