Metody numeryczne dla sztucznej inteligencji 1000-2M20MSI
1. Przegląd podstaw programowania w Pythonie/NumPy/IPython oraz matematyki: algebra liniowa i analiza (4-5 wykładów).
2. Spadek gradientowy (gradient descent) oraz optymalizacja wypukła, algorytm wstecznej propagacji, przyspieszony spadek gradientowy, rozwiązywanie problemu regresji za pomocą spadku gradientowego (2-3 wykłady).
3. Optymalizacja niewypukła: uczenie nadzorowane sztucznych sieci neuronowych typu feed-forward, różnica optymalizacja (nie)wypukła, sieci wielowarstwowe, różnice w różnych funkcjach aktywacji i straty (4-5 wykładów).
4. Wstęp do metod typu policy gradients dla problemów uczenia ze wzmocnieniem (2-3 wykłady).
5. Metody wyższego rzędu dla optymalizacji, w tym metoda (pseudo-)Newtona znajdywania min/max oraz TRPO dla uczenia ze wzmocnieniem (1-2 wykłady).
Rodzaj przedmiotu
Założenia (opisowo)
Efekty kształcenia
Wiedza:
• Rozumie podstawy teoretyczne oraz metody optymalizacji (nie)wypukłej.
• Ma podstawową wiedzę w zakresie uczenia maszynowego.
• Rozumie algorytmy uczenia sieci neuronowych.
Umiejętności:
• Potrafi implementować podstawowe metody uczenia maszynowego w tym PCA i regresji.
• Potrafi implementować od podstaw sieci neuronowe oraz algorytmy ich uczenia spadkiem gradientowym od podstaw w Pythonie.
Kompetencje:
• Potrafi ocenić czy do danego problemu warto zastosować podstawowe metody uczenia maszynowego.
Kryteria oceniania
Ocena końcowa na podstawie punktów z programu zaliczeniowego, zadań domowych (w formie programów komputerowych).
Literatura
• Numerical Analysis for AI course notes (obecnie nieco przestarzałe) https://github.com/dzako/NA4AI,
• Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, SIAM,
• Jorge Nocedal, Stephen J. Wright, Numerical Optimization, Springer Series in Operations Research,
• Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, http://www.deeplearningbook.org
Więcej informacji
Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami:
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: