Moduł 1: Wprowadzenie do sieci neuronowych
Wprowadza podstawowe pojęcia związane z uczeniem nadzorowanym. Przedstawia ewolucję architektur sieci neuronowych - od prostych perceptronów po złożone systemy głębokiego uczenia.
1. Wprowadzenie / Uczenie nadzorowane: Przegląd podstawowych zasad data science, ze szczególnym uwzględnieniem danych oznaczonych oraz budowy modeli predykcyjnych.
2. Płytkie sieci neuronowe: Omówienie budowy i działania jedno i wielowarstwowych perceptronów w kontekście rozpoznawania prostych wzorców.
3. Głębokie sieci neuronowe: Dyskusja na temat architektur wielowarstwowych i technik umożliwiających skuteczne zastosowanie głębokiego uczenia do złożonych problemów.
Moduł 2: Funkcje straty, optymalizacja i ocena wydajności
Koncentruje się na kluczowych procesach związanych z trenowaniem modeli, oceną ich skuteczności oraz zapobieganiem przeuczeniu.
4. Funkcje straty: Wprowadzenie do metod kwantyfikacji błędów pomiędzy wartościami przewidywanymi a rzeczywistymi jako podstawy optymalizacji modelu.
5. Optymalizacja i ocena skuteczności: Omówienie metod iteracyjnej aproksymacji funkcji do danych treningowych. Przedstawienie technik oceny dokładności i niezawodności modeli przy użyciu metryk oraz walidacji.
6. Regularyzacja: Opis strategii zapobiegających przeuczeniu poprzez wprowadzenie ograniczeń podczas trenowania modeli.
7. Gradienty i inicjalizacja: Wyjaśnienie, jak optymalizacja oparta na gradientach i odpowiednia inicjalizacja parametrów wpływają na zbieżność procesu uczenia.
Moduł 3: Zaawansowane architektury i głębokie uczenie
Zgłębia nowoczesne architektury sieci neuronowych oraz ich zastosowania w różnych dziedzinach.
8. Sieci konwolucyjne i resztkowe: Analiza działania warstw konwolucyjnych w przetwarzaniu danych przestrzennych, kluczowych w analizie obrazów. Przegląd połączeń przeskakujących (skip connections), które umożliwiają efektywne trenowanie bardzo głębokich sieci dzięki redukcji problemu zanikających gradientów.
9. Transformatory: Omówienie architektur przeznaczonych do danych sekwencyjnych, fundamentalnych dla przetwarzania języka naturalnego i dużych modeli, takich jak GPT-3.
10. Generatywne sieci przeciwstawne (GAN): Przedstawienie technik uczenia przeciwstawnego umożliwiających generowanie realistycznych danych syntetycznych.