Machine Learning 2: predictive models, deep learning, neural network 2400-DS2ML2

1. Drzewa decyzyjne w analizie regresji: metody budowania drzewa, algorytmy podziału: CART, C5.0, kryteria podziału, interpretacja wyników, problem przeuczenia modelu, kryteria stopu, metody przycinania drzewa, parametr koszt-złożoność drzewa, proces walidacji krzyżowej, testowania drzewa, budowanie predykcji za pomocą drzew.
2. Drzewa decyzyjne w analizie klasyfikacji: kryteria podziału i miary niejednorodności węzła, współczynnik Gini’ego, współczynnik Information Gain, entropia węzła, podziały główne i zastępcze
3. Bagging drzew i lasy losowe: metody bootstrapingu i namnażania obserwacji, losowanie ze zwracaniem, subagging, randomizowanie predyktorów, uśrednianie drzew, błąd OOB, metody tuningu parametrów
4. Boosting drzew: klasyfikatory słabe i vs. klasyfikatory silne, metoda gradient boosting oraz extreme gradient boosting, regularyzacja, boosting adaptacyjny
5. Uczenie łączone (ensemble learning): uśrednianie proste oraz ważone, głosowanie większościowe, głosowanie ważone, warstwowanie modeli
6. Sieci neuronowe: sztuczne neurony, topologia sieci neuronowych, warstwa wejściowa, warstwa ukryta, warstwa wyjściowa, wagi, obciążenie, funkcje aktywacyjne, metoda propagacji wstecznej, metody modyfikacji wag.
7. Konwolucyjne sieci neuronowe: filtry, pola recepcyjne, mapy aktywacji, struktura sieci CNN, warstwy konwolucyjne, warstwy ReLu, warstwy łączące, warstwy usuwające, parametr kroku, parametr otoczenia, uczenie transferowe, metody wspomagania danych
8. Rekurencyjne sieci neuronowe: przetwarzanie sekwencji, pętla wewnętrzna, połączenie rekurencyjne, zmienna stanu, problem znikającego gradientu, warstwy LSTM/GRU, pas transmisyjny, powtarzające się usuwanie, warstwowanie, dwukierunkowe sieci rekurencyjne, prognozowania szeregów czasowych, klasyfikowanie sekwencji, analiza sentymentu