Rekurencyjne sieci neuronowe i przetwarzanie języka naturalnego – ZIP 0508-RSNPJN-OG-ZIP

1. Sieci neuronowe podstawy oraz rekurencyjne sieci neuronowe (1 weekend):
A) Sieci neuronowe - podstawy, funkcja kosztu, algorytmy optymalizacji oraz regularyzacji. Program: Wstęp do Pytorcha / TensorFlowa.
B) Rekurencyjne Sieci Neuronowe, typy architektury RNN, sieci rekurencyjne z pamięcią, modele: GRU oraz Long Short Memory (LSTM), backpropagacja w rekurencyjnych sieciach neuronowych. Program: Generator imion.
2. Przetwarzanie Języka Naturalnego oraz sieci neuronowe (2 weekend):
A) Jak komputery przetwarzają język naturalny?
B) Głębokie i Bi-kierunkowe rekurencyjne sieci. Programy przykładowe: zgadywanie emocji oraz generacja syntetycznych tekstów.
C) Sieci Neuronowe i Mechanizm Atencji. Transformers, encoder decoder model, architektury wielkich modeli językowych. Programy przykładowe: Translator z Angielskiego oraz Transformer podsumowujący dany tekst. (3 weekend)
Zajęcia oferowane są w ramach Programu zintegrowanych działań na rzecz rozwoju UW, współfinansowanego z Europejskiego Funduszu Społecznego, w ramach PO WER, ścieżka 3.5. Zasady korzystania z oferty zajęć ogólnouniwersyteckich dla doktorantów w ZIP są dostępne na stronie: www.zip.uw.edu.pl.

Rodzaj przedmiotu

ogólnouniwersyteckie

Założenia (opisowo)

1. Podstawy programowania (język dowolny). Zajęcia odbędą się w języku Python (szkolenie zostanie zrobione). 2. Zainteresowanie sieciami neuronowymi oraz statystyką (Wszystkie informacje dotyczące sieci neuronowych zostaną podane). 3. WIEDZA z poprzednich kursów: Wstęp do uczenia maszynowego -podstawy i/lub Głębokie sieci neuronowe JEST WIĘCEJ NIŻ WYSTARCZAJĄCA do wzięcia udziału w kursie.

Efekty kształcenia

Student:
1. Zapozna się z sieciami neuronowymi oraz rekurencyjnymi sieciami neuronowymi.
2. Pozna środowisko TensorFlow lub PyTorch używane w sieciach neuronowych.
3. Współczesne mechanizmy przetwarzania języka naturalnego.
4. Weźmie udział w hackatonie z przetwarzania języka naturalnego.

Kryteria oceniania

Na podstawie wykonywanych zadań w trakcie zajęć.
Warunki zaliczenia zajęć:
- Obecności
- Projekty podczas zajęć oraz prace domowe (40%)
- Hackaton (60%)

Więcej informacji

Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb:

Strona przedmiotu 0508-RSNPJN-OG-ZIP w USOSweb