Uczenie maszynowe w dużej skali 1000-319bBML
- Sprzęt: od karty graficznej (GPU) do centrum danych, i dlaczego architektura ma znaczenie w dużej skali.
- Optymalizacja równoległa i rozproszona: jak zrównoleglać algorytmy i jak analizować ich wydajność.
- Zrównoleglanie klasycznych algorytmów uczenia maszynowego (ML).
- Wprowadzenie do dużych modeli językowych (LLM): motywacja, transformery i prawa skalowania.
- Zrównoleglanie trenowania LLM: rodzaje zrównoleglania, wąskie gardła, powszechne optymalizacje pamięci.
- Zbiory danych i benchmarking LLM.
- Przetwarzanie danych: wprowadzenie do inżynierii danych.
- Uczenie maszynowe w środowisku produkcyjnym: ryzyka, korzyści, częste problemy.
- Studium przypadku: Uczenie maszynowe w infrastrukturze obliczeniowej.
Rodzaj przedmiotu
Wymagania (lista przedmiotów)
Założenia (opisowo)
Koordynatorzy przedmiotu
W cyklu 2025Z: | W cyklu 2024Z: |
Efekty kształcenia
Wiedza: student zna i rozumie
techniki wielkoskalowego przetwarzania danych używane w kontekście uczenia maszynowego [K_W04]
metody rozpraszania i zrównoleglania obliczeń [K_W06]
Umiejętności: student potrafi
stosować współczesne systemy rozpraszania i zrównoleglania obliczeń [K_U20]
przetwarzać duże zbiory danych [K_U21]
Kompetencje społeczne: student jest gotów do
krytycznej oceny posiadanej wiedzy i odbieranych treści [K_K01]
uznawania znaczenia wiedzy w rozwiązywaniu problemów poznawczych i praktycznych oraz zasięgania opinii ekspertów w przypadku trudności z samodzielnym rozwiązaniem problemu [K_K02]
Kryteria oceniania
Ocena końcowa na podstawie punktów z programów zaliczeniowych, zadań domowych (w formie programów komputerowych) oraz egzaminu.
Literatura
- Artykuły naukowe podawane na wykładach
- “The Datacenter as a Computer: Designing Warehouse-Scale Machines”, Luiz André Barroso, Jimmy Clidaras, and Urs Hölzle
- “Fundamentals of Data Engineering”, Joe Reis and Matt Housley
Więcej informacji
Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami:
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: