Metody uczenia w robotyce 1000-2M26LBR
Wprowadzenie do uczenia robotów; od klasycznego sterowania i planowania ruchu do polityk uczonych end-to-end; gdzie uczenie pomaga, a gdzie nie; przegląd aktualnego stanu dziedziny.
Uczenie przez naśladownictwo i modele wizyjno-językowo-akcyjne; tokenizacja autoregresywna vs. dyfuzja i dopasowanie przepływu (flow matching).
Systemy i wdrażanie na rzeczywistym sprzęcie; opóźnienie inferencji i ograniczenia czasu rzeczywistego; warstwy bezpieczeństwa wokół uczonych polityk; kwestie sprzętowe (chwytaki, kamery, kalibracja).
Ewaluacja i zbieranie danych w robotyce.
Techniki offline RL; RECAP.
Symulacja i transfer sim-to-real; nowoczesne symulatory i trening akcelerowany przez GPU.
Przypadki niepowodzeń we współczesnej robotyce – czego obecnie nie potrafimy zrobić?
RL w lokomocji i nawigacji; w czym RL jest dobre, a w czym słabe?; trudności w projektowaniu funkcji nagrody; problemy z modalnościami wejściowymi.
Modele świata (World Action Models).
Koordynatorzy przedmiotu
Wymagania (lista przedmiotów)
Założenia (opisowo)
Efekty uczenia się
Wiedza:
K_W06 ma uporządkowaną i podbudowaną teoretycznie wiedzę w zakresie podstawowych technik uczenia maszynowego oraz metodologii konstruowania i prowadzenia badań z tego zakresu.
K_W08 ma uporządkowaną i podbudowaną teoretycznie wiedzę w zakresie uczenia maszynowego ze szczególnym uwzględnieniem algorytmów uczenia sieci neuronowych oraz architektur sieci konwolucyjnych i rekurencyjnych.
K_W11 ma uporządkowaną i podbudowaną teoretycznie wiedzę w zakresie sterowania robotami ze szczególnym uwzględnieniem kinematyki ruchu, planowania jego przebiegu i orientacji w przestrzeni.
K_W14 zna własności algorytmów uczenia ze wzmocnieniem, wie kiedy które zastosować i jak zaimplementować najważniejsze z nich ze szczególnym uwzględnieniem klasy algorytmów opartych na gradiencie polityki, z klasy opartych na wartości oraz z klasy aktor-krytyka
Umiejętności:
K_U04 kierować pracą zespołu; współdziałać z innymi osobami w ramach prac zespołowych i podejmować wiodącą rolę w zespołach.
K_U05 formułować i testować hipotezy związane z prostymi problemami badawczymi.
K_U14 stosować techniki programowego sterowania robotami.
K_U17 odpowiednio stosować metody w celu opracowania dedykowanego algorytmu uczenia ze wzmocnieniem lub stosować istniejące metody w swoich projektach badawczych.
K_U18 implementować własne algorytmy i używać istniejące biblioteki oferujące procedury uczenia ze wzmocnieniem.
Kompetencje społeczne:
K_K01 krytycznej oceny posiadanej wiedzy i odbieranych treści.
K_K02 uznawania znaczenia wiedzy w rozwiązywaniu problemów poznawczych i praktycznych oraz zasięgania opinii ekspertów w przypadku trudności z samodzielnym rozwiązaniem problemu.
K_K03 twórczego i innowacyjnego podejścia do rozwiązywania problemów.
Kryteria oceniania
Łącznie można uzyskać od 0 do 100 punktów. Do zaliczenia przedmiotu wymagane jest co najmniej 51 punktów.
Ocena końcowa opiera się na:
Projekt: 0 - 40 pkt
Egzamin: 0 - 60 pkt
Oceny:
51-60: (3) dst
61-70: (3,5) dst+
71-80: (4) db
81-90: (4,5) db+
91-100: (5) bdb
Dodatkowe kryteria dla doktorantów: Doktoranci są dodatkowo zobowiązani do:
- Uwzględnienia w projekcie wyraźnie wyodrębnionego wkładu badawczego wykraczającego poza odtworzenie istniejących prac (np. wariant nowej metody, systematyczna ablacja lub nowy protokół ewaluacyjny), wraz z zwięzłym przeglądem literatury.
- Przygotowania raportu końcowego na poziomie jakościowym wymaganym dla zgłoszeń na warsztaty naukowe (workshop paper).
- Wygłoszenia jednego referatu seminaryjnego w trakcie semestru, prezentującego niedawną pracę badawczą lub własne prowadzone badania.
Literatura
K. M. Lynch, F. C. Park, Modern Robotics: Mechanics, Planning, and Control, Cambridge University Press, 2017.
R. S. Sutton, A. G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018.
P. Holderrieth, E. Erives, An Introduction to Flow Matching and Diffusion Models, lecture notes for MIT Class 6.S184, 2025. arXiv:2506.02070.
Y. Lipman et al., Flow Matching Guide and Code, 2024. arXiv:2412.06264.
Więcej informacji
Więcej informacji o poziomie przedmiotu, roku studiów (i/lub semestrze) w którym się odbywa, o rodzaju i liczbie godzin zajęć - szukaj w planach studiów odpowiednich programów. Ten przedmiot jest związany z programami: