High-Performance Computing for Artificial Intelligence 4010-HPA-OG

Sztuczna inteligencja (AI) stała się powszechnie używanym narzędziem w pracy naukowej. AI nie tylko umożliwia zaawansowaną analizę danych i wizualizację, ale także może zastąpić tradycyjne symulacje numeryczne lub przyspieszyć je, poprzez przewidywanie złożonych obliczeniowo zadań jak obliczanie oddziaływań pomiędzy atomami. Dodatkowo, AI pozwala na szybkie przeszukiwanie baz danych publikacji naukowych i generowanie streszczeń artykułów. Coraz częściej jest także wykorzystywana do pełnego pisania prac naukowych. Jednak rozwój bardziej zaawansowanych modeli AI wymaga przetwarzania ogromnych ilości danych oraz kosztownego i czasochłonnego procesu trenowania modeli AI. Jest to szczególnie widoczne w przypadku dużych modeli językowych (LLM), gdzie proces treningu może trwać tygodnie na tysiącach kart graficznych (GPU). Praca z tak skomplikowanymi modelami wymaga wykorzystania dużej mocy obliczeniowej: klastrów obliczeniowych lub chmury, co jest domeną komputerów dużej mocy (HPC).
HPC to dziedzina informatyki poświęcona rozwiązywaniu najbardziej wymagających problemów obliczeniowych w nauce. Do najpopularniejszych zastosowań należą: (i) przewidywanie właściwości półprzewodników za pomocą obliczeń mechaniki kwantowej z wykorzystaniem teorii funkcjonałów gęstości (DFT), (ii) projektowanie leków za pomocą symulacji dynamiki molekularnej oraz (iii) numeryczne prognozowanie pogody. Takie obliczenia wymagają setek, a nawet tysięcy procesorów. Kluczowym elementem HPC są obliczenia równoległe. Umożliwiają one przyspieszenie obliczeń dzięki wykorzystaniu wielu procesorów (CPU) lub kart graficznych (GPU). Pomagają także zmniejszyć zużycie pamięć RAM pojedynczego rdzenia obliczeniowego. Przez wiele lat obliczenia równoległe były niezbędne dla obliczeń naukowych, obecnie stanowią kluczową technologię także w domenie AI. Z tego powodu techniki, metodologie i algorytmy opracowane do zadań HPC są z powodzeniem stosowane w treningu modeli AI.
Wykład skupi się na trzech głównych zagadnieniach:
Czym jest HPC, jak pracować na klastrach obliczeniowych i jak obliczenia równoległe mogą być wykorzystywane w badaniach naukowych?
Jak przyspieszyć wykonanie kodu w języku Python, ze szczególnym uwzględnieniem operacji matematycznych, oraz jak równolegle realizować te operacje lub wykorzystać akceleratory obliczeniowe (takie jak GPU).
Jak poprawić efektywność treningu modeli AI i zastosować techniki programowania równoległego do treningu modeli AI.
Zajęcia dedykowane są studentom zainteresowanym sztuczną inteligencją i komputerami dużej mocy. Wiedza techniczna nie jest wymagana, ale podstawowe zrozumienie zagadnień z zakresu informatyki i sztucznej inteligencji będzie pomocne. Podczas zajęć uczestnicy zostaną wprowadzeni w podstawową terminologię niezbędną do zrozumienia tematyki wykładu.
Sesja odbędzie się w formie warsztatów z demonstracjami i ćwiczeniami praktycznymi dla chętnych.