Large Language Models, AI for Text Data 2400-MIKRO-AIBF-LLM
Konwersatorium poświęcone jest analizie danych tekstowych oraz zastosowaniu sztucznej inteligencji i dużych modeli językowych w przetwarzaniu języka naturalnego. Celem zajęć jest zapoznanie studentów z nowoczesnymi metodami przekształcania nieustrukturyzowanych danych tekstowych, takich jak opinie klientów, ankiety, wiadomości, treści z mediów społecznościowych i dokumenty biznesowe, w informacje wspierające analizę, podejmowanie decyzji i automatyzację procesów.
Zajęcia obejmują podstawowe zagadnienia text mining i NLP, przygotowanie danych tekstowych do analizy oraz klasyczne i kontekstowe metody reprezentacji tekstu. Omawiane są między innymi tokenizacja, stemming, lematyzacja, macierze częstości, TF-IDF, n-gramy oraz różnice między podejściem bag of words a metodami sekwencyjnymi, uwzględniającymi kolejność słów i kontekst. Omawiane są także techniki reprezentowania wiedzy, identyfikacja części mowy, rozpoznawanie NER, a także metody analizy sentymentu i emocji.
Kolejny obszar zajęć dotyczy embeddingów, czyli osadzeń słów, zdań i dokumentów oraz ich zastosowań w analizie podobieństwa semantycznego, klasyfikacji, grupowaniu dokumentów, wyszukiwaniu semantycznym, systemach rekomendacyjnych i chatbotach. Przedstawiane są między innymi modele Word2Vec, GloVe, FastText, ELMo i BERT. Konwersatorium obejmuje również podstawy sieci neuronowych, ich architektur, funkcji aktywacji i algorytmów optymalizacji.
Szczególna uwaga poświęcona jest podstawom współczesnych modeli językowych, m.in. przewidywanie kolejnych tokenów, uczenie na dużych zbiorach danych oraz zastosowania w klasyfikacji, ekstrakcji informacji, streszczaniu, tłumaczeniu, wykrywaniu anomalii i generowaniu tekstu. Zajęcia uwzględniają ograniczenia i ryzyka związane z wykorzystaniem modeli językowych, w tym halucynacje, nieaktualność wiedzy, stronniczość, prywatność danych i zgodność z regulacjami. Omawiane są również architektury chatbotów biznesowych oraz systemy RAG wykorzystujące wyszukiwanie wektorowe i zweryfikowane źródła wiedzy.
Treści teoretyczne są łączone z przykładami i zadaniami praktycznymi realizowanymi w języku Python. Studenci analizują teksty, porównują metody, oceniają działanie modeli i dobierają rozwiązania NLP do konkretnych problemów biznesowych.
Projekt Application of Artificial Intelligence in Business and Finance (nr BPI/SPI/2024/1/00078) realizowany przez Uniwersytet Warszawski w ramach programu Spinaker organizowanego przez Narodową Agencję Wymiany Akademickiej (w ramach projektu Wsparcie tworzenia i realizacji międzynarodowych programów kształcenia, finansowanego ze środków Funduszy Europejskich dla Rozwoju Społecznego 2021-2027).
Koordynatorzy przedmiotu
Certyfikat mikropoświadczenia
Efekty uczenia się
Po ukończeniu przedmiotu osoba biorąca udział w zajęciach
w sferze wiedzy:
● zna i rozumie podstawowe pojęcia oraz metody z zakresu text mining, przetwarzania języka naturalnego (NLP) i analizy danych tekstowych;
● zna klasyczne i współczesne metody reprezentacji tekstu, w tym bag of words, TF-IDF, n-gramy oraz embeddingi;
● zna podstawowe architektury sieci neuronowych wykorzystywane w analizie tekstu oraz zasady działania modeli transformer i dużych modeli językowych;
● zna możliwości, ograniczenia i obszary zastosowań metod NLP oraz modeli językowych w analizie danych i procesach biznesowych;
● zna zagrożenia związane z wykorzystaniem modeli językowych, w szczególności dotyczące wiarygodności wyników, ochrony danych i aspektów etycznych.
w sferze umiejętności:
● potrafi przygotować dane tekstowe do analizy z wykorzystaniem podstawowych technik przetwarzania języka naturalnego;
● potrafi dobrać odpowiednie metody reprezentacji i analizy tekstu do postawionego problemu badawczego lub biznesowego;
● potrafi zastosować wybrane techniki analizy tekstu, w tym analizę sentymentu, rozpoznawanie NER, embeddingi oraz analizę podobieństwa semantycznego;
● potrafi interpretować wyniki analizy danych tekstowych oraz wykorzystywać je do wspierania procesu podejmowania decyzji.
w sferze kompetencji społecznych:
● jest gotowa do krytycznej oceny wyników uzyskiwanych z wykorzystaniem metod sztucznej inteligencji i dużych modeli językowych;
● jest gotowa do odpowiedzialnego i etycznego wykorzystywania narzędzi opartych na sztucznej inteligencji z uwzględnieniem ochrony danych i poufności informacji;
● jest gotowa do samodzielnego rozwijania wiedzy i umiejętności w zakresie nowoczesnych metod analizy danych tekstowych oraz śledzenia rozwoju technologii NLP i sztucznej inteligencji.
Kryteria oceniania
Efekty uczenia się są weryfikowane na podstawie realizacji zadań praktycznych oraz aktywności podczas zajęć. Ocenie podlegają znajomość zagadnień teoretycznych, poprawność doboru i zastosowania metod do danego problemu biznesowego, interpretacja wyników oraz krytyczna ocena wykorzystanych rozwiązań.
Literatura
Jurafsky D., Martin J.H. (2026), Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models, Stanford University.
Vaswani A. et al. (2017), Attention Is All You Need, „Advances in Neural Information Processing Systems”.
Materiały dydaktyczne udostępniane przez prowadzących w ramach zajęć.