Cyberprzestępczość w erze sztucznej inteligencji 2100-BW-L-Z5CPES-CP

Kurs rozpoczyna się od przedstawienia AI jako technologii podwójnego zastosowania, która może wspierać cyberobronę, analizę danych, wykrywanie anomalii, automatyzację pracy zespołów bezpieczeństwa oraz rozpoznawanie kampanii dezinformacyjnych. Te same zdolności mogą jednak zwiększać możliwości cyberprzestępców, podmiotów prowadzących operacje wpływu, oszustów, grup wywiadowczych i innych aktorów zagrożeń.
Pierwszy blok koncentruje się na bezpieczeństwie informacyjnym w środowisku treści syntetycznych. Punktem wyjścia są zagadnienia omawiane w publikacji FAIK: A Practical Guide to Living in a World of Deepfakes, Disinformation, and AI-Generated Deceptions: deepfake’i, syntetyczne persony, generowane teksty, obrazy, audio i wideo, fałszywe źródła, manipulacja emocjonalna, presja czasu, fałszywy autorytet oraz metody weryfikacji. Szczególna uwaga zostanie poświęcona zjawisku liar’s dividend, czyli możliwości podważania autentycznych materiałów przez powoływanie się na ryzyko ich wygenerowania lub zmanipulowania.

Drugi blok dotyczy modeli LLM jako nowej powierzchni ataku. Obejmuje zagadnienia jailbreaków, prompt injection, indirect prompt injection, nadużyć narzędzi, manipulacji kontekstem, wycieków informacji, nadmiernej autonomii i błędów wynikających z łączenia modelu z pocztą, przeglądarką, systemami plików, bazami danych lub usługami zewnętrznymi. Materiał do tej części wykorzystuje przekazaną lekcję „Wprowadzenie do hackowania AI”, obejmującą m.in. przykłady klas ataków: Bad Likert, manipulację emoji, prompt puppetry, InfoFlood, „Phishing for Gemini” oraz Best-of-N.
Trzeci blok poświęcony jest agentom AI. Omawia się w nim autonomię funkcjonalną i operacyjną agentów, pamięć, planowanie, delegowanie zadań, dostęp do narzędzi, komunikację agent–agent, kanały boczne oraz transfer celów. Studium przypadku stanowi opis incydentu OpenAI/Hugging Face, wskazujący ryzyka wynikające z niewystarczającej izolacji, współdzielonej infrastruktury, nieautoryzowanej komunikacji, nadużycia narzędzi i koordynacji wielu modeli.

Ostatni blok dotyczy wykorzystania AI w cyberoperacjach i operacjach wpływu. Podstawą analizy jest raport Anthropic z września 2026 r., obejmujący cyberoperacje, inwigilację, operacje wpływu oraz inne formy nadużyć AI. Zajęcia pokazują, jak AI może zwiększać tempo i skalę działań na etapach rozpoznania, socjotechniki, automatyzacji workflow, analizy danych oraz orkiestracji zadań przez systemy wieloagentowe. Analiza ma charakter defensywny i służy projektowaniu odporności organizacyjnej, kontroli dostępu, monitoringu i procedur reagowania.

Celem zajęć jest:
• rozwijanie rozumienia sposobów, w jakie AI zmienia tempo, skalę i organizację cyberataków, oszustw, operacji wpływu oraz działań obronnych;
• wykształcenie umiejętności rozpoznawania zagrożeń związanych z generatywną AI, LLM i systemami agentowymi;
• przygotowanie do krytycznej analizy deepfake’ów, syntetycznej dezinformacji oraz manipulacji wspieranej przez AI;
• poznanie podstawowych klas podatności modeli LLM, w tym jailbreaków, prompt injection, nadużyć narzędzi, wycieków danych oraz manipulacji kontekstem;
• rozwijanie kompetencji w zakresie modelowania zagrożeń dla wdrożeń AI i projektowania środków kontroli bezpieczeństwa;
• kształtowanie odpowiedzialnych praktyk używania AI w pracy akademickiej, analitycznej i projektowej;
• rozwijanie umiejętności pracy projektowej, prezentowania wyników i prowadzenia merytorycznej dyskusji.

Zakres tematów zajęć
1. AI, konflikt i cyberbezpieczeństwo: ramy strategiczne
• Organizacja zajęć, wymagania zaliczeniowe, zasady bezpieczeństwa laboratoryjnego i etyka pracy.
• AI jako technologia podwójnego zastosowania.
• Sztuka wojny Sun Zi jako rama analityczna: rozpoznanie, informacja, asymetria, pozór, własne słabości, przygotowanie i ograniczanie kosztów konfliktu.
• Cyberbezpieczeństwo w erze modeli generatywnych i agentowych.
• Różnica między analizą ofensywną a odpowiedzialnym testowaniem bezpieczeństwa.
Literatura: Sun Zi, Sztuka wojny — wybrane fragmenty; NIST, AI Risk Management Framework; NIST, Cybersecurity Framework 2.0.
2. FAIK: deepfake, dezinformacja i syntetyczna wiarygodność
• Deepfake jako problem autentyczności, zaufania i weryfikacji, a nie tylko jakości technicznej materiału.
• Generowane teksty, obrazy, nagrania audio, wideo oraz syntetyczne persony.
• Emocje, presja czasu, fałszywy autorytet, polaryzacja i fragmentacja obiegu informacji.
• Metody krytycznej weryfikacji: kontekst, źródło, metadane, wyszukiwanie wsteczne, porównanie źródeł i dokumentowanie ustaleń.
• Liar’s dividend i podważanie wiarygodności autentycznych materiałów.

Literatura: FAIK: A Practical Guide to Living in a World of Deepfakes, Disinformation, and AI-Generated Deceptions — wybrane rozdziały; materiały European Digital Media Observatory.
3. Lokalne modele i kontrolowane tworzenie treści syntetycznych
• Lokalne modele jako narzędzie pracy analitycznej, dydaktycznej i badawczej.
• Ograniczenia modeli: halucynacje, uprzedzenia, niepewność, brak kontekstu i podatność na manipulację.
• Tworzenie wyraźnie oznaczonych materiałów syntetycznych w zamkniętym środowisku.
• Etyczne granice symulacji, dokumentowanie procesu oraz ograniczanie ryzyka rozpowszechnienia materiału.

Literatura: FAIK — wybrane rozdziały; materiały CERT Polska i NASK dotyczące dezinformacji i cyberhigieny.
4. LLM jako powierzchnia ataku
• Model, prompt, kontekst, pamięć, RAG, narzędzia, API, użytkownik i administrator jako elementy powierzchni ataku.
• Podstawowe pojęcia: jailbreak, prompt injection, indirect prompt injection, data exfiltration, tool abuse, goal hijacking.
• Różnica między niepoprawną odpowiedzią modelu a podatnością bezpieczeństwa.
• Minimalne uprawnienia, ograniczenie skutków błędu modelu i separacja środowisk.

Literatura: OWASP, Top 10 for Large Language Model Applications; MITRE ATLAS; NIST, Generative AI Profile.
5. Testowanie odporności modeli: jailbreak i manipulacja kontekstem
• Wprowadzenie do bezpiecznego testowania odporności modeli.
• Zagadnienia z materiału „Wprowadzenie do hackowania AI”.
• Klasy przykładów: Bad Likert, manipulacja emoji, prompt puppetry, InfoFlood, „Phishing for Gemini” oraz Best-of-N.
• Zachowania pozornie zgodne z regułami i faktyczne obchodzenie celu lub polityki bezpieczeństwa.
• Metody obrony: ograniczanie i filtrowanie kontekstu, polityki narzędzi, klasyfikatory, ocena zachowania oraz rejestrowanie zdarzeń.

Literatura: materiał dydaktyczny „Wprowadzenie do hackowania AI”; OWASP, Top 10 for Large Language Model Applications; MITRE ATLAS.
6. LLM z narzędziami: poczta, pliki, przeglądarka i dane
• Dlaczego połączenie modelu z narzędziami zwiększa ryzyko bezpieczeństwa.
• Ryzyka dostępu do skrzynki pocztowej, dokumentów, systemów plików, przeglądarki, baz danych i usług API.
• Ataki pośrednie: instrukcje ukryte w dokumentach, stronach internetowych, wiadomościach lub rekordach danych.
• Bezpieczne projektowanie narzędzi: listy dozwolonych operacji, potwierdzanie działań, separacja uprawnień, filtrowanie wyjść i dzienniki audytowe.

Literatura: OWASP, Top 10 for Large Language Model Applications; NIST, Generative AI Profile; materiały MITRE ATLAS.
7. Agenci AI i ryzyka wieloagentowe
• Agent, workflow, pamięć, planowanie, delegowanie zadań i wykonanie narzędzi.
• Autonomia funkcjonalna a autonomia operacyjna.
• Komunikacja agent–agent, pamięć współdzielona, kanały boczne i przenoszenie celów.
• Zasada ograniczonego zaufania wobec komunikatów i danych pochodzących od innych agentów.
• Mechanizmy zatrzymania, separacja agentów, limity zasobów, monitoring i kontrola uprawnień.

Literatura: materiały NIST dotyczące ryzyka AI; MITRE ATLAS; wybrane materiały prowadzącego.
8. Studium przypadku: incydent OpenAI/Hugging Face
• Przebieg i znaczenie incydentu opisanego przez OpenAI.
• Izolacja, współdzielona infrastruktura, komunikacja między agentami, dostęp do narzędzi oraz koordynacja modeli.
• Ryzyka wynikające z łączenia podatności, nieautoryzowanych kanałów komunikacji, nadmiernej wytrwałości modeli i przejmowania celów.
• Wnioski dla sandboxingu, izolacji sieciowej, monitoringu, kontroli narzędzi oraz procedur reagowania na incydenty.

Literatura: OpenAI, Hugging Face Incident and the Road Ahead.
9. AI w cyberoperacjach oraz prezentacje projektów
• AI jako asystent, automatyzator i orkiestrator workflow w cyberoperacjach.
• Rozpoznanie, socjotechnika, automatyzacja, analiza danych i utrzymywanie dostępu jako elementy analizowane z perspektywy obronnej.
• Ryzyka związane z systemami wieloagentowymi, kluczami API, automatyzacją i skalowaniem nadużyć.
• Wnioski dla odporności organizacyjnej, ochrony danych, monitoringu, reagowania i budowy polityk bezpieczeństwa AI.
• Prezentacje i obrona projektów zaliczeniowych.

Literatura: Anthropic, Detecting and Countering Misuse of AI: September 2026; aktualne raporty CERT Polska, ENISA i CISA.
Proponowane tematy projektów zaliczeniowych
1. Audyt ryzyka dla asystenta LLM obsługującego dokumenty w organizacji.
2. Prompt injection jako zagrożenie dla systemu RAG: scenariusze, skutki i środki obrony.
3. Model zagrożeń dla agenta AI z dostępem do poczty, kalendarza i systemu plików.
4. Jak projektować bezpieczną pamięć agenta AI?
5. Analiza kampanii dezinformacyjnej wykorzystującej treści syntetyczne.
6. Deepfake audio jako zagrożenie dla uwierzytelniania i komunikacji kryzysowej.
7. Odporność organizacji na phishing wspierany przez modele generatywne.
8. Liar’s dividend jako problem bezpieczeństwa informacyjnego i zaufania społecznego.
9. Bezpieczeństwo lokalnych LLM w organizacji: korzyści, ryzyka i architektura kontroli.
10. Czy systemy agentowe powinny posiadać dostęp do internetu? Analiza wariantów architektury.
11. Analiza incydentu OpenAI/Hugging Face: błędy izolacji, monitoringu i zarządzania uprawnieniami.
12. Wieloagentowa koordynacja jako ryzyko dla bezpieczeństwa i dostosowania modeli.
13. AI w cyber kill chain: analiza defensywna na podstawie raportów threat intelligence.
14. Klucze API jako zasób strategiczny i element łańcucha dostaw AI.
15. Projekt procedury reagowania na incydent związany z nieautoryzowanym działaniem agenta AI.
16. Projekt polityki bezpieczeństwa dla organizacji wykorzystującej narzędzia generatywne.
17. Metody wykrywania syntetycznych treści w komunikacji politycznej lub kryzysowej.
18. Napięcie między automatyzacją bezpieczeństwa a kontrolą człowieka nad decyzjami systemu AI.