Challenges of AI in the security sector 2100-BW-L-D3SIBE
The module introduces students to the challenges to state security arising from the rapid development, deployment, and use of artificial intelligence (AI) systems. The course presents AI as a dual-use technology that can support threat analysis, risk management, anomaly detection, critical infrastructure protection, cybersecurity, and decision-making processes, while at the same time creating new legal, social, political, ethical, and military risks.
During the course, students examine definitions, typologies, and the basic operating mechanisms of contemporary AI systems, including machine-learning models, general-purpose AI models, generative AI, chatbots, and pattern-recognition systems. The module considers applications of AI in public administration and in institutions responsible for internal security, as well as the limitations of automation, the risk of errors, algorithmic bias, model opacity, and excessive reliance on automated recommendations.
An important element of the module is the analysis of regulatory frameworks and standards, in particular the AI Act, the Digital Services Act (DSA), national strategic documents, the NIST AI Risk Management Framework, and standards relating to AI systems that employ machine learning. Students relate current implementation cases, communications issued by public institutions, and media reports to requirements concerning risk management, the protection of fundamental rights, accountability, human oversight, and system security.
The course also covers the use of AI in cyberattacks and cyber defence, information operations, disinformation, the dissemination of synthetic media and deepfakes, social-engineering attacks, as well as military applications and autonomous systems. Students learn to assess sources critically, identify risks, and formulate well-founded positions on the use of AI by state institutions.
Student workload
Attendance at lectures 10h
Reading core and supplementary literature 5h
Analysis of legal acts, standards, strategic documents, and reports 4h
Independent consolidation of course material and preparation for problem-based discussions 3h
Preparation for the final test 2h
Preparation for the oral component of the examination 1h
Total student workload 25h
Number of ECTS credits: 1
|
Term 2025Z:
The module introduces students to contemporary state security challenges related to the dynamic development of artificial intelligence. The course focuses on a comprehensive approach to AI as a challenge for the state security sector, covering implementation, regulation, risk management, and the impact of AI on internal and external state security. The module covers: The specificity of artificial intelligence systems and the dynamics of their development – analysis of definitions and typologies of AI systems in the context of state security, evolution of AI technology and its impact on the security sector, characteristics of contemporary AI systems used in public administration, and management of AI system lifecycles. Dimensions of artificial intelligence system utility in security management – utilisation of AI in risk management and security threat analysis, applications in internal security institutions, AI-based decision support systems in the public sector, automation of security processes, and predictive threat analysis. AI models, algorithms, chatbots: types, functions, applications in the security sphere – overview of general-purpose AI models in the context of the AI Act, Large Language Models (LLMs) and their applications in security, chatbots and conversational systems in public services, pattern recognition systems, and machine learning in anomaly and threat detection. Challenges and threats associated with artificial intelligence development – economic (impact on labour market, economic competitiveness), political (governance, regulations, state policy in AI), social (digital inequalities, privacy, data protection), military (autonomous systems, cyberwarfare, state defence), and threats to critical infrastructure and security systems. Social engineering and media in the artificial intelligence era – manipulation and disinformation aided by AI, deepfakes and synthetic media as security threats, AI in social engineering and social engineering attacks, and protection against manipulation in social media. |
Course coordinators
Term 2025Z: | Term 2026Z: |
Type of course
Mode
Prerequisites (description)
Learning outcomes
K_W03
The student identifies, characterises, and explains, at an advanced level, the fundamental problems, aspects, and dimensions of internal security, with particular emphasis on challenges arising from the development and use of artificial intelligence (AI) systems.
K_W07
The student analyses and explains, at an advanced level, threats to the functioning of the contemporary state and society, their transformations, consequences, and methods of counteracting them, including technological, informational, social, legal, and military threats related to AI.
K_U03
The student makes and optimises decisions concerning internal-security processes and solves typical and non-standard problems related to the assessment of the applications, risks, and limitations of AI systems.
K_U06
The student communicates competently and professionally with relevant stakeholders, using modern communication techniques, and presents information on AI-related threats and ways of mitigating their effects.
K_U07
The student independently expands, supplements, and improves their knowledge of AI and security, and applies it to solving professional and analytical problems.
K_K01
The student critically and consciously assesses the scope of their own knowledge and competences and applies the acquired knowledge to solving cognitive and practical problems in the field of internal security.
Assessment criteria
Course Assessment Rules
Final Assessment
The final grade is based entirely on the annual assignment, which accounts for 100% of the final mark.
The annual assignment consists of an independently prepared analytical paper on a selected issue related to the use of artificial intelligence in the security sector. It should demonstrate knowledge of key concepts, regulations, standards, applications, threats and AI risk-management mechanisms.
The paper should include an analysis of a specified case, document, risk or dilemma concerning the use of AI in the context of state security. The student should describe and analyse the issue, relate it to the relevant dimension of security — in particular state security, internal security, information security, cybersecurity, critical infrastructure protection or societal security — and formulate their own logically justified conclusions and recommendations.
The annual assignment should be prepared on the basis of reliable sources, in particular academic literature, legal acts, strategic documents, standards, reports issued by public institutions and analytical materials. Assessment will take into account substantive accuracy, the ability to analyse the issue, critical use of sources, the relevance of conclusions and recommendations, the structure of the paper, and linguistic and formal correctness.
The annual assignment accounts for 100% of the final grade. The minimum pass mark for the course is 60%.
Up to two absences are permitted. Each absence must be made up by submitting an independently prepared written assignment on a topic agreed with the lecturer. The assignment should be 3–6 pages long, formatted in Times New Roman, 12-point font, with 1.5 line spacing.
Permitted Use of AI
The permitted level of AI use in the preparation of written assignments is defined on a scale from 1 to 5. In accordance with Faculty Council Resolution No. 29/2025:
Level 1. NO AI
Verification of learning outcomes is carried out entirely without the assistance of artificial intelligence. Students rely exclusively on their own knowledge, understanding and skills.
Artificial intelligence may not be used at any stage of the assessment process.
Verification of Learning Outcomes
K_W03
Method of verification: Annual assignment.
Assessment criteria: The student correctly identifies, defines and explains the fundamental problems, aspects and dimensions of internal security associated with the development, deployment or use of artificial intelligence systems. The student appropriately applies basic terminology related to AI, security and risk management in the paper.
K_W07
Method of verification: Annual assignment.
Assessment criteria: The student accurately analyses threats to the functioning of the contemporary state and society associated with AI, identifies their sources, transformations, potential consequences and possible countermeasures. The analysis takes account of the relevant technological, legal, social, political, informational, economic or military context.
K_U03
Method of verification: Annual assignment.
Assessment criteria: The student independently analyses a selected case, document, problem or dilemma related to the use of AI in the security sector. The student identifies relevant risks, compares possible courses of action, and formulates rational, feasible and well-justified recommendations.
K_U06
Method of verification: Annual assignment.
Assessment criteria: The student communicates an AI-related security issue clearly, concisely and in a well-structured manner. The student accurately presents threats, limitations, consequences and proposed risk-mitigation measures, using specialist terminology appropriate to the nature of the issue under analysis.
K_U07
Method of verification: Annual assignment.
Assessment criteria: The student independently selects, uses and correctly references academic literature, legal acts, strategic documents, standards, reports and other reliable sources. The student applies the knowledge acquired and the analytical frameworks introduced during the course to conduct an in-depth analysis of the issue and address the task set in the annual assignment.
K_K01
Method of verification: Annual assignment.
Assessment criteria: The student critically assesses the reliability, usefulness and limitations of the sources used. The student recognises the limitations of their own knowledge and the limitations of the AI systems under analysis, including risks arising from errors, lack of transparency, algorithmic bias, insufficient data quality or inadequate human oversight. The student formulates conclusions responsibly and appropriately for the field of internal security.
Bibliography
Literatura obowiązkowa:
1. Rydlewski, Grzegorz. Rządzenie w epoce informacji, cyfryzacji i sztucznej inteligencji. Dom Wydawniczy i Handlowy Elipsa, 2021.
2. Kupiecki, Robert, Filip Bryjka, Tomasz Chłoń. Dezinformacja międzynarodowa: pojęcie, rozpoznanie, przeciwdziałanie. Wydawnictwo Naukowe Scholar, 2022.
3. Fischer, Bogdan, Adam Pązik, Marek Świerczyński (red.). Prawo sztucznej inteligencji i nowych technologii. C.H.Beck, 2023.
4. Sienkiewicz-Małyjurek, Katarzyna. "Możliwości i problemy zastosowania sztucznej inteligencji w zarządzaniu kryzysowym." Bezpieczeństwo. Teoria i Praktyka 54.1 (2024): 43-59.
5. Malec, Norbert. "Sztuczna inteligencja a bezpieczeństwo państwa." Prawo i Bezpieczeństwo 2.1 (2024): 20-24.
6. Krzewniak, Daria, i inni. Nowe technologie jako instrument realizacji polityki bezpieczeństwa informacyjnego. Uniwersytet Przyrodniczo-Humanistyczny w Siedlcach, 2024.
7. NASK. Cyberbezpieczeństwo AI. AI w cyberbezpieczeństwie. Praca zbiorowa, NASK, 2023
8. Malec, Norbert (red.). Systemy sztucznej inteligencji jako wyzwanie dla sfery bezpieczeństwa i obronności RP. Biuro Analiz Sejmowych, 2021.
9. Frączek, Mariusz, and Krzysztof Spaliński. "Bezpieczeństwo informacji w dobie sztucznej inteligencji: analiza ryzyka i wyzwania związane z ChatGPT." (2023): 287-302.
Literatura uzupełniająca:
1. Szostek, Dariusz. IBAC (IoT, blockchain, AI i cyberbezpieczeństwo) – samoregulacja kodów czy kontrola uprzednia? C.H.Beck, 2024.
2. Krasuski, Andrzej. Status prawny sztucznego agenta. Podstawy prawne zastosowania sztucznej inteligencji. C.H.Beck, 2020.
3. Grochowski, Maciej i in. "Odpowiedzialność cywilna za szkody spowodowane funkcjonowaniem sztucznej inteligencji – de lege lata i de lege ferenda." Palestra 11/2024.
4. Przybyłowicz, Paulina. "Wykorzystanie sztucznej inteligencji w kryminalistyce." Młoda Palestra–Czasopismo Aplikantów Adwokackich 1 (2024): 12-26.
5. Kreft, Jan. Władza platform. Za fasadą Google, Facebooka i Spotify. Universitas, Kraków, 2022.
6. Bednarz, Kamil, Dominik Jaśkowiec, Mateusz Zaręba. "Sztuczna inteligencja w analizie politycznej: nowe horyzonty, możliwości i wyzwania." Annales Universitatis Paedagogicae Cracoviensis. Studia Geographica 21 (2024): 55-70.
7. Szpyt, Kamil, and Artur Bilski. "Wybrane wyzwania prawne i organizacyjne związane z wdrażaniem systemów AI w działalności samorządów terytorialnych." PRAWO I WIĘŹ 54.1 (2025).
8. Osika, Grażyna. "Komunikacja człowieka ze sztuczną inteligencją. Warunki brzegowe." Ethos. Kwartalnik Instytutu Jana Pawła II KUL 36.3 (2023): 127-153.
9. Kreft, Jan, Monika Boguszewicz-Kreft, and Barbara Cyrek. "Halucynacje chatbotów a prawda: główne nurty debaty i ich interpretacje." Roczniki Nauk Społecznych 52 (2024): 165-185.
Dokumenty:
1) AI Act - Rozporządzenie PE i Rady 2024/1689 o sztucznej inteligencji
2) Krajowa ustawa o systemach sztucznej inteligencji - projekt Ministerstwa Cyfryzacji
3) Polityka rozwoju sztucznej inteligencji w Polsce [Załącznik do uchwały nr 196 Rady Ministrów z dnia 28 grudnia 2020 r. (poz. 23)]
4) DSA (akt o usługach cyfrowych), Rozporządzenie (UE) 2022/2065 w sprawie jednolitego rynku usług cyfrowych oraz zmiany dyrektywy 2000/31/WE
5) Resortowa strategia sztucznej inteligencji do roku 2039 - Ministerstwo Obrony Narodowej, 2024
6) Doktryna bezpieczeństwa informacyjnego RP, BBN 2015 (projekt)
7) Doktryna cyberbezpieczeństwa RP, BBN 2015
8) Strategia Cyfryzacji Polski do 2035 roku - Ministerstwo Cyfryzacji, 2024 (projekt)
Standardy
1) NIST AI Risk Management Framework (AI RMF 1.0)
2) ISO/IEC 23053:2022 - Framework for AI systems using ML
|
Term 2025Z:
Literatura obowiązkowa: 1. Rydlewski, Grzegorz. Rządzenie w epoce informacji, cyfryzacji i sztucznej inteligencji. Dom Wydawniczy i Handlowy Elipsa, 2021. 2. Kupiecki, Robert, Filip Bryjka, Tomasz Chłoń. Dezinformacja międzynarodowa: pojęcie, rozpoznanie, przeciwdziałanie. Wydawnictwo Naukowe Scholar, 2022. 3. Fischer, Bogdan, Adam Pązik, Marek Świerczyński (red.). Prawo sztucznej inteligencji i nowych technologii. C.H.Beck, 2023. 4. Sienkiewicz-Małyjurek, Katarzyna. "Możliwości i problemy zastosowania sztucznej inteligencji w zarządzaniu kryzysowym." Bezpieczeństwo. Teoria i Praktyka 54.1 (2024): 43-59. 5. Malec, Norbert. "Sztuczna inteligencja a bezpieczeństwo państwa." Prawo i Bezpieczeństwo 2.1 (2024): 20-24. 6. Krzewniak, Daria, i inni. Nowe technologie jako instrument realizacji polityki bezpieczeństwa informacyjnego. Uniwersytet Przyrodniczo-Humanistyczny w Siedlcach, 2024. 7. NASK. Cyberbezpieczeństwo AI. AI w cyberbezpieczeństwie. Praca zbiorowa, NASK, 2023 8. Malec, Norbert (red.). Systemy sztucznej inteligencji jako wyzwanie dla sfery bezpieczeństwa i obronności RP. Biuro Analiz Sejmowych, 2021. 9. Frączek, Mariusz, and Krzysztof Spaliński. "Bezpieczeństwo informacji w dobie sztucznej inteligencji: analiza ryzyka i wyzwania związane z ChatGPT." (2023): 287-302. Literatura uzupełniająca: 1. Szostek, Dariusz. IBAC (IoT, blockchain, AI i cyberbezpieczeństwo) – samoregulacja kodów czy kontrola uprzednia? C.H.Beck, 2024. 2. Krasuski, Andrzej. Status prawny sztucznego agenta. Podstawy prawne zastosowania sztucznej inteligencji. C.H.Beck, 2020. 3. Grochowski, Maciej i in. "Odpowiedzialność cywilna za szkody spowodowane funkcjonowaniem sztucznej inteligencji – de lege lata i de lege ferenda." Palestra 11/2024. 4. Przybyłowicz, Paulina. "Wykorzystanie sztucznej inteligencji w kryminalistyce." Młoda Palestra–Czasopismo Aplikantów Adwokackich 1 (2024): 12-26. 5. Kreft, Jan. Władza platform. Za fasadą Google, Facebooka i Spotify. Universitas, Kraków, 2022. 6. Bednarz, Kamil, Dominik Jaśkowiec, Mateusz Zaręba. "Sztuczna inteligencja w analizie politycznej: nowe horyzonty, możliwości i wyzwania." Annales Universitatis Paedagogicae Cracoviensis. Studia Geographica 21 (2024): 55-70. 7. Szpyt, Kamil, and Artur Bilski. "Wybrane wyzwania prawne i organizacyjne związane z wdrażaniem systemów AI w działalności samorządów terytorialnych." PRAWO I WIĘŹ 54.1 (2025). 8. Osika, Grażyna. "Komunikacja człowieka ze sztuczną inteligencją. Warunki brzegowe." Ethos. Kwartalnik Instytutu Jana Pawła II KUL 36.3 (2023): 127-153. 9. Kreft, Jan, Monika Boguszewicz-Kreft, and Barbara Cyrek. "Halucynacje chatbotów a prawda: główne nurty debaty i ich interpretacje." Roczniki Nauk Społecznych 52 (2024): 165-185. Dokumenty: 1) AI Act - Rozporządzenie PE i Rady 2024/1689 o sztucznej inteligencji 2) Krajowa ustawa o systemach sztucznej inteligencji - projekt Ministerstwa Cyfryzacji 3) Polityka rozwoju sztucznej inteligencji w Polsce [Załącznik do uchwały nr 196 Rady Ministrów z dnia 28 grudnia 2020 r. (poz. 23)] 4) DSA (akt o usługach cyfrowych), Rozporządzenie (UE) 2022/2065 w sprawie jednolitego rynku usług cyfrowych oraz zmiany dyrektywy 2000/31/WE 5) Resortowa strategia sztucznej inteligencji do roku 2039 - Ministerstwo Obrony Narodowej, 2024 6) Doktryna bezpieczeństwa informacyjnego RP, BBN 2015 (projekt) 7) Doktryna cyberbezpieczeństwa RP, BBN 2015 8) Strategia Cyfryzacji Polski do 2035 roku - Ministerstwo Cyfryzacji, 2024 (projekt) Standardy 1) NIST AI Risk Management Framework (AI RMF 1.0) 2) ISO/IEC 23053:2022 - Framework for AI systems using ML |