Ewaluacja polityki publicznej 2100-PP-M-D3EWPP
Celem kursu jest wyposażenie studentów w wiedzę i umiejętności niezbędne do planowania, przeprowadzania i wykorzystywania ewaluacji w sektorze publicznym w dynamicznie zmieniającej się rzeczywistości. Kurs pokazuje ewolucję ewaluacji: od klasycznego badania, przez strategiczne zarządzanie wiedzą, aż po inteligentne wspomaganie procesów analitycznych.
Warsztaty będą obejmowały następujące bloki tematyczne:
Od analizy do ewaluacji – wprowadzenie: Ugruntowanie miejsca ewaluacji w cyklu polityki publicznej. Zdefiniowanie różnic i powiązań między analizą (ex-ante) a ewaluacją (ex-post). Omówienie kluczowych typów ewaluacji i standardowych kryteriów oceny (OECD DAC).
Logika interwencji, Teoria Zmiany i perspektywa behawioralna: Warsztat, na którym "projekcja wyników" (z analizy Bardacha) zostanie przekształcona w sformalizowaną Teorię Zmiany. Moduł zostanie wzbogacony o perspektywę behawioralną (na podstawie rozdz. I z "(R)ewaluacja 2"), pokazując, dlaczego interwencje muszą uwzględniać błędy poznawcze i heurystyki, a nie tylko model racjonalnego aktora.
Projektowanie badania ewaluacyjnego z GenAI: Formułowanie pytań badawczych i dobór kryteriów. Warsztat: Wykorzystanie generatywnej AI do projektowania zakresu badania (na podstawie rozdz. 5 "Generatywna AI w badaniach"). Studenci nauczą się, jak używać modeli językowych do tworzenia i krytycznej oceny wstępnych propozycji pytań i kryteriów ewaluacyjnych.
Warsztat Ewaluatora – Metody Badawcze Wspomagane przez AI: Moduł poświęcony nowoczesnym metodom zbierania i analizy danych, zintegrowany z praktycznym zastosowaniem AI.
Podstawy pracy z AI: Promptowanie, bezpieczeństwo danych i etyka (Rozdz. 2 i 3 z książki o GenAI).
AI w przeglądach literatury: Wykorzystanie narzędzi AI do szybkiego przeglądu i syntezy istniejącej wiedzy (Rozdz. 7).
AI w analizie danych jakościowych i ilościowych: Praktyczne przykłady użycia AI do kodowania transkrypcji, analizy sentymentu oraz podstawowej analizy statystycznej i wizualizacji danych (Rozdz. 6 i 8).
Od wyników do rekomendacji – Ewaluator jako Broker Wiedzy: Moduł koncentruje się na użyteczności ewaluacji. Omówienie procesu tworzenia rekomendacji, które będą realnie użyteczne dla decydentów. Wprowadzenie koncepcji ewaluatora jako brokera wiedzy (Rozdz. II z "(R)ewaluacja 2"). Warsztat: Komunikacja wyników z wykorzystaniem GenAI (Rozdz. 10) – studenci nauczą się, jak za pomocą AI personalizować i tworzyć różne produkty komunikacyjne dla różnych grup odbiorców.
Rodzaj przedmiotu
Tryb prowadzenia
Założenia (opisowo)
Koordynatorzy przedmiotu
Efekty kształcenia
WIEDZA: Student zna i rozumie:
miejsce i rolę ewaluacji w cyklu polityki publicznej;
kluczowe pojęcia, typy i standardowe kryteria ewaluacji;
podstawowe koncepcje ekonomii behawioralnej i ich implikacje dla projektowania i ewaluacji polityk publicznych;
rolę ewaluatora jako brokera wiedzy w systemie publicznym;
zasady działania, możliwości i ograniczenia generatywnej AI w kontekście badań ewaluacyjnych.
UMIEJĘTNOŚCI: Student potrafi:
zrekonstruować Teorię Zmiany dla wybranej polityki, uwzględniając mechanizmy behawioralne;
sformułować trafne i mierzalne pytania ewaluacyjne;
zaprojektować zarys badania ewaluacyjnego;
posługiwać się narzędziami generatywnej AI do wspierania procesu badawczego, w tym do przeglądu literatury, wstępnej analizy danych i tworzenia produktów komunikacyjnych;
krytycznie oceniać wyniki wygenerowane przez AI i identyfikować związane z tym ryzyka.
KOMPETENCJE SPOŁECZNE: Student jest gotów do:
pracy w zespole nad przygotowaniem złożonego projektu analitycznego;
przyjęcia postawy opartej na dowodach (evidence-based) w ocenie działań sektora publicznego;
krytycznej refleksji nad etycznymi aspektami wykorzystywania wiedzy behawioralnej i narzędzi AI w kształtowaniu polityk publicznych.
Kryteria oceniania
Sposób zaliczenia: Zaliczenie na ocenę.
Metody weryfikacji efektów uczenia się:
Realizacja prac przygotowawczych do zajęć.
Aktywny udział w dyskusjach i ćwiczeniach warsztatowych.
Przygotowanie i prezentacja grupowego projektu zaliczeniowego.
Kryteria oceny:
Ocena końcowa jest sumą punktów uzyskanych z trzech komponentów:
Projekt zaliczeniowy (realizowany 1-2 os.) - 60% oceny końcowej.
Zadanie i struktura projektu pozostają bez zmian, jak w poprzedniej propozycji. Obejmują zaprojektowanie planu ewaluacji dla wybranej polityki, z uwzględnieniem wykorzystania GenAI.
Aktywność i przygotowanie do zajęć - 40% oceny końcowej.
Komponent ten składa się z dwóch części:
Prace przygotowawcze (20% oceny końcowej):
Przed większością warsztatów studenci będą zobowiązani do wykonania krótkiej pracy przygotowawczej (np. lektura tekstu, zapoznanie się z materiałem interaktywnym, wideo).
Potwierdzeniem wykonania pracy będzie wypełnienie krótkiego formularza online (np. Google Forms) z kilkoma pytaniami sprawdzającymi zrozumienie materiału.
Punktacja za prace przygotowawcze będzie przyznawana następująco:
+1 punkt: za wypełnienie formularza przed rozpoczęciem zajęć, do których praca się odnosi.
+0,5 punktu: za wypełnienie formularza w trakcie lub do 24h po zakończeniu zajęć.
0 punktów: za niewypełnienie formularza lub wypełnienie go z opóźnieniem większym niż 24h (wpływa to negatywnie na ocenę końcową przez utratę punktów).
Aktywność merytoryczna na zajęciach (20% oceny końcowej):
Obejmuje merytoryczny udział w dyskusjach, ćwiczeniach praktycznych i pracach grupowych. Ocenie podlegać będzie jakość wnoszonego wkładu (oparta na przygotowaniu), umiejętność argumentacji i konstruktywnej współpracy.
Warunki zaliczenia przedmiotu:
Do uzyskania zaliczenia z przedmiotu konieczne jest spełnienie wszystkich poniższych warunków:
Uzyskanie pozytywnej oceny z projektu zaliczeniowego.
Wykonanie i terminowe oddanie co najmniej połowy (50%) prac przygotowawczych. Niespełnienie tego warunku uniemożliwia zaliczenie kursu, niezależnie od oceny z projektu.
Obecność na zajęciach (zgodnie z regulaminem studiów).
Praktyki zawodowe
-
Literatura
Olejniczak, K., Batorski, D., Pokorski, J. (red.). (2025). Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
Haber A., Olejniczak K. (red.), (2014). (R)ewaluacja 2: Wiedza w działaniu. Warszawa: Polska Agencja Rozwoju Przedsiębiorczości.
Varone, F., Jacob, S., & Bundi, P. (Eds.). (2023). Handbook of public policy evaluation. Edward Elgar Publishing.
Rossi P. H., Lipsey M. W., Henry G. T., (2019). Evaluation: A Systematic Approach. SAGE Publications.
Bardach E., Patashnik E. M., (2020). A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. CQ Press. (jako punkt odniesienia).
Więcej informacji
Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb: