Ewaluacja polityki publicznej 2100-PP-M-D3EWPP
Kurs opowiada jedną historię: jak dobrze zaprojektować ewaluację konkretnego programu. Historia ma cztery etapy, a każdy kończy się jedną częścią portfolio.
Poznać program (warsztaty 1–3). Czym jest program, skąd się wziął i czy da się go ewaluować? Wybieramy program z listy przygotowanej przez prowadzącego albo własny, spełniający proste warunki (dostępne dokumenty i dane za co najmniej dwa lata, program wciąż działa, nie trzeba danych osobowych). Umieszczamy go w procesie polityki znanym z TiPPP: kto go forsował, w jakim momencie powstał, kto dziś chce wiedzieć, czy działa. Poznajemy typy ewaluacji.
Zrozumieć, jak program ma działać (warsztaty 4–6). Z dokumentów programu odtwarzamy jego teorię zmiany i wypisujemy założenia. Sprawdzamy, co może pójść inaczej, bo ludzie zachowują się inaczej, niż zakłada program: beneficjenci, realizatorzy, decydenci, a także sam ewaluator. Ustalamy, kto skorzysta z ewaluacji i do czego; ewaluator występuje tu jako broker wiedzy.
Zaprojektować badanie (warsztaty 7–10). Dobieramy kryteria (OECD DAC) i pytania ewaluacyjne. Sprawdzamy krytycznie projekt ewaluacji tego samego programu przygotowany przez AI. Gromadzimy źródła i dane. Budujemy matrycę ewaluacyjną: jak odpowiemy na każde pytanie, z jakich źródeł i jak sprawdzimy wyniki, także te uzyskane z pomocą AI. Metody jakościowe i ilościowe pojawiają się tu jako części matrycy, a nie osobne zajęcia.
Zamówić ewaluację i przygotować wykorzystanie wyników (warsztaty 11–12). Piszemy skrócony opis przedmiotu zamówienia, a partner odpowiada na niego jako wykonawca. Planujemy, co użytkownicy zrobią z różnymi możliwymi wynikami, i przygotowujemy jeden produkt komunikacyjny.
Warsztaty 13–14 to obrony i podsumowanie. Każde spotkanie ma ten sam rytm: prowadzący pokazuje krok na programie przykładowym, uczestnicy wykonują go na własnym programie z pomocą AI, a partner z pary recenzenckiej sprawdza wynik.
Nakład pracy studenta
Cztery punkty ECTS odpowiadają około 100 godzinom pracy.
- Udział w warsztatach (14 × 2 godziny dydaktyczne): 28 godz.
- Przygotowanie do warsztatów: lektura do 20 stron i formularz (12 × ok. 1,25 h): 15 godz.
- Portfolio: część A (8 h), B (11 h), C (16 h), D (10 h), z poprawkami: 45 godz.
- Uwagi dla partnera do części A–C i konsultacje: 5 godz.
- Przygotowanie do obrony: 7 godz.
- Razem: 100 godz.
Koordynatorzy przedmiotu
Rodzaj przedmiotu
Tryb prowadzenia
Założenia (opisowo)
Efekty uczenia się
Wiedza. Po ukończeniu kursu student zna i rozumie:
- W1: miejsce ewaluacji w procesie polityki publicznej, jej typy i standardowe kryteria (OECD DAC);
- W2: logikę ewaluacji opartej na teorii zmiany i znaczenie zachowań ludzi dla działania programów publicznych;
- W3: rolę ewaluatora jako brokera wiedzy i relację między zamawiającym a wykonawcą ewaluacji;
- W4: możliwości i ograniczenia generatywnej AI w ewaluacji, w tym granicę między analizą, którą AI może wspierać, a oceną, która należy do człowieka.
Umiejętności. Student potrafi:
- U1: ocenić, czy program da się ewaluować, i odtworzyć jego teorię zmiany z dokumentów, uwzględniając bariery behawioralne;
- U2: sformułować pytania ewaluacyjne dla konkretnych użytkowników i zaprojektować badanie w formie matrycy ewaluacyjnej;
- U3: korzystać z narzędzi AI na kolejnych etapach projektu i sprawdzać ich wyniki wobec źródeł;
- U4: przygotować skrócony opis przedmiotu zamówienia ewaluacji i zaplanować wykorzystanie jej wyników;
- U5: uzasadnić ustnie własne decyzje projektowe.
Kompetencje społeczne. Student jest gotów do:
- K1: opierania ocen działań publicznych na dowodach;
- K2: współpracy recenzenckiej, w tym udzielania i przyjmowania rzeczowej krytyki;
- K3: jawnego i odpowiedzialnego korzystania z AI oraz refleksji nad etycznymi skutkami stosowania wiedzy behawioralnej i AI w polityce publicznej.
Kryteria oceniania
Zaliczenie na ocenę na podstawie portfolio, obrony ustnej, przygotowania do zajęć oraz aktywności i współpracy.
Składniki i kryteria oceny
Portfolio (wersja końcowa) — 40%
zgodność z dokumentami programu i źródłami; spójność części (teoria zmiany → pytania → matryca → zamówienie); wyjaśnianie mechanizmów, a nie tylko opis działań; łączenie co najmniej dwóch źródeł przy pytaniach o rezultaty; rzetelne sprawdzanie wyników AI
Obrona ustna — 20%
odpowiedzi odnoszą się do własnego projektu; decyzje są uzasadnione dokumentami lub matrycą; świadomość ograniczeń projektu; rozliczenie z użycia AI
Przygotowanie do zajęć — 20%
formularz przed warsztatem: 1 pkt przed zajęciami, 0,5 pkt do 24 godzin po nich, 0 pkt później
Aktywność i współpraca — 20%
udział w ćwiczeniach, terminowe wersje robocze części A–C, rzetelne uwagi dla partnera
Warunki zaliczenia. Pozytywna ocena z portfolio i z obrony (obrona jest obowiązkowa); terminowe wypełnienie co najmniej połowy formularzy; obecność zgodnie z regulaminem studiów.
Portfolio — cztery części
A. Karta programu
opis programu, dostępne dokumenty i dane, miejsce w procesie polityki, ocena, czy program da się ewaluować
Objętość: do 3 stron. Wersja robocza: tydzień po warsztacie 3.
B. Logika programu
teoria zmiany z założeniami, bariery behawioralne kluczowych aktorów, użytkownicy ewaluacji i ich potrzeby
Objętość: do 4 stron. Wersja robocza: tydzień po warsztacie 6.
C. Projekt badania
kryteria i pytania, karta audytu projektu przygotowanego przez AI, matryca ewaluacyjna, plan metod ze sposobem sprawdzania wyników AI
Objętość: do 6 stron plus matryca. Wersja robocza: tydzień po warsztacie 10.
D. Zamówienie i wykorzystanie
skrócony opis przedmiotu zamówienia, scenariusze wykorzystania wyników, jeden produkt komunikacyjny dla wybranego użytkownika
Objętość: do 4 stron. Wersja robocza: bez wersji roboczej; powstaje na warsztatach 11–12.
Części A–C oddajesz najpierw w wersji roboczej. W ciągu trzech dni uwagi daje partner z pary recenzenckiej, w ciągu tygodnia prowadzący. Poprawiasz je w dowolnym momencie semestru. Całe portfolio w wersji końcowej składasz w jednym terminie, wspólnym dla wszystkich: dwa dni przed warsztatem 13. Oceniana jest wyłącznie wersja końcowa.
Dziennik AI. Każda część kończy się krótką tabelą: co zleciłeś narzędziu AI, co przyjąłeś, co poprawiłeś lub odrzuciłeś i dlaczego, jak sprawdziłeś wynik. Dziennik nie jest oceniany osobno; pokazuje, jak pracowałeś, i jest podstawą jednego pytania na obronie.
Obrona ustna
Obrona trwa 20 minut, odbywa się bez slajdów i bez narzędzi AI. Masz przed sobą własne portfolio.
- Otwarcie (3 min). Opowiadasz o jednej decyzji projektowej, którą zmieniłeś w trakcie semestru, i o tym, co ją zmieniło.
- Pytania prowadzącego (10 min). Trzy pytania z listy około dziesięciu pytań ogłoszonej na warsztacie 8 oraz jedno pytanie o dziennik AI.
- Pytania partnera i grupy (4 min).
- Samoocena (3 min). Co w portfolio jest najmocniejsze, a co zrobiłbyś inaczej.
Na warsztacie 12 odbywa się próbna obrona w parach i losowanie kolejności obron.
Praca indywidualna i w parach. Każda osoba prowadzi własny program i własne portfolio; stałe pary recenzenckie ustala prowadzący po warsztacie 2. Jeśli grupa liczy więcej niż 10 osób, dwie osoby mogą prowadzić wspólny program i wspólne portfolio z opisanym podziałem pracy; obrona pozostaje indywidualna.
Korzystanie z AI w zaliczeniu
Na tym kursie AI jest narzędziem pracy ewaluatora, a nie autorem oceny programu. Poziomy użycia AI przypisano do składników zaliczenia zgodnie z uchwałą Wydziału, opartą na skali AIAS (Perkins i in., 2024):
Portfolio — AIAS 4: AI może wykonywać zadania cząstkowe (streścić dokument, zaproponować pytania, zakodować tekst, policzyć wskaźnik); ty oceniasz, poprawiasz i zapisujesz to w dzienniku AI.
Formularze przygotowawcze — AIAS 2: AI może pomóc uporządkować myśli; odpowiedzi są twoje.
Obrona ustna — AIAS 1: bez AI.
Praktyki zawodowe
-
Uwagi
|
W cyklu 2026Z:
Rok akademicki 2026/27, semestr zimowy. Zajęcia w sali: 14 spotkań po 90 minut. Język zajęć: polski; część lektur po angielsku. Narzędzia i bezpieczeństwo pracy z AI
|