Procedury badań ewaluacyjnych 3402-10PBE

Procedury Badań Ewaluacyjnych to przedmiot o charakterze projektowo-badawczym, którego celem jest zapoznanie osób studenckich z podstawami metodologicznymi i praktyką prowadzenia badań ewaluacyjnych – przede wszystkim w obszarze edukacji, ale z odniesieniami do innych sektorów działań publicznych. Zajęcia opierają się na przekonaniu, że nauki społeczne mogą i powinny pełnić funkcję użytkową: wspierać instytucje w podejmowaniu decyzji, doskonaleniu programów i lepszym rozumieniu skutków działań. Ewaluacja to nie tylko narzędzie oceny, ale także forma uczenia się i pogłębionej refleksji nad tym, co działa, co nie działa i dlaczego.

W ramach kursu osoby studenckie uczą się, jak zaplanować i zrealizować badanie ewaluacyjne od podstaw: od sformułowania celów, przez wybór podejścia metodologicznego (ilościowego, jakościowego lub mieszanego), konstrukcję narzędzi, zbieranie danych, aż po analizę i prezentację wyników w formie raportu końcowego. Szczególny nacisk położony jest na umiejętność tworzenia logicznych ram ewaluacji (tzw. logika interwencji), formułowania pytań badawczych dostosowanych do potrzeb odbiorcy oraz pisania zrozumiałych i użytecznych rekomendacji.

Przedmiot zakłada pełną realizację małego projektu badawczego. Osoby studenckie pracują w zespołach nad konkretnym zadaniem ewaluacyjnym – najczęściej dotyczącym projektu edukacyjnego lub społecznego. Może to być np. ocena programu wspierania kompetencji uczniów, efektywności działań prowadzonych przez instytucję kultury, czy skuteczności szkolenia dla nauczycieli. Zajęcia prowadzone są w formule warsztatowej, z częstym wyjściem „w teren”, z dużym naciskiem na współpracę, refleksyjność i elastyczne reagowanie na problemy pojawiające się w trakcie badań.

Znaczącym kontekstem dla rozwoju ewaluacji w Polsce pozostaje członkostwo w Unii Europejskiej. Wymogi unijne dotyczące oceny skuteczności i jakości projektów współfinansowanych ze środków UE sprawiły, że ewaluacja stała się jednym z kluczowych narzędzi zarządzania funduszami publicznymi. Osoby posiadające kompetencje ewaluacyjne są poszukiwane zarówno w administracji, jak i w firmach badawczych, organizacjach pozarządowych czy zespołach uczelnianych realizujących projekty społeczne. Przedmiot ten przygotowuje do pełnienia takich ról – z naciskiem na wiedzę metodologiczną, umiejętności analityczne, pracę zespołową oraz etykę badawczą.

Na zakończenie kursu osoby studenckie oddają raport ewaluacyjny stanowiący syntetyczne podsumowanie przeprowadzonego badania – zawierający cele, opis metod, analizę danych, wnioski i rekomendacje. Raport oceniany jest nie tylko pod względem poprawności metodologicznej, ale także użyteczności, jasności przekazu oraz adekwatności do potrzeb potencjalnego odbiorcy.

Zajęcia są intensywną szkołą badania społecznego „w działaniu” – realnego, zespołowego i odpowiedzialnego. Rozwijają nie tylko wiedzę i umiejętności, ale też socjologiczną wyobraźnię, otwartość na złożoność rzeczywistości oraz wrażliwość na język i potrzeby osób, które są przedmiotem badań.

Założenia (opisowo)

Współczesna polityka publiczna coraz częściej opiera się na dowodach, analizach i wskaźnikach, a jednym z kluczowych narzędzi ich generowania stały się badania ewaluacyjne. Ewaluacja, rozumiana jako systematyczna ocena planowania, przebiegu i rezultatów działań publicznych, jest nie tylko narzędziem kontroli, ale także – a może przede wszystkim – źródłem refleksji, rekomendacji i uczenia się organizacji publicznych. W ostatnich latach ewaluacja rozwinęła się w dynamiczną subdyscyplinę nauk społecznych, łączącą podejścia metodologiczne z praktyką społeczną, polityczną i instytucjonalną. Celem przedmiotu Evaluation Research Procedures jest przygotowanie osób studenckich do samodzielnego przeprowadzenia ewaluacji działań publicznych – przede wszystkim projektów edukacyjnych – w realnych warunkach, z wykorzystaniem rzetelnych i dostosowanych metod badawczych. Zajęcia mają charakter intensywnie praktyczny i badawczy. Osoby studenckie pracują w zespołach ewaluacyjnych, samodzielnie definiując cele ewaluacji, opracowując projekt badawczy, dobierając metody i techniki badawcze (zarówno ilościowe, jak i jakościowe), przygotowując narzędzia badawcze, prowadząc terenowe badania ewaluacyjne, a następnie analizując zebrane dane i formułując końcowy raport wraz z rekomendacjami. Punktem wyjścia do realizacji projektu ewaluacyjnego jest zadanie przekazane przez prowadzącą osobę – najczęściej w formie rzeczywistego działania, programu lub projektu edukacyjnego, który wymaga oceny. Dzięki temu osoby studenckie uczą się myślenia ewaluacyjnego, poznają etapy cyklu ewaluacji, zasady budowania logiki interwencji, a także zdobywają kompetencje niezbędne w pracy badawczej i doradczej w sektorze publicznym, pozarządowym i komercyjnym. Podstawą zaliczenia przedmiotu jest wspólnie przygotowany raport z przeprowadzonej ewaluacji, który spełnia standardy raportowania w badaniach społecznych. Duży nacisk kładziony jest również na refleksyjność, etykę badań oraz umiejętność pracy zespołowej. Zajęcia pozwalają osobom studenckim doświadczyć, czym jest badanie społeczne „w działaniu” – w odpowiedzi na realną potrzebę wiedzy ze strony instytucji czy środowiska.

Koordynatorzy przedmiotu

Tomasz Sobierajski

Efekty kształcenia

Zrealizowany projekt badawczo-ewaluacyjny może stanowić wartościowy element portfolio zawodowego osoby studenckiej, dokumentując realne doświadczenie badawcze i umiejętność współpracy z instytucjami publicznymi.

WIEDZA
Osoba studencka zna podstawowe pojęcia, cele i funkcje badań ewaluacyjnych oraz rozumie ich znaczenie w kontekście polityk publicznych i zarządzania projektami społecznymi, zwłaszcza w obszarze edukacji.
Osoba studencka posiada wiedzę na temat różnych podejść metodologicznych stosowanych w badaniach ewaluacyjnych, w tym badań ilościowych, jakościowych i podejść mieszanych.
Osoba studencka zna strukturę procesu ewaluacji, w tym etapy definiowania celów ewaluacyjnych, konstruowania logiki interwencji, formułowania pytań badawczych, doboru metod i analizy danych.
Osoba studencka rozumie znaczenie etyki w badaniach ewaluacyjnych oraz rolę badań ewaluacyjnych jako narzędzia służącego uczeniu się organizacji.
Osoba studencka posiada orientację w aktualnych wymogach instytucjonalnych dotyczących ewaluacji, w tym związanych z projektami współfinansowanymi ze środków UE.

UMIEJĘTNOŚCI
Osoba studencka potrafi zaplanować i przeprowadzić ewaluację działań edukacyjnych lub społecznych, pracując zespołowo nad rzeczywistym zadaniem badawczym.
Osoba studencka umie samodzielnie sformułować cele i pytania ewaluacyjne, dobrać odpowiednie podejście metodologiczne, przygotować narzędzia badawcze i zebrać dane w warunkach terenowych.
Osoba studencka potrafi analizować dane ilościowe i jakościowe w kontekście ewaluacyjnym oraz syntetyzować je w formie wniosków i praktycznych rekomendacji.
Osoba studencka umie tworzyć spójne, czytelne i użyteczne raporty ewaluacyjne, dostosowane do potrzeb odbiorców instytucjonalnych.
Osoba studencka potrafi stosować zasady logicznego myślenia i argumentacji w konstruowaniu raportu z badań oraz prezentować jego wyniki w formie pisemnej i ustnej.

KOMPETENCJE SPOŁECZNE
Osoba studencka rozwija odpowiedzialną postawę badacza, świadomą wpływu, jaki ewaluacja może mieć na uczestników projektu oraz decyzje podejmowane przez instytucje publiczne.
Osoba studencka potrafi pracować w zespole ewaluacyjnym, podejmując wspólne decyzje, dzieląc się obowiązkami i wspierając innych członków grupy w realizacji zadań.
Osoba studencka wykazuje gotowość do dialogu z interesariuszami ewaluacji, w tym przedstawicielami instytucji i odbiorcami działań, oraz do prezentowania wyników badań w sposób zrozumiały i etyczny.
Osoba studencka rozwija refleksyjność metodologiczną oraz krytyczną postawę wobec danych, własnych założeń badawczych i przyjętej metodologii.
Osoba studencka potrafi elastycznie reagować na trudności w procesie badawczym oraz proponować rozwiązania adekwatne do zmieniających się warunków terenowych.

Kryteria oceniania

Zaliczenie przedmiotu „Procedury Badań Ewaluacyjnych” opiera się na wynikach pracy zespołowej prowadzonej przez osoby studenckie w ramach projektu badawczo-ewaluacyjnego oraz na indywidualnej refleksji w formie samoewaluacji.

Projekt zespołowy (80% oceny końcowej)

Podstawą zaliczenia jest raport ewaluacyjny opracowany w grupie, który dokumentuje cały proces badania – od sformułowania celu, przez opracowanie metodologii i narzędzi badawczych, realizację badań w terenie, analizę wyników, aż po sformułowanie wniosków i rekomendacji. Raport powinien zawierać:

uzasadnienie potrzeby ewaluacji,
logiczną strukturę interwencji (jeśli dotyczy),
pytania ewaluacyjne i opis metodologii,
opis narzędzi i procesu badawczego,
analizę zebranego materiału (ilościowego i/lub jakościowego),
wnioski oraz propozycje rekomendacji,
refleksję nad ograniczeniami badania.
Raport oceniany będzie według następujących kryteriów:

spójność i poprawność metodologiczna,
trafność i przejrzystość wniosków,
użyteczność raportu (czytelność dla odbiorcy instytucjonalnego),
współpraca i zaangażowanie w pracę grupową,
estetyka i przejrzystość dokumentu.
W razie potrzeby raport może być uzupełniony o krótką prezentację wyników (forma ustna lub wizualna).

Samoewaluacja indywidualna (20% oceny końcowej)

Każda osoba studencka składa na zakończenie kursu krótką samoewaluację (ok. 1 strony), w której odnosi się do:

własnego wkładu w realizację projektu (zadania, zaangażowanie, trudności),
zdobytych umiejętności i wiedzy,
doświadczenia pracy w zespole ewaluacyjnym,
refleksji na temat zastosowania badań społecznych w praktyce.

Samoewaluacja oceniana będzie pod kątem:

umiejętności samodzielnej oceny własnej pracy,
umiejętności wskazania obszarów rozwoju.

Warunkiem zaliczenia przedmiotu jest aktywny udział w zajęciach, rzetelne uczestnictwo w pracach grupy badawczej oraz terminowe złożenie zarówno raportu zespołowego, jak i samoewaluacji. Przedmiot nie kończy się egzaminem – kluczowa jest praca badawcza „w działaniu” i umiejętność krytycznej refleksji nad jej przebiegiem.

Praktyki zawodowe

Brak

Literatura

1. Zaproszenie do ewaluacji, Monika Bartosiewicz-Niziołek, Monika Marcinkowska-Bachlińska, Wanda Kozyra, Alicja Karczmarczyk, Joanna Żebrowska, KOWEZiU 2014
2. Tomasz Sobierajski, Zaproszenie do monitorowania, KOWEZiU 2015
3. Charakterystyka i schematy badań ewaluacyjnych.
Earl Babbie, Podstawy badań społecznych, PWN 2009, Badania ewaluacyjne, s. 388 - 418
4. Badania o chrakterze ilościowym i jakościowym w ewaluacji.
George Ritzer, Klasyczna teoria socjologiczna, Zysk 2000, Ku bardziej zintegrowanemu paradygmatowi socjologicznemu, s. 317 – 322
George Kamberelis, Greg Dimitriadis, Wywiady zogniskowane, [w:] Norman K. Denzin, Yvonna S. Lincoln, Metody badań jakościowych, PWN 2010, s. 351-390
5. Metody analizy dokumentów zastanych.
Sztumski Janusz, Wstęp do metod i technik badań społecznych, Śląsk 2005, rozdział 9, s. 182-191
6. Etyka badacza w realizacji badań ewaluacyjnych.
Clifford G. Christinas, Etyka i polityka w badaniach jakościowych, [w:] Norman K. Denzin, Yvonna S. Lincoln, Metody badań jakościowych, PWN 2010, s. 207-239
7. Charakterystyka raportu końcowego z badań ewaluacyjnych
Gibbs Graham, Analizowanie danych jakościowych, PWN 2011, rozdział 3, 50 -75

Więcej informacji

Dodatkowe informacje (np. o kalendarzu rejestracji, prowadzących zajęcia, lokalizacji i terminach zajęć) mogą być dostępne w serwisie USOSweb:

Strona przedmiotu 3402-10PBE w USOSweb