Ewaluacja  co to takiego?
mgr Anna Kopczak
Cztery elementy planowania badań
ewaluacyjnych
Cel
Dlaczego dokonujesz
ewaluacji?
Zasoby Pytania
PieniÄ…dze, ludzie i Na jakie pytania
dane  jakimi chcesz
dysponujesz? odpowiedzieć?
Metody
Jak będziesz zbierać i
y
ródło:
analizować dane?
http://www.partnershipsforolder
adults.org
Ewaluacja a inne rodzaje badań
Co odróżnia ewaluację od badań stricte naukowych?
 celem badań naukowych jest wytwarzanie wiedzy
 badania ewaluacyjne to połączenie empirii i diagnozy. Jest
wykonywana dla usprawnienia procesu podejmowania
decyzji
 w przeciwieństwie do badań stricte naukowych, które
formułują własne hipotezy, ewaluator testuje założenia
programu
 ewaluacja ma miejsce zwykle w kontekście działania
programu. Personel programu może kontrolować dostęp
badacza do uczestników interwencji, ważnych dokumentów,
plików, nagrań itp.
 konflikt interesów: ewaluator prowadzi badania po to by
ocenić program stworzony przez tych, którzy wierzą w jego
skuteczność
 badania stricte naukowe są częściej publikowane niż raporty
z badań ewaluacyjnych
Co odróżnia ewaluację od audytu?
 brak negatywnych konsekwencji dla osób i instytucji, które
sÄ… przedmiotem badania
 ewaluacja posiada silniejszy element interaktywności i
współpracy pomiędzy badanymi a ewaluatorami. Ocena
bywa prowadzona wpólnie z interesariuszmi
" Ewaluowanie może być rozpatrywane w kategoriach podmiotu
(kto ewaluuje?) , przedmiotu (co jest ewaluowane?) oraz
kryterium badania (pod względem czego?)
w skrócie: podmiot X ewaluuje przedmiot Y
według kryteriów K
Podmiot to  ewaluator , przedmiot takich badań to  ewaluandum
Z czym mamy do czynienia, kiedy X=Y?
autoewaluacja
Kryteria oceny (wg dokumentów UE)
Nazwa kryterium Opis
Pytania o adekwatność planowanych
Trafność
celów i metod wdrażania interwencji do
wyzwań, które program ma rozwiązać.
Analiza tego kryterium  prowadzona
przed rozpoczęciem i w pierwszych
fazach interwencji
Pytania o stopień realizacji zakładanych
Skuteczność
celów, skuteczność używanych metod
i wpływ czynników zewn. na ostateczne
efekty
Analiza relacji między nakładami,
Wydajność
kosztami, zasobami (finansowymi,
ludzkimi, administracyjnymi)
a osiągniętymi efektami interwencji
Kryteria oceny (wg dokumentów UE)
Nazwa kryterium Opis
Pytania o osiągnięte efekty i ich
Użyteczność
adekwatność do sytuacji oraz wyzwań
społeczno  ekonomicznych, będących
przedmiotem interwencji. Analiza ta
prowadzona jest po zamknięciu
interwencji lub w jej końcowej fazie
wdrażania
Pytania o ciągłość efektów (głównie
Trwałość
pozytywnych) analizowanej interwencji w
perspektywie średnio oraz
długookresowej
" Drzewo pytań ewaluacyjnych, s. 24  25
Jakie typy badań ewaluacyjnych wyróżniamy?
Przedmiot ewaluacji:
" ewaluacja projektu
" ewaluacja programu
" ewaluacja polityk
" ewaluacja tematyczna/horyzontalna
" meta  ewaluacja Ä…ðgdy: ewaluowanie samo jest przedmiotem
ewaluacji
Cel ewaluacji:
" ewaluacja formatywna (operacyjna)
" ewaluacja podsumowujÄ…ca (strategiczna)
Moment podjęcia badania:
" ewaluacja wstępna (ex ante)
" ewaluacja bieżąca (on  going)
" ewaluacja końcowa (ex post)
Organizacja badania:
" ewaluacja zewnętrzna
" ewaluacja wewnętrzna
" autoewaluacja (gdy: podmiot ewaluacji = przedmiot ewaluacji)
" Ewaluacja formatywna  w literaturze anglojęzycznej
funkcjonuje także określenia FORMATIVE evaluation.
Badania te, prowadzone podczas trwania programu, majÄ…
na celu wskazywanie obszarów wymagających ulepszenia.
" Ewaluacja podsumowująca  pojawia się też określenia
SUMMATIVE evaluation  prowadzona po zakończeniu
interwencji. Dostarcza informacji o efektywności danego
programu
When the cook tastes the soup, that s formative evaluation;
when the guest tastes it, that s summative evaluation
(Scriven 1991)
Ważne, by pamiętać, że metody stosowane
w ewaluacji pomagają wskazać WADY
I ZALETY programu, jednak rzadko
pozwalają zrozumieć JAK program uzyskał
dany rezultat oraz JAK można go ulepszyć
(ewaluacja rzadko daje gotowy przepis na
naprawÄ™ programu)
Jakie funkcje spełniają badania ewaluacyjne?
" Ogólnie: wspomaganie instytucji w doborze,
nadzorowaniu, wartościowaniu i doskonaleniu programów
i polityk publicznych Ä…ðewaluacja przyczynia siÄ™ do
dobrobytu społecznego (social betterment)
" Ferry i Olejniczak wyróżniają 5 funkcji (tabela 3, s. 30  31):
a) Budowanie partnerstwa i współwłasności
b) Poprawa wdrażania i bieżącej jakości
c) Racjonalizowanie planowania
d) Funkcja poznawcza
e) Rozliczanie i wzmocnienie odpowiedzialności
Czy dana ewaluacja musi pełnić wszystkie
wymienione funkcje?
Jedno badanie nie może spełniać wszystkich
wymienionych funkcji
Orientacja Orientacja
operacyjna strategiczna  na
- na procesy ocenę efektów
zarzÄ…dzania
Wzmacnianie Poprawa Racjonalizacja Funkcja Rozliczanie i
partnerstwa i wdrażania planowania poznawcza wzmacnianie
współwłasności i jakości odpowiedzialności
K. Olejniczak  dylematy wyboru funkcji ewaluacji
" Konieczność wyboru wynika z kilku względów.
Jakich?
a) Odmienne perspektywy czasowe (orientacja na procesy skupia
siÄ™ na perspektywie  tu i teraz interwencji. Natomiast ocena
efektów następuje w dłuższej perspektywie, po zakończeniu
programu)
b) Odmienni adresaci badania i relacje: badajÄ…cy  badani.
Orientacja operacyjna Ä…ðma sÅ‚użyć operatorom interwencji,
ewaluator ma pomóc w rozwiązywaniu problemów i
wątpliwości. Należy budować zaufanie pomiędzy operatorem a
ewaluatorem. Orientacja strategiczna Ä…ðodbiorcÄ… wniosków
jest szersza publika, ewaluator odgrywa wobec operatora
funkcję oceniającego. Wymaga to większego dystansu między
badaczami a badanymi o operatorami
c) Wybór odmiennych metod. Orientacja na procesy Ä…ð
sprawdzają się tu metody jakościowe, wywiady, rozmowy,
spotkania animacyjne z interesariuszami (najważniejszy 
dialog). Orientacja strategiczna Ä…ðszuka siÄ™  zewnÄ™trznego
wobec wdrażającego kryterium oceny (fakty, dokumenty).
Czym są tzw. podejścia/modele ewaluacyjne?
Podejścia do ewaluacji (evaluation approaches, inquiry modes)
to element łączący i racjonalizujący ogólne cele badania z
konkretnymi metodami i technikami. To odpowiednik strategii
badawczej w badaniach naukowych
Jakie podejścia ewaluacyjne wyróżniamy?
1. PodejÅ›cie naukowe i wyÅ‚Ä…czajÄ…ce cele programu Ä…ðanaliza
rzeczywistych efektów programu (w tym  efekty uboczne).
Badanie relacji przyczynowo  skutkowej między działaniami
a zmianami na danym obszarze, w grupie docelowej, w
środowisku; przewaga metod ilościowych
2. PodejÅ›cie oparte na teoriach Ä…ðanaliza teorii, zaÅ‚ożeÅ„ i
mechanizmów programu w odniesieniu do jego efektów;
mieszanka metod ilościowych i jakościowych; użycie modeli
badawczych budowanych w oparciu o wcześniejsze,
analogiczne ewaluacje
3. PodejÅ›cie zorientowane na cele Ä…ðkoncentracja na ocenie, na
ile cele zostały zrealizowane. Zestawianie celów z produktami,
rezultatami i oddziaływaniem na daną grupę docelową;
przewaga metod ilościowych
4. PodejÅ›cie zorientowane na zarzÄ…dzanie Ä…ðkoncentracja na
procesach wdrażania, pomiarze bieżącej jakości, usuwaniu
blokad, minimalizowaniu konfliktów; przewaga metod
jakościowych
5. PodejÅ›cie responsywne i partycypatywne Ä…ðkoncentracja na
zidentyfikowaniu i zaspokojeniu bieżących potrzeb
informacyjnych głównych interesariuszy, analiza procesów
programu i bieżącego wdrażania ze szczególnym
uwzgędnieniem roli aktorów procesu. Animacja współpracy
między interesariuszami, budowanie dialogu, wzmacnianie
komunikacji; dominują metody jakościowe
Orientacja Orientacja
operacyjna strategiczna  na
- na procesy ocenę efektów
zarzÄ…dzania
metody
metody
ilościow
jakościo
ewe i
we i
przycz. -
interakt
skutkow
ywne
e plany
bad.
Podejście Podejście Podejście Podejście Podejście
responsywne i zorientowane zorientowan oparte na naukowe,
partycypatywne na zarządzanie e na cele teoriach wyłączające cele
KONSTRUKCJONIZM POZYTYWIZM
Jakie są podstawowe cechy różnicujące badania
jakościowe i ilościowe?
Badania jakościowe Badania ilościowe
Nawiązują do paradygmatu socjologii Nazywane są też często pozytywistycznymi
humanistycznej
Badania jakościowe odpowiadają na pytania Odpowiadają na pytanie  ile ;  jak często .
"jak" i "dlaczego" tak, a nie inaczej postępują Na ich podstawie można formułować wnioski
badane osoby. Celem jest poznanie i dotyczące częstości występowania zjawisk,
zrozumienie przyczyn oraz kierunków ich ich natężenia, zależności pomiędzy nimi.
zachowania. Badacze chcą dotrzeć do
nieujawnianych bezpośrednio przyczyn
zachowania, oraz zrozumieć i właściwie
zinterpretować zachowania, opinie lub badaną
postawÄ™.
Badania jakościowe Badania ilościowe
Badania jakościowe są zwykle prowadzone na Są prowadzone zwykle na szeroką skalę, na
niewielką skalę, na małych próbach. Nie dużych próbach, toteż uzyskane w ten sposób
można uogólniać ich wyników na szersze wyniki można uogólniać na populację.
populacje (nie sÄ… reprezentatywne dla
Można też prowadzić wnioskowanie
populacji)
statystyczne, a wyniki przedstawiać na
wykresach i w tabelach
Liczy się tu to, że dane stwierdzenie zostało Zwraca się tu uwagę na kwestię liczby
wypowiedziane, a nie to ile razy zostało podobnych wypowiedzi, wybrania danej
wypowiedziane kategorii odpowiedzi
Narzędzia są zwykle niewystandaryzowane Narzędzia są tu standaryzowane. Mają ten
(nieustrukturyzowane). Są one elastyczne, w sam format, kształt, który nie może ulegać
trakcie badań mogą być modyfikowane. zmianom w trakcie przeprowadzania badań.
Ogranicza to jednak rzetelność oraz Respondentom zadaje się te same pytania w
możliwości porównawcze badań jednakowej kolejności. Dzięki temu istnieje
możliwość porównywania różnych grup
Badania jakościowe Badania ilościowe
Rola badacza jest rozbudowana, ma on wpływ Rola badacza jest drugoplanowa. Wpływ
na osoby badane badacza na odpowiedzi respondentów
powinien być znikomy.
Interpretacje wyników mają bardziej Interpretacja wyników ma charakter bardziej
subiektywny charakter obiektywny
Osoby badane dobierane są zwykle w sposób Badani dobierani są zwykle w sposób losowy
celowy (dzięki czemu próba staje się bardziej
reprezentatywna)
Badacz dąży do poznania informacji głęboko
ukrytych, wyjaśnienia i zrozumienia
motywów działania
Kilka ciekawostek na koniec
" W 1996r. UE zamówiła badania mające na celu sprawdzenie
praktyk ewaluacyjnych Komisji Europejskiej i jej Dyrekcji
Generalnych. Komunikat skierowany do KE brzmiał:  rosnące
rozmiary budżetu i troska podatników UE o to, aby za swój
wkład do niego otrzymali odpowiednie usługi (value), a także
rozwój w Państwach Członkowskich i gdzie indziej w kierunku
zarzÄ…dzania sektorem publicznym nastawionym na wyniki,
stworzyły potrzebę przeglądu i unowocześnienia podejścia
Komisji do zarządzania budżetem (KE, 1996)
" Głównym motywem rozwoju badań ewaluacyjnych na poziomie
UE były więc względy finansowe
" W Polsce  ewaluacja programów, projektów społecznych
nabrała rozpędu od czasu włączenia Polski w struktury UE.
" W dokumencie Sektorowego Programu Operacyjnego Rozwój
Zasobów Ludzkich 2004  2006 napisano:  wzrost potencjału
ewaluacyjnego polskiej administracji jest jednym z głównych
celów w okresie programowania 2004  2006 (Sektorowy Program
Operacyjny Rozwój Zasobów Ludzkich 2004-2006. Załącznik do Rozporządzenia
Ministra Gospodarki i Pracy z dnia 1 lipca 2004 r. w sprawie przyjęcia Sektorowego
Programu Operacyjnego Rozwój Zasobów Ludzkich 2004-2006 r. (Dz. U. 166 poz.
1743)
" Program Inicjatywy Wspólnotowej EQUAL:  Polska
zapewni, aby wszystkie Partnerstwa na rzecz Rozwoju
[organizacje realizujące projekty] opracowały metodologię
i zastosowały odpowiednie mechanizmy dla oceny
bieżącej swoich działań i osiągnięć, łącznie z opisem
możliwych do weryfikacji wskaz
ników, które ilustrują, w
jaki sposób cele i rezultaty będą mierzone i oceniane, a
także odpowiednią metodologię i mechanizmy
monitoringu i oceny wspólnych działań w ramach
współpracy ponadnarodowej (MGPiPS, 2004, s. 181)
" Szybko powstał zatem popyt na usługi ewaluacyjne, a
powstajÄ…ce w tej dziedzinie studia podyplomowe nikogo
nie dziwiÄ…
Literatura:
" Olejniczak, K. Wprowadzenie do zagadnień ewaluacji [w:]
Teoria i praktyka ewaluacji interwencji publicznych.
Podręcznik akademicki, K. Olejniczak, M. Kozak, B.
Ledzion (red.), Warszawa 2008, s. 17  43.
" Weiss C., H., Evaluation, New Jersey 1998
" R. Szarfenberg, Ewaluacja strategii a polityka społeczna
(wydanie internetowe, 2009: http://rszarf.ips.uw.edu.pl/pdf/ewalps.pdf)
Dziękuję za uwagę