Ewaluacja – co to takiego?

mgr Anna Kopczak

Cztery elementy planowania badań

ewaluacyjnych

Cel

Dlaczego dokonujesz
ewaluacji?

Pytania

Na jakie pytania
chcesz
odpowiedzieć?

Metody

Jak będziesz zbierać i
analizować dane?

Zasoby

Pieniądze, ludzie i
dane – jakimi
dysponujesz?

Źródło:
http://www.partnershipsforolder
adults.org

Ewaluacja a inne rodzaje badań

Co odróżnia ewaluację od badań stricte naukowych?

– celem badań naukowych jest wytwarzanie wiedzy

– badania ewaluacyjne to połączenie empirii i diagnozy. Jest

wykonywana dla usprawnienia procesu podejmowania
decyzji

– w przeciwieństwie do badań stricte naukowych, które

formułują własne hipotezy, ewaluator testuje założenia
programu

– ewaluacja ma miejsce zwykle w kontekście działania

programu. Personel programu może kontrolować dostęp
badacza do uczestników interwencji, ważnych dokumentów,
plików, nagrań itp.

– konflikt interesów: ewaluator prowadzi badania po to by

ocenić program stworzony przez tych, którzy wierzą w jego
skuteczność

– badania stricte naukowe są częściej publikowane niż raporty

z badań ewaluacyjnych

Co odróżnia ewaluację od audytu?

– brak negatywnych konsekwencji dla osób i instytucji, które

są przedmiotem badania

– ewaluacja posiada silniejszy element interaktywności i

współpracy pomiędzy badanymi a ewaluatorami. Ocena
bywa prowadzona wpólnie z interesariuszmi

• Ewaluowanie może być rozpatrywane w kategoriach podmiotu

(kto ewaluuje?) , przedmiotu (co jest ewaluowane?) oraz
kryterium badania (pod względem czego?)

w skrócie: podmiot X ewaluuje przedmiot Y

według kryteriów K

Podmiot to „ewaluator”, przedmiot takich badań to „ewaluandum”

Z czym mamy do czynienia, kiedy X=Y?

autoewaluacja

Kryteria oceny (wg dokumentów UE)

Nazwa kryterium

Opis

Trafność

Pytania o

adekwatność planowanych

celów i metod wdrażania interwencji do
wyzwań, które program ma rozwiązać.
Analiza tego kryterium

– prowadzona

przed

rozpoczęciem i w pierwszych

fazach interwencji

Skuteczność

Pytania o

stopień realizacji zakładanych

celów, skuteczność używanych metod
i

wpływ czynników zewn. na ostateczne

efekty

Wydajność

Analiza

relacji

między

nakładami,

kosztami,

zasobami

(finansowymi,

ludzkimi,

administracyjnymi)

a

osiągniętymi efektami interwencji

Nazwa kryterium

Opis

Użyteczność

Pytania

o

osiągnięte

efekty

i

ich

adekwatność do sytuacji oraz wyzwań
społeczno – ekonomicznych, będących
przedmiotem

interwencji.

Analiza

ta

prowadzona

jest

po

zamknięciu

interwencji lub w jej

końcowej fazie

wdrażania

Trwałość

Pytania o

ciągłość efektów (głównie

pozytywnych) analizowanej interwencji w
perspektywie

średnio

oraz

długookresowej

Kryteria oceny (wg dokumentów UE)

• Drzewo pytań ewaluacyjnych, s. 24 – 25

Jakie typy badań ewaluacyjnych wyróżniamy?

• ewaluacja projektu
• ewaluacja programu
• ewaluacja polityk
• ewaluacja tematyczna/horyzontalna
• meta – ewaluacja  gdy: ewaluowanie samo jest przedmiotem

ewaluacji

• ewaluacja formatywna (operacyjna)
• ewaluacja podsumowująca (strategiczna)

Przedmiot ewaluacji:

Cel ewaluacji:

• ewaluacja wstępna (ex ante)
• ewaluacja bieżąca (on – going)
• ewaluacja końcowa (ex post)

• ewaluacja zewnętrzna
• ewaluacja wewnętrzna
• autoewaluacja (gdy: podmiot ewaluacji = przedmiot ewaluacji)

Moment podjęcia badania:

Organizacja badania:

• Ewaluacja formatywna – w literaturze anglojęzycznej

funkcjonuje także określenia FORMATIVE evaluation.
Badania te, prowadzone podczas trwania programu, mają
na celu wskazywanie obszarów wymagających ulepszenia.

• Ewaluacja podsumowująca – pojawia się też określenia

SUMMATIVE evaluation – prowadzona po zakończeniu
interwencji. Dostarcza informacji o efektywności danego
programu

When the cook tastes the soup, that’s formative evaluation;
when the guest tastes it, that’s summative evaluation
(Scriven 1991)

Ważne, by pamiętać, że metody stosowane
w ewaluacji pomagają wskazać WADY
I

ZALETY

programu,

jednak

rzadko

pozwalają zrozumieć JAK program uzyskał
dany rezultat oraz JAK można go ulepszyć
(ewaluacja rzadko daje gotowy przepis na
naprawę programu)

Jakie funkcje spełniają badania ewaluacyjne?

• Ogólnie: wspomaganie instytucji w doborze,

nadzorowaniu, wartościowaniu i doskonaleniu programów
i polityk publicznych  ewaluacja przyczynia się do
dobrobytu społecznego (social betterment)

• Ferry i Olejniczak wyróżniają 5 funkcji

(tabela 3, s. 30 – 31):

a) Budowanie partnerstwa i współwłasności

b) Poprawa wdrażania i bieżącej jakości

c) Racjonalizowanie planowania

d) Funkcja poznawcza

e) Rozliczanie i wzmocnienie odpowiedzialności

Czy dana ewaluacja musi pełnić wszystkie

wymienione funkcje?

Jedno badanie nie może spełniać wszystkich
wymienionych funkcji

Orientacja

operacyjna

- na procesy

zarządzania

Orientacja

strategiczna – na

ocenę efektów

Wzmacnianie
partnerstwa i
współwłasności

Poprawa
wdrażania
i jakości

Racjonalizacja
planowania

Rozliczanie i
wzmacnianie
odpowiedzialności

Funkcja
poznawcza

K. Olejniczak – dylematy wyboru funkcji ewaluacji

• Konieczność wyboru wynika z kilku względów.

Jakich?

a) Odmienne perspektywy czasowe (orientacja na procesy skupia

się na perspektywie „tu i teraz” interwencji. Natomiast ocena
efektów następuje w dłuższej perspektywie, po zakończeniu
programu)

b) Odmienni adresaci badania i relacje: badający – badani.

Orientacja operacyjna  ma służyć operatorom interwencji,
ewaluator ma pomóc w rozwiązywaniu problemów i
wątpliwości. Należy budować zaufanie pomiędzy operatorem a
ewaluatorem. Orientacja strategiczna  odbiorcą wniosków
jest szersza publika, ewaluator odgrywa wobec operatora
funkcję oceniającego. Wymaga to większego dystansu między
badaczami a badanymi o operatorami

c) Wybór odmiennych metod. Orientacja na procesy 

sprawdzają się tu metody jakościowe, wywiady, rozmowy,
spotkania animacyjne z interesariuszami (najważniejszy –
dialog). Orientacja strategiczna  szuka się „zewnętrznego”
wobec wdrażającego kryterium oceny (fakty, dokumenty).

Czym są tzw. podejścia/modele ewaluacyjne?

Podejścia do ewaluacji (evaluation approaches, inquiry modes)
to element łączący i racjonalizujący ogólne cele badania z
konkretnymi metodami i technikami. To odpowiednik strategii
badawczej w badaniach naukowych

Jakie podejścia ewaluacyjne wyróżniamy?

1. Podejście naukowe i wyłączające cele programu  analiza

rzeczywistych efektów programu (w tym – efekty uboczne).
Badanie relacji przyczynowo – skutkowej między działaniami
a zmianami na danym obszarze, w grupie docelowej, w
środowisku; przewaga metod ilościowych

2. Podejście oparte na teoriach  analiza teorii, założeń i

mechanizmów programu w odniesieniu do jego efektów;
mieszanka metod ilościowych i jakościowych; użycie modeli
badawczych budowanych w oparciu o wcześniejsze,
analogiczne ewaluacje

3. Podejście zorientowane na cele  koncentracja na ocenie, na

ile cele zostały zrealizowane. Zestawianie celów z produktami,
rezultatami i oddziaływaniem na daną grupę docelową;
przewaga metod ilościowych

4. Podejście zorientowane na zarządzanie  koncentracja na

procesach wdrażania, pomiarze bieżącej jakości, usuwaniu
blokad, minimalizowaniu konfliktów; przewaga metod
jakościowych

5. Podejście responsywne i partycypatywne  koncentracja na

zidentyfikowaniu i zaspokojeniu bieżących potrzeb
informacyjnych głównych interesariuszy, analiza procesów
programu i bieżącego wdrażania ze szczególnym
uwzgędnieniem roli aktorów procesu. Animacja współpracy
między interesariuszami, budowanie dialogu, wzmacnianie
komunikacji; dominują metody jakościowe

Orientacja

operacyjna

- na procesy

zarządzania

Orientacja

strategiczna – na

ocenę efektów

Podejście
responsywne i
partycypatywne

Podejście
zorientowane
na zarządzanie

Podejście
zorientowan
e na cele

Podejście
oparte na
teoriach

Podejście
naukowe,
wyłączające cele

metody
jakościo
we i
interakt
ywne

metody
ilościow
ewe i
przycz. -
skutkow
e plany
bad.

KONSTRUKCJONIZM

POZYTYWIZM

Jakie są podstawowe cechy różnicujące badania

jakościowe i ilościowe?

Badania jakościowe

Badania

ilościowe

Nawiązują do paradygmatu socjologii
humanistycznej

Nazywane są też często pozytywistycznymi

Badania jakościowe odpowiadają na pytania
"jak" i "dlaczego" tak, a nie inaczej postępują
badane osoby. Celem jest poznanie i
zrozumienie przyczyn oraz kierunków ich
zachowania. Badacze chcą dotrzeć do
nieujawnianych bezpośrednio przyczyn
zachowania, oraz zrozumieć i właściwie
zinterpretować zachowania, opinie lub badaną
postawę.

Odpowiadają na pytanie „ile”; „jak często”.
Na ich podstawie można formułować wnioski
dotyczące częstości występowania zjawisk,
ich natężenia, zależności pomiędzy nimi.

Badania jakościowe

Badania ilościowe

Badania jakościowe są zwykle prowadzone na
niewielką skalę, na małych próbach. Nie
można uogólniać ich wyników na szersze
populacje (nie są reprezentatywne dla
populacji)

Są prowadzone zwykle na szeroką skalę, na
dużych próbach, toteż uzyskane w ten sposób
wyniki można uogólniać na populację.

Można też prowadzić wnioskowanie

statystyczne, a wyniki przedstawiać na
wykresach i w tabelach

Liczy się tu to, że dane stwierdzenie zostało
wypowiedziane, a nie to ile razy zostało
wypowiedziane

Zwraca się tu uwagę na kwestię liczby
podobnych wypowiedzi, wybrania danej

kategorii odpowiedzi

Narzędzia są zwykle niewystandaryzowane
(nieustrukturyzowane). Są one elastyczne, w
trakcie badań mogą być modyfikowane.
Ogranicza to jednak rzetelność oraz
możliwości porównawcze badań

Narzędzia są tu standaryzowane. Mają ten
sam format, kształt, który nie może ulegać
zmianom w trakcie przeprowadzania badań.
Respondentom zadaje się te same pytania w
jednakowej kolejności. Dzięki temu istnieje
możliwość porównywania różnych grup

Badania jakościowe

Badania ilościowe

Rola badacza jest rozbudowana, ma on wpływ
na osoby badane

Rola badacza jest drugoplanowa. Wpływ
badacza na odpowiedzi respondentów
powinien być znikomy.

Interpretacje wyników mają bardziej
subiektywny charakter

Interpretacja wyników ma charakter bardziej
obiektywny

Osoby badane dobierane są zwykle w sposób
celowy

Badani dobierani są zwykle w sposób losowy
(dzięki czemu próba staje się bardziej
reprezentatywna)

Badacz dąży do poznania informacji głęboko
ukrytych, wyjaśnienia i zrozumienia
motywów działania

Kilka ciekawostek na koniec

• W 1996r. UE zamówiła badania mające na celu sprawdzenie

praktyk ewaluacyjnych Komisji Europejskiej i jej Dyrekcji
Generalnych. Komunikat skierowany do KE brzmiał: „rosnące
rozmiary budżetu i troska podatników UE o to, aby za swój
wkład do niego otrzymali odpowiednie usługi (value), a także
rozwój w Państwach Członkowskich i gdzie indziej w kierunku
zarządzania sektorem publicznym nastawionym na wyniki,
stworzyły potrzebę przeglądu i unowocześnienia podejścia
Komisji do zarządzania budżetem” (KE, 1996)

• Głównym motywem rozwoju badań ewaluacyjnych na poziomie

UE były więc względy finansowe

• W Polsce – ewaluacja programów, projektów społecznych

nabrała rozpędu od czasu włączenia Polski w struktury UE.

• W dokumencie Sektorowego Programu Operacyjnego Rozwój

Zasobów Ludzkich 2004 – 2006 napisano: „wzrost potencjału
ewaluacyjnego polskiej administracji jest jednym z głównych
celów w okresie programowania 2004 – 2006”

(Sektorowy Program

Operacyjny Rozwój Zasobów Ludzkich 2004-2006. Załącznik do Rozporządzenia
Ministra Gospodarki i Pracy z dnia 1 lipca 2004 r. w sprawie przyjęcia Sektorowego
Programu Operacyjnego Rozwój Zasobów Ludzkich 2004-2006 r. (Dz. U. 166 poz.
1743)

• Program Inicjatywy Wspólnotowej EQUAL: „Polska

zapewni, aby wszystkie Partnerstwa na rzecz Rozwoju
[organizacje realizujące projekty] opracowały metodologię
i zastosowały odpowiednie mechanizmy dla oceny
bieżącej swoich działań i osiągnięć, łącznie z opisem
możliwych do weryfikacji wskaźników, które ilustrują, w
jaki sposób cele i rezultaty będą mierzone i oceniane, a
także odpowiednią metodologię i mechanizmy
monitoringu i oceny wspólnych działań w ramach
współpracy ponadnarodowej” (MGPiPS, 2004, s. 181)

• Szybko powstał zatem popyt na usługi ewaluacyjne, a

powstające w tej dziedzinie studia podyplomowe nikogo
nie dziwią

Literatura:

• Olejniczak, K. Wprowadzenie do zagadnień ewaluacji [w:]

Teoria i praktyka ewaluacji interwencji publicznych.
Podręcznik akademicki, K. Olejniczak, M. Kozak, B.
Ledzion (red.), Warszawa 2008, s. 17 – 43.

• Weiss C., H., Evaluation, New Jersey 1998
• R. Szarfenberg, Ewaluacja strategii a polityka społeczna

(wydanie internetowe, 2009:

http://rszarf.ips.uw.edu.pl/pdf/ewalps.pdf)

Dziękuję za uwagę