Turkowski, Zawicki: Funkcje, etapy, metody i narzędzia ewaluacji

Tekst opiera się głównie na podejściu do ewaluacji stosowanym przez instytucje UE

Definicje ewaluacji:

Komitet Pomocy Gospodarczej:

•

systematyczna i obiektywna ocena zaplanowania, wdrożenia i rezultatów trwającego lub
zakończonego projektu/programu/polityki

•

cel – określenie adekwatności i stopnia osiągnięcia celów, efektywności, skuteczności,
wpływu i trwałości

•

ma dostarczać wiarygodnych i przydatnych informacji, które będzie można wykorzystać w
procesie podejmowania decyzji (przez odbiorców i dawców interwencji)

•

określenie odpowiednich standardów, ocena aktualnych/oczekiwanych rezultatów i
wyciągnięcie odpowiednich wniosków

Komisja Europejska:

•

ocena przedsięwzięć w kontekście ich wyników, wpływu i potrzeb, które mają zaspokajać

•

ocenia sie wyniki rzeczywiste w stosunku do planowanych i wykorzystuje później w
planowaniu następnych działań

Ewaluacja to nie:

•

ocena – oparta na subiektywnej opinii, a na standardach i kryteriach

•

monitoring – nie wykracza poza zakres trwania ewaluowanego przedmiotu i standardowy
cykl zarządzania nim. Monitoring to zaplanowane w projekcie działanie, jego integralna
część i sprawowany jest przez osoby zarządzające projektem

•

kontrola – porównuje efekty z oczekiwaniami od strony prawnej, w celu ustalenia
nieprawidłowości i sformułowania wniosków i zaleceń. Może mieć charakter represyjny,
ponieważ wykonywana jest głównie przez osoby dostarczające środków do projektu

•

audyt – sprawdza wiarygodność danych zawartych w dokumentach, zgodność projektu z
przepisami prawnymi, czy finansowymi

•

badanie naukowe – uzyskanie wiedzy o danym przedmiocie przy przyjęciu określonej
metodologii i zakresu badania

Funkcje ewaluacji:

•

wkład w planowanie przedsięwzięć, ustalanie priorytetów polityki publicznej

•

optymalizacja alokacji środków publicznych

•

poprawa jakości działań

•

upowszechnianie wyników przedsięwzięć

•

poznawcza – opis mechanizmu interwencji, ocena jej wpływu i użyteczności

•

sprawozdawcza – informuje zainteresowane strony o wynikach podjętych działań

•

normatywna – ocenia zasadność i sens podjętych działań, pomaga w ocenie ich wartości

•

edukacyjna – przedstawia rekomendacje i wnioski pomocne w udoskonaleniu interwencji,
sposobu jej prowadzenia, doboru środków i celu jej podjęcia

Ewaluacja stała się nieodzowną częścią planowania i zarządzania projektami publicznymi. Stosuje
się ją przy planowaniu projektu (ex ante) lub po jego zakończeniu (ex post).

Użycie jej w trakcie planowania służy sprawdzeniu wewnętrznej logiki projektu (czy celom
odpowiadają działania i środki).

Środki przeznaczone na projekt są wykorzystywane do podejmowania działań, które prowadzą do
uzyskania produktów i rezultatów, dzięki czemu możliwe jest wypełnienie celów projektu.
Ewaluacji podlegają wszystkie elementy logiki interwencji.

Cele ewaluacji:

•

doskonalenie efektywności i skuteczności interwencji publicznej (skutki
społeczne/gospodarcze programu)

•

zwiększenie przejrzystości wykorzystania środków publicznych

•

zwiększenie przejrzystości działań a przez to odpowiedzialności władz

•

uzyskanie niezależnej opinii na temat sukcesów programu i czynników, które się doń
przyczyniły

•

odnalezienie błędów i dobrych praktyk w procesie zarządzania projektem i przekazanie tej
wiedzy

Kryteria ewaluacji:

•

Adekwatność – stopień, w jakim cele przedsięwzięcia są zgodne z oczekiwaniami
beneficjentów, potrzebami lokalnymi, prowadzonymi politykami.

•

Efektywność – ocena właściwego przekształcenia środków/zasobów w efekty.

•

Skuteczność – stopień, w jakim przedsięwzięcie osiągnęło cele (wraz z uwzględnieniem
stopnia ich ważności).

•

Oddziaływanie/użyteczność – wszystkie konsekwencje wdrożenia przedsięwzięcia (krótko
i długoterminowe, negatywne i pozytywne, pośrednie i bezpośrednie, zaplanowane i nie).

•

Trwałość – stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu,
prawdopodobieństwo kontynuacji tych efektów w dłuższym odcinku czasu.

Dane kryteria łączą się z poszczególnymi elementami logiki interwencji:

Inne kryteria ewaluacji:

•

Dodatkowość - stopień, w jakim wyniki osiągnięte w efekcie realizacji danej interwencji są
jej wyłączną konsekwencją. Sprawdzamy, czy rezultaty mogłyby być osiągnięte (albo w
jakim stopniu) bez podejmowania interwencji, ponieważ interwencja może ciągnąć za sobą
działania z innych źródeł (np. inwestycje prywatne).

•

Efekt zdarzenia niezależnego - stopień, w jakim efekty wystąpiłyby niezależnie od
realizacji przedsięwzięcia. Mówi o efektach, które mogłyby być osiągnięte bez
podejmowania interwencji, ale np. w dłuższym czasie lub mniejszym stopniu.

•

Efekt przemieszczenia - stopień, w jakim produkty/wyniki programu redukują
produkty/wyniki w innym miejscu nie objętym wsparciem programu. Występuje, gdy
podjęcie interwencji zmniejsza zyski i wpływy innych źródeł, które mogłyby podejmować
działania w dziedzinie, w której podjęto interwencję.

•

Efekt podwójnego pomiaru - stopień, w jakim produkty/wyniki danego przedsięwzięcia
można przypisać dwóm lub większej liczbie innych przedsięwzięć. Trzeba odpowiednio
określić proporcje wpływu różnych programów.

•

Efekt substytucji – podjęcie interwencji czyni jej beneficjentów bardziej konkurencyjnymi
wobec innych osób/organizacji, których interwencja nie dotyczyła. Polepszenie sytuacji
beneficjentów dzieje sie kosztem tych, którzy beneficjentami nie są.

•

Efekt netto/efekt brutto – w trakcie ewaluacji należy je odróżnić. Efekty brutto to
wszystkie efekty związane z danym przedsięwzięciem, zaś efekty netto to te, które powstały
wyłącznie w wyniku wdrożenia programu, czyli w wyniku danej interwencji publicznej
(Efekt netto = efekt brutto – zdarzenie niezależne – substytucja – przemieszczenie).

Wskaźniki ewaluacyjne:

Wskaźnik – pomiar celu, który ma być osiągnięty, zaangażowanych środków, otrzymanego efektu.

Wskaźniki kontekstu – dostarczają informacji ilościowych o sytuacji społeczno-ekonomicznej;
dotyczą całego regionu, grupy społecznej, sektora
Wskaźniki programu – odnoszą się do wyników interwencji, mierzą w jakim stopniu efekty
interwencji zmieniają zjawiska społ-ekonomiczne w obrębie przedmiotu interwencji

Różne poziomy wskaźników:

•

Wskaźniki zasobów – informacje o środkach finansowych, rzeczowych, zasobach ludzkich
wykorzystywanych do wdrożenia programu.

•

Wskaźniki wyników – odnoszą się do bezpośrednich konsekwencji programu dla jego
beneficjentów

•

Wskaźniki oddziaływania – odnoszą się do konsekwencji programu wykraczających poza
bezpośrednie i krótkoterminowe.
- bezpośrednie – związane z podjętymi działaniami, ale ujawnione po czasie
- pośrednie – wszystkie inne efekty (niezamierzone, wynikające z działania interwencji)

Wskaźnik, by był wiarygodny, musi spełniać określone kryteria:
Często używa się zasady SMART:

•

Specific (określony) – odniesienie się do określonych elementów matrycy logicznej projektu

•

Measurable (mierzalny) – w zakresie dostępnych źródeł weryfikacji

•

Achievable – możliwy do osiągnięcia po akceptowalnych kosztach, realistyczny

•

Relevant – właściwy w stosunku do potrzeb

•

Timely (ograniczony czasowo) – czyli odnoszący się do granic czasowych projektu lub

zakresu badania ewaluacyjnego
Inne ważne cechy wskaźnika:

•

precyzyjność – opisywanie istoty badanego zagadnienia,

•

aktualność informacji – np. w relacji do dostępnych materiałów statystycznych,

•

wrażliwość – podatność na zmiany w trakcie wdrażania programu,

•

wiarygodność – wybór wskaźników z punktu widzenia prawdziwych i wiarygodnych
danych,

•

porównywalność – możliwość porównania wskaźnika z podobnymi wskaźnikami, np. dla
innych programów czy rodzajów interwencji,

•

zrozumienie – rozumienie istoty danego wskaźnika na każdym poziomie programu – od
beneficjenta bezpośredniego do instytucji zarządzającej.

Etapy procesu ewaluacji:

W każdym etapie procesu należy pamiętać o odpowiedniej identyfikacji wszystkich uczestników
procesu ewaluacji. Wszystkim należy przekazać wyniki ewaluacji, a dla każdego będą one
przydatne w nieco innych celach (politycy, zarządzający ewaluacją, wdrażający ją, beneficjenci,
zainteresowani).

I. Planowanie ewaluacji

Polega na analizie potrzeb zamawiającego, określeniu celów badania i zagadnień szczegółowych.

1. Określenie celu

– definicja problemów i podstawowych kryteriów

2. Wyznaczenie czasu badania

– należy wyznaczyć część programu, która zostanie poddana

ewaluacji. Wyznacza się też harmonogram ewaluacji.

3. Wskazanie zakresu

- przedmiotowego (co poddajemy ewaluacji), czasowego, terytorialnego

i określenie zasobów potrzebnych do przeprowadzenia badania

4. Wybór odbiorców

– zależnie od grup docelowych programu i stron zainteresowanych

5. Identyfikacja dostępnych danych wejściowych

– dokumentów programowych, raportów z

monitoringu, danych statystycznych, itp.

6. Rozwiązanie kwestii instytucjonalnych

– wyznaczenie instytucji odpowiedzialnej za

zlecenie i nadzór nad ewaluacją

II. Projektowanie ewaluacji

Celem tego etapu jest konceptualizacja badania.

1. Określenie przedmiotu ewaluacji

– uszczegółowienie decyzji podjętych w etapie planowania

o konkretnych częściach przedmiotu programu, wobec którego ma być podjęta ewaluacja

2. Podjęcie decyzji o metodach, zasobach i zakresie

– metody (określa je zleceniodawca – albo

szczegółowo, albo zostawia swobodę zespołowi ewaluatorów) dobiera się w zależności od:
- typu działania – rodzaju podejmowanej interwencji
- celu ewaluacji
- etapu wdrażania programu
- zakresu ewaluacji
- czasu przeznaczonego na ewaluację
- budżetu i innych zasobów

3. Formułowanie pytań ewaluacyjnych

– rodzaje pytań:

- opisowe – obserwacja, opis, pomiar zmian
- przyczynowo-skutkowe – zrozumienie relacji przyczyn i skutków
- krytyczne – wsparcie procesu zmiany
- normatywne – odnoszące się do kryteriów ewaluacji
- predyktywne – próba przewidzenia co stanie się w rezultacie wprowadzenia interwencji
Jakie warunki powinien spełniać zestaw pytań ewaluacyjnych:
- odnosić się musi do rzeczywistych potrzeb informacyjnych, które można wykorzystać
- odnosić się do rezultatów, oddziaływań i potrzeb beneficjentów
- musi zawierać pytania wartościujące – należy przeprowadzić wartościowanie wyników

4. Przygotowanie zakresu zadań

(Terms of reference - TOR) – Specyfikacja Istotnych

Warunków Zamówienia – spis decyzji podjętych w etapie planowania i projektowania
ewaluacji, zbiór wszystkich istotnych informacji o niej, który służący lepszej kontroli nad jej
przebiegiem.

5. Wybór wykonawcy

– kryteria wyboru (zgodność z oczekiwaniami zleceniodawcy):

- zrozumienie zakresu badań
- rzetelność w metodach i środkach
- przejrzystość zarządzania projektem
- kwalifikacje zespołu ewaluacyjnego
- cena

III. Realizacja ewaluacji

Realizacja odbywa się w ramach 4 głównych faz:

1. Projektowanie ewaluacji

– określenie kryteriów, elementów, narzędzi obserwacji i

wskaźników

2. Pozyskiwanie danych

– zebranie wszystkich potrzebnych rodzajów danych do

przeprowadzenia ewaluacji

3. Analiza danych

– interpretacja zebranych danych, weryfikacja hipotez, analiza

przyczynowo-skutkowa, itd.

4. Formułowanie ocen

– ocena efektów programu w odniesieniu do sformułowanych

wcześniej pytań ewaluacyjnych

IV. Raport ewaluacyjny

Najważniejszy produkt badania. Podstawa oceny zespołu ewaluacyjnego. Struktura:

–

podsumowanie

–

tekst główny raportu

–

wnioski i zalecenia

–

aneksy

–

zakres zadań wykonawcy

–

zastosowana metodologia

–

skład osobowy zespołu ewaluacyjnego

–

Matryca Logiczna Projektu

–

lista konsultowanych osób i organizacji

–

harmonogram badania

–

wykaz dokumentacji wykorzystanej przy ocenie

–

inne dokumenty techniczne (ankiety, dane statystyczne, itd.)

Powinno występować w raporcie wyraźne rozróżnienie między wynikami, wnioskami,
rekomendacjami i doświadczeniami. Musi zachodzić między nimi związek przyczynowo-skutkowy.
Przed oddaniem raportu oddaje się go do grupy sterującej (lub jakiegoś organu zlecającego badanie)
w celu oceny jakości zebranych informacji i akceptacji samego raportu.

Główne rodzaje ewaluacji:

1. Ex ante

Przeprowadzana przed rozpoczęciem realizacji programu. Służy zapewnieniu trafności i spójności
planowanego programu. Wnioski z niej powinny być włączone do projektowanego programu przed
podjęciem decyzji o jego rozpoczęciu. Ewaluacja ex ante przynosi wiedzę bardzo przydatną przy
projektowaniu programu (ocenia szanse jego powodzenia, realistycznie ocenia cele i wartości
docelowe).
Polega na analizie mocnych i słabych stron programu, jego uzasadnieniu ekonomicznym i
społecznym a także na ocenie oczekiwanych rezultatów programu i jego zgodności z
prowadzonymi już politykami, np. regionalnymi.

2. Mid-term

Przeprowadzana w trakcie wprowadzania interwencji. Skupia się na analizie produktów i rezultatów
interwencji, ocenia także system zarządzania programem oraz jakość systemu monitoringu. Co
ważne, płynące z niej informacje mogą wpływać na zarządzanie programem w dalszych jego
fazach.

3. Ex post

Przeprowadzana na zakończenie albo po zakończeniu wprowadzania interwencji w celu
podsumowania całego programu (głównie oddziaływanie i trwałość). Ocenia wielkość
zaangażowanych środków, skuteczność i efektywność pomocy oraz stopień osiągnięcia
planowanych wyników. Prowadzi do wyciągania wniosków, które można stosować do innych
programów. Powinno się ją wykonywać ok 2-3 lat po zakończeniu interwencji.

4. Inne rodzaje ewaluacji
•

Bieżąca

– prowadzona przez cały okres realizacji programu. Celem analiza zagadnień i

problemów pojawiających się w trakcie wprowadzania programu. Ma wspierać proces
zarządzania nim, szukać rozwiązań problemów. Może też sprawdzać pierwsze rezultaty
programu.

•

Kształtująca

– bada sposoby udoskonalenia wdrażania interwencji i nią zarządzania.

•

Podsumowująca

– przeprowadzana pod koniec programu w celu sprawdzenia jego

rezultatów. Ma zebrać informacje o uzyskanej wartości programu.

•

Tematyczna

– koncentruje się na wybranych aspektach interwencji lub tematów

przekrojowych (np. równość płci, tematy środowiskowe, itp.).

•

Wewnętrzna

- przeprowadzana jest przez jednostkę organizacyjną i/lub osoby

odpowiedzialne za samą interwencję poddaną ewaluacji.