Turkowski, Zawicki: Funkcje, etapy, metody i narzędzia ewaluacji
Tekst opiera się głównie na podejściu do ewaluacji stosowanym przez instytucje UE
Definicje ewaluacji:
Komitet Pomocy Gospodarczej:
" systematyczna i obiektywna ocena zaplanowania, wdrożenia i rezultatów trwającego lub
zakończonego projektu/programu/polityki
" cel  określenie adekwatności i stopnia osiągnięcia celów, efektywności, skuteczności,
wpływu i trwałości
" ma dostarczać wiarygodnych i przydatnych informacji, które będzie można wykorzystać w
procesie podejmowania decyzji (przez odbiorców i dawców interwencji)
" określenie odpowiednich standardów, ocena aktualnych/oczekiwanych rezultatów i
wyciągnięcie odpowiednich wniosków
Komisja Europejska:
" ocena przedsięwzięć w kontekście ich wyników, wpływu i potrzeb, które mają zaspokajać
" ocenia sie wyniki rzeczywiste w stosunku do planowanych i wykorzystuje póz
niej w
planowaniu następnych działań
Ewaluacja to nie:
" ocena  oparta na subiektywnej opinii, a na standardach i kryteriach
" monitoring  nie wykracza poza zakres trwania ewaluowanego przedmiotu i standardowy
cykl zarządzania nim. Monitoring to zaplanowane w projekcie działanie, jego integralna
część i sprawowany jest przez osoby zarządzające projektem
" kontrola  porównuje efekty z oczekiwaniami od strony prawnej, w celu ustalenia
nieprawidłowości i sformułowania wniosków i zaleceń. Może mieć charakter represyjny,
ponieważ wykonywana jest głównie przez osoby dostarczające środków do projektu
" audyt  sprawdza wiarygodność danych zawartych w dokumentach, zgodność projektu z
przepisami prawnymi, czy finansowymi
" badanie naukowe  uzyskanie wiedzy o danym przedmiocie przy przyjęciu określonej
metodologii i zakresu badania
Funkcje ewaluacji:
" wkład w planowanie przedsięwzięć, ustalanie priorytetów polityki publicznej
" optymalizacja alokacji środków publicznych
" poprawa jakości działań
" upowszechnianie wyników przedsięwzięć
" poznawcza  opis mechanizmu interwencji, ocena jej wpływu i użyteczności
" sprawozdawcza  informuje zainteresowane strony o wynikach podjętych działań
" normatywna  ocenia zasadność i sens podjętych działań, pomaga w ocenie ich wartości
" edukacyjna  przedstawia rekomendacje i wnioski pomocne w udoskonaleniu interwencji,
sposobu jej prowadzenia, doboru środków i celu jej podjęcia
Ewaluacja stała się nieodzowną częścią planowania i zarządzania projektami publicznymi. Stosuje
się ją przy planowaniu projektu (ex ante) lub po jego zakończeniu (ex post).
Użycie jej w trakcie planowania służy sprawdzeniu wewnętrznej logiki projektu (czy celom
odpowiadają działania i środki).
Środki przeznaczone na projekt są wykorzystywane do podejmowania działań, które prowadzą do
uzyskania produktów i rezultatów, dzięki czemu możliwe jest wypełnienie celów projektu.
Ewaluacji podlegają wszystkie elementy logiki interwencji.
Cele ewaluacji:
" doskonalenie efektywności i skuteczności interwencji publicznej (skutki
społeczne/gospodarcze programu)
" zwiększenie przejrzystości wykorzystania środków publicznych
" zwiększenie przejrzystości działań a przez to odpowiedzialności władz
" uzyskanie niezależnej opinii na temat sukcesów programu i czynników, które się doń
przyczyniły
" odnalezienie błędów i dobrych praktyk w procesie zarządzania projektem i przekazanie tej
wiedzy
Kryteria ewaluacji:
" Adekwatność  stopień, w jakim cele przedsięwzięcia są zgodne z oczekiwaniami
beneficjentów, potrzebami lokalnymi, prowadzonymi politykami.
" Efektywność  ocena właściwego przekształcenia środków/zasobów w efekty.
" Skuteczność  stopień, w jakim przedsięwzięcie osiągnęło cele (wraz z uwzględnieniem
stopnia ich ważności).
" Oddziaływanie/użyteczność  wszystkie konsekwencje wdrożenia przedsięwzięcia (krótko
i długoterminowe, negatywne i pozytywne, pośrednie i bezpośrednie, zaplanowane i nie).
" Trwałość  stopień, w jakim efekty przedsięwzięcia oddziałują po jego zakończeniu,
prawdopodobieństwo kontynuacji tych efektów w dłuższym odcinku czasu.
Dane kryteria łączą się z poszczególnymi elementami logiki interwencji:
Inne kryteria ewaluacji:
" Dodatkowość - stopień, w jakim wyniki osiągnięte w efekcie realizacji danej interwencji są
jej wyłączną konsekwencją. Sprawdzamy, czy rezultaty mogłyby być osiągnięte (albo w
jakim stopniu) bez podejmowania interwencji, ponieważ interwencja może ciągnąć za sobą
działania z innych z
ródeł (np. inwestycje prywatne).
" Efekt zdarzenia niezależnego - stopień, w jakim efekty wystąpiłyby niezależnie od
realizacji przedsięwzięcia. Mówi o efektach, które mogłyby być osiągnięte bez
podejmowania interwencji, ale np. w dłuższym czasie lub mniejszym stopniu.
" Efekt przemieszczenia - stopień, w jakim produkty/wyniki programu redukują
produkty/wyniki w innym miejscu nie objętym wsparciem programu. Występuje, gdy
podjęcie interwencji zmniejsza zyski i wpływy innych z
ródeł, które mogłyby podejmować
działania w dziedzinie, w której podjęto interwencję.
" Efekt podwójnego pomiaru - stopień, w jakim produkty/wyniki danego przedsięwzięcia
można przypisać dwóm lub większej liczbie innych przedsięwzięć. Trzeba odpowiednio
określić proporcje wpływu różnych programów.
" Efekt substytucji  podjęcie interwencji czyni jej beneficjentów bardziej konkurencyjnymi
wobec innych osób/organizacji, których interwencja nie dotyczyła. Polepszenie sytuacji
beneficjentów dzieje sie kosztem tych, którzy beneficjentami nie są.
" Efekt netto/efekt brutto  w trakcie ewaluacji należy je odróżnić. Efekty brutto to
wszystkie efekty związane z danym przedsięwzięciem, zaś efekty netto to te, które powstały
wyłącznie w wyniku wdrożenia programu, czyli w wyniku danej interwencji publicznej
(Efekt netto = efekt brutto  zdarzenie niezależne  substytucja  przemieszczenie).
Wskaz
niki ewaluacyjne:
Wskaz
nik  pomiar celu, który ma być osiągnięty, zaangażowanych środków, otrzymanego efektu.
Wskaz
niki kontekstu  dostarczają informacji ilościowych o sytuacji społeczno-ekonomicznej;
dotyczą całego regionu, grupy społecznej, sektora
Wskaz
niki programu  odnoszą się do wyników interwencji, mierzą w jakim stopniu efekty
interwencji zmieniają zjawiska społ-ekonomiczne w obrębie przedmiotu interwencji
Różne poziomy wskaz
ników:
" Wskaz
niki zasobów  informacje o środkach finansowych, rzeczowych, zasobach ludzkich
wykorzystywanych do wdrożenia programu.
" Wskaz
niki wyników  odnoszą się do bezpośrednich konsekwencji programu dla jego
beneficjentów
" Wskaz
niki oddziaływania  odnoszą się do konsekwencji programu wykraczających poza
bezpośrednie i krótkoterminowe.
- bezpośrednie  związane z podjętymi działaniami, ale ujawnione po czasie
- pośrednie  wszystkie inne efekty (niezamierzone, wynikające z działania interwencji)
Wskaz
nik, by był wiarygodny, musi spełniać określone kryteria:
Często używa się zasady SMART:
" Specific (określony)  odniesienie się do określonych elementów matrycy logicznej projektu
" Measurable (mierzalny)  w zakresie dostępnych z
ródeł weryfikacji
" Achievable  możliwy do osiągnięcia po akceptowalnych kosztach, realistyczny
" Relevant  właściwy w stosunku do potrzeb
" Timely (ograniczony czasowo)  czyli odnoszący się do granic czasowych projektu lub
zakresu badania ewaluacyjnego
Inne ważne cechy wskaz
nika:
" precyzyjność  opisywanie istoty badanego zagadnienia,
" aktualność informacji  np. w relacji do dostępnych materiałów statystycznych,
" wrażliwość  podatność na zmiany w trakcie wdrażania programu,
" wiarygodność  wybór wskaz
ników z punktu widzenia prawdziwych i wiarygodnych
danych,
" porównywalność  możliwość porównania wskaz
nika z podobnymi wskaz
nikami, np. dla
innych programów czy rodzajów interwencji,
" zrozumienie  rozumienie istoty danego wskaz
nika na każdym poziomie programu  od
beneficjenta bezpośredniego do instytucji zarządzającej.
Etapy procesu ewaluacji:
W każdym etapie procesu należy pamiętać o odpowiedniej identyfikacji wszystkich uczestników
procesu ewaluacji. Wszystkim należy przekazać wyniki ewaluacji, a dla każdego będą one
przydatne w nieco innych celach (politycy, zarządzający ewaluacją, wdrażający ją, beneficjenci,
zainteresowani).
I. Planowanie ewaluacji
Polega na analizie potrzeb zamawiającego, określeniu celów badania i zagadnień szczegółowych.
1. Określenie celu  definicja problemów i podstawowych kryteriów
2. Wyznaczenie czasu badania  należy wyznaczyć część programu, która zostanie poddana
ewaluacji. Wyznacza się też harmonogram ewaluacji.
3. Wskazanie zakresu - przedmiotowego (co poddajemy ewaluacji), czasowego, terytorialnego
i określenie zasobów potrzebnych do przeprowadzenia badania
4. Wybór odbiorców  zależnie od grup docelowych programu i stron zainteresowanych
5. Identyfikacja dostępnych danych wejściowych  dokumentów programowych, raportów z
monitoringu, danych statystycznych, itp.
6. Rozwiązanie kwestii instytucjonalnych  wyznaczenie instytucji odpowiedzialnej za
zlecenie i nadzór nad ewaluacją
II. Projektowanie ewaluacji
Celem tego etapu jest konceptualizacja badania.
1. Określenie przedmiotu ewaluacji  uszczegółowienie decyzji podjętych w etapie planowania
o konkretnych częściach przedmiotu programu, wobec którego ma być podjęta ewaluacja
2. Podjęcie decyzji o metodach, zasobach i zakresie  metody (określa je zleceniodawca  albo
szczegółowo, albo zostawia swobodę zespołowi ewaluatorów) dobiera się w zależności od:
- typu działania  rodzaju podejmowanej interwencji
- celu ewaluacji
- etapu wdrażania programu
- zakresu ewaluacji
- czasu przeznaczonego na ewaluację
- budżetu i innych zasobów
3. Formułowanie pytań ewaluacyjnych  rodzaje pytań:
- opisowe  obserwacja, opis, pomiar zmian
- przyczynowo-skutkowe  zrozumienie relacji przyczyn i skutków
- krytyczne  wsparcie procesu zmiany
- normatywne  odnoszące się do kryteriów ewaluacji
- predyktywne  próba przewidzenia co stanie się w rezultacie wprowadzenia interwencji
Jakie warunki powinien spełniać zestaw pytań ewaluacyjnych:
- odnosić się musi do rzeczywistych potrzeb informacyjnych, które można wykorzystać
- odnosić się do rezultatów, oddziaływań i potrzeb beneficjentów
- musi zawierać pytania wartościujące  należy przeprowadzić wartościowanie wyników
4. Przygotowanie zakresu zadań (Terms of reference - TOR)  Specyfikacja Istotnych
Warunków Zamówienia  spis decyzji podjętych w etapie planowania i projektowania
ewaluacji, zbiór wszystkich istotnych informacji o niej, który służący lepszej kontroli nad jej
przebiegiem.
5. Wybór wykonawcy  kryteria wyboru (zgodność z oczekiwaniami zleceniodawcy):
- zrozumienie zakresu badań
- rzetelność w metodach i środkach
- przejrzystość zarządzania projektem
- kwalifikacje zespołu ewaluacyjnego
- cena
III. Realizacja ewaluacji
Realizacja odbywa się w ramach 4 głównych faz:
1. Projektowanie ewaluacji  określenie kryteriów, elementów, narzędzi obserwacji i
wskaz
ników
2. Pozyskiwanie danych  zebranie wszystkich potrzebnych rodzajów danych do
przeprowadzenia ewaluacji
3. Analiza danych  interpretacja zebranych danych, weryfikacja hipotez, analiza
przyczynowo-skutkowa, itd.
4. Formułowanie ocen  ocena efektów programu w odniesieniu do sformułowanych
wcześniej pytań ewaluacyjnych
IV. Raport ewaluacyjny
Najważniejszy produkt badania. Podstawa oceny zespołu ewaluacyjnego. Struktura:
 podsumowanie
 tekst główny raportu
 wnioski i zalecenia
 aneksy
 zakres zadań wykonawcy
 zastosowana metodologia
 skład osobowy zespołu ewaluacyjnego
 Matryca Logiczna Projektu
 lista konsultowanych osób i organizacji
 harmonogram badania
 wykaz dokumentacji wykorzystanej przy ocenie
 inne dokumenty techniczne (ankiety, dane statystyczne, itd.)
Powinno występować w raporcie wyraz
ne rozróżnienie między wynikami, wnioskami,
rekomendacjami i doświadczeniami. Musi zachodzić między nimi związek przyczynowo-skutkowy.
Przed oddaniem raportu oddaje się go do grupy sterującej (lub jakiegoś organu zlecającego badanie)
w celu oceny jakości zebranych informacji i akceptacji samego raportu.
Główne rodzaje ewaluacji:
1. Ex ante
Przeprowadzana przed rozpoczęciem realizacji programu. Służy zapewnieniu trafności i spójności
planowanego programu. Wnioski z niej powinny być włączone do projektowanego programu przed
podjęciem decyzji o jego rozpoczęciu. Ewaluacja ex ante przynosi wiedzę bardzo przydatną przy
projektowaniu programu (ocenia szanse jego powodzenia, realistycznie ocenia cele i wartości
docelowe).
Polega na analizie mocnych i słabych stron programu, jego uzasadnieniu ekonomicznym i
społecznym a także na ocenie oczekiwanych rezultatów programu i jego zgodności z
prowadzonymi już politykami, np. regionalnymi.
2. Mid-term
Przeprowadzana w trakcie wprowadzania interwencji. Skupia się na analizie produktów i rezultatów
interwencji, ocenia także system zarządzania programem oraz jakość systemu monitoringu. Co
ważne, płynące z niej informacje mogą wpływać na zarządzanie programem w dalszych jego
fazach.
3. Ex post
Przeprowadzana na zakończenie albo po zakończeniu wprowadzania interwencji w celu
podsumowania całego programu (głównie oddziaływanie i trwałość). Ocenia wielkość
zaangażowanych środków, skuteczność i efektywność pomocy oraz stopień osiągnięcia
planowanych wyników. Prowadzi do wyciągania wniosków, które można stosować do innych
programów. Powinno się ją wykonywać ok 2-3 lat po zakończeniu interwencji.
4. Inne rodzaje ewaluacji
" Bieżąca  prowadzona przez cały okres realizacji programu. Celem analiza zagadnień i
problemów pojawiających się w trakcie wprowadzania programu. Ma wspierać proces
zarządzania nim, szukać rozwiązań problemów. Może też sprawdzać pierwsze rezultaty
programu.
" Kształtująca  bada sposoby udoskonalenia wdrażania interwencji i nią zarządzania.
" Podsumowująca  przeprowadzana pod koniec programu w celu sprawdzenia jego
rezultatów. Ma zebrać informacje o uzyskanej wartości programu.
" Tematyczna  koncentruje się na wybranych aspektach interwencji lub tematów
przekrojowych (np. równość płci, tematy środowiskowe, itp.).
" Wewnętrzna - przeprowadzana jest przez jednostkę organizacyjną i/lub osoby
odpowiedzialne za samą interwencję poddaną ewaluacji.