Co to jest ewaluacja?

Ewaluacja jest badaniem – cechuje ją obiektywizm. Ewaluację prowadzi się na podstawie metodologii odpowiednio dobranej do obszaru badania, a wnioski są formułowane na podstawie obiektywnych danych.

Zadaniem ewaluacji jest dostarczenie decydentom informacji mogących przyczynić się do usprawnienia podejmowanych działań społecznych.

Usprawnienie – wymiary „usprawnienia”:

• Adekwatność – odpowiadamy na pytanie: „czy przyjęte cele projektu odpowiadają rzeczywistym potrzebom grupy docelowej?”

• Skuteczność – „czy i w jakim stopniu projekt osiągnął swoje cele?”

• Efektywność – „czy stosunek poniesionych nakładów do uzyskanych produktów projektu był właściwy?”

• Użyteczność – „czy uczestnictwo w projekcie okazało się przydatne dla jego beneficjentów?”

• Trwałość – „czy rezultaty projektu mają szansę przetrwać po jego zakończeniu?”

Jeżeli badanie nie spełnia ww. kryteriów, to nie jest ewaluacją, lecz publicystyką i na pewno nie możemy go wykorzystać do usprawnienia prowadzonych działań!

Do czego służy ewaluacja?

Do czego zatem może się przydać ewaluacja? Umożliwia nam:

• wspomaganie procesu podejmowania decyzji,

• podniesienie skuteczności i efektywności działań,

• wskazanie kierunków rozwoju (szczególnie istotne w przypadku projektów pilotażowych),

• sygnalizowanie pojawiających się problemów,

• pokazanie słabych i mocnych stron,

• określanie stopnia zgodności z przyjętymi założeniami,

• badanie potrzeb,

• zwiększanie profesjonalizmu świadczonych usług,

• demokratyzację procesu zarządzania,

• element uczenia się i samodoskonalenia organizacji,

• usprawnianie komunikacji.

Co to jest ewaluacja – historia

Troszkę historii, czyli kto to wymyślił i skąd to się wszystko wzięło?

Ewaluacji nie wymyślono w Unii Europejskiej.

Narodziny ewaluacji były wynikiem wzrostu popularności nauk społecznych oraz nowoczesnych teorii zarządzania w handlu i przemyśle.

Ojczyzną ewaluacji są Stany Zjednoczone. Pierwsze badania ewaluacyjne przeprowadzono w USA w latach 20-tych XX wieku. Powody i kontekst:

• zbadanie i porównanie poziomu realizacji programów nauczania w amerykańskich szkołach. Motywem była reforma archaicznych programów nauczania. Edukacja była wówczas „hamulcowym” rozwoju USA;

• wyjaśnienie przyczyn różnic w poziomie nauki w amerykańskich szkołach. Mnogość i zróżnicowanie standardów edukacyjnych w USA utrudniały porównywalność standardów, dyplomów, egzaminów, tytułów;

• dostarczenie informacji pozwalających podniesienie skuteczności nauczania;

• wszechobecna korupcja.

Wkład w rozwój ewaluacji miał również polski socjolog, Florian Znaniecki, który w latach 30-tych był dyrektorem programu badawczego w dziedzinie edukacji na Uniwersytecie Columbia.

Co to jest ewaluacja - historia

Bodźce do rozwoju badań ewaluacyjnych po II wojnie światowej:

• podwojenie się wartości PKB w USA po wojnie;

• gwałtowny wzrost inwestycji państwa w infrastrukturę oraz programy społeczne;

• wyścig technologiczny pomiędzy USA i ZSRR (programy kosmiczne).

Wzrost wydatków państwa zrodził zapotrzebowanie na oszacowanie jakości i wartości programów rządowych oraz znalezienie przyczyn porażek i sukcesów.

Potrzeba racjonalizacji wydatków ośrodka centralnego stała się przyczyną olbrzymiej kariery, jaką zrobiła ewaluacja w ramach Unii Europejskiej. Badania ewaluacyjne prowadzone są dla całych funduszy, jak również dla pojedynczych projektów.

W Polsce historia ewaluacji datuje się na początek lat 90-tych, w związku z reformami polskiego systemu edukacji.

Motywem dla prowadzenia badań ewaluacyjnych była z jednej strony konieczność racjonalnego wykorzystania środków oraz potrzeba demokratyzacji procesu podejmowania decyzji, a z drugiej - wymogi międzynarodowych instytucji przyznających środki na różnego rodzaju programy pomocy.

Przedmiotem pierwszych badań ewaluacyjnych były wówczas programy profilaktyczne, programy ochrony środowiska, programy szkoleniowe, promocyjne, programy zatrudnienia.

Funkcje ewaluacji

Głównymi funkcjami ewaluacji są:

1. Ewaluacja formatywna – funkcją ewaluacji jest tu zapewnienie postępu, stymulowanie usprawnień i rozwoju organizacyjnego.

Dzięki ewaluacji możemy planować rozwój naszej organizacji, pozyskując informacje od właściwych podmiotów, tj.: beneficjentów naszych projektów, pracowników organizacji, organizacji partnerskich, instytucji dystrybuujących środki na sfinansowanie naszej działalności (np. instytucje wdrażające, instytucje rynku pracy, administracja rządowa, samorządowa, biznes prywatny). Uwzględnienie opinii tych osób i podmiotów pozwoli nam podejmować decyzje nt. dalszego funkcjonowania organizacji.

1. Ewaluacja konkluzywna – jej celem jest selekcja lub sprawozdawczość, rozliczenie i egzekwowanie odpowiedzialności. W tym przypadku funkcją badania ewaluacyjnego jest analiza i ocena osiąganych wskaźników. Ewaluacja jest w tym wypadku zbliżona do „kontroli”, „controllingu”. Na jej podstawie podejmuje się decyzję o dalszej realizacji bądź odstąpieniu od realizacji danego projektu, programu. Można tu mówić o ewaluacji technokratycznej rozumianej jako czysty pomiar (ewaluacja jest dla zarządzającego, menedżera).

2. Ewaluacja społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia politycznego. Jej funkcją jest kształtowanie świadomości i motywowanie do pewnych zachowań. Jest to podejście populistyczne, zgodnie z którym ewaluacja jest przeznaczona dla ewaluowanych, społeczeństwa.

3. Ewaluacja administracyjna – jej celem jest zbieranie danych na rzecz sprawujących władzę. Funkcją zebranych danych ma być uzasadnienie polityki prowadzonej przez ośrodek rządzący. Jest to podejście biurokratyczne, zgodnie z którym wyniki ewaluacji są do wyłącznego użytku zamawiającego, w tym przypadku decydenta politycznego.

Rozumienie roli ewaluacji rozwijało się wraz z rozwojem teorii zarządzania, stosunków władza-społeczeństwo, nauk społecznych.

Możemy tu mówić o 4 generacjach ewaluacji:

• I generacja – „techniczna” rola ewaluatora. Jest on "technikiem" biegłym w sztuce pomiaru osiągnięć uczniów, wydajności pracy pracowników. Początki: przełom wieku XIX i XX – ilościowe techniki badawcze, testy psychometryczne.

• II generacja – model opisowy. Początki: po I wojnie światowej (wpływ nowego wychowania - koncentracja edukacji na dziecku i jego potrzebach). Rozkwit w latach 40-tych w USA.

Dowiedz się więcej...

Zadaniem ewaluacji było dostarczenie danych umożliwiających konstrukcję programu na miarę możliwości i potrzeb dziecka.

• III generacja – koncentracja na osądzie ewaluatora. Jest on sędzią, arbitrem, „tym, który wie”, czy jest dobrze i co robić w dalszej kolejności. Osąd jest integralną częścią ewaluacji. Ewaluacja była rozumiana stricte jako narzędzie zarządcze dla menedżerów w celu poprawy procesów w firmie.

• IV generacja – ewaluacja dialogiczna. Kładzie nacisk na jawność, komunikację i negocjacje w procesie projektowania ewaluacji (interakcja pomiędzy decydentami i społeczeństwem). Pomiar i techniki ilościowe nie są już jedynym narzędziem badawczym, stosowanie jakościowych strategii badawczych (np. studium przypadku, wywiad), rezygnacja z ambicji przedstawiania racji „obiektywnych” (ewaluator traci rangę arbitra i sędziego).

Dowiedz się więcej...

Przedstawiciele nurtu: R. Stake, Guba, H. Simons, L. Korporowicz.

Ewaluacja IV generacji to synteza ewaluacji technokratycznej, populistycznej i biurokratycznej.

Ewaluacja IV generacji

Ewaluacja IV generacji – model uspołeczniony, integrujący wszystkich aktorów ewaluacji, tj. zamawiających ewaluację, ewaluowanych, ewaluatora oraz wszystkich innych zainteresowanych. Jest ona wkomponowana w realia społeczne.

Ewaluacja IV generacji może być określona jako:

• Negocjacje

• Dialog

• Dyskurs

• Spotkanie

• Proces

• Demokratyzacja

• Profesja

Położenie nacisku na komunikację wszystkich aktorów ewaluacji.

Uspołecznienie procesu ewaluacyjnego

Po co uspołecznienie procesu ewaluacyjnego?

Powodów jest kilka. Oto najważniejsze z nich:

• Redukcja obaw i ryzyka związanego z procedurami ewaluacyjnymi i udostępnieniem danych

• Unikanie marginalizacji konkretnych grup czy punktów widzenia w procesie pozyskiwania i zarządzania danymi

• Zwiększenie możliwości użycia rezultatów ewaluacji przez wszystkich aktorów procesu ewaluacyjnego

• Wzajemna edukacja podmiotów ewaluacji

• Uwzględnienie oczekiwań zainteresowanych ewaluacją

• Wzrost zainteresowania efektami procesu ewaluacyjnego

• Rozwój autorefleksji działania

  Audyt

• Audyt - sprawdzenie zgodności wykorzystania zasobów z obowiązującymi przepisami prawnymi, procedurami, terminami oraz określonymi standardami, np. dotyczącymi zarządzania wykorzystaniem pomocy.

• Cel audytu - zapobieganie niegospodarności i nieprawidłowościom w działaniu organizacji.

• Zakres audytu - wąski, poprawność procedur, rozliczeń, zgodność z przepisami prawa i zapisami umowy.

  Monitoring

• Monitoring – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programuw aspekcie finansowym i rzeczowym. Ma za zadanie zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

• Cel monitoringu - pomoc w bieżącym sterowaniu projektem/programem.

• Zakres monitoringu - wąski, rejestrowanie postępów z prowadzonych operacji, bieżące weryfikowanie tempa jak i kierunku, w którym zmierza program, element oceny jedynie w zakresie zestawienia postępów projektu z założonym harmonogramem.

  Kontrola

• Kontrola – porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji.

• Cel kontroli - wykrycie nieprawidłowości (kontrola ex-post).

• Zakres kontroli - wąski, nakierowanie na wykrycie uchybień i naruszeń oraz wyciągnięcie konsekwencji wobec organizacji/beneficjenta.

  Ewaluacja

• Ewaluacja - poprawa jakości działań poprzez zwiększenie ich adekwatności, skuteczności, użyteczności, efektywności i trwałości.

• Cel ewaluacji - pomoc w procesie uczenia się instytucji, planowania interwencji i ich uzasadniania.

• Zakres ewaluacji - szeroki lub wąski, w zależności od charakteru. Szersze spojrzenie na program oraz sposób jego prowadzenia pod względem kryteriów adekwatności, skuteczności, użyteczności, efektywności i trwałości prowadzonych działań.

• Przykład...

• Ewaluacja zajmuje się projektem/programem w szerszym kontekście czasowym. Badanie ewaluacyjne odnosi się do stanu sprzed podjęcia działań w ramach projektu, w jego trakcie, jak również stara się prognozować długookresowe skutki zamierzonych i niezamierzonych efektów, wybiegających poza czas i miejsce wdrażania programu.

• Rady i porady...

• Planując ewaluację, pamiętajmy o tym, iż analizując dostępne dane, powinniśmy wziąć pod uwagę informacje i dane, jakie generuje system monitoringu w ramach projektu. Należy zapoznać się również z wynikami kontroli oraz raportami z audytów prowadzonych na projekcie przez podmioty zewnętrzne (o ile takie były prowadzone).

Wdrażanie programu (projektu)

Planowanie ewaluacji

Działania ewaluacyjne trzeba planować już na etapie tworzenia projektu:

• Unia Europejska wyróżniła w latach 2000-2006 ewaluację ex-ante, mid-term oraz ex-post.

• W latach 2007-2013 dodatkowo dopisano ewaluację on-going, czyli w trakcie realizacji programów, podejmowaną w zależności od pojawiających się potrzeb.

Przykład...

Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. 1083/2006/WE ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999 (Art. 47 ust.1).

Ewaluacja na poziomie Programu (np. Program Operacyjny Kapitał Ludzki):

• Ewaluacja wstępna (ex-ante) – przeprowadzana przed rozpoczęciem realizacji interwencji.

Dowiedz się więcej...

Oceny ex-ante mają na celu optymalizację alokacji zasobów budżetowych i poprawę jakości procesu programowania. Służą identyfikacji i ocenie dysproporcji, luk i potencjału rozwojowego, zakładanych celów i przewidywanych rezultatów. Badania ex-ante mają szczególne znaczenie dla procesu negocjacji i kierunków przeznaczenia wsparcia w latach 2007-2013.

• Ewaluacja średniookresowa (interim / mid-term) – przeprowadzana w połowie realizacji interwencji.

Dowiedz się więcej...

Jej celem jest oszacowanie stopnia osiągnięcia zakładanych celów w świetle wcześniej przeprowadzonej ewaluacji wstępnej, zwłaszcza pod względem dostarczonych produktów i osiągniętych rezultatów. Wyniki ewaluacji okresowej służą ewentualnym modyfikacjom dokumentów programowych.

• Ewaluacja końcowa (ex-post) – przeprowadzana po zakończeniu interwencji.

Jej celem jest dostarczenie informacji na temat długotrwałych efektów powstałych w wyniku wdrażania danego programu. Ewaluacja ex-post stanowi zatem wstęp do projektowania przyszłych interwencji.

• Ewaluacja bieżąca (on-going) – przeprowadzana w trakcie trwania interwencji, badanie punktowe. Badaniu podlega konkretny problem zidentyfikowany przez Zamawiającego,w zależności od potrzeb.

Ewaluacja uzupełniająca. Umożliwia korygowanie interwencji w trakcie jej trwania poprzez wsparcie procesu zarządzania.

Przykłady badań ewaluacyjnych prowadzonych na poziomie programu:

Ewaluacja wstępna (ex-ante)

Przykład...

Ocena szacunkowa projektu Programu Operacyjnego Kapitał Ludzki na lata 2007-2013

Ewaluacja średniookresowa (interim / mid-term)

Przykład...

Średniookresowa ocena (ewaluacja) realizacji programu SAPARD w Polsce w latach 2000-2003

Ewaluacja końcowa (ex-post)

Przykład...

Badanie ścieżek prowadzących osoby zagrożone wykluczeniem społecznym do zatrudnienia w ramach działania 1.5 SPO RZL

Ewaluacja bieżąca (on-going)

Przykład...

Wpływ projektów szkoleniowych w ramach działań 2.1, 2.3 oraz 2.4 w ramach ZPORR na zaspokojenie potrzeb lokalnych i regionalnych rynków pracy

Rodzaje ewaluacji i ich specyfika

Działania ewaluacyjne trzeba planować już na etapie tworzenia projektu:

Ewaluacja ex-ante (wstępna)

• jest badaniem potencjalnych trudności związanych z przygotowaniem i opracowaniem projektu, pozwala zdiagnozować potrzeby i oczekiwania odbiorców projektu;

Ewaluacja śródokresowa (formatywna)

• po zakończeniu konkretnego etapu realizacji projektu,

• obejmuje ocenę stopnia osiągnięcia zakładanych w projekcie rezultatów,

• obejmuje ocenę systemu zarządzania i wdrażania projektu,

• zawiera rekomendacje na kolejny okres realizacji projektu;

Ewaluacja końcowa (konkluzywna)

• po zakończeniu całego projektu,

• zawiera podsumowanie realizacji projektu,

• zawiera ocenę rezultatów i wpływu projektu,

• służy informowaniu o projekcie i jego rezultatach.

Przykład...

Ewaluacja projektów podnoszących jakość obsługi osób niepełnosprawnych poszukujących pracy wśród beneficjentów i uczestników projektów Działania 1.4 Sektorowego Programu Operacyjnego Rozwój Zasobów Ludzkich (SPO RZL)

Rodzaje ewaluacji i ich specyfika

Ewaluacja wewnętrzna (autoewaluacja)

• prowadzona przez osoby zajmujące się planowaniem i wdrażaniem projektu, osoby stanowiące część zespołu projektowego,

• ukierunkowana na ocenę wybranych aspektów realizacji projektu dla podniesienia efektywności działań, jakości współpracy, zarządzania, itp.,

• może nie być w pełni bezstronna i wiarygodna.

Ewaluacja zewnętrzna

• przeprowadzana przez osoby nienależące do zespołu beneficjenta odpowiedzialnego za prowadzenie projektu,

• zapewnia szerszy kontekst analizy,

• gwarantuje większą bezstronność i niezależność, a tym samym jest bardziej wiarygodna.

Rady i porady...

Ważne!Projektując budżet projektu, pamiętajmy o zapewnieniu środków na realizację badania ewaluacyjnego przeprowadzonego przez podmiot zewnętrzny (zazwyczaj dotyczy to ewaluacji końcowej). Koszty badania ewaluacyjnego stanowią koszt kwalifikowalny. Jest to ważny sygnał dla instytucji zatwierdzającej projekty do realizacji, że beneficjentowi zależy na zaprezentowaniu niezależnych informacji nt. wdrożonego projektu oraz wyciągnięciu na przyszłość właściwych wniosków z jego realizacji.

System ewaluacji funduszy UE w Polsce

Przed 2000 r. ewaluacja w Polsce była wykorzystywana w edukacji i medycynie. Dopiero konieczność sprostania wymogom unijnym (Rozporządzenie 1260/99) zapoczątkowała zastosowanie badań ewaluacyjnych w ramach polityk rządowych.

Zaangażowanie UE doprowadziło do zwiększenia środków na ewaluację, zwiększenia ilości zamawianych badań ewaluacyjnych, co z kolei wpłynęło na rozwój rynku ewaluacyjnego, profesjonalizacji kadr zajmujących się ewaluacją oraz budowy potencjału ewaluacyjnego.

Przykład...

Założenia systemu określają następujące dokumenty:

• Wytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-2013 – zasady procesu ewaluacji, podział zadań w ramach systemu

• Plan ewaluacji Narodowych Strategicznych Ram Odniesienia (NSRO) – strategia działań ewaluacyjnych na bieżący okres programowania

• System ewaluacji NPR i NSRO

System ewaluacji funduszy UE w Polsce

Instytucje zaangażowane w ewaluację na poziomie strategicznym:

• Krajowa Jednostka Oceny (Ministerstwo Rozwoju Regionalnego): koordynuje całość prac ewaluacyjnych na poziomie horyzontalnym, jak również na poziomie poszczególnych programów operacyjnych. Jest ona również odpowiedzialna za wypracowanie standardów ewaluacji, tak aby podnieść jakość prowadzonych analiz.

Swoje zadania KJO prowadzi za pomocą wszystkich uczestników systemu, tj.:

• Instytucji Zarządzających realizacją poszczególnych Programów Operacyjnych,

• Instytucji Pośredniczących w realizacji PO w zakresie poszczególnych osi priorytetowych.

System ewaluacji funduszy UE w Polsce

W obecnym okresie główny nacisk zostanie położony na ewaluację bieżącą (on-going). Badania będą prowadzone w sytuacji, gdy dane z monitoringu wykażą odchylenia od pierwotnych założeń.

Bieżący okres programowania stanowi szczególne wyzwanie z kilku powodów:

• Wysokość środków finansowych do wydatkowania – ponad 67 mld euro do wydania, z czego na same badania ewaluacyjne ok. 40 mln euro;

• Konieczność wzmocnienia koordynacji całego procesu ewaluacji;

• Budowa potencjału ewaluacyjnego w ramach administracji publicznej,w szczególności na szczeblu samorządowym;

• Zwiększenie liczby zlecanych i przeprowadzanych ewaluacji;

• Wykorzystywanie na większą skalę wyników ewaluacji w programowaniu i podejmowaniu decyzji przez władze publiczne.

Rola ewaluacji w okresie programowania 2007-2013:

• Zapewnianie informacji dla podejmowania decyzji strategicznych i operacyjnych;

• Zapewnianie informacji na użytek programowania wsparcia na następny okres programowania po roku 2013.