Początki ewaluacji datuje się na lata 30 XX wieku, powstała ona w USA w zakresie edukacji. Jej silny rozwój datuje się na lata 50 i 60. W Stanach Zjednoczonych oraz w Kanadzie rozwój ewaluacji był najbardziej dynamiczny. Z państw Europejskich należy wyróżnić takie kraje jak: Szwecja, Wielka Brytania oraz Niemcy. Wpływ na ten rozwój miała rosnąca liczba interwencji publicznych. Zaczęto analizować i oceniać działania już nie tylko w zakresie edukacji, ale również na w zakresie rozwoju regionalnego, zasobów ludzkich, ochrony środowiska.

Ewaluacja to zróżnicowany zestaw metod i działań zorientowanych na krytyczną refleksję nad wartością i jakością interwencji publicznych – zarówno procesów ich wdrażania, jaki i ich efektów.¹ Innymi słowy jest to oszacowanie, ocenienie wartości jakiegoś projektu mającego służyć całemu społeczeństwu. Analizując definicję pojęcia ewaluacji można wyróżnić 5 elementów dotyczących tego pojęcia.

1. Krytyczna refleksja – posługiwanie się zestawem podejść i metod badawczych z nauk społecznych, np. analizowanie oparte na danych, stosowanie podejścia naukowego. Stern uważa, że aby ocenić wartość programów publicznych trzeba je zrozumieć, wyjaśnić mechanizmy leżące u ich podstaw.²

2. Drugą kwestią zastosowaną w tej definicji jest korzystanie i łączenie różnych metod, narzędzi oraz źródeł. Jest to szczególnie podkreślany element w praktyce i literaturze dotyczącej ewaluacji. Ewaluacja wykorzystuje wzajemne uzupełnianie się metod i technik. Nie wiąże się z jedną techniką i jednym podejściem badawczym.

3. Kolejna kwestię można określić jako systematyczność oraz cykliczność analizy.

4. Ewaluacja to nie tylko badania naukowe, ale także ocena jakości i wartości interwencji.

5. Ostatnim elementem tej definicji jest logiczna weryfikacja pomysłu na program, ocena procesu wdrażania programu oraz oszacowanie efektów. Chodzi, więc tutaj o empiryczną weryfikację relacji przyczynowo- skutkowej między działaniami a efektami .³

Inną, zawierającą więcej elementów definicje podaje OECD czyli Organizacja Współpracy Gospodarczej i Rozwoju.

Ewaluację definiuje jako: użyteczne, wiarygodne i przejrzyste badania, które opierając się na obiektywnych podstawach oceniają wdrażanie i efekty polityk, programów, projektów. Tym samym przyczyniają się do wzmacniania odpowiedzialności działań oraz pomagają wyciągać wnioski i doskonalić przyszłe interwencje. ⁴

Ta definicja odwołuje się obiektywizmu i wiarygodności, podkreśla stosowanie różnych przedmiotów ewaluacji: programów, procesów, projektów, efektów. Podkreśla także, w jaki sposób należy wykorzystać płynące z niej wnioski.

Różnice między badaniem naukowy, ewaluacją i formą dyscyplinowania sektora publicznego.

1. Ewaluacja łączy w sobie elementy empirii z elementem wyjaśniającym wraz z osądem wartości interwencji. Ewaluacja zawsze ocenia na podstawie dowodów.

2. Ocena nie jest zwiana z negatywnymi konsekwencjami. Ewaluacja inaczej niż audyt posiada element współpracy pomiędzy badaniami a ewaluatorami.

3. Zaprezentowana diagnoza i ocena są podstawą rekomendacji. Zadaniem ewaluacji jest ocenianie i diagnozowanie a w kolejny kroku pomoc w rozwiązywaniu problemu.

Z połączenia wyżej wymienionych definicji została utworzona następująca definicja: ,,Ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie jakości i wartości procesu oraz efektów wdrażania interwencji publicznych”⁵

Kryteria ewaluacji.

1. Trafność – czyli zastanowienie się na odpowiednimi metodami wdrażania interwencji oraz adekwatności jej celów do problemów. Analiza ta stosowana jest przed procesem interwencji.

2. Skuteczność - odnosi się do skuteczności metod, instytucji i wpływu zewnętrznych czynników.

3. Wydajność – skoncentrowanie na analizie nakładów, kosztów do osiągniętych efektów.

4. Użyteczność - odnosi się do osiągniętych efektów.

5. Trwałość – czyli ciągłość efektów w perspektywie długo i średniookresowej.

Typy Ewaluacji.

Klasyfikacji rodzajów ewaluacji można dokonać używając czterech różnych kryteriów:

1. Pierwsza kategoria została wyróżniona ze względu na przedmiot ewaluacji. W obrębie tej kategorii wyróżnia się następujące typy ewaluacji

• Ewaluacja projektu – analiza malej inwestycji

• Ewaluacja programu – najczęściej występujący – w tym typie przedmiotem badań może być program sektora publicznego lub cały pakiet działań

• Ewaluacje tematyczne/horyzontalne – przedmiotem badań jest konkretna kwestia albo aspekt programu. Badania prowadzi się dla kilku lub kilkunastu interwencji.

• Meta-ewaluacje – badaniu podaje się wcześniej prowadzone ewaluacje czyli analizy porównawcze kilkunastu badań i ocena zastosowanej metodologii.

2. Druga kategoria wyróżniona została ze względu na cele ewaluacji

• Ewaluacja formatywna ( operacyjna) – ta ewaluacja ocenia formę oraz proces interwencji przed jej rozpoczęciem lub w czasie jej trwania. Skupia się na samej interwencji na jej jakości, płynności.

• Ewaluacja podsumowująca (strategiczna) – jest to podsumowanie interwencji, jej efektów oraz skale zmian.

3. Trzecia kategoria to została nazwana ,,moment podjęcia badania’’. W tej kategorii zostały wyróżnione następujące elementy:

• Ewaluacja wstępna – prowadzona przez wdrażaniem interwencji, ma na celu weryfikację planowanych działań

• Ewaluacja bieżąca – wykonywana w trakcie wdrażania badanej interwencji

• Ewaluacja końcowa – realizowana po zakończeniu interwencji, najczęściej wykonywana po 2 latach, skupia się na ocenie rezultatów i długookresowych efektów programu.

4. Ostatnia kategoria została wyróżniona ze względu organizację badania. W obrębie tej kategorii wyróżnia się następujące typy ewaluacji:

• Ewaluacja zewnętrzna – badanie zlecane poza instytucje prowadzącą daną interwencję i wykonywane przez zespoły niezależnych ekspertów wyłonione w ramach konkursu.

• Ewaluacja wewnętrzna – prowadzona przez niezależną komórkę ewaluacyjną, umieszczoną w strukturze instytucji publicznej wdrażającej daną interwencję publiczną.

• Autoewaluacja – prowadzona przez osoby z danej instytucji odpowiedzialnej za wdrażanie analizowanej interwencji⁶

Wymienia się również trzy rodzaje ewaluacji: ex ante, mid-term i ex-post. Oprócz tego pojawia się również ewaluacja bieżąca on-going oraz ewaluacje tematyczne.⁷

* Ewaluacja ex-ante jest to ewaluacja realizowana przed wdrażaniem projektu/programu, ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności oraz diagnozuje potrzeby i oczekiwania grupy docelowej

* Ewaluacja mid-term jest to ewaluacja realizowana mniej więcej w połowie wdrażania interwencji. Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości projektu/programu, ocenia poczynione na etapie programowania założenia – cele i wskaźniki. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń

* Ewaluacja ex- post jest to ewaluacja przeprowadzona po zakończeniu realizacji programu. Ocenia na ile udało się osiągnąć założone cele oraz skuteczność i efektywność interwencji, jej trafność i użyteczność. Bada długotrwałe efekty projektu/programu oraz ich trwałość. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

Oprócz wymienionych wyżej ewaluacji mogą być również realizowane ewaluacje o charakterze uzupełniającym i/lub pogłębiających wybrane zagadnienia związane z realizacją interwencji. Należą do nich ewaluacja typu on-going oraz ewaluacje tematyczne.

* Ewaluacja bieżąca on–going, jest badaniem skupiającym się na doraźnych problemach i barierach we wdrażaniu programu. Ma charakter uzupełniający dla wszystkich rodzajów ewaluacji. Jest ona dogłębną analizą przyczyn zaistniałych problemów, może więc być badaniem punktowym (pojedynczym) lub wieloma badaniami. Ma za zadanie poprawę jakości zarządzanym programem/projektem. Skupia się na zarządzaniu realizacją interwencji, diagnozuje i analizuje problemy pojawiające się w ich trakcie oraz poszukuje możliwości ich rozwiązania.

Wyżej opisane typy ewaluacji dotyczą zazwyczaj interwencji postrzeganych jako integralna całość i najczęściej dokonują mniej lub bardziej kompleksowej analizy przedsięwzięcia.

* Ewaluacje tematyczne zaś skupiają się na analizie jakiegoś zjawiska, analiza ta ma zazwyczaj charakter przekrojowy i/lub porównawczy. Obszar zainteresowania ewaluacji tematycznych może być bardzo różny i dotyczyć może np. określonego elementu działania w ramach konkretnego programu lub kilku programów realizowanych w danym kraju czy regionie . Pozwalają one na szczegółową i pogłębioną analizę wybranego zagadnienia.⁸

Funkcje ewaluacji

1. Budowanie partnerstwa i współwłasności - wzmacnianie powiązań, relacji, współpracy, interakcji między uczestnikami programu; aktywizowanie interesariuszy – włączanie ich w działania programu, dyskusję nad jego oceną i kierunkami rozwoju; uprawnianie interesariuszy – włączanie we współdecydowanie o programie tych grup, które były marginalizowane.⁹

2. Poprawa wdrażania i bieżącej jakości – poprawa struktury i procedur zarządzania programem, minimalizacja negatywnych efektów, podnoszenie efektywności programu

3. Racjonalizowanie planowania – zagwarantowanie racjonalnego uzasadnienia dla programu przez weryfikację jego spójności zewnętrznej

4. Funkcja poznawcza – wyjaśnienie czynników warunkujących działania programu sukces -porażka), weryfikowanie podstawowych teorii interwencji, budowanie zaangażowania instytucji w badanie

5. Rozliczanie i wzmocnienie odpowiedzialności – informowanie opinii publicznej o skuteczności programów oraz o ich wydajności¹⁰

Podejścia ewaluacyjne

1. Podejście naukowe wyłączające cele programu – polega na analizie rzeczywistych efektów programu, badaniu relacji przyczynowo-skutkowej. W tym podejściu występuje przewaga metod ilościowych.

2. Podejście oparte na teoriach – polega na analizie teorii, założeń programu w odniesieniu do jego efektów. Występują tu metody jakościowe i ilościowe, wykorzystuje modele badawcze w oparciu o wcześniejsze ewaluacje.

3. Podejście zorientowane na cele – ocenia stopień realizacji celów. Zestawia ze sobą rezultaty i oddziaływanie na dana grupę, występuje przewaga metod ilościowych

4. Podejście zorientowane na zarządzanie – swoją uwagę skupia na procesach wdrażania, usuwaniu blokad. Występuje przewaga metod jakościowych

5. Podejście responsywne i partycypatywne – skupia się na identyfikowaniu i zaspokajaniu bieżących potrzeb informacyjnych, analizuje procesy programu i bieżące wdrażanie z uwzględnieniem roli aktorów społecznych. Występuje tu znaczna przewaga metod jakościowych.

Ewaluacja jako proces uczenia się.

W tym przypadku ewaluacja to tworzenie wiedzy i wykorzystywania jej. Idąc za K. Olejniczakiem ewaluację można przedstawić jako proces zachodzący w pięciu blokach.

Blok pierwszy - (wkład) przedstawia czynniki będące wkładem w pro­ces ewaluacji. Do bloku należą następujące elementy :

• Kultura administracyjna kraju,

• Charakterystyka ewaluandy – waga programu dla danej polityki, wielkość programu, miejsce programu w debacie politycznej,

• Moment podjęcia badania - W cyklu danego programu ex- ante, bieżąca, ex post, w cyklu polityki (np. zbliżająca się debata o nowym budżecie, wybory, etc)

• Charakterystyka Uczestników,

• Kwestie techniczne - Równowaga lub jej brak między wyznaczonymi celami badania, danym czasem i zasobami przeznaczonymi na badanie.

* Blok drugi - (proces). Do tego bloku należą następujące elementy:

• Responsywne i partycypatywne, zorientowane na procesy, zorientowane na cele, oparte na teoriach

• Naukowe i wyłączające, role uczestników, liczba interesariuszy programu włączonych w badani, intensywność interakcji

• Jakość procesu badawczego - jakość danych dostępnych dla ewaluatorów. Dokładność i sumienność zbierania danych, analizy i wyciągania wniosków.

* Blok trzeci - ( produkty ewaluacji)

• Jakość raportu – raport z ewaluacji powinien być zgodny z wymogami Unii Europejskiej,

• Stworzona wiedza- wiedza wypracowana podczas ewaluacji powinna być Odkrywcza/Spodziewana , Techniczna/Koncepcyjna,

• Diagnostyczna – wiedza zdobyta podczas ewaluacji powinna dostarczać informacji o programie, którego dotyczyła ewaluacja. Wiedza również powinna dostarczać informacji, które narzędzia wykorzystane podczas interwencji zadziałały zgodnie z oczekiwaniami i przynoszą pożądany rezultat, a które z nich nie działają i dlaczego nie działają.

• Preskryptywna- ten typ wiedzy dostarcza informacji jak trzeba interweniować, kto ( jaka instytucja, osoba powinna wprowadzić zmiany lub interweniować. Pozwala również określić najlepszy czas wprowadzania zmian, zastosowania odpowiedniego programu.

• Rozpowszechnianie wyników – czyli określenie sposobu w jaki sposób zostaną zaprezentowane wyniki ewaluacji, w jakich środowiskach zostaną one przedstawione.

* Blok czwarty czyli wykorzystanie ewaluacji. Zostało tu określony sposób użycia wiedzy z ewaluacji. Wiedza może być użyta w sposób pozytywny, czyli wykorzystana przez użytkowników programu na korzyść tego programu. Wyniki ewaluacji mogą być również wykorzystane przez instytucje wdrażające różne interwencje do społeczeństwa. Może nastąpić tzw. brak użycia. Jest to sytuacja, w której wyniki nie są wykorzystane, ponieważ zmiany wprowadzane mogą być zbyt radykalne. Kolejnym przypadkiem wykorzystania wyników jest użycie negatywne, czyli błędne wykorzystanie ewalucji. Należą do nich takie procedery, jak: wybiórcze prezentowanie wyników, użycie słabego badania lub manipulowanie wynikami.

*Blok piąty – funkcje ewaluacji. Można wyróżnić następujące funkcje ewaluacji:

• Budowanie partnerstwa i współwłasności

• Poprawa wdrażania i bieżącej jakości

• Poprawa planowania – racjonalizowanie planów i strategii

• Funkcja poznawcza

• Rozliczanie i wzmacnianie odpowiedzialności.¹¹

Wyżej wymienione funkcje są możliwe do osiągnięcia wtedy gdy ewaluacji jest dobrze prowadzona i wykonana. Funkcje te odnoszą się do wyżej wymienionych elementów z czterech bloków.

Wiedzę otrzymaną podczas ewaluacji można podzielić ,ze względu na jej typy. K. Olejniczak wyróżnia wiedzę diagnostyczną i wiedzę preskryptywną.

1.Wiedza diagnostyczna – wyjaśnia, pokazuje szerszy kontekst
Wiedzieć o (know about)	Wyjaśnia kontekst, w jakim działa program, wskazuje szanse i zagrożenia, także mechani­zmy społeczno-gospodarcze, związane z wdra­żanym programem
Wiedzieć co (know what)	Pokazuje, co działa, a co nie w programie
Wiedzieć dlaczego (know why)	Wyjaśnia, dlaczego rzeczy działają lub nie, mo­że obejmować również szerszą refleksję nad teo­riami leżącymi u podstaw danego programu
2.Wiedza preskryptywna – ocenia, daje rozwiązania, wskazuje konieczne działania
Wiedzieć jak (know how)	Pokazuje, jak poprawić, zmienić, udoskonalić rzeczy
Wiedzieć kto (know who)	Informuje, kto powinien podjąć działania, z kim należy współpracować, kogo włączyć
Wiedzieć kiedy (know when)	Informuje, kiedy działania.^12

Bibliografia

1. B.Ciężka, Ewaluacja-kwestie ogólne. Str3-7, http://www.pte.org.pl/repository/files/PTE/ewaluacja-kwestie_ogolne.pdf, 01.03.2015r.

2. K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, [w:] K. Olejniczak, M. Kozak, B. Ledzion (red.). Teoria i praktyka ewaluacji interwencji publicznych: Podręcznik akademicki. Wydawnictwo Profesjonalne i Akademickie, Warszawa, 2008 s. 17-43

Referat przygotowały:

Ewelina Jerzyk i

Ewelina Mikołajczyk

1^ K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, [w:] K. Olejniczak, M. Kozak, B. Ledzion (red.). Teoria i praktyka ewaluacji interwencji publicznych: Podręcznik akademicki. Wydawnictwo Profesjonalne i Akademickie, Warszawa, 2008 s. 19

2^ Tamże s.20

3^ Tamże s.20

4^ Tamże s.20

5^ Tamże s.22

6^ Tamże. 26-29

7^ B.Ciężka, Ewaluacja kwestie ogólne, http://www.pte.org.pl/repository/files/PTE/ewaluacja-kwestie_ogolne.pdf, 01.03.2015r.

8^ Tamże s.7

9^ K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, [w:] K. Olejniczak, M. Kozak, B. Ledzion (red.). Teoria i praktyka ewaluacji interwencji publicznych: Podręcznik akademicki. Wydawnictwo Profesjonalne i Akademickie, Warszawa, 2008 s. 30.

10^ Tamże s.30-31

11^ Tamże s.34-39.

12^ Tamże s. 38.