PROCEDURY BADAŃ EWALUACYJNYCH

• Dr D. Wadowski

14-10-2007

Literatura:

1. „Ewaluacja w edukacji” - Oficyna naukowa - Warszawa, red. Leszek Korporowicz

2. Strony funduszy unijnych - EFS - Polska Agencja Przedsiębiorczości, Ministerstwo Rozwoju Regionalnego, Polskie Towarzystwo Ewaluacyjne

Definicje ewaluacji:

„Ocena wartości interwencji z zastosowaniem określonych kryteriów tejże oceny podejmowana w celu określenia efektywności interwencji, oszacowania jej oddziaływania w odniesieniu do celów, a także analizy wpływa na specyficzne problemy strukturalne”. (Rozporządzenie rady Unii Europejskiej nr 1260 z dn. 21 czerwiec 1999r.).

Analiza definicji:

- Ocena jest ściśle związana z pojęciem ewaluacji.

Obecnie wielu ewaluatorów nie dokonuje oceny. Argumenty:

1. ocena oznacza nierówność

2. jakie prawo ma ewaluator dokonywać oceny jeśli od tego projektu zależy położenie, los ludzi

3. ocena posługuje się jasnymi kryteriami. Kto formułuje kryteria? Dlaczego takie a nie inne? Jakie prawo do kwestionowania mają osoby je tworzące?

4. ewaluacja w praktyce pełni więcej funkcji niż ocena

Dzisiejsze modele ewaluacji unikają ocen. Często ewaluacja jest związana z oceną.

- Wartość jest najistotniejsza w ewaluacji. Ewaluacja wiąże się z wartościami.

Wartości ewaluatora są ważne ponieważ decydują o tym jak ewaluator spojrzy na projekt. W każdym projekcie są zawarte wartości.

Wartość projektu dla ludzi w nim uczestniczących

- interwencja - każdy projekt jest interwencją. Projekty są czymś sztucznym, ingerencją w życie społeczne, ale każdy projekt ma swoje założenia w rozwiązaniu problemu społecznego.

- zastosowaniem określonych kryteriów. Kryteria są niezmiernie istotne w ewaluacji

- podejmowana w celu określenia efektywności

efektywność - opłacalność wynikająca z realizacji projektu

- oszacowanie

założeniem projektu jest jego szersze opracowanie albo w dłuższym czasie

- analizy wpływu na problemy strukturalne

ewaluacja ma wpływ na problemy strukturalne

Trzy rodzaje ewaluacji:

1. ewaluacja (w ścisłym sensie)

2. monitoring

3. audyt

Audyt - polega na sprawdzaniu zgodności jakichś działań z pewnymi standardami bądź przepisami. Najczęściej audyt dotyczy kwestii prawnych bądź finansowych.

Monitoring- bieżące sprawdzanie i dokumentowanie tego, co się dzieje w projekcie. Wszystko co pokazuje jak ten projekt się rozwija. Monitoring posługuje się zestawem składników do monitoringu.

Kontrola - dotyczy spraw finansowych i prawnych. Kontrola w przeciwieństwie do audytu jest cząstkowa i dotyczy jednej sprawy.

Definicje ewalucji:

„Systematyczne badanie wartości lub zalet jakiegoś obiektu” (Joint Commite for education ewaluation)

„Systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji z tego, jak się rzeczy mają, z intencją dostarczanie danych ułatwiających podejmowanie decyzji” (Henryk Mizerek)

„Systematyczny i jawny proces zbierania informacji na temat istotny, charakteru i wartości interesujących praktyka zjawisk” (Helen Simons)

„Systematyczne badanie wartości lub cech konkretnego programu, działania lub obiektu z punktu widzenia przyjętych w tym celu kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia” (Leszek .....)

Cechy charakterystyczne ewaluacji:

1. jest działaniem celowym i planowym (racjonalne)

2. ma charakter badawczy

3. jest ukierunkowana praktycznie

4. koncentruje się na projekcie (rezultaty, realizacja celów i założeń) bądź instytucji (jakość pracy)

5. uwzględnia różne wymiary, aspekty i sfery funkcjonowania projektu

6. podkreśla specyfikę i unikalność projektu

7. dostarcza informacji służących podjęciu decyzji

8. angażuje różnorodne podmioty (ludzi, grupy, instytucje)

9. posługuje się zróżnicowaną metodologią

10. zachowuje wysokie standardy etyczne

Modele ewaluacji 1

1. systemowa - jakościowy pomiar nakładu i produktu, tj. wydajności i efektywności (interesuje nas to co było przed projektem i po realizacji projektu)

2. model zoperacjonalizowanych zadań - stopień realizacji jasno sprecyzowanych, mierzalnych celów. Najważniejszy jest cel

3. ewaluacja zorientowana na potrzeby - stopień zaspokajania potrzeb klienta (dopasowanie projektu do potrzeb). Kluczowa jest trafna diagnoza potrzeb.

4. ekspertyza - według własnych standardów doświadczonego ewaluatora

5. akredytacja (model certyfikacyjny) ewaluatorzy określają przystawanie programu do profesjonalnych standardów

6. model konfrontacyjny - „za” i „przeciw” programu

7. model transakcyjny - koncentruje się na procesie przebiegu programu

Modele ewaluacji 2

1. ewaluacja wspomagająca podejmowanie decyzji - ewaluacja jest konstruowana według decyzji, które należy podjąć

2. analiza niezgodności - porównywanie idealnego obrazu realizacji programu i faktycznych jego osiągnięć

3. analiza wyjaśniająca - koncentruje się na metodach jakościowych, analizie indukcyjnej i badaniu naturalistycznym. Ma pozwolić zrozumieć dany projekt (od szczegółu do ogółu)

4. ewaluacja dialogiczna (responsive) - kładzie nacisk na uwzględnienie wszystkich zainteresowanych wynikami (ewaluacja ma pomagać w rozmowie stron zainteresowanych)

Wyróżniki ewaluacji

1. przydatność - ewaluacja nie ma sensu jeśli jej wyniki nie zostaną wykorzystane w projekcie

2. wykonalność - ewaluację należy przeprowadzić tylko wtedy, gdy jest to możliwe ze względów politycznych i praktycznych a efekty równoważą koszty.

3. przyzwoitość - ewaluacji powinno się dokonywać wtedy, gdy można wykazać, że zostanie przeprowadzona uczciwie i zgodnie z zasadami etycznymi

4. adekwatność techniczna - mając pewność co do przydatności, wykonalności i przyzwoitości trzeba ją wykonać fachowo i precyzyjnie

Funkcje ewaluacji wg ISG (komisji europejskiej)

1. wkład w planowanie przedsięwzięć, w tym w ustalaniu priorytetów polityki w danym obszarze

2. pomoc w optymalizowaniu alokacji środków publicznych

3. poprawa jakości podejmowanych działań

4. upowszechnienie wyników przedsięwzięć

Funkcje w ewaluacji 1 (w praktyce)

1. służy określeniu rzeczywistych potrzeb instytucji, ludzi, organizacji

2. możemy planować cele rozwoju

3. określenie obszarów alokacji zasobów ludzkich, kapitałowych, organizacyjnych

4. określenie skuteczności i efektywności zastosowanych środków

5. wspomaganie procesu podejmowania decyzji

6. demokratyzacja procesu podejmowania decyzji

7. monitorowanie zmian i kierowanie zmianą

8. określenie skutków wprowadzonych rozwiązań

Funkcje w ewaluacji 2

1. wyjaśnienie przyczyn problemów i trudności

2. zrozumienie i wyjaśnienie przyczyn oraz form konfliktów

3. wzmocnienie zaangażowania personelu

4. poprawa jakości pracy instytucji

5. promocja działań i ich rezultatów

6. społeczna kontrola działań instytucji publicznych

7. nawiązanie współpracy ze środowiskiem

8. wymiana doświadczeń, wzajemne uczenie się

9. uzyskiwanie odpowiedzi na pytania i krytykę opinii publicznej

Poziomy ewaluacji projektu

1. oddziaływanie (impact) - funkcje projektu

2. rezultaty (outcomes) - zmiana sytuacji grup i jednostek

3. produkty (outputs) - materialne mierzalne efekty

4. działania (activicties) - realizowane działania

5. nakłady - ludzie pieniądze, sprzet

Etapy procesu ewaluacji

1. faza przygotowania - wstępna diagnoza, dialog, dyskurs

2. faza planowania - plan ewaluacji (plan ogólny)

3. faza projektowana - projektowanie (zawiera konkretne rzeczy)

4. faza realizacji - zbieranie danych opracowanie raportu

5. faza popularyzacji - prezentowanie raportu

6. faza wykorzystania - wykorzystanie, wdrożenie

						12
						przeformowanie celów i zaplanowanie nowych działań
				11				1
				ocena wyników i porównanie z oczekiwaniami			ZEGAR EWALUACYJNY	cele projektu
		10											2
		dyskusja o danych i ich analiza								projekt
9																3
opracowanie danych												elementy projektu, znalezienie kryteriów sukcesu
				8											4
		zbieranie danych								dyskusja i wybór problemów
							7					5
				opracowanie narzędzi				ustalenie źródeł i rodzajów informacji
						6
						wybór metod i technik zbierania danych

Planowanie ewaluacji

• Jakie są cele ewaluacji?

• Co ewaluujesz?

• Dla kogo ewaluujesz?

• Kiedy ewaluujesz?

• Jak będzie przeprowadzona ewaluacja (zasoby)?

• Jaką formę będzie miał raport ewaluacyjny?

Zasoby potrzebne do realizacji ewaluacji

1. motywacja

2. ludzie - odpowiedni personel, kompetencje, rozdzielenie funkcji

3. sprzęt - nagrywający dyskusję, kamera video, lustro weneckie

4. czas i miejsce

5. pozwolenia - np. dostępu do danych

6. pieniądze - średni koszt 2% danego projektu

Rodzaje ewaluacji

I. Ze względu na proces funkcjonowania programu

1. ewaluacja na początku wdrażania programu lub przed jego uruchomieniem (exante) - ma na celu diagnozowanie potrzeb

2. ewaluacja w trakcie działania programu (formatywna) - służy bieżącemu doskonaleniu programu

3. ewaluacja na zakończenie programu (podsumowująca) - służy dobru następnych programów i ocenie efektywności zakończonego

4. ewaluacja w jakiś czas po zakończeniu programu (odroczona) - daje najbardziej wiarygodną ocenę stopnia osiągnięcia celów programu

II. Ze względu na to kto prowadzi ewaluację

1. ewaluacja wewnętrzna - prowadzona przez osoby związane z projektem (osoby najbardziej odpowiedzialne), koncentruje się przeważnie na samym programie

2. autoewaluacja - prowadzona przez osoby uwikłane w projekt (osoby odpowiedzialne, klienci, decydenci), koncentruje się na skutkach projektu dla tych osób lub instytucji

3. ewaluacja zewnętrzna - prowadzona przez osoby lub podmioty z zewnątrz, niezależne i nie biorące udziału w projekcie, koncentruje się zarówno na projekcie jak i rezultatach jego działania dla różnych grup i kategorii ludzi zainteresowanych projektem

Rodzaje ewaluacji projektów finansowanych z funduszy UE

1. ex ante (przed)

2. mid - term

3. ex-post (po)

4. o going (nie jest wymagana)

5. tematyczne (Rozporządzenie Rady UE)

6. szacunkowa (na wstępie)

7. w połowie realizacji projektu

8. pełna (ustawa o narodowym planie rozwoju)

Rodzaje ewaluacji projektów finansowanych z funduszy UE

1. Ze względu na przedmiot

a). ocena wstępna - czy wniosek spełnia kryteria formalne np. związek z celami projektu, innowacyjność, ochrona środowiska

b). ewaluacja dużych projektów (powyżej 25 mln euro w zakresie projektów infrastrukturalnych i 15 mln euro w zakresie projektów inwestycyjnych) - przewidywana stopa zwrotu, wpływ na rynek pracy, perspektywy sektora itp.

c). ewaluacja polityk publicznych - określa udział ewaluowanych programów w realizacji priorytetów wspólnotowych

Projektowanie ewaluacji

1. definiowanie przedmiotu i obszarów ewaluacji

2. sformułowanie pytań kluczowych (jakich informacji potrzebujemy)

3. określenie kryteriów ewaluacji

4. wybór wskaźników

5. dobór metod badawczych

6. określenie próby badawczej

7. organizacja badań

8. określenie formy prezentacji danych (raportu)

Elementy projektu ewaluacji

1. przedmiot ewaluacji

2. obszary ewaluacji

3. kryteria ewaluacji

4. wskaźniki

5. pytania ewaluacji

6. metody i techniki zbierania danych

7. metody i techniki opracowania danych

8. harmonogram

9. prezentacja

Projekt ewaluacji

Tabela

przedmiot	obszary	kryteria	wskaźniki	pytania	metody	źródła

Kryteria ewaluacji

Adekwatność - pozwala ocenić w jakim stopniu przyjęte cele odpowiadają zidentyfikowanym problemom lub potrzebom beneficjentów (na ile projekt jest dopasowany do potrzeb)

Efektywność - pozwala ustalić relację między różnego rodzaju nakładami na realizację projektu (koszty finansowe, ludzkie, czasowe itp.) a uzyskanymi efektami

Skuteczność - pozwala ocenić stopień osiągania zakładanych celów, planowanych korzyści i rezultatów oraz ujawnić występujące ograniczenia

Trwałość efektów - określa, czy pozytywne efekty projektu mogą trwać po jego zakończeniu oraz czy możliwe jest ich utrzymanie w dłuższym okresie

Oddziaływanie - dotyczy stopnia w jakim korzyści osiągnięte przez konkretnych beneficjentów będą miały wpływ na większą liczbę ludzi w danym regionie lub szersze dziedziny

Odniesienie kryteriów do elementów projektu

• Cele ogólne

Całościowa trwała zmiana zarówno na poziomie projektu, programu jak i poza nim

Kryteria ewaluacji: oddziaływanie i trwałość efektów

Cele bezpośrednie

(faktycznie diagnozowane korzyści)

Kryterium ewaluacji: skuteczność

Wyniki

Działania

Środki

Kryterium ewaluacji: efektywność

Projekty i przygotowanie

Kryterium ewaluacji: adekwatność w odniesieniu do zidentyfikowanych problemów, do rozwiązania lub do zaspokojenia rzeczywistych potrzeb

Pytania ewaluacyjne (kluczowe)

1. sformułowane w sposób ogólny

2. precyzują cel ewaluacji

3. wskazują priorytety

4. koncentrują się wokół celów projektu

5. są podstawą wyboru metod ewaluacji

Rodzaje pytań ewaluacyjnych

1. pytania o proces

2. pytania o rezultaty programu

3. pytania o efekty programu

4. pytania o związki miedzy działaniem a efektami

5. pytania dotyczące wyjaśnienia (pytania typu dlaczego?)

6. pytania o skutki uboczne (nie pożądane)

Źródła pytań ewaluacyjnych

1. plan decyzji

2. preferencje zainteresowanych stron

3. konsultacje z zainteresowanymi stronami

4. identyfikacja braków wiedzy (brak wiedzy jest źródłem pytania badawczego)

5. praktyczna wykonalność

6. założenia programu

7. możliwość wykorzystania wyników

8. profesjonalny osąd ewaluatora

17-11-2007

Planowanie i projektowanie ewaluacji

Projekt, to pewna całość, która składa się z wielu zadań.

Ogólny plan ewaluacji:

3 podstawowe poziomy ewaluacji projektów unijnych:

1. poziom projektu - ewaluacja musi być zorientowana na konkretny projekt

2. poziom krajowy - struktury centralne lub inne podmioty na zlecenie struktur centralnych, np. ministerstwa prowadzą ewaluację projektów w celach porównawczych

3. poziom wspólnotowy - zazwyczaj ewaluacje są realizowane na zlecenie komisji europejskiej, dotyczą wielkich funduszy europejskich, np. fundusz współpracy, inicjatywa wspólnotowa. Podczas ewaluacji wspólnotowych zdarza się, że z poziomu europejskiego jest ewaluowany projekt, by sprawdzić jak wygląda dofinansowanie na samym dole

Poziom projektu

W samym projekcie i w ewaluacji projektu też można wyodrębnić pewne poziomy:

1. nakłady - wszystkie rzeczy wykonywane w ramach projektu - ludzie, pieniądze, sprzęt (czy te nakłady odpowiadają celom projektu)

2. działania - wszelkiego rodzaju zadania, które są realizowane w ramach projektu

3. 
   poziom produktów

są do siebie podobne

4. poziom rezultatów

Każdy projekt coś wytwarza i to, co jest wytworzone można nazwać od produktów do rezultatów, ale:

produkty są: trwałe, materialne, mierzalne - produktem będzie np. certyfikat, prace w ramach projektu

rezultaty są: nietrwałe, niematerialne, niemierzalne - np. wiedza, zmiana postaw, aktywizacja, zmiana postaw, umiejętności

5. oddziaływanie - każdy projekt powinien oddziaływać. Projektami nie można objąć całego społeczeństwa, będą to wybrane osoby, które będą oddziaływać na szersze populacje. Możemy tu zadawać pytania o pewne funkcje projektu: jak on oddziałuje, do czego się odwołuje

Etapy ewaluacji projektu:

1. przygotowanie - nazywa się do też etapem 3 D - diagnoza, dyskurs, dialog

Na etapie przygotowawczym musimy wiedzieć, co ewaluujemy, następnie musimy rozmawiać z ludźmi w celu ustalenia zakresu i tematyki ewaluacji. Zapoznanie się z projektem, to czynność diagnostyczna. Musimy poznać możliwości grup do włączenia się do ewaluacji.

2. planowanie - opracowujemy ogólny plan ewaluacji - kiedy i z kim robić ewaluację, kto ma ją robić - to etap wstępny, przymiarka do ewaluacji

3. projektowanie - w wyniku niego powstaje projekt ewaluacji - precyzyjny, bo będziemy wiedzieli co mamy robić, kiedy i w jaki sposób.

Przygotowanie ewaluacji trwa dłużej niż sama ewaluacja

4. realizacja - mamy tu 2 czynności

• zbieranie informacji

• pisanie raportu

Bardzo często pod pojęciem ewaluacji rozumiemy realizację, a to jest błędne

5. popularyzacja - czyni udostępnianie raportów, ustaleń ewaluacyjnych, komunikowanie wyników ewaluacji różnym podmiotom

6. wykorzystanie - tam, gdzie podejmujemy jakieś decyzje wynikające z ustaleń ewaluacyjnych np. projekt działa tak, jak powinien lub coś nie zadziałało w projekcie i trzeba coś zmienić

W oparciu o to, co jest ustalone w jednej ewaluacji można podejmować inne. Jeden projekt ewaluacji można wykorzystać jako wzór do innych projektów.

Wkomponowanie ewaluacji w projekt - w to, co się dzieje w projekcie:

Etapy w projekcie:

1. projektowanie - co chcemy robić

2. identyfikowanie - określenie problemów, potrzeb, które chcemy rozwiązać

3. formułowanie - formułujemy konkretne cele projektu

4. finansowanie - zdobywamy, otrzymujemy środki realizacji projektu

5. wdrażanie projektu

6. ewaluacja

Cykl realizacji projektów

Programowanie

Ewaluacja identyfikowanie

Wdrażanie formułowanie

Finansowanie

Uczymy się z tego, co warto robić, czego nie. Z ewaluacji powstają nowe pomysły, np. ewaluacja prowadzi do ukształtowania nowych projektów.

Etapy ewaluacji projektu

Plan ewaluacji

Jest on dosyć ogólny, przymierzamy się do ewaluacji. Na tym etapie musimy określić:

1. cele: po co ją podejmujemy, do czego ma ona służyć, do czego chcemy ją wykorzystać. Ewaluacja ma wspomagać realizację projektu

Badania w działaniu (action research) polegają na ciągłym podejmowaniu działań, które mają towarzyszyć jakimś działaniom. Badania w działaniu prowadzą do modyfikowania, podejmowania jakichś działań.

2. przedmiot ewaluacji - co będziemy ewaluować

3. dla kogo - komu ma służyć

4. kiedy ewaluujemy - wybór działań, wyodrębnianie

5. jak - jak będziemy robić ewaluację - czy sami, czy ktoś będzie nam to robił z zewnątrz, czy ewaluacja ma być szeroka, głęboka czy wąska

6. jaki będzie raport z ewaluacji - dla kogo, komu będzie służył, jaki on będzie

Co jest potrzebne do realizacji ewaluacji - jakie zasoby musimy posiadać?

1. motywacja - chcieć to móc, jeśli będziemy chcieli zrobić ewaluację, to ją zrobimy

2. ludzie - osoby które będą ją robić, ludzie kompetentni, umiejący ją zrobić

3. sprzęt - dyktafony, kamery, ankiety, aparaty fotograficzne

4. czas - odpowiedni czas na ewaluację

5. środki finansowe - pieniądze

6. miejsce - gdzie ewaluacja będzie robione, gdzie będzie miejsce, np. sala, hotel - trzeba zebrać ludzi w jednym miejscu i skompletować ewaluację

7. pozwolenia - trzeba zadbać o pozwolenia, np. pozwolenie na wgląd w projekt, rozmowy z ludźmi o projekcie

Rodzaje ewaluacji

I. Ze względu na proces funkcjonowania projektu

1. na początku projektu - ex-ante - ma na celu diagnozę potrzeb i wstępną ocenę projektu, np. jeśli odbywa się nabór wniosków

2. w trakcie projektu (ewaluacja formatywna) - służy bieżącemu doskonaleniu i wyróżniamy tu takie ewaluacje:

• mid-term - są najczęściej obowiązkowe

• on-going - jest nie obowiązkowa - polega na ciągłym badaniu tego, co się dzieje w projekcie, monitorowanie projektu

• na zakończenie projektu (ewaluacja podsumowujące) - ex-post

• po zakończeniu projektu (rzadko realizowana) - zwana też realizacją odroczoną. Daje ona dobrą ocenę efektywności projektu, przeprowadza się ją nawet rok po projekcie

II. Ze względu na to, kto ewaluacje prowadzi

1. zewnętrzna - jest realizowana przez jakiś podmiot nie związany z projektem, jest zlecana komuś - wymaga ogłoszenia przetargu, konkursu, zapytania ofertowego)

2. wewnętrzna - realizowana przez personel projektu, zazwyczaj osoby, które są zatrudnione na specjalnym stanowisku specjalisty do spraw ewaluacji. Bardzo często stanowisko to jest łączone z monitoringiem. Dwoma działaniami zajmuje się jedna i ta sama osoba lub grupa osób. Ewaluator wewnętrzny znacznie więcej wie, ale nie zachowuje się obiektywnie, bo chce aby projekt wypadł jak najlepiej.

Najlepiej byłoby aby ewaluacje prowadził ewaluator zarówno wewnętrzny jak i zewnętrzny. Wewnętrzny może przekazać więcej informacji na temat projektu.

Ewaluacja wewnętrzna czasami bywa nazywana autoewaluacją.

3. autoewaluacja - nie jest nigdzie zaplanowana, jest spontaniczna i nastawiona na wnętrze. Każdy członek projektu zastanawia się czy dobrze wykonuje swoje zadania, wszelkie działania podejmowane na bieżąco ale nie koniecznie zaplanowane.

Projekt ewaluacji (co w nim powinno być)

1. definiowanie przedmiotu ewaluacji i obszary, aspekty projektu - nie cały projekt musi podlegać ewaluacji, mogą być to jego fragmenty

2. formułowanie pytań ewaluacyjnych, zwanych pytaniami kluczowymi - to pytania ogólne, na które chcemy uzyskać odpowiedź

3. określenie kryteriów - pod jakim względem będziemy coś ewaluować, co będziemy brać pod uwagę

4. wybór wskaźników - po czym poznamy, że projekt odniósł sukces lub, że projekt się nie udał

5. dobranie metod badawczych - metody zbierania informacji, nie wszystkie metody są dobre i użyteczne, trzeba wybrać

6. określenie źródeł danych - skąd te informacje będą, gdzie będziemy je zbierać (czy od ludzi, czy z jakichś dokumentów itp.)

7. zastanawianie się nad metodami analizy danych - jak będziemy analizować dane

8. określenie harmonogramu

9. określenie osób odpowiedzialnych - podmiotów odpowiedzialnych

10. sposób prezentacji wyników - czy piszemy raport i przekazujemy go koordynatorowi projektu, czy robimy prezentacje i go przedstawiamy, czy jeszcze inaczej

W praktyce najbardziej użytecznym jest tabela

przedmiot	obszary	kryteria	wskaźniki	pytania	metody	źródła
Sposób realizacji działania		skuteczność		Czy podejmowanie Działania uwarunkowują uzyskanie celów

Cały projekt mieści się w tabelce.

Kryteria, które możemy wykorzystać:

1. kryterium adekwatności - pozwala nam odpowiedzieć na pytanie, czy projekt odpowiada rzeczywistym potrzebom i problemom beneficjentów (wszystkich uczestników projektu); czasami jest jako kryterium zgodności

2. kryterium efektywności - dotyczy realizacji między różnego rodzaju nakładami, np. koszty finansowe, materiałowe, ludzkie, czas poświęcony na realizację projektu, a uzyskanymi efektami. Inaczej mówiąc to kryterium pozwala nam powiedzieć, czy projekt jest opłacalny, nie koniecznie pod względem finansowym

3. kryterium skuteczności - projekt powinien być skuteczny. Skuteczność dotyczy stopnia osiągania zakładanych celów (na ile ten projekt, taki jaki jest pozwala osiągnąć zamierzone cele)

4. kryterium trwałości - projekt powinien prowadzić do trwałych efektów, to wtedy jest dobry. Kryterium mówi o trwałości pozytywnych efektów projektu po jego zakończeniu

5. kryterium oddziaływania - zakładamy, że projekt jest dobry jeśli oddziałuje na szerokie środowisko. Mówi nam o stopniu w jakim korzyści osiągnięte przez konkretnych beneficjentów wpływają na innych ludzi lub na jakieś dziedziny.

Pytania ewaluacyjne:

1. ogólne - nie konkretne - czy cele projektu zostały osiągnięte, w jakim stopniu, co przeszkadzało w określeniu ewaluacji

2. określają cele ewaluacji

3. wskazują priorytety - mówią co jest najważniejsze w realizacji

4. koncentracja wokół celów projektu

5. są podstawą wyboru metod, źródeł informacji

Pytania te mogą dotyczyć:

1. pytania o proces

2. o efekty

3. o rezultaty

4. mogą dotyczyć związków między działaniami a efektami

5. mogą to być pytania dotyczące wyjaśnień

6. pytania o skutki uboczne projektu (zazwyczaj każdy projekt ma skutki uboczne, raz pozytywne, a raz negatywne)

Skąd brać pomysły na pytania? Jest kilka źródeł:

1. cele projektu - mówią jakie pytania stawiać

2. plan decyzji

3. konsultacje

4. praktyczna wykonalność - nie można stawiać pytań idących bardzo daleko, np. o trwałość

5. doświadczenie ewaluatora - szuka się kontaktu z doświadczonymi ewaluatorami aby ocenili ten projekt (konsultacje z profesjonalistami)

16-12-2007

Wartości współczesnych form ewaluacji

1. demokratyczność

2. interaktywność

3. zorientowanie na analizę ludzkich doświadczeń

4. dynamiczność

5. kontekstualność

6. metodologiczna integralność

Ad. 1. Demokratyczność ewaluacji:

- uwzględnia potrzeby, wartości i interesy różnych stron

- uwzględnianie punktu widzenia ewaluowanych

- wartość i konkretność języka ewaluacji

- jawność ustaleń

- procedury negocjacyjne

Ad. 2. Interaktywność:

- otwartość na nowe zjawiska i procesy

- współpraca z ewaluowanymi poprzez dialog

- poszukiwanie rozwiązań kompromisowych

- wkomponowanie ewaluacji w kontekst kultury organizacyjnej

- dążenie do poznania sfery doświadczeń

- jakościowa metodologia ewaluacji

Kultura organizacyjna dotyczy wartości, norm i przedmiotów.

Ad. 3. Zorientowanie na analizę ludzkich doświadczeń:

- jakościowa metodologia ewaluacji

- poszukiwanie zrozumienia a nie osądu

- poznawanie sposobów postrzegania i definiowania sytuacji

- uwzględnienie języka i innych form komunikacji

- uwzględnienie sfery emocji, doznań i wrażeń uczestników

Ad. 4. Dynamiczność:

- dostosowanie celów i procedur ewaluacyjnych do poszczególnych etapów programu

- uwzględnienie zmian w definiowaniu sytuacji

- poszukiwanie kierunków rozwoju programu

- pogłębiane zbieranie informacji poprzez wykorzystanie różnych źródeł i narzędzi

- uwzględnienie zmian kultury organizacyjnej

Ad. 5. Metodologiczna integralność:

- zastosowanie różnorodnych metod i źródeł zbierania informacji

- wzajemne uzupełnianie się metod i źródeł

- unikanie metodologii neopozytywistycznej

- elastyczność metod

Ad. 6. Kontekstualność:

- wpisanie ewaluacji w różnorodne konteksty jej prowadzenia

- uwzględnienie kontekstów w wynikach ewaluacji

- konteksty:

a). społeczno - kulturowy

b). motywacyjno - osobowościowy

c). organizacyjny

d). polityczny

e). etyczny

f). Metodologiczny

Ad. a). Kontekst społeczno - kulturowy:

• dominujące wartości i normy

indywidualistyczny - wspólnotowy

osłabiona kontrola społeczna - silna kontrola społeczna

• treść i formy integracji

skonwencjonalizowane - improwizowane

powierzchowne - głębokie

• typ komunikowania się

jednokierunkowy - wielokierunkowy

wysokokontekstowy - niskokontekstowy

• kontekst struktury społecznej

otwarta - zamknięta

hierarchiczna - egalitarna

Ad. b). Kontekst motywacyjno - osobowościowy:

• mentalność ewaluatora i ewaluowanych

otwarta - zamknięta

kreatywna - odtwórcza

• klimat ewaluacji

sprzyjający - niesprzyjający

• poczucie zagrożenia i bezpieczeństwa

bezpieczeństwo - zagrożenie

pomoc - kontrola

• oczekiwania i motywacje

potrzeba - nacisk

instrumentalne - rozwojowe

Ad. c). Kontekst organizacyjny

• cele organizacyjne

produkcyjne - usługowe

komercyjne - non - profit

• obieg informacji

hierarchiczny - gwiaździsty - sieciowy

• style kierowania

scentralizowany - zdecentralizowany

planowanie - improwizacja

• style podejmowania decyzji

hierarchiczny - demokratyczny

samodzielnie - wspólnotowo

• wymagany typ kompetencji

twórczość - odtwórczość

innowacyjność - zachowawczość

Ad. d). Kontekst polityczny

• model pełnienia ról społecznych

sformalizowany - niesformalizowany

tradycyjny - ponowoczesny

• struktura władzy

hierarchiczna - demokratyczna

trwała - nietrwała

• sposoby artykulacji potrzeb

prywatne - publiczne

unormowane - dowolne

• formy uczestnictwa

podmiotowość - przedmiotowość

• zasady wyboru celów

partykularne - uniwersalne

narzucone - negocjowane

Ad. e). Kontekst etyczny

• zyski i koszty

podmioty zyskujące - podmioty tracące

trwałość - przejściowość

• prywatność i anonimowość

informacje poufne - informacje dostępne

brak anonimowości - anonimowość zapewniona

• wykorzystanie i nadużycie wyników

wpływ na wykorzystanie - brak wpływu

zastosowanie wyników - odłożenie na półkę

• kompetencje i interwencja

ingerencja - dystans (nie wolno ingerować)

dostęp pełny - dostęp ograniczony

Ad. f). Kontekst metodologiczny

• pojmowanie celów ewaluacji

rozwój - kontrola

dialog - nadzór

• hilizm i interdyscyplinarność

skomplikowane metody - proste metody

jednowymiarowość - wielowymiarowość

• postawy naukowe

wyjaśniające - oceniające

pozytywistyczne - interpretowane

• możliwość generalizacji

dopuszczalna - niedopuszczalna

uzasadniona - nieuzasadniona

Założenia ewaluacji demokratycznej

1. Zakłada podmiotowość uczestników i odbiorców programu

2. Zakłada pluralizm wartości, norm i interesów, które uwzględnia

3. Wielkość perspektyw widzenia określonego zjawiska i uznaje owe perspektywy za równie uprawnione

4. Orientuje się na jednostki i grupy ludzkie przezwyciężąjąc w ten sposób amorficzność i anionimowość społeczeństwa. któremu program ma służyć

5. Kontekst, w jakim dzieje się ewaluowane przedsięwzięcie, modyfikuje całość tego przedsięwzięcia, stąd konieczność analizowania wszelkich zjawisk w naturalnym kontekście ich funkcjonowania

6. Spełnienie funkcji praktycznych, służebnych

7. Jako działanie z ludźmi i dla ludzi, zakłada konieczność uwzględniania wysokich standardów etycznych

Autorzy ewaluacji (stakeholders) - z ang. udziałowiec











K

O ewaluator ewaluowani







N


T


E

K zleceniodawca odbiorcy

S zainteresowani

T







Role ewaluatora

1. Kronikarz i dokumentalista projektu

2. Historyk projektu

3. Niezależny obserwator

4. Konsultant projektu

5. Ekspert techniczny

6. Edukator

7. Instrument zarządzania

8. Negocjator wiedzy

9. Konstruktor teorii

10. Sędzia

11. Krytyczny przyjaciel

Uspołecznienie ewaluacji

1. Redukcja obaw i ryzyka związanego z ewaluacją oraz potrzeba poczucia bezpieczeństwa związanego z udostępnieniem danych

2. Unikanie marginalizacji w procesie pozyskiwania, tworzenia i zarządzania danymi

3. Możliwość wykorzystania rezultatów ewaluacji przez różne podmioty procesu

4. Wzajemna ewaluacja społecznych podmiotów procesu

Typy wiedzy według J. Habermasa

1. Wiedza empiryczno - analityczna (technokratyczna)

2. Wiedza historyczno - hermeneutyczna

3. Wiedza refleksyjno - krytyczna

Ad.1. wiedza analityczno - empiryczna:

• precyzyjnie określone cele i środki

• racjonalność wykorzystania zasobów

• brak refleksji nad słusznością celów

• stopień realizacji zamierzeń

• wiedza precyzyjna i zobiektywizowana

• wyalienowany, niezależny ewaluator

Ad. 2. Wiedza historyczno - hermeneutyczna:

• rekonstrukcja sposobów interpretacji i rozumienia rzeczywistości

• uwzględnia zakorzenione wartości

• uwzględnia zakorzenione i subiektywne „prawdy”

• koncentruje się wokół znaczeń i sensów

• identyfikuje ukryte funkcje zachowań i działań

• ewaluator zaangażowany w procesie ewaluacji

Ad. 3. Wiedza refleksyjno - krytyczna”

• poszukiwanie ukrytych prawidłowości społecznych i ukrytych założeń

• inicjuje autorefleksję

• przeciwdziała marginalizacji i pełni funkcję emancypującą

• poszerza świadomość możliwości i ograniczeń

• ewaluator w procesie negocjacji i dialogu

05-01-2008

Ewaluację należy dopasować.

Dopasowanie ewaluacji do projektu - 4 wymiary:

1. wymiar uczestników i odbiorców ewaluacji - każdy projekt angażuje odmiennych beneficjentów i odmienny personel. Beneficjenci takich samych projektów realizowanych w różnych miejscach różnią się od siebie np. systemem wartości.

Kontekst instytucjonalny i organizacyjny się zmienia - w różnych instytucjach projekt tak samo zatytułowany jest różnie wdrażany. Instytucja jest uczestnikiem i odbiorcą ewaluacji. Instytucja uczestniczy w ewaluacji przede wszystkim przez: zatrudnienie odpowiedniego ewaluatora, ma wpływ na wybór ewaluatora, na koncepcję ewaluacji, na zakres ewaluacji.

Krajowe instytucje wdrażające - zajmują się wdrażaniem projektów w danym kraju - mają one wpływ na ewaluację.

Na poziomie krajowym bardzo ważną rolę odgrywają ministerstwa.

2. Wymiar trafności wewnętrznej - dopasowanie ewaluacji do projektu. Wiąże się ona z istotą samego projektu. Ewaluacja powinna być dopasowana do projektu, do celów projektu, do podejmowanych działań, procesów jakie zachodzą w projekcie, do stosowanych instrumentów.

3. Wymiar trafności zewnętrznej - też wiąże się z dopasowaniem.

Czy ewaluator może dokonywać generalizacji i wyciągać ogólne wnioski z projektu?, np. ewaluator proponuje walkę z bezrobociem za pomocą szkoleń mówiąc „tak powinno się robić”.

Czasami wnioski wyciągane przez ewaluatora są za daleko, dlatego mówimy na ile te wnioski są istotne dla projektu.

4. (nie podał)

Zarządzanie ewaluacją

1. Cele, funkcje i forma ewaluacji projektu

2. Struktura organizacji (ewaluator, zespół ewaluatorów)

3. Kompetencje, możliwości i oczekiwania

4. Procedury, metody i formy komunikacji i współpracy

5. Zapewnienie niezależności i kontroli nad procesem ewaluacji

6. Zasoby materialne i niematerialne

7. Wsparcie eksperckie

8. Zapewnienie wykorzystania wyników

Ad. 1. Cele, funkcje i forma ewaluacji projektu - precyzyjne i jasne określenie celów realizacji, dzięki czemu ewaluator wie, co ma robić

Ad. 2. Struktura organizacji (ewaluator, zespół ewaluatorów) - powołać ewaluatora lub zespół ewaluatorów; zależy to od organizacji i celów projektu. Zazwyczaj jest to stanowisko specjalisty do spraw monitoringu i ewaluacji. Specjalista ten może nie umieć rozdzielić monitoringu od ewaluacji dlatego tez powinien być oddzielny ewaluator do projektu. Monitoring jest czymś innym niż ewaluacja. Zadaniem monitoringu jest bieżące wspomaganie projektu (fakty). Ewaluatora interesują efekty projektu.

Zlecenie ewaluacji na zewnątrz - powoduje, że nie ma odpowiedniej komórki w projekcie. Często w projekcie zapisane jest, że ewaluator będzie na zewnątrz.

Ad. 3. Kompetencje, możliwości i oczekiwania - należy ustalić odpowiednie kompetencje: co ewaluator może, czego nie, co powinien, co musi robić (prawa i obowiązki ewaluatora i jego możliwości, tzn. co może ustalić).

Ad. 4. Procedury, metody i formy komunikacji i współpracy - trzeba komunikować się z menedzerem, beneficjentami, koordynatorem projektu. Muszą istnieć reguły komunikacji, np. czy wszystkie prośby muszą być skierowane na piśmie, czy nie, czy muszą się kontaktować z księgową po to aby dowiedzieć się czegoś, czy przez administratora, czy nie, czy administrator musi o wszystkim wiedzieć. Ewaluator powinien współpracować ze wszystkimi. Mogą być realizowane spotkanie koordynatora projektu z ewaluatorem.

Ad. 5. Zapewnienie niezależności i kontroli nad procesem ewaluacji - ewaluator powinien być względnie niezależny, powinien mieć poczucie, że on sam decyduje jak ewaluację będzie prowadził, wpływa na kształt ewaluacji.

Ad. 6. Zasoby materialne i niematerialne - ewaluator musi dysponować zasobami materialnymi i niematerialnymi. Materialne to: dostęp do sali, do miejsc w których będzie prowadził badania, kamera, dyktafon, kwestionariusz, aparat fotograficzny, papier.

Niematerialne to: czas na swoją pracę, musi przewidzieć czas rozmów z beneficjentami, z personelem projektu, dostęp do różnych ludzi, miejsc, materiałów, dokumentów.

Ad. 7. Wsparcie eksperckie - dotyczy przypadków kiedy ewaluacja jest prowadzona, gdy ewaluator nie ma doświadczenia do samodzielnej pracy ewaluatora tylko potrzebuje wsparcia drugiej osoby. Potrzebna jest wiedza, doświadczenie ekspertów.

Ad. 8. Zapewnienie wykorzystania wyników - gdzie, w jakim zakresie, prze kogo, do czego wyniki mogą być wykorzystane. Raport powinien być wykorzystany w projekcie którego dotyczy lub też w przyszłym projekcie.

Umiejętności potrzebne do prowadzenia ewaluacji

1. Pisanie projektu - ewaluator powinien umieć przygotować projekt ewaluacji (pytania, kryteria, powiązanie pytań z kryteriami, dobór metody, strategii ewaluacji)

2. Precyzyjne określenie celów ewaluacji - zestaw pytań kluczowych zawiera cele ewaluacji, po co ewaluacja ma być, czemu ma służyć. Filozofia ewaluacji określająca szersze funkcje społeczne, np. funkcje promocji projektu.

3. Dobór, zorganizowanie i współpraca w zespole badawczym - ewaluator zazwyczaj pracuje samodzielnie, ale w ewaluacji uczestniczy bardzo wiele innych osób. To ewaluator organizuje pracę całemu zespołowi. podsuwa pomysł na ewaluację. Ważny jest podział zadań. Nie każdy umie prowadzić obserwacje czy wywiady. Badaniami, pisaniem raportu może zajmować się jedna osoba lub cały zespół ludzi.

4. Wybór projektu i technik zbierania danych.

5. Przeprowadzenie wywiadów - czasami można korzystać z wcześniejszych ewaluacji, ale najczęściej wszystko robimy od początku. Trzeba zastanowić się nad techniką zbierania danych, np. obserwacja, kwestionariusz, wywiady.

6. Konstruowanie kwestionariusza i posługiwanie się nim

7. Umiejętność prowadzenia zaplanowanej i systematycznej obserwacji

8. Posługiwanie się złożonymi systemami informacji

9. Analiza danych - trzeba wiedzieć gdzie co zastosować, gdzie korelacje, gdzie zmienne, jakie stosować analizy badań.

10. Pisanie raportu i formułowanie rekomendacji - umiejętność zaplanowanie treści raportu

11. Zapewnienie spożytkowania wyników - ewaluator może namówić koordynatora do tego, aby jeszcze wykorzystał te wyniki. Wyniki raportu można wykorzystać do innego projektu. Może być to ten samo projekt, ale nie musi.

12. Wrażliwość na kontekst polityczny

Aspekty jakości ewaluacji projektu

1. Podmiot ewaluacji - ewaluatorzy a specyfika projektu - wspólnota kulturowa ewaluatora i ewaluowanych, tj. umiejętność odczytywania znaczeń (streścić odpowiedzi, dysponować wspólnym kodem znaczeń, słowniki slangów młodzieżowych).

2. Trudność merytoryczna ewaluacji - ewaluacja a projekt - związek projektu z ewaluowanym programem - czy uwzględnia warunki.

3. Trafność wewnętrzna ewaluacji - jakość wykorzystanych kryteriów i wskaźników

4. Trafność zewnętrzna ewaluacji - możliwość porównywania

5. Organizacja ewaluacji - spójność ewaluacji

6. Adekwatna i integralna metodologia - aby dane można było zgrać, aby istniała spójność

7. Kontekst społeczno kulturowy ewaluacji - możliwość wyjaśnienia i rozumienia zmian społecznych

8. Oddziaływanie ewaluacji - zdolność wsparcia projektu, instytucji, personelu, beneficjentów

Czynniki zapewnienia jakości ewaluacji

1. Zgodność działań z projektem ewaluacji

2. Bezstronność ewaluatora

3. Demokratyczne procedury

4. Możliwość potwierdzenia wyników

5. Logika procesu zbierania informacji

6. Sprawdzalność procesu zbierania informacji

7. Powiązanie wyników z danymi

8. Wiarygodność, komunikatywność, klarowność wyników

9. Uwzględnianie kontekstów

10. Użyteczność, przydatność wiedzy i możliwości jej wykorzystania

1

1

1

---