EWALUACJA
EWALUACJA
EWALUACJA
EWALUACJA
PROGRAMÓW
PROGRAMÓW
PROGRAMÓW
PROGRAMÓW
FINANSOWANYCH ZE ŚRODKÓW
FINANSOWANYCH ZE ŚRODKÓW
FINANSOWANYCH ZE ŚRODKÓW
FINANSOWANYCH ZE ŚRODKÓW
UNII EUROPEJSKIEJ
UNII EUROPEJSKIEJ
UNII EUROPEJSKIEJ
UNII EUROPEJSKIEJ
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ
WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Warszawa, Listopad 2006
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Przygotowanie: Zespół ds. Ewaluacji i Promocji
Wersja 2006/11/2
Zdjęcie na okładce pochodzi z serwisu Getty Images
© Copyright by WÅ‚adza WdrażajÄ…ca Programy Europejskie
1
 PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Spis treści
Spis treści
Spis treści
Spis treści
A. WPROWADZENIE .......................................................................................................................................... 4
A. WPROWADZENIE
A. WPROWADZENIE
A. WPROWADZENIE
A.1 ZAKRES OBOWI
ZKÓW ZESPOA
U DS. EWALUACJI I PROMOCJI ...................................................................... 5
B. PODSTAWOWE INFORMACJE O EWALUACJI .......................................................................................... 6
B. PODSTAWOWE INFORMACJE O EWALUACJI
B. PODSTAWOWE INFORMACJE O EWALUACJI
B. PODSTAWOWE INFORMACJE O EWALUACJI
B.1 DEFINICJE I CELE EWALUACJI......................................................................................................................... 6
B.2. RODZAJE EWALUACJI I ICH PRZEDMIOT........................................................................................................ 7
B.2.1 EWALUACJA EX-ANTE ................................................................................................................................ 8
B.2.2 EWALUACJA MID-TERM.............................................................................................................................. 8
B.2.3 EWALUACJA ON-GOING.............................................................................................................................. 9
B.2.4 EWALUACJA EX-POST ................................................................................................................................. 9
B.2.5 EWALUACJE ZEWN
TRZNE I WEWN
TRZNE.............................................................................................. 10
B.3 KRYTERIA EWALUACYJNE............................................................................................................................ 11
B.4 RÓŻNICE POMI
DZY EWALUACJ
, MONITORINGIEM I KONTROL
................................................................ 13
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE METODY ZBIERANIA,
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE METODY ZBIERANIA,
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE METODY ZBIERANIA,
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE METODY ZBIERANIA,
ANALIZY I OCENY DANYCH .......................................................................................................................... 16
ANALIZY I OCENY DANYCH
ANALIZY I OCENY DANYCH
ANALIZY I OCENY DANYCH
C.1 POSZCZEGÓLNE FAZY REALIZACJI BADANIA ................................................................................................ 16
C.2 METODY ZBIERANIA DANYCH ..................................................................................................................... 17
C.3 METODY ANALIZY DANYCH ........................................................................................................................ 18
C.4 METODY OCENY DANYCH ........................................................................................................................... 19
C.5 METODY BADAWCZE STOSOWANE W ZALEŻNOŚCI OD CHARAKTERYSTYKI BADANIA EWALUACJI................ 20
C.6 METODY BADAWCZE STOSOWANE W POSZCZEGÓLNYCH FAZACH PROCESU EWALUACYJNEGO ................... 21
D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WA
ADZ
WDRAŻAJ
C

D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WA
ADZ
WDRAŻAJ
C

D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WA
ADZ
WDRAŻAJ
C

D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WA
ADZ
WDRAŻAJ
C

 INFORMACJE OGÓLNE
 INFORMACJE OGÓLNE.................................................................................................................................. 22
 INFORMACJE OGÓLNE
 INFORMACJE OGÓLNE
D.1 PRZYGOTOWANIE ROCZNEGO PLANU EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WWPE ............. 22
D.2 DECYZJA O PODJ
CIU EWALUACJI ............................................................................................................... 22
D.3 POWOA
ANIE GRUPY STERUJ
CEJ EWALUACJ
............................................................................................ 23
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZOROWANIA EWALUACJI
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZOROWANIA EWALUACJI
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZOROWANIA EWALUACJI
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZOROWANIA EWALUACJI
ZEWN
TRZNYCH.............................................................................................................................................. 24
ZEWN
TRZNYCH
ZEWN
TRZNYCH
ZEWN
TRZNYCH
E.1 PROJEKTOWANIE PROCESU EWALUACJI ZEWN
TRZNEJ................................................................................ 24
E.2 PRZYGOTOWANIE WARUNKÓW UMOWY..................................................................................................... 26
E.3 WYBÓR WYKONAWCY I KRYTERIA WYBORU WYKONAWCY ........................................................................ 26
E.4 MONITOROWANIE POST
PÓW W REALIZACJI BADANIA EWALUACYJNEGO................................................... 27
E.5 FORMAT I STRUKTURA RAPORTU EWALUACYJNEGO..................................................................................... 28
2
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
E.5.1 WYTYCZNE DOTYCZ
CE FORMY RAPORTU EWALUACYJNEGO .................................................................. 28
E.6 ODBIÓR ZADANIA EWALUACYJNEGO ........................................................................................................... 29
E.7 WYKORZYSTANIE WYNIKÓW EWALUACJI ZEWN
TRZNYCH......................................................................... 30
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, REALIZOWANYCH PRZEZ
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, REALIZOWANYCH PRZEZ
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, REALIZOWANYCH PRZEZ
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, REALIZOWANYCH PRZEZ
ZESPÓA
DS. EWALUACJI I PROMOCJI
ZESPÓA
DS. EWALUACJI I PROMOCJI........................................................................................................... 31
ZESPÓA
DS. EWALUACJI I PROMOCJI
ZESPÓA
DS. EWALUACJI I PROMOCJI
F.1 PLANOWANIE PROCESU EWALUACJI WEWN
TRZNEJ W WWPE .................................................................. 33
F.2 REALIZACJA EWALUACJI.............................................................................................................................. 35
F.3 FORMAT RAPORTU Z EWALUACJI WEWN
TRZNEJ......................................................................................... 35
F.4 ZATWIERDZENIE RAPORTU Z EWALUACJI WEWN
TRZNEJ............................................................................ 35
F.5 WYKORZYSTANIE WYNIKÓW EWALUACJI WEWN
TRZNYCH ....................................................................... 36
G. ZAA

CZNIKI
G. ZAA

CZNIKI.................................................................................................................................................. 37
G. ZAA

CZNIKI
G. ZAA

CZNIKI
ZAA

CZNIK NR 1 ROCZNY PLAN BADAC
I EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ WWPE .............. 37
ZAA

CZNIK NR 2 PLAN EWALUACJI ZEWN
TRZNEJ ............................................................................................ 38
ZAA

CZNIK NR 3 LISTA SPRAWDZAJ
CA DO WERYFIKACJI RAPORTU Z EWALUACJI ZEWN
TRZNEJ .................... 40
ZAA

CZNIK NR 4 PLAN EWALUACJI WEWN
TRZNEJ........................................................................................... 42
ZAA

CZNIK NR 5 HARMONOGRAM EWALUACJI WEWN
TRZNEJ......................................................................... 44
ZAA

CZNIK NR 6 FORMULARZ ZATWIERDZAJ
CY RAPORT Z EWALUACJI WEWN
TRZNEJ .................................. 45
ZAA

CZNIK NR 7 EWIDENCJA PRZEPROWADZONYCH EWALUACJI ZEWN
TRZNYCH .......................................... 46
ZAA

CZNIK NR 8 EWIDENCJA PRZEPROWADZONYCH EWALUACJI WEWN
TRZNYCH ......................................... 47
3
 PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
A. WPROWADZENIE
A. WPROWADZENIE
A. WPROWADZENIE
A. WPROWADZENIE
Celem podręcznika jest przedsta- sowania rozwiązań. Dlatego też, w zależ-
wienie wytycznych oraz procedur, jakie ności od specyfiki danego procesu ewalu-
mają zastosowanie w trakcie planowania acyjnego, WWPE może korzystać rów-
i realizacji zewnętrznych i wewnętrz- nież z innych rozwiązań, pod warun-
nych ewaluacji programów wdrażanych kiem, że nie są one sprzeczne z wytycz-
przez Władzę Wdrażającą Programy Eu- nymi KE, obowiązującymi regulacjami
ropejskie. prawnymi oraz ogólnie obowiązującymi
standardami w zakresie ewaluacji, a jed-
Dokument służy przede wszystkim nocześnie służą podniesieniu jakości da-
ustrukturyzowaniu procesów badaw- nego badania.
czych oraz zapewnieniu dobrej jakości
ewaluacji. Stosowanie zawartych w pod- W pierwszej części podręcznika
ręczniku procedur, umożliwia WWPE przedstawiono podstawowe informacje
efektywne i sprawne wdrażanie proce- na temat celów i rodzajów ewaluacji oraz
sów ewaluacyjnych oraz pozyskanie wia- różnic pomiędzy ewaluacją, monitorin-
rygodnych i rzetelnych wyników badań. giem a kontrolą. Następnie opisano pod-
stawowe metody i techniki badawcze
Zawarte w rozdziałach D, E i F ni- wykorzystywane w trakcie prowadzenia
niejszego podręcznika wytyczne, zostały badań ewaluacyjnych oraz poszczególne
przygotowane w oparciu o standardy etapy każdego procesu ewaluacyjnego.
powszechnie stosowane w planowaniu i
prowadzeniu ewaluacji oraz na podstawie Druga część podręcznika określa
doświadczeń WWPE i innych instytucji wytyczne dla zewnętrznych i wewnętrz-
zaangażowanych w ewaluację progra- nych ewaluacji prowadzonych dla pro-
mów finansowanych ze środków UE. gramów realizowanych przez Władzę
Wdrażającą.
Zaproponowane wytyczne nie wy-
czerpują wszystkich możliwych do zasto-
4
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
A.1 Zakres obowiązków Zespołu ds. Ewaluacji i Promocji
A.1 Zakres obowiązków Zespołu ds. Ewaluacji i Promocji
A.1 Zakres obowiązków Zespołu ds. Ewaluacji i Promocji
A.1 Zakres obowiązków Zespołu ds. Ewaluacji i Promocji
Za koordynowanie wszelkich dzia- nych dla projektów / programów
łań związanych z prowadzeniem ewalu- wdrażanych przez WWPE;
acji projektów i programów realizowa- zlecanie badań ewaluacyjnych
nych przez Władzę Wdrażającą odpo- zewnętrznym wykonawcom,
wiada Zespół ds. Ewaluacji i Promocji. zgodnie z rocznym planem ewalu-
acji zewnętrznych dla projektów /
W Zespole ds. Ewaluacji i Promocji programów wdrażanych przez
funkcjonują następujące stanowiska: WWPE;
Kierownik Zespołu; nadzór nad prawidłową realizacją
Specjaliści. ewaluacji zewnętrznych;
odbiór wyników ewaluacji ze-
W ramach obowiązków związanych wnętrznych;
z procesem ewaluacji programów wdra- rozpowszechnianie wyników
żanych przez WWPE Zespół ds. Ewalu- ewaluacji wewnętrznych i ze-
acji i Promocji jest odpowiedzialny za: wnętrznych;
przygotowanie rocznego planu monitorowanie wdrażania reko-
wewnętrznych i zewnętrznych mendacji z raportów ewaluacyj-
ewaluacji dla projektów / progra- nych;
mów wdrażanych przez WWPE; udział w grupach eksperckich i
prowadzenie własnych badań doradczych związanych z ewalu-
ewaluacyjnych, zgodnie z rocz- acjÄ…;
nym planem ewaluacji wewnętrz- opracowywanie oraz aktualizowa-
nie wskaz
ników monitorowania.
5
 PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
B. PODSTAWOWE INFORMACJE O EWALUACJI
B. PODSTAWOWE INFORMACJE O EWALUACJI
B. PODSTAWOWE INFORMACJE O EWALUACJI
B. PODSTAWOWE INFORMACJE O EWALUACJI
B.1 Definicje i cele ewaluacji
B.1 Definicje i cele ewaluacji
B.1 Definicje i cele ewaluacji
B.1 Definicje i cele ewaluacji
Istnieje bardzo wiele definicji ewa- Na potrzeby niniejszego podręczni-
luacji, które kładą nacisk na jej różne ka przyjęto definicję ewaluacji, wynika-
aspekty np. zastosowane kryteria ewalu- jÄ…cÄ… z RozporzÄ…dzenia Rady Unii Euro-
acyjne, systematyczność prowadzonych pejskiej nr 1260 z dnia 21 czerwca 1999 r.
badań, zakres tematyki badań czy zasto- (art. 40, ust. 1) wprowadzającego ogólne
sowanie wyników ewaluacji. przepisy dotyczące funduszy struktural-
nych:
 Ewaluacja to proces, który prowadzony jest, w celu ustalenia efektyw-
ności pomocy strukturalnej Wspólnoty oraz w celu oszacowania jej od-
działywania w odniesieniu do celów konkretnego Programu, a także
analizy wpływu na specyficzne problemy strukturalne .
Przedstawiona definicja wskazuje, mocą strukturalną, jak również jako
że ewaluację należy traktować jako na- czynnik wspomagający efektywne wyko-
rzędzie planowania oraz zarządzania po- rzystanie funduszy strukturalnych.
Cele ewaluacji :
Cele ewaluacji 1:
Cele ewaluacji :
Cele ewaluacji :
zwiększenie przejrzystości działań podejmowanych przez instytucje publiczne
oraz promowanie wyników tych działań;
podniesienie skuteczności i efektywności realizowanych programów;
poznawanie mechanizmów funkcjonowania programów;
identyfikacja słabych i mocnych stron programów;
poprawa jakości programów;
określenie efektów programów oraz działań instytucji;
wskazanie kierunków rozwoju;
wspomaganie procesu podejmowania decyzji;
oszacowanie możliwości i ograniczeń;
sygnalizowanie pojawiających się problemów;
określanie stopnia zgodności z przyjętymi założeniami;
badanie potrzeb;
uczenie siÄ™ i samodoskonalenie.
Z punktu widzenia WWPE naj- uzyskanie informacji na temat faktycz-
ważniejszymi celami ewaluacji będą nych i potencjalnych efektów badanych
1
Cele prowadzenia ewaluacji na podstawie: Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów
o charakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa
2002, str. 18-20
6
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
projektów/programów, czynników, które ulepszania jakości programów. Ewaluato-
powodują uzyskanie określonych efek- rzy identyfikują problemy, wskazują ich
tów oraz określenie wpływu badanych wpływ na ogólną efektywność realizo-
programów na wyeliminowanie kon- wanych działań, a następnie przedstawia-
kretnych problemów społeczno  gospo- ją rekomendacje wraz z propozycjami
darczych będących ich przedmiotem. działań naprawczych, których wdrożenie
pozwoli na wyeliminowanie zidentyfi-
Należy podkreślić, że ewaluacja jest kowanych problemów.
również efektywnym narzędziem stałego
B.2. Rodzaje ewaluacji i ich przedmiot2
B.2. Rodzaje ewaluacji i ich przedmiot
B.2. Rodzaje ewaluacji i ich przedmiot
B.2. Rodzaje ewaluacji i ich przedmiot
Istnieje kilkanaście rodzajów klasy- cele ewaluacji (ewaluacja poznaw-
fikacji badań ewaluacyjnych, której moż- cza, instrumentalna, formatywna).
na dokonać biorąc pod uwagę różne
aspekty, np.: Innym kryterium podziału jest kwe-
stia zależności prowadzących ewaluacje
czas prowadzenia ewaluacji (ewa- wobec instytucji zaangażowanej we
luacja ex-ante, mid-term, on- wdrażanie Programu (ewaluacja ze-
going, ex-post); wnętrzna, wewnętrzna).
przedmiot ewaluacji (ewaluacje
globalne, tematyczne, szczegóło- Władza Wdrażająca, prowadzi za-
we); równo zewnętrzne jak również we-
wnętrzne badania ewaluacyjne.
2
zobacz szerzej: Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno-
gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, str. 21-24 i Polskie
Towarzystwo Ewaluacyjne, Ewaluacja funduszy strukturalnych, Warszawa 2003, str. 9
7
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
B.2.1 Ewaluacja ex-ante3
B.2.1 Ewaluacja ex-ante3
B.2.1 Ewaluacja ex-ante3
B.2.1 Ewaluacja ex-ante3
Ewaluacja ex-ante prowadzona jest Zadaniem ewaluacji ex-ante jest do-
w trakcie procesu programowania. Pod- konanie oceny na ile planowany program
stawowym zadaniem tej ewaluacji jest jest trafny z punktu widzenia potrzeb
podniesienie jakości dokumentów pro- beneficjentów czy danego sektora, jak
gramowych, a tym samym zwiększenie również czy zaprojektowana interwencja
trafności i skuteczności przyszłych pro- jest spójna wewnętrznie w zakresie za-
gramów. Ewaluacja ex-ante jest podstawą planowanych celów.
do przygotowania ostatecznych wersji
założeń Programów Operacyjnych.
B.2.2 Ewaluacja mid-term
B.2.2 Ewaluacja mid-term
B.2.2 Ewaluacja mid-term
B.2.2 Ewaluacja mid-term
Celem ewaluacji mid-term jest oce- W zakres ewaluacji mid-term
nę wstępnych wyników interwencji ta- wchodzą następujące elementy:
kich jak: osiągnięte na danym etapie analiza wyników poprzednich ewa-
wdrażania produkty, rezultaty, stopień luacji;
osiągnięcia celów, wykorzystanie środ- zaktualizowana ocena trafności i
ków finansowych oraz system wdrażania aktualności przyjętej strategii;
i monitorowania. Ewaluacja mid-term diagnoza zaistniałych czynników,
jest narzędziem służącym podnoszeniu które mają wpływ na proces wdra-
jakości oraz trafności programowania, z żania i skuteczności osiągania zało-
uwagi na fakt, że daje możliwość mody- żonych celów;
fikowania pewnych założeń programu w potwierdzenie trafności określenia
trakcie jego realizacji, w przypadku gdy celów w stosunku do aktualnie ist-
okaże się, że zmiana warunków społecz- niejących potrzeb (beneficjentów
no-gospodarczych spowodowała dezak- czy sektora);
tualizację diagnozy, która była punktem ocena trafności wskaz
ników oraz
wyjścia dla realizowanego programu. diagnoza konieczności ich ewentu-
Ewaluacja mid-term dostarcza in- alnej modyfikacji;
formacji niezbędnych do opracowania ocena dotychczasowej skuteczności
bilansu połowy okresu oraz podziału i efektywności w stosunku do osią-
środków rezerwy wykonania. gniętych rezultatów oraz postępu
Ewaluacja ta skupia się przede w realizacji celów;
wszystkim na nakładach oraz produk- ocena zarządzania programem;
tach, a nie na wpływie prowadzonych ocena rzetelności systemu monito-
działań, dlatego też w dużej mierze bazu- rowania;
je na danych otrzymanych z systemu dostarczenie informacji do podjęcia
monitoringu. decyzji na temat rezerwy wykona-
nia.
3
Rozdziały od B.2.1 do B.2.4 zostały przygotowane na podstawie: Polskie Towarzystwo Ewaluacyjne, Ewa-
luacja funduszy strukturalnych, Warszawa 2003, str. 10-21
8
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
B.2.3 Ewaluacja on-going
B.2.3 Ewaluacja on-going
B.2.3 Ewaluacja on-going
B.2.3 Ewaluacja on-going
Ewaluacja on-going (ewaluacja bie- mem, diagnozuje i analizuje problemy
żąca) ma charakter uzupełniający dla pojawiające się w trakcie realizacji pro-
wymienionych powyżej rodzajów ewalu- gramu jak również określa możliwości
acji i może być realizowana przez cały ich rozwiązania. Dodatkowo, mogą być
okres wdrażania programu. Celem ewa- dokonywane pogłębione analizy uwa-
luacji jest uzupełnienie wyników pozo- runkowań kontekstowych, które mają
stałych rodzajów ewaluacji poprzez po- istotne znaczenie z punktu widzenia
głębioną ocenę, dokonywaną na pozio- osiągnięcia celów programu. Podsumo-
mie priorytetów, działań lub danych ob- wując, można powiedzieć, że ewaluacja
szarów tematycznych. Ewaluacja on- on-going służy bieżącemu usprawnianiu
going skupia siÄ™ na zarzÄ…dzaniu progra- zarzÄ…dzania programem.
B.2.4 Ewaluacja ex-post
B.2.4 Ewaluacja ex-post
B.2.4 Ewaluacja ex-post
B.2.4 Ewaluacja ex-post
Ewaluacja ex-post jest ewaluacją na wdrażanie programu, jego efekty oraz
podsumowującą, dokonywaną po zakoń- ich trwałość. Powinna również brać pod
czeniu realizacji programu. Zgodnie z uwagÄ™ identyfikacjÄ™ wystÄ…pienia nieza-
wytycznymi KE powinna być przepro- planowanych efektów Programu. Wyniki
wadzona nie póz
niej niż trzy lata po za- ewaluacji ex-post służą nie tylko kom-
kończeniu realizacji danego programu. pleksowemu podsumowaniu zakończo-
Głównym celem tej ewaluacji jest okre- nego programu lecz również powinny
ślenie oddziaływania programu oraz jego stanowić istotne z
ródło informacji w pla-
trwałości. Nie mniej jednak ważnym za- nowaniu kolejnych interwencji. Niejed-
daniem ewaluacji ex-post jest ocena sku- nokrotnie informacje niezbędne
teczności i efektywności danej interwen- do oceny rzeczywistego oddziaływania
cji oraz jej trafności i użyteczności. Istot- programu nie są dostępne przez wiele lat
ną rolę odgrywa odniesienie się do zało- po zakończeniu jego realizacji, należy
żonych w programie celów oraz ocena na zatem pamiętać, że w niektórych przy-
ile udało się je osiągnąć. Ewaluacja ex- padkach ewaluacja ex-post posiada ogra-
post powinna obejmować również pozy- niczoną zdolność do dostarczenia pełnej
tywne i negatywne czynniki wpływające oceny oddziaływania danej interwencji.
9
 PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Wykres nr 1 Ewaluacja ex-ante, mid-term i ex-post a wdrażanie programu
Wykres nr 1
Wykres nr 1
Wykres nr 1
EA MT EP
EA MT EP
EA MT EP
EWALUACJA
PROGRAM 1
PROGRAM 1 PROGRAM 2 PROGRAM 3
czas
EA - ewaluacja ex-ante MT - ewaluacja mid-term EP - ewaluacja ex-post
y
ródło: Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno-
gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, str. 22
B.2.5 Ewaluacje zewnętrzne i wewnętrzne
B.2.5 Ewaluacje zewnętrzne i wewnętrzne
B.2.5 Ewaluacje zewnętrzne i wewnętrzne
B.2.5 Ewaluacje zewnętrzne i wewnętrzne
W zależności od celów oraz wymo- żanie programu i jest to ewaluacja we-
gów danego badania, wykonanie ewalu- wnętrzna.
acji może zostać zlecone niezależnej in-
stytucji, wówczas mamy do czynienia z W poniższej tabeli przedstawiono
tzw. ewaluacją zewnętrzną, lub może główne korzyści oraz ograniczenia wyni-
zostać przeprowadzone przez pracowni- kające z prowadzenia ewaluacji ze-
ków instytucji zaangażowanej we wdra- wnętrznych i wewnętrznych.
10
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Tabela 1
Tabela 1 Korzyści i ograniczenia ewaluacji zewnętrznej i wewnętrznej
Tabela 1
Tabela 1
Główne zalety Główne wady
Główne zalety Główne wady
Główne zalety Główne wady
Główne zalety Główne wady
niezależność opinii i sądów brak dogłębnej znajomości specyfiki pro-
profesjonalizm gramu oraz instytucji zaangażowanych w
konkurencja rynkowa powoduje, że jego realizację
można otrzymać dobry produkt za roz- możliwość formułowania nieadekwat-
sądną cenę nych wniosków i rekomendacji
koszty wyższe niż w przypadku ewaluacji
wewnętrznej
dogłębna znajomość specyfiki progra- możliwe zarzuty braku obiektywizmu;
mu oraz instytucji zaangażowanych w możliwy brak personelu dysponującymi
jego realizację odpowiednimi umiejętnościami.
możliwość skupienia się wyłącznie na
istotnych zagadnieniach, pomijajÄ…c
mniej ważne;
możliwy profesjonalizm;
koszty dużo niższe niż w przypadku
ewaluacji zewnętrznych.
y
ródło: Polskie Towarzystwo Ewaluacyjne, Ewaluacja Funduszy Strukturalnych, Warszawa 2003, str. 9
Biorąc pod uwagę konieczność
ograniczenia zagrożeń, jakie wynikają z Ponadto, cały proces ewaluacji (ze-
realizowania ewaluacji wewnętrznych, wnętrznych jak również wewnętrznych),
WWPE w swojej strukturze organizacyj- poczÄ…wszy od momentu planowania
nej wydzieliła Zespół ds. Ewaluacji i ewaluacji a skończywszy na odbiorze
Promocji, który jest odpowiedzialny za raportu ewaluacyjnego, jest realizowany
koordynację oraz prowadzenie badań w sposób umożliwiający rzetelne udo-
ewaluacyjnych, a jednocześnie jest nieza- kumentowanie każdego etapu. Szczegó-
leżny od zespołów merytorycznych, któ- łowe procedury zostały opisane w Roz-
re są odpowiedzialne za wdrażanie ewa- działach E i F.
luowanych projektów / programów.
B.3 Kryteria ewaluacyjne
B.3 Kryteria ewaluacyjne
B.3 Kryteria ewaluacyjne
B.3 Kryteria ewaluacyjne
Kryteria ewaluacji są krótko mówiąc leży podkreślić, że każde zdarzenie może
standardami, według których dokonuje być ocenione skrajnie inaczej, jeśli za
się oceny danego programu. Powinny kryterium oceny zostanie przyjęta inna
być sformułowane jasno i precyzyjnie, wartość. Dlatego wybór kryteriów, które
ponieważ stanowią system wartości, do będą podstawą oceny ewaluowanego
którego ewaluator odwołuje się na każ- programu, wymaga ścisłej współpracy
dym etapie badania, wskazujÄ…c to, co jest ewaluatora z zamawiajÄ…cym4.
najistotniejsze z punku widzenia istoty
4
Programu oraz jego celów i efektów. Na- Polskie Towarzystwo Ewaluacyjne, Ewaluacja
Funduszy Strukturalnych, Warszawa 2003, str. 37
11
Ewaluacja
Ewaluacja
Ewaluacja
Ewaluacja
zewnętrzna
zewnętrzna
zewnętrzna
zewnętrzna
Ewaluacja
Ewaluacja
Ewaluacja
Ewaluacja
wewnętrzna
wewnętrzna
wewnętrzna
wewnętrzna
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Najczęściej stosowane kryteria ewaluacyjne to5:
Najczęściej stosowane kryteria ewaluacyjne to5:
Najczęściej stosowane kryteria ewaluacyjne to5:
Najczęściej stosowane kryteria ewaluacyjne to5:
Trafność (ang. relevance)
Trafność (ang. relevance)
Trafność (ang. relevance)
Trafność (ang. relevance)
Kryterium to pozwala ocenić w ja- sowania kryterium trafności wnioski
kim stopniu cele programu odpowiadają wpływają na podjęcie decyzji o kontynu-
potrzebom i priorytetom danego sektora owaniu, modyfikacji lub całkowitym
lub regionu. Ustalone w wyniku zasto- wstrzymaniu projektu/programu.
Efektywność (ang. efficiency)
Efektywność (ang. efficiency)
Efektywność (ang. efficiency)
Efektywność (ang. efficiency)
Kryterium efektywności pozwala osiągnięcia zbliżonych efektów przy wy-
ocenić tzw.  ekonomiczność danego korzystaniu mniejszych zasobów oraz
projektu / programu, czyli stosunek po- zwiększaniu efektów przy zastosowaniu
niesionych nakładów (zasobów finanso- porównywalnych zasobów. Kryterium
wych, ludzkich, poświęcony czas) do ma również zastosowanie przy porów-
uzyskanych produktów, rezultatów oraz nywaniu ewaluowanego projek-
oddziaływania. Kryterium efektywności tu/programu z podobnymi projekta-
stosowane jest przy analizach możliwości mi/programami w danym sektorze.
Skuteczność (ang. effectiveness)
Skuteczność (ang. effectiveness)
Skuteczność (ang. effectiveness)
Skuteczność (ang. effectiveness)
Kryterium skuteczności pozwala celów ogólnych do operacyjnych, należy
ocenić, do jakiego stopnia cele projek- jasno doprecyzować, do którego poziomu
tu/programu zdefiniowane na etapie pro- celów będziemy się odwoływać. Należy
gramowania zostały osiągnięte. Z uwagi również wziąć pod uwagę, nie tylko po-
na fakt, że cele projektu/programu for- zytywne efekty programu, ale również
mułowane są na kilku poziomach, od ewentualne efekty negatywne.
Użyteczność (ang. utility)
Użyteczność (ang. utility)
Użyteczność (ang. utility)
Użyteczność (ang. utility)
Kryterium to pozwala ocenić, do ja- neficjentów. Należy wziąć pod uwagę
kiego stopnia oddziaływanie projek- różnice interesów osób zaangażowanych
tu/programu odpowiada potrzebom gru- w przedsięwzięcie. To co ocenimy jako
py docelowej. Dzięki zastosowaniu tego użyteczne dla jednej grupy, może nie być
kryterium można ocenić, czy zmiany użytecznym z punktu widzenia innej
wywołane realizacją projektu/programu grupy.
sÄ… korzystne z punktu widzenia jego be-
5
Polskie Towarzystwo Ewaluacyjne, Ewaluacja Funduszy Strukturalnych, Warszawa 2003, s. 37-40
12
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Trwałość (ang. sustainability)
Trwałość (ang. sustainability)
Trwałość (ang. sustainability)
Trwałość (ang. sustainability)
Kryterium trwałości pozwala ocenić spektywie czasowej. Kryterium trwałości
czy uprzednio zaplanowane pozytywne stosowane jest w ewaluacjach ex-post,
efekty projektu/programu będą nadal ponieważ pozwala ocenić na ile zmiany
widoczne po zakończeniu jego realizacji. wywołane oddziaływaniem projek-
Kryterium to ma zastosowanie przy oce- tu/programu są faktycznie trwałe i wi-
nie wartości projektu/programu w kate- doczne po zakończeniu wsparcia finan-
gorii jego użyteczności, w dłuższej per- sowego.
Tabela 2
Tabela 2 Dobór poszczególnych kryteriów w zależności od rodzaju ewaluacji
Tabela 2
Tabela 2
Kryteria ewalu- Ewaluacja mid-
Kryteria ewalu- Ewaluacja mid-
Kryteria ewalu- Ewaluacja mid-
Kryteria ewalu- Ewaluacja mid-
Ewaluacja ex-ante Ewaluacja ex-post
Ewaluacja ex-ante Ewaluacja ex-post
Ewaluacja ex-ante Ewaluacja ex-post
Ewaluacja ex-ante Ewaluacja ex-post
acyjne term/on-going/interim
acyjne term/on-going/interim
acyjne term/on-going/interim
acyjne term/on-going/interim
Trafność Tak Tak Nie
Trafność Tak Tak
Trafność Tak Tak
Trafność Tak Tak
Skuteczność Tak Tak* Tak
Skuteczność Tak Tak* Tak
Skuteczność Tak Tak* Tak
Skuteczność Tak Tak* Tak
Efektywność Tak Tak* Tak
Efektywność Tak Tak* Tak
Efektywność Tak Tak* Tak
Efektywność Tak Tak* Tak
Trwałość Nie Nie Tak
Trwałość Tak
Trwałość Tak
Trwałość Tak
Użyteczność Nie Nie Tak
Użyteczność Tak
Użyteczność Tak
Użyteczność Tak
* w odniesieniu do etapu wdrażania i wstępnych efektów
y
ródło: European Commission, Evaluating Eu Activities, A Practical Guide For Thecommission Services,
Lipiec 2004, http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
Powyższa lista kryteriów ewalu- kryteriami, które będą adekwatne do
acyjnych, nie jest listą zamkniętą i może danego badania.
być uzupełniona innymi, szczegółowymi
B.4 Różnice pomiędzy ewaluacją, monitoringiem i kontrolą
B.4 Różnice pomiędzy ewaluacją, monitoringiem i kontrolą
B.4 Różnice pomiędzy ewaluacją, monitoringiem i kontrolą
B.4 Różnice pomiędzy ewaluacją, monitoringiem i kontrolą
Wymienione powyżej terminy są metodologii prowadzenia ewalu-
dosyć często ze sobą mylone. Z tego acji, monitoringu i kontroli;
względu przedstawiamy główne różnice wpływu podmiotu zarządzającego
pomiędzy nimi. Różnice te wynikają z na przedmiot i zakres ewaluacji,
następujących aspektów: monitoringu i kontroli;
przedmiotu zainteresowań ewalu- terminu prowadzenia kontroli,
atorów, osób zajmujących się mo- monitoringu oraz ewaluacji w ra-
nitoringiem oraz kontrolerów; mach cyklu zarządzania progra-
charakteru ewaluacji, monitoringu mem.
i kontroli;
zakresu działań;
13
 PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
W poniższej tabeli przedstawiono acją, monitoringiem i kontrolą.
podstawowe różnice pomiędzy ewalu-
Tabela 3 Różnice pomiędzy ewaluacją, monitoringiem a kontrolą
Tabela 3
Tabela 3
Tabela 3
Różnice Ewaluacja Monitoring Kontrola
Różnice Ewaluacja Monitoring Kontrola
Różnice Ewaluacja Monitoring Kontrola
Różnice Ewaluacja Monitoring Kontrola
Zgodność wdrażanych dzia- Wdrażanie programu pod
Przedmiot zaintere- DÅ‚ugookresowe efekty pro-
Przedmiot zaintere-
Przedmiot zaintere-
Przedmiot zaintere-
łań z dokumentami progra- kątem kryterium legalno-
gramu
sowań
sowań
sowań
sowań
mowymi ści
Identyfikowanie czynni- Wykrywanie nieprawi-
Bieżące wykrywanie poten-
ków, które przyczyniają się dłowości w trakcie pro-
Charakter cjalnych nieprawidłowości
Charakter
Charakter
Charakter
do istniejących efektów wadzonej kontroli (ad
oraz ich eliminowanie
programu hoc)
Cały program lub wybrane Cały program w aspekcie Najczęściej wycinek da-
Zakres działania
Zakres działania
Zakres działania
Zakres działania
zagadnienia finansowym i rzeczowym nego programu
Za każdym razem dostoso- Standardowa (np. sprawoz-
wywana do specyfiki pro- dania, wizyty na miejscy Powszechnie znane stan-
Metodologia
Metodologia
Metodologia
Metodologia
gramu będącego przedmio- realizacji projektów, działal- dardy i kryteria
tem ewaluacji ność KM)
Wpływ podmiotu
Wpływ podmiotu
Wpływ podmiotu
Wpływ podmiotu
Kształt i zakres są całko-
Zależy od instytucji zlecają- Zależy od Instytucji Zarzą-
zarządzającego na wicie niezależne od kon-
zarzÄ…dzajÄ…cego na
zarzÄ…dzajÄ…cego na
zarzÄ…dzajÄ…cego na
cej ewaluacjÄ™ dzajÄ…cej
trolowanej instytucji
przedmiot i zakres
przedmiot i zakres
przedmiot i zakres
przedmiot i zakres
Przed rozpoczęciem reali-
Cały okres realizacji progra-
zacji programu, w trakcie
mu, ale może być również W trakcie i po zakończe-
Terminy
Terminy realizacji programu, po
Terminy
Terminy
jakiś czas po zakończeniu niu realizacji programu
zakończeniu realizacji pro-
realizacji
gramu
y
ródło: Opracowane na podstawie - Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów o cha-
rakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002,
str. 15-17
14
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Wykres 2. Ewaluacja, monitoring oraz kontrola programu - różnice w terminach realizacji
Wykres 2
Wykres 2
Wykres 2
EWALUACJA, MONITORING, KONTROLA
WDRAZANIE PROGRAMU
PROGRAM
KONTROLA KONTROLA KONTROLA
MONITOROWANIE PROGRAMU
EWALUACJA EWALUACJA
EWALUACJA
EWALUACJA
EX ANTE EX POST
MID-TERM
czas
y
ródło: Tomasz Kierzkowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno-
gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, str. 17
15
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE
C. FAZY REALIZACJI BADANIA EWALUACYJNEGO ORAZ PODSTAWOWE
METODY ZBIERANIA, ANALIZY I OCENY DANYCH
METODY ZBIERANIA, ANALIZY I OCENY DANYCH
METODY ZBIERANIA, ANALIZY I OCENY DANYCH
METODY ZBIERANIA, ANALIZY I OCENY DANYCH
C.1 Poszczególne fazy realizacji badania6
C.1 Poszczególne fazy realizacji badania6
C.1 Poszczególne fazy realizacji badania6
C.1 Poszczególne fazy realizacji badania6
Proces prowadzenia ewaluacji można podzielić na cztery podstawowe etapy i są to:
strukturyzacja;
obserwacja;
analiza;
ocena.
Celem strukturyzacji jest doprecy- oraz ustalenie harmonogramu pracy
Celem strukturyzacji
Celem strukturyzacji
Celem strukturyzacji
zowanie przedmiotu badań oraz kryte- zespołu badawczego. Zespół ewaluato-
riów i pytań ewaluacyjnych. Niezbęd- rów przygotowuje tzw. raport wstępny,
nym elementem fazy strukturyzacji jest który precyzuje szczegółowy plan pra-
wybór stosownych narzędzi, które są cy oraz wszystkie ww. kwestie.
wykorzystywane w fazie obserwacji
Celem obserwacji jest zebranie trakcie prowadzenia badania, natomiast
Celem obserwacji
Celem obserwacji
Celem obserwacji
pierwotnych i wtórnych danych, które dane wtórne to informacje pozyskane
zostaną następnie poddane szczegółowej np. z sytemu monitoringu lub doku-
analizie. Dane pierwotne to informacje mentów programowych.
zebrane przez zespół ewaluacyjny w
Celem analizy jest interpretacja ze- prac jest określenie efektów projek-
Celem analizy
Celem analizy
Celem analizy
branych danych przy wykorzystaniu tów/programu.
odpowiednich technik. Wynikiem tych
Celem ostatniej fazy jest ocena efek- acyjnych) oraz sformułowanie syntetycz-
Celem ocena
Celem ocena
Celem ocena
tów programu w stosunku do uprzednio nych wniosków i rekomendacji.
określonych kryteriów (pytań ewalu-
Każdy z wyżej wymienionych eta- bardzo dobrej znajomości przedmiotu
pów badania ewaluacyjnego realizowany ewaluacji, ale zależy również od takich
jest za pomocą innych metod oraz narzę- czynników jak dostępność danych czy
dzi badawczych. wielkość budżetu na realizację zadania.
Dobór metody zależy nie tylko od W fazie strukturyzacji najczęściej
etapu procesu ewaluacyjnego, ale rów- stosowanymi metodami są: analiza
nież od rodzaju prowadzonej ewaluacji. SWOT, matryca logiczna, metaplan oraz
Wybór narzędzi badawczych wymaga mapa oddziaływania.
6
Zapisy rozdziału C.1 zostały przygotowane na podstawie Tomasz Kierzkowski, Ocena (ewaluacja) progra-
mów i projektów o charakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Euro-
pejskiej, Warszawa 2002, str. 4 i 52-53
16
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
W fazie obserwacji stosowane sÄ…
wywiady, kwestionariusze, zognisko- W fazie oceniania ewaluatorzy wy-
wane wywiady grupowe, studia przy- korzystujÄ… takie metody jak panele eks-
padków, obserwacje uczestniczące, do- pertów, analizy wielokryteriowe, bench-
datkowo wykorzystuje się również dane marking, analizę kosztów i korzyści czy
otrzymywane w procesie monitorowania. analizę kosztów i efektywności).
W fazie analizowania zebranych Poniżej przedstawiono przebieg
danych wykorzystywane sÄ… takie techni- procesu ewaluacji w podziale na poszcze-
ki jak grupy porównawcze, modele ma- gólne fazy badania.
kroekonomiczne oraz metody statystycz-
ne.
C.2 Metody zbierania danych7
C.2 Metody zbierania danych
C.2 Metody zbierania danych
C.2 Metody zbierania danych
Analiza dokumentów
Analiza dokumentów
Analiza dokumentów
Analiza dokumentów
Obejmuje wszelkiego rodzaju do- za dokumentów powinna być stoso-
kumenty, np. dokumenty programowe, wana na wstępnym etapie badań jako
sprawozdania, raporty z monitoringu lub element wspomagajÄ…cy przygotowanie
raporty z innych badań. Analiza doku- dalszych badań. Zaletą tej metody ba-
mentów dostarcza ewaluatorowi in- dawczej jest możliwość łatwego sko-
formacji na temat badanego programu, rzystania z dostępnej dokumentacji.
pozwala poznać jego założenia. Anali-
Wywiady indywidualne
Wywiady indywidualne
Wywiady indywidualne
Wywiady indywidualne
Wywiady indywidualne umożliwia- ustrukturyzowane pozwalają na zwięk-
ją zebranie opinii różnych osób zaanga- szenia porównywalności uzyskanych
żowanych we wdrażanie badanego pro- odpowiedzi. Metoda ta pozwala respon-
jektu/programu. Wywiady mogą mieć dentowi poruszenia tematów, które są
różne formy, np. nieformalna rozmowa, ważnych z jego punktu widzenia. Słabą
wywiad lub wywiad ustrukturyzowany stronÄ… tej metody sÄ… wysokie koszty oraz
prowadzony przy użyciu opracowanej czasochłonność realizacji, dlatego też
listy pytań, które są zadawane w takiej przy użyciu wywiadów indywidualnych
samej formie oraz w takiej samej kolejno- można efektywnie przebadać niewielką
ści wszystkim respondentom. Wywiady ilość respondentów.
7
Zapisy rozdziału C.2 zostały przygotowane na podstawie Ewaluacja  kwestie ogólne, Podstawowe metody
badań ewaluacyjnych, Agnieszka Rudolf, projekt współfinansowany ze środków UE w ramach POPT,
str. 7-9
17
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Kwestionariusze
Kwestionariusze
Kwestionariusze
Kwestionariusze
Metoda ta wymaga przygotowania dy jest jej niewielka elastyczność, która
listy pytań, które są w większości przy- może spowodować pominięcie istotnych
padków zamknięte. Respondenci odpo- kwestii dotyczących programu będącego
wiadając dokonują wyboru spośród do- przedmiotem ewaluacji, jeśli w ankiecie
stępnych odpowiedzi. Pytania powinny nie znajdą się pytania, które mogą ich
być precyzyjne i jednoznaczne. Ankiety dotyczyć. Zaletą tej metody jest nato-
mogą być dostarczane do respondentów miast możliwość objęcia badaniem
drogą pocztową, elektroniczną, mogą być znacznie większej grupy respondentów
również realizowane telefonicznie lub w niż w przypadku wywiadu indywidual-
trakcie spotkania. SÅ‚aba stronÄ… tej meto- nego.
Zogniskowane wywiady grupowe (grupy fokusowe)
Zogniskowane wywiady grupowe (grupy fokusowe)
Zogniskowane wywiady grupowe (grupy fokusowe)
Zogniskowane wywiady grupowe (grupy fokusowe)
Zogniskowane wywiadów grupo- mu w celu wzajemnej dyskusji oraz kon-
wych majÄ… formÄ™ ustrukturyzowanej frontacji opinii. Technika ta jest szcze-
dyskusji prowadzonej przez moderatora. gólnie użyteczna do analizy zagadnień i
Metoda ta umożliwia zebranie w jednym obszarów, w których występują odmien-
miejscu reprezentantów różnych grup ne opinie i które wymagają szczegółowe-
zaangażowanych we wdrażanie progra- go poznania.
Obserwacja
Obserwacja
Obserwacja
Obserwacja
Ewaluatorzy zbierają dane poprzez może w ten sposób osobiście przekonać
udział w działaniach realizowanych w się, jak dany program funkcjonuje. Ob-
trakcie realizacji programu (np. udział w serwacja pozwala ewaluatorowi wyjść
posiedzeniach Komitetów Monitorują- poza wybiórcze spostrzeżenia innych
cych), co daje możliwość lepszego zro- osób, co nie jest możliwe przy zastoso-
zumienia kontekstu programu. Ewaluator waniu ankiet i wywiadów.
C.3 Metody analizy danych8
C.3 Metody analizy danych8
C.3 Metody analizy danych8
C.3 Metody analizy danych8
Analiza danych ilościowych
Analiza danych ilościowych
Analiza danych ilościowych
Analiza danych ilościowych
Dane o charakterze ilościowym do- oraz określania poziomu zależności, jakie
tyczą informacji liczbowych. Wykorzy- występują pomiędzy różnymi zmienny-
stywane są do poznania rozkładów czę- mi. Dane ilościowe podlegają analizie
stości występowania badanego zjawiska statystycznej.
8
Zapisy rozdziału C.3 zostały przygotowane na podstawie Ewaluacja  kwestie ogólne, Podstawowe metody
badań ewaluacyjnych, projekt współfinansowany ze środków UE w ramach POPT, str 9-10
18
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Analiza danych jakościowych
Analiza danych jakościowych
Analiza danych jakościowych
Analiza danych jakościowych
Dane jakościowe nie są wyrażone w ściowe są najczęściej niezbędne dla wła-
liczbach i dotyczą opisu, poznania i zro- ściwej interpretacji informacji liczbo-
zumienia badanych zjawisk. Dane jako- wych.
C.4 Metody oceny danych9
C.4 Metody oceny danych9
C.4 Metody oceny danych9
C.4 Metody oceny danych9
Panel ekspertów
Panel ekspertów
Panel ekspertów
Panel ekspertów
Panel ekspertów jest najczęściej sto- oparciu o przedłożone dokumenty oraz
sowaną metodą oceniania efektów dane- dane oceniają efekty programu w kontek-
go programu. Polega na wykorzystaniu ście określonego kryterium ewaluacyjne-
wiedzy niezależnych specjalistów w go.
dziedzinie objętej badaniem. Eksperci w
Benchmarking
Benchmarking
Benchmarking
Benchmarking
Benchmarking jest ocenianiem efek- badanego programu. Następnie w podob-
tów danego programu poprzez porówna- nych programach wyszukuje się rozwią-
nie ich z efektami podobnych progra- zań, które mogą podnieść jakość badane-
mów, które zostały uznane za dobry go programu. Benchmarking jest wyko-
przykład. W trakcie procesu porównania rzystywany przede wszystkim w ewalu-
identyfikowane są silne i słabe strony acji ex-post.
Analiza SWOT
Analiza SWOT
Analiza SWOT
Analiza SWOT
Analiza SWOT to analiza silnych jÄ… skonfrontowane z czynnikami ze-
(strenghts) i słabych (weaknesses) stron wnętrznymi, które pozostają poza kon-
danego przedsięwzięcia oraz szans trolą osób odpowiedzialnych za realizację
(opportunities) i zagrożeń (threats), jakie programu, a które w pozytywny (szanse)
wynikają z czynników zewnętrznych. lub negatywny sposób (zagrożenia) mogą
Silne i słabe strony przedsięwzięcia zosta- wpływać na wdrażanie programu.
Analiza kosztów i korzyści (cost-benefit analysis)
Analiza kosztów i korzyści (cost-benefit analysis)
Analiza kosztów i korzyści (cost-benefit analysis)
Analiza kosztów i korzyści (cost-benefit analysis)
Metoda ta pozwala stwierdzić w ja- tość finansową, w perspektywie intere-
kim stopniu realizacja programu jest po- sów różnych grup społecznych. Jej pod-
żądana z punktu widzenia danej społecz- stawowym celem jest określenie poten-
ności. Analizuje pozytywne i negatywne cjalnych efektów kilku alternatywnych
efekty programu, przypisujÄ…c im ich war- koncepcji projektu i na tej podstawie wy-
9
Zapisy rozdziału C.4 zostały przygotowane na podstawie Ewaluacja  kwestie ogólne, Podstawowe metody
badań ewaluacyjnych, projekt współfinansowany ze środków UE w ramach POPT, str. 10-11
19
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
bór wersji najkorzystniejszej. Metoda ante.
charakterystyczna jest dla ewaluacji ex-
Analiza kosztów i efektywności (cost-effectiveness analysis)
Analiza kosztów i efektywności (cost-effectiveness analysis)
Analiza kosztów i efektywności (cost-effectiveness analysis)
Analiza kosztów i efektywności (cost-effectiveness analysis)
Metoda ta polega na porównaniu budżetu zaangażowanego w ich osiągnię-
uzyskanych efektów netto programu z cie. Metoda ta wykorzystywana jest
wielkością zaangażowanych środków przede wszystkim na etapie ewaluacji ex-
finansowych. Wyniki uzyskuje siÄ™ po- post.
przez odniesienie efektów programu do
Modele ekonometryczne (makro i mikroekonomiczne)
Modele ekonometryczne (makro i mikroekonomiczne)
Modele ekonometryczne (makro i mikroekonomiczne)
Modele ekonometryczne (makro i mikroekonomiczne)
Modele mikroekonomiczne badajÄ… darki. PrzedstawiajÄ… funkcjonowanie
zachowania gospodarstw domowych oraz gospodarki w stanie równowagi oraz po-
przedsiębiorstw w specyficznych gałę- równują dwa scenariusze  uwzględniają-
ziach działalności. Modele makroekono- cy daną interwencję oraz jej nie
miczne służą oszacowaniu wpływu danej uwzględniający.
interwencji na funkcjonowanie gospo-
C.5 Metody badawcze stosowane w zależności od charakterystyki badania ewaluacji
C.5 Metody badawcze stosowane w zależności od charakterystyki badania ewaluacji
C.5 Metody badawcze stosowane w zależności od charakterystyki badania ewaluacji
C.5 Metody badawcze stosowane w zależności od charakterystyki badania ewaluacji
Tabela 4
Tabela 4 Metody badawcze stosowane w zależności od charakterystyki badania
Tabela 4
Tabela 4
Charakterystyka badania Polecane metody
Charakterystyka badania Polecane metody
Charakterystyka badania Polecane metody
Charakterystyka badania Polecane metody
Analiza danych pierwotnych
Krótki czas badania i mały budżet
Wywiady indywidualne
Grupowe fokusowe
Średni czas trwania badania i średni bu- Studia przypadków
Badania ankietowe
dżet
Panel ekspertów
Modele ekonometryczne
Długi czas badania i znaczny budżet
Analiza kosztów i korzyści
Analiza efektywności kosztowej
y
ródło: European Commission, Evaluating Eu Activities, A Practical Guide For The Commission Services,
Lipiec 2004, http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
20
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
C.6 Metody badawcze stosowane w poszczególnych fazach procesu ewaluacyjnego
C.6 Metody badawcze stosowane w poszczególnych fazach procesu ewaluacyjnego
C.6 Metody badawcze stosowane w poszczególnych fazach procesu ewaluacyjnego
C.6 Metody badawcze stosowane w poszczególnych fazach procesu ewaluacyjnego
interim, mid-term, on-going,
ex-ante
Ewaluacja
ex-post
Strukturyz Obserwa Analiza Ocena Struktur Obserwa Analiza Ocena
Metody
acja cja yzacja cja
Analiza logiki interwencji
Analiza SWOT
Ankiety
Wywiady indywidualne
Grupy fokusowe
Studia przypadków
Grupy porównawcze
Modele ekonometryczne
Panele ekspertów
Analiza kosztów i korzyści
Analiza wielokryteriowa
y
ródło: European Commission, Evaluating Eu Activities, A Practical Guide For The Commission Services,
Lipiec 2004, http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
21
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ
D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ
D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ
D. WYTYCZNE DLA EWALUACJI PROGRAMÓW ZARZ
DZANYCH PRZEZ
WA
ADZ
WDRAŻAJ
C
 INFORMACJE OGÓLNE
WA
ADZ
WDRAŻAJ
C
 INFORMACJE OGÓLNE
WA
ADZ
WDRAŻAJ
C
 INFORMACJE OGÓLNE
WA
ADZ
WDRAŻAJ
C
 INFORMACJE OGÓLNE
Standardowy proces ewaluacyjny umowy oraz dokonać wyboru odpowied-
składa się z kilku etapów. Rozpoczyna się niego wykonawcy. Po zrealizowaniu ww.
w momencie podjęcia decyzji o przepro- etapów, zespół badawczy przystępuje do
wadzeniu oceny. Kolejnym krokiem jest przeprowadzenia badania. Cały proces
zaprojektowanie ewaluacji, czyli przygo- kończy się przyjęciem raportu oraz
towanie zakresu zadań i przedmiotu ba- wdrożeniem ewentualnych rekomenda-
dania. W przypadku ewaluacji zewnętrz- cji.
nych, należy również określić warunki
D.1 Przygotowanie rocznego planu ewaluacji programów zarządzanych
D.1 Przygotowanie rocznego planu ewaluacji programów zarządzanych
D.1 Przygotowanie rocznego planu ewaluacji programów zarządzanych
D.1 Przygotowanie rocznego planu ewaluacji programów zarządzanych
przez WWPE
przez WWPE
przez WWPE
przez WWPE
Władza Wdrażająca realizuje za- Ewaluacje programów zarządzanych
równo zewnętrzne jak również we- przez Władzę Wdrażającą realizowane są
wnętrzne badania ewaluacyjne. Realizo- w oparciu o  Roczny plan ewaluacji ,
wanie badań ewaluacyjnych wynika z który podlega zatwierdzeniu przez Dy-
faktu, że Władza Wdrażająca traktuje rektora WWPE.
ewaluacjÄ™ jako integralny element zarzÄ…-
dzania programami. W przypadku ewa- Celem przygotowania rocznego pla-
luacji zewnętrznych dodatkowym ele- nu ewaluacji jest koordynacja działań
mentem są również wytyczne Komisji Zespołu ds. Ewaluacji i Promocji. K-ZEP
Europejskiej, które precyzują wymogi przedkłada Dyrektorowi Władzy Wdra-
przeprowadzenia ewaluacji w odpowied- żającej roczny plan ewaluacji na dany rok
nich aktach prawnych. kalendarzowy, w terminie do 15 stycznia
każdego roku.
Wzór rocznego planu ewaluacji stanowi załącznik nr 1 do niniejszego podręcznika
Wzór rocznego planu ewaluacji załącznik nr 1
Wzór rocznego planu ewaluacji załącznik nr 1
Wzór rocznego planu ewaluacji załącznik nr 1
wytycznych.
D.2 Decyzja o podjęciu ewaluacji
D.2 Decyzja o podjęciu ewaluacji
D.2 Decyzja o podjęciu ewaluacji
D.2 Decyzja o podjęciu ewaluacji
Kierownik ZEP informuje pisemnie śnie ostateczną decyzją o rozpoczęciu
Dyrektora WWPE o planowanym rozpo- ewaluacji. Kopia ww. pisma, zatwierdzo-
częciu czynności związanych z realizacją nego przez Dyrektora WWPE, stanowi
danego badania ewaluacyjnego. Wyraże- część dokumentów roboczych danego
nie zgody Dyrektora WWPE na przystÄ…- badania ewaluacyjnego.
pienie do realizacji badania jest jednocze-
22
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
D.3 Powołanie Grupy Sterującej Ewaluacją
D.3 Powołanie Grupy Sterującej Ewaluacją
D.3 Powołanie Grupy Sterującej Ewaluacją
D.3 Powołanie Grupy Sterującej Ewaluacją
Mając na uwadze przyszłą użytecz- mu przyczyni się do prawidłowego zi-
ność wyników badania, w proces przygo- dentyfikowania kwestii, które powinny
towania zakresu zadań danej ewaluacji zostać poddane badaniom. Należy pod-
mogą być zaangażowani również inni kreślić, że zaangażowanie w proces ewa-
pracownicy WWPE, którzy są bezpo- luacji osób, które w większym stopniu
średnio związani z realizacją danego pro- identyfikują się z wynikami ewaluacji
gramu. zwiększa prawdopodobieństwo wdroże-
nia rekomendacji powstałych w wyniku
Na potrzeby realizacji danego bada- przeprowadzonego badania. Ponadto im
nia ZEP może powołać grupę robocza, większe będzie zaangażowanie członków
zwana grupą sterująca ewaluacją (GSE). GSE w proces ewaluacji, tym wyższa bę-
Wniesienie przez różne zespoły specy- dzie jakość badania oraz pełniejsze wy-
ficznej wiedzy na temat danego progra- pełnienie potrzeb i oczekiwań WWPE.
Zadania grupy sterujÄ…cej ewaluacjÄ…: wsparcie w wypracowaniu zasad
udział w formułowaniu zagadnień współpracy z ewaluatorami;
badawczych; ułatwienie ewaluatorom dostępu
udział w formułowaniu pytań ewa- do informacji potrzebnych do
luacyjnych; przeprowadzenia badań;
udział w formułowaniu warunków udział w weryfikacji raportu
kontraktu przy ewaluacjach ze- wstępnego;
wnętrznych; udział w weryfikacji raportu koń-
cowego.
23
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZO-
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZO-
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZO-
E. WYTYCZNE WA
ADZY WDRAŻAJ
CEJ DO PLANOWANIA I NADZO-
ROWANIA EWALUACJI ZEWN
TRZNYCH
ROWANIA EWALUACJI ZEWN
TRZNYCH
ROWANIA EWALUACJI ZEWN
TRZNYCH
ROWANIA EWALUACJI ZEWN
TRZNYCH
E.1 Projektowanie procesu ewaluacji zewnętrznej10
E.1 Projektowanie procesu ewaluacji zewnętrznej10
E.1 Projektowanie procesu ewaluacji zewnętrznej10
E.1 Projektowanie procesu ewaluacji zewnętrznej10
Pierwszym krokiem w planowaniu harmonogramu, wyznaczajÄ…cego
procesu ewaluacji jest: ramy czasowe badania.
określenie przedmiotu danej ewa-
luacji, wraz z krótkim opisem Następnym etapem jest sformuło-
ewaluowanego programu, wanie zakresu ewaluacji, który określi:
określenie celów ewaluacji, wraz główne obszary badawcze
z planowanym wykorzystaniem kluczowe pytania ewaluacyjne
wyników badania, kryteria ewaluacyjne
jej odbiorców,
Ostatnim etapem w planowaniu wymaganej metodologii,
ewaluacji jest przygotowanie warunków strukturze raportu ewaluacyjnego,
umowy, które informują o: zasadach postępowania konkur-
podstawie prawnej ewaluacji, sowego.
przedmiocie / celach / odbiorcach
/ harmonogramie / zakresie ewa-
luacji,
Wzór planu ewaluacji zewnętrznej załącznik nr 2 do niniejszego podręcznika.
planu ewaluacji zewnętrznej stanowi załącznik nr 2
planu ewaluacji zewnętrznej załącznik nr 2
planu ewaluacji zewnętrznej załącznik nr 2
Plan ewaluacji akceptowany jest przez Kierownika ZEP, a następnie przekazywany do
zatwierdzenia do Dyrektora WWPE wraz z pismem informujÄ…cym o planowanym rozpo-
częciu czynności związanych z realizacją badania. Podpisanie przez Dyrektora WWPE
ww. dokumentów jest zakończeniem etapu planowania ewaluacji i przystąpieniem do re-
alizacji zadania.
Poniżej przedstawiono schemat planowania procesu ewaluacji zewnętrznych dla projek-
tów wdrażanych przez WWPE.
10
Zaproponowany projekt procesu ewaluacji został przygotowany na podstawie analizy opracowania Pol-
skiego Towarzystwa Ewaluacyjnego, Ewaluacja funduszy strukturalnych, Warszawa 2003, str. 28-50
24
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Schemat 2 Planowanie procesu ewaluacji zewnętrznych dla projektów zarządzanych
Schemat 2
Schemat 2
Schemat 2
przez WWPE
DECYZJA O PODJ
CIU
EWALUACJI
PLANOWANIE EWALUACJI
Cele ewa- Odbiorcy Harmonogram Zakres ewa- Warunki
Przedmiot
luacji ewaluacji ewaluacji luacji umowy
ewaluacji
Obszary Podstawa praw-
badawcze na ewaluacji
Kluczowe Przedmiot / cele
pytania / odbiorcy / har-
monogram /
zakres ewaluacji
Kryteria
ewaluacyjne
Wymagana me-
todologia
Struktura raportu
ewaluacyjnego
Zasady postÄ™-
powania konkur-
sowego
WYBÓR WYKONAWCY
REALIZACJA EWALUACJI
ODBIÓR RAPORTU
WDROŻENIE REKOMENDACJI
y
ródło: Opracowanie własne
25
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
E.2 Przygotowanie warunków umowy
E.2 Przygotowanie warunków umowy
E.2 Przygotowanie warunków umowy
E.2 Przygotowanie warunków umowy
Za przygotowanie warunków kon- zakresu i przedmiotu oceny, jak również
traktu danej ewaluacji odpowiedzialny w stosunku do Wykonawcy badania.
jest Zespół ds. Ewaluacji i Promocji. Jest Precyzyjne warunki umowy gwarantują
to jeden z najważniejszych etapów proce- wyłonienie najlepszej oferty, a następnie
su ewaluacyjnego, ponieważ precyzuje efektywną współpracę pomiędzy zespo-
oczekiwania WWPE, w odniesieniu do Å‚em ewaluacyjnym a WWPE.
W związku z powyższym standar- teria oraz pytania ewaluacyjne 
dowy opis przedmiotu zamówienia po- należy umożliwić wykonawcy
winien zawierać : zaproponowanie dodatkowych
informacje na temat podstawy pytań),
prawnej ewaluacji, opis wymaganej metodologii
informacje o przedmiocie ewalu- zbierania danych (określa się
acji wraz z krótkim opisem ba- wymagane minimum z możli-
danego programu, wością zaproponowania przez
informacje na temat celów ewa- ewaluatorów dodatkowych me-
luacji, tod),
informacje na temat głównych opis wymaganej struktury rapor-
odbiorców ewaluacji i planowa- tu ewaluacyjnego,
nego sposobu wykorzystania jej zasady postępowania konkurso-
wyników, wego (informacje o zlecającym,
harmonogram głównych etapów zasady składania ofert, kryteria
badania (w tym: terminy rozpo- wyboru wykonawcy),
częcia i zakończenia badania, w przypadku stosowania PZP,
terminy przekazywania poszcze- Specyfikacja Istotnych Warun-
gólnych typów raportów - ra- ków Zamówienia, będzie zawie-
portu wstępnego, projektu ra- rała wszystkie pozostałe elemen-
portu końcowego, raportu koń- ty, które nie są wymienione po-
cowego), wyżej, natomiast są wymagane
zakres ewaluacji (w tym: główne ustawą.
obszary badawcze, główne kry-
E.3 Wybór wykonawcy i kryteria wyboru wykonawcy
E.3 Wybór wykonawcy i kryteria wyboru wykonawcy
E.3 Wybór wykonawcy i kryteria wyboru wykonawcy
E.3 Wybór wykonawcy i kryteria wyboru wykonawcy
WWPE dokonuje wyboru wyko- W trakcie prac nad wyłonieniem
nawcy danej ewaluacji na zasadach wykonawcy stosowane są wewnętrzne
przewidzianych w prawodawstwie doty- procedury WWPE, w tym zakresie.
czącym zamówień publicznych oraz w
Kodeksie Cywilnym. Ze względu na charakter ewaluacji,
kryteria oceny wykonawców, powinny
26
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
uwzględniać kilka elementów. Przede umieszczonej poniżej tabeli nr 6. Wybór
wszystkim, cena nie powinna stanowić kryteriów oceny ofert wraz z przypisa-
jedynego kryterium oceny. Dokonując niem im odpowiednich wag, będzie do-
wyboru oferty należy wziąć pod uwagę konywany osobno dla każdego badania
kwalifikacje oraz doświadczenie eksper- ewaluacyjnego, przy uwzględnieniu spe-
tów należących do zespołu ewaluatorów, cyfiki danej ewaluacji.
jak również kryteria przedstawione w
Tabela nr 6
Tabela nr 6 Kryteria wyboru wykonawcy
Tabela nr 6
Tabela nr 6
Kryteria oceny Kryteria wyboru wykonawcy
Zrozumienie zakresu zadań Zrozumienie celów i zadań
Metodologia Rzetelność projektu badania
Rzetelność technik zbierania danych
Rzetelność technik analizy danych
Zarządzanie projektem Przejrzystości celów i harmonogramu zadań
Odpowiedniość metod pracy
Odpowiedniość alokacji nakładów
Cena Koszty zwiÄ…zane z realizacjÄ… projektu (np. wynagrodzenia
ekspertów, koszty podróży, tłumaczeń)
y
ródło: European Commission, Evaluating Eu Activities, A Practical Guide For The Commission Services,
Lipiec 2004, http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
E.4 Monitorowanie postępów w realizacji badania ewaluacyjnego
E.4 Monitorowanie postępów w realizacji badania ewaluacyjnego
E.4 Monitorowanie postępów w realizacji badania ewaluacyjnego
E.4 Monitorowanie postępów w realizacji badania ewaluacyjnego
Po przystąpieniu ewaluatorów do Monitorowanie prawidłowości
pracy, rozpoczyna się etap nadzorowania przebiegu ewaluacji może przybierać
i monitorowania postępów w realizacji różne formy, np.:
poszczególnych etapów badania. W raport wstępny (przedstawiający
związku z powyższym, zadaniem ZEP harmonogram prac, poszczególne
jest między innymi nadzór nad prawi- etapy badania, metodologię oraz
dłowością przebiegu prac wykonywa- narzędzia badawcze). Raporty
nych przez ewaluatorów oraz weryfika- okresowe z przebiegu realizacji
cja ich zgodności z określonym w rapor- projektu;
cie wstępnym harmonogramem. stałe spotkania i kontakty robocze
ZEP z wykonawcÄ….
27
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
E.5 Format i struktura raportu ewaluacyjnego
E.5 Format i struktura raportu ewaluacyjnego
E.5 Format i struktura raportu ewaluacyjnego
E.5 Format i struktura raportu ewaluacyjnego
Jakość raportu ewaluacyjnego w de- posiadać przejrzystą i czytelną strukturę
cyduje o użyteczności i skuteczności oraz powinien być napisany prostym i
przeprowadzonego badania. Przede zrozumiałym językiem.
wszystkim raport ewaluacyjny powinien
E.5.1 Wytyczne dotyczÄ…ce formy raportu ewaluacyjnego
E.5.1 Wytyczne dotyczÄ…ce formy raportu ewaluacyjnego
E.5.1 Wytyczne dotyczÄ…ce formy raportu ewaluacyjnego
E.5.1 Wytyczne dotyczÄ…ce formy raportu ewaluacyjnego
1: Treść raportu ewaluacyjnego powinna odpowiadać celom badania, opierać się na rze-
1:
1:
1:
telnej analizie, spełniać kryteria określone w specyfikacji i mieścić się w wyznaczonych
ramach czasowych.
2: Raport ewaluacyjny powinien opisywać cele ewaluacji, jej kontekst, jak również zało-
2:
2:
2:
żenia, pytania ewaluacyjne, rezultaty oraz umotywowane rekomendacje, w taki sposób,
aby przekazać najważniejsze informacje w możliwie najbardziej zrozumiałej formie.
3: Raport powinien opisywać z
ródła informacji w sposób umożliwiający ocenę ich prawi-
3:
3:
3:
dłowości. Zebrane dane powinny być dostosowane do zastosowanej metodologii, powin-
ny być na tyle miarodajne, aby mogły być wykorzystane w przyszłości.
4: Założenia, na których oparta jest interpretacja wyników, powinny być wyraz
nie
4:
4:
4:
przedstawione i stosownie objaśnione. Wyniki powinny być logicznie ze sobą powiązane
i oparte o analizę danych oraz interpretację bazującą na umiejętnie przedstawionych hi-
potezach.
5: Końcowy raport ewaluacyjny powinien prezentować wyniki ewaluacji oraz wnioski
5:
5:
5:
ewaluatora, brzmienie raportu nie może być w jakikolwiek sposób zmienione bez zgody
ewaluatora.
6: Wnioski i rekomendacje powinny mieć rozstrzygający charakter i nie mogą odzwier-
6:
6:
6:
ciedlać jakichkolwiek osobistych lub stronniczych punktów widzenia. Rekomendacje
powinny być zrozumiałe, użyteczne, dające się zastosować i wystarczająco szczegółowe,
aby mogły być zastosowane.
y
ródło: EUROPEAN Commission, Evaluating Eu Activities, A Practical Guide For The Commission Ser-
vices, Lipiec 2004, http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
Elementy, które powinny znajdować się w raporcie ewaluacyjnym
Elementy, które powinny znajdować się w raporcie ewaluacyjnym
Elementy, które powinny znajdować się w raporcie ewaluacyjnym
Elementy, które powinny znajdować się w raporcie ewaluacyjnym
Przedmiot badania i kontekst ewaluacji  co było badane, w jakich okolicznościach
Procedura badawcza  koncepcja i projekt ewaluacji, stosowane metody badawcze
Wyniki badań  informacje o zebranych danych i ich interpretacji
Wnioski z ewaluacji  podsumowanie ewaluacji
Rekomendacje
y
ródło: Polskie Towarzystwo Ewaluacyjne, Ewaluacja funduszy strukturalnych, Warszawa 2003, str. 61
28
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
E.6 Odbiór zadania ewaluacyjnego
E.6 Odbiór zadania ewaluacyjnego
E.6 Odbiór zadania ewaluacyjnego
E.6 Odbiór zadania ewaluacyjnego
Raport końcowy przedkładany jest wszystkim członkom Grupy Sterującej Ewalu-
acją. Po zapoznaniu się z rezultatami prac ewaluatorów, ZEP akceptuje raport lub odrzuca
go w przypadku zidentyfikowania nieprawidłowości.
Decyzja o zaakceptowaniu lub odrzuceniu raportu powinna opierać się na następujących
kryteriach:11
Zaspokojenie potrzeb zamawiają- zamówienia. Zamawiający sprawdza,
Zaspokojenie potrzeb zamawiajÄ…-
Zaspokojenie potrzeb zamawiajÄ…-
Zaspokojenie potrzeb zamawiajÄ…-
cego: raport musi być zgodny z wyma- czy wszystkie zadania opisane w SIWZ
cego:
cego:
cego:
ganiami przedstawionymi w przedmiocie zostały uwzględnione w raporcie.
Odpowiedni zakres ewaluacji: za- danego programu. Należy sprawdzić,
Odpowiedni zakres ewaluacji:
Odpowiedni zakres ewaluacji:
Odpowiedni zakres ewaluacji:
mawiajÄ…cy sprawdza czy ewaluatorzy czy ewaluatorzy zapoznali siÄ™ z wszyst-
wzięli pod uwagę wszystkie istotne z kimi istotnymi dokumentami programo-
punktu widzenia pytań ewaluacyjnych wymi oraz czy we właściwy sposób zro-
czynniki, które maja wpływ na efekty zumieli cele i założenia programu.
Stosowność zastosowanych metod: pytań ewaluacyjnych oraz czy w raporcie
Stosowność zastosowanych metod:
Stosowność zastosowanych metod:
Stosowność zastosowanych metod:
należy sprawdzić czy zastosowana meto- zawarto opis zastosowanych metod ba-
dologia była adekwatna do postawionych dawczych.
Wiarygodność danych: W przy- godność, np. poprzez analizę metodolo-
Wiarygodność danych:
Wiarygodność danych:
Wiarygodność danych:
padku danych pochodzÄ…cych z systemu gii zastosowanej przez wykonawcÄ™ do
monitoringu, odpowiedzialność za ich pozyskania tych danych. Należy również
wiarygodność spoczywa przede wszyst- zweryfikować, czy dane wykorzystane
kim na WWPE. Jeżeli chodzi o dane przez ewaluatorów były stosowne do py-
pierwotne, ZEP sprawdza ich wiary- tań ewaluacyjnych.
Prawidłowość analizy danych: na- Można dokonać miedzy innymi weryfi-
Prawidłowość analizy danych:
Prawidłowość analizy danych:
Prawidłowość analizy danych:
leży zweryfikować czy analiza danych kacji prawidłowości zastosowanych in-
została dokonana we właściwy sposób i strumentów analitycznych lub ich od-
czy stanowi wystarczającą podstawą do powiedniości w stosunku do pytań ewa-
sformułowania wniosków, które zostały luacyjnych.
zawarte w raporcie ewaluacyjnym.
Wiarygodność rezultatów:
Wiarygodność rezultatów: zweryfi- ści rezultatów przedstawionych w ra-
Wiarygodność rezultatów:
Wiarygodność rezultatów:
kowanie wiarygodności danych oraz porcie ewaluacyjnym. Rezultaty muszą
prawidłowości analizy jest warunkiem w logiczny sposób wynikać z przepro-
niezbędnym do określenia wiarygodno- wadzonej analizy danych. Ewaluatorzy
11
Kryteria odbioru zadania ewaluacyjnego na podstawie: Tomasz Kierzkowski, Ocena (ewaluacja) progra-
mów i projektów o charakterze społeczno-gospodarczym w kontekście przystąpienia Polski do Unii Euro-
pejskiej, Warszawa 2002, str. 79-83
29
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
muszą udowodnić, że rezultaty są wiary- ścieżki dochodzenia do danych rezulta-
godne i oparte na solidnych podstawach tów.
metodologicznych poprzez wskazanie
Bezstronność wniosków: Wnioski o zastosowanie przez ewaluatorów od-
Bezstronność wniosków:
Bezstronność wniosków:
Bezstronność wniosków:
powinny wynikać z obiektywnej analizy powiednich do uwarunkowań programu
danych dotyczących danego programu, narzędzi ewaluacyjnych.
przy czym powinny powstać w oparciu
Formalna strona raportu: należy końcowego z wymaganiami określonymi
Formalna strona raportu:
Formalna strona raportu:
Formalna strona raportu:
sprawdzić zgodność struktury raportu w opisie przedmiotu zamówienia.
W przypadku zastrzeżeń do przedłożonego raportu, ZEP przygotowuje oraz przeka-
zuje ewaluatorom listę niezbędnych poprawek, które pozwolą na zaakceptowanie raportu
przez WWPE. W celu uniknięcia problemów z wyegzekwowaniem od wykonawcy nanie-
sienia w raporcie stosownych poprawek, odpowiednie klauzule regulujące sytuację, w któ-
rej raport ewaluacyjny nie spełnia kryteriów pozwalających na jego zaakceptowanie przez
WWPE, powinny być opisane w umowie z wykonawcą.
Raport końcowy podlega weryfikacji zgodnie z listą sprawdzającą do weryfikacji ra-
sprawdzajÄ…cÄ… do weryfikacji ra-
sprawdzajÄ…cÄ… do weryfikacji ra-
sprawdzajÄ…cÄ… do weryfikacji ra-
portu z ewaluacji zewnętrznej, stanowiącej załącznik nr 3
portu z ewaluacji zewnętrznej załącznik nr 3
portu z ewaluacji zewnętrznej załącznik nr 3 do niniejszego podręcznika.
portu z ewaluacji zewnętrznej załącznik nr 3
W przypadku podjęcia przez K-ZEP decyzji o zaakceptowaniu raportu, K-ZEP ak-
ceptuje raport końcowy poprzez podpisanie stosownej listy sprawdzającej, następnie raport
wraz z listą sprawdzającą przekazywany jest do zatwierdzenia do Dyrektora WWPE, który
zatwierdza ostatecznie raport końcowy poprzez podpisanie listy sprawdzającej.
E.7 Wykorzystanie wyników ewaluacji zewnętrznych
E.7 Wykorzystanie wyników ewaluacji zewnętrznych
E.7 Wykorzystanie wyników ewaluacji zewnętrznych
E.7 Wykorzystanie wyników ewaluacji zewnętrznych
Po otrzymaniu ostatecznej wersji stępne są na stronie internetowej WWPE
raportu końcowego WWPE przekazuje www.wwpe.gov.pl.
raport instytucjom zainteresowanym wy- Za monitorowanie wdrażania ewentual-
nikami badania. Aby udostępnić wyniki nych rekomendacji wynikających z prze-
ewaluacji jak najszerszemu gronu odbior- prowadzonej ewaluacji odpowiedzialny
ców, streszczenie lub całość raportu do- jest ZEP.
30
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, RE-
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, RE-
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, RE-
F. WYTYCZNE DO PROWADZENIA EWALUACJI WEWN
TRZNYCH, RE-
ALIZOWANYCH PRZEZ ZESPÓA
DS. EWALUACJI I PROMOCJI
ALIZOWANYCH PRZEZ ZESPÓA
DS. EWALUACJI I PROMOCJI
ALIZOWANYCH PRZEZ ZESPÓA
DS. EWALUACJI I PROMOCJI
ALIZOWANYCH PRZEZ ZESPÓA
DS. EWALUACJI I PROMOCJI
WWPE podjęła decyzję o realizo- wzmocnienie  systemu wczesnego
waniu wewnętrznych badań ewaluacyj- ostrzegania przed wystąpieniem ewentu-
nych, ze względu na rosnące znaczenie alnych nieprawidłowości we wdrażanych
ewaluacji we wspieraniu procesów wdra- projektach/programach.
żania programów finansowanych ze
środków Unii Europejskiej. WWPE trak- Zaletą prowadzenia wewnętrznych
tuje ewaluację wewnętrzną jako istotne ewaluacji jest dogłębna znajomość specy-
narzędzie wsparcia prawidłowej realizacji fiki instytucji oraz danego programu
wdrażanych programów. Informacje na przez pracowników Zespołu ds. Ewalu-
temat efektów programu na danym etapie acji i Promocji, co daje możliwość sku-
wdrażania oraz efektywności systemu pienia się wyłącznie na istotnych do zba-
implementacji i zarządzania wpływają na dania zagadnieniach. Ponadto koszty
podniesienie skuteczności oraz efektyw- wewnętrznych badań ewaluacyjnych są
ności działań realizowanych przez dużo niższe niż badania zlecane na ze-
WWPE. Ponadto, dzięki prowadzeniu wnątrz.
ewaluacji wewnętrznych, możliwe jest
Cele ewaluacji wewnętrznych: sygnalizowanie problemów poja-
wspomaganie procesu zarzÄ…dzania wiajÄ…cych siÄ™ w trakcie realizacji
projektami wdrażanymi przez projektów/programów;
WWPE; uzyskanie opinii beneficjentów na
podniesienie skuteczności i efek- temat oceny otrzymywanego
tywności działań prowadzonych wsparcia, oceny współpracy z
przez WWPE zwiÄ…zanych z reali- WWPE, na temat potrzeb w zakre-
zacją projektów/programów; sie wsparcia ze środków UE;
identyfikacja słabych i mocnych określenie stopnia zgodności reali-
stron działań realizowanych przez zowanych projektów z uprzednio
WWPE w ramach wdrażanych przyjętymi założeniami.
projektów/programów;
Pracownicy ZEP odpowiedzialni za cesu ewaluacyjnego. Poszczególne etapy
realizację badań ewaluacyjnych posiadają każdego badania ewaluacyjnego realizo-
odpowiednie kwalifikacje w tym zakre- wane są zgodnie z przyjętym dla danego
sie. badania planem, który określa między
ZEP zapewnia przygotowanie innymi zakres ewaluacji, jej cele, odbior-
obiektywnych wyników badań oraz ców, planowane wykorzystanie wyników
przejrzystość wszystkich realizowanych badań, kryteria ewaluacyjne, kluczowe
działań, poprzez odpowiednie dokumen- pytania oraz opis metodologii. Terminy
towanie wszystkich podjętych czynności realizacji najważniejszych etapów w re-
związanych z przebiegiem każdego pro-
31
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
alizacji Badania przedstawione sÄ… w har- wane przez ZEP prowadzone sÄ… w opar-
monogramie ewaluacji. ciu o następujące powszechnie stosowane
Ponadto, w celu zapewnienia wyso- zasady, które są uznawane za dobre prak-
kiej jakości prowadzonych badań, tyki w dziedzinie ewaluacji:
wszystkie badania wewnętrzne realizo-
Przydatność ewaluacji - rozumiana
Przydatność ewaluacji
Przydatność ewaluacji
Przydatność ewaluacji
jako jej użyteczność dla WWPE.
Wykonalność ewaluacji - uwzględ- finansowe realizacji badania czy dostęp-
Wykonalność ewaluacji
Wykonalność ewaluacji
Wykonalność ewaluacji
niająca ramy czasowe oraz wszelkiego ność z
ródeł informacji lub osób, które
rodzaju ograniczenia, takie jak aspekty mają udzielać informacji.
Etyczność realizacji badania - odnosi również do niezależności zespołu ba-
Etyczność realizacji badania
Etyczność realizacji badania
Etyczność realizacji badania
siÄ™ do sposobu pozyskiwania oraz wyko- dawczego.
rzystywania pozyskanych danych, jak
Poprawność metodologiczna
Poprawność metodologiczna - naka- i oceny. Zasada ta ma zapewnić wysoką
Poprawność metodologiczna
Poprawność metodologiczna
zująca realizację badania według jawnie jakość oraz wiarygodność uzyskanych
przyjętych zasad gromadzenia danych wyników badań.
oraz przyjętej metodologii wnioskowania
32
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
F.1 Planowanie procesu ewaluacji wewnętrznej w WWPE
F.1 Planowanie procesu ewaluacji wewnętrznej w WWPE
F.1 Planowanie procesu ewaluacji wewnętrznej w WWPE
F.1 Planowanie procesu ewaluacji wewnętrznej w WWPE
Proces planowania ewaluacji we- (szerzej w pkt. D2). Następnie ZEP przy-
wnętrznej, składa się z kilku podstawo- stępuje do przygotowania Planu Ewalu-
wych etapów. Pierwszym z nich jest pod- acji.
jęcie decyzji o realizacji danego badania
Plan ewaluacji wewnętrznej załącznik nr 4 do niniejszego podręcznika.
Plan ewaluacji wewnętrznej, stanowi załącznik nr 4
Plan ewaluacji wewnętrznej załącznik nr 4
Plan ewaluacji wewnętrznej załącznik nr 4
Plan ewaluacji określa:
Przedmiot ewaluacji (wraz z opisem ewaluowanego programu)
Cele ewaluacji (wraz z opisem planowanego wykorzystania wyników badania);
Odbiorców ewaluacji;
Zakres ewaluacji:
o główne obszary badawcze;
o kryteria ewaluacyjne;
o pytania ewaluacyjne;
o metodologia;
harmonogram ewaluacji.
Kolejnym elementem planowania sprawnÄ… realizacjÄ™. ZEP opracowuje
ewaluacji wewnętrznej jest opracowanie harmonogram ewaluacji z podziałem na jej
harmonogramu ewaluacji. Właściwe za- poszczególne etapy, uwzględniając czas, jaki
będzie konieczny do ich realizacji.
planowanie procesu ewaluacji we-
wnętrznej umożliwi jej skuteczną oraz
Harmonogram ewaluacji wewnętrz- zbieranie danych;
nej będzie określał terminy realizacji na- analiza i ocena danych
stępujących etapów: opracowanie wstępnej wersji ra-
przygotowanie zakresu badania; portu ewaluacyjnego;
utworzenie grupy sterującej ewalu- opracowanie raportu końcowego;
acjÄ…; zatwierdzenie raportu.
rozpoczęcie badania;
Harmonogram ewaluacji wewnętrznej
Harmonogram ewaluacji wewnętrznej
Harmonogram ewaluacji wewnętrznej, przygotowywany jest według wzoru stanowiącego
Harmonogram ewaluacji wewnętrznej
załącznik nr 5 do niniejszego podręcznika.
załącznik nr 5
załącznik nr 5
załącznik nr 5
Plan oraz harmonogram ewaluacji wewnętrznej akceptowane są przez Kierownika ZEP,
następnie dokumenty przekazywane są wraz z informacją na temat terminu rozpoczęcia
realizacji badania do zatwierdzenia do Dyrektora WWPE. Podpisanie przez Dyrektora
WWPE ww. dokumentów jest zakończeniem etapu planowania ewaluacji i przystąpie-
niem do realizacji zadania.
33
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Poniżej przedstawiono schemat planowania procesu ewaluacji wewnętrznych w WWPE.
Schemat 3 Planowanie procesu ewaluacji wewnętrznych w WWPE
Schemat 3
Schemat 3
Schemat 3
DECYZJA O PODJ
CIU
EWALUACJI
PLANOWANIE EWALUACJI
Harmonogram
Zakres ewaluacji
Przedmiot Cele ewalu- Odbiorcy
ewaluacji
ewaluacji acji ewaluacji
Główne obszary
badawcze
Kryteria ewaluacyj-
ne
Pytania ewaluacyjne
Metodologia
REALIZACJA EWALUACJI
ODBIÓR RAPORTU EWALUACYJNEGO
WDROŻENIE REKOMENDACJI
y
ródło: Opracowanie własne
34
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
F.2 Realizacja ewaluacji
F.2 Realizacja ewaluacji
F.2 Realizacja ewaluacji
F.2 Realizacja ewaluacji
Proces przeprowadzenia ewaluacji Każde badanie będzie podzielone na
wewnętrznych będzie odbywał się zgod- cztery podstawowe fazy:
nie z ogólnie obowiązującymi w tym za- strukturyzację;
kresie zasadami. obserwacjÄ™;
analizÄ™;
ocenÄ™.
Zakres zadań realizowanych w ramach wyżej wymienionych fazy badania ewaluacyj-
nego został szczegółowo opisany w rozdziale C.
F.3 Format raportu z ewaluacji wewnętrznej
F.3 Format raportu z ewaluacji wewnętrznej
F.3 Format raportu z ewaluacji wewnętrznej
F.3 Format raportu z ewaluacji wewnętrznej
Strukturę raportu ewaluacyjnego można podzielić na 3 podstawowe części:
Część wprowadzająca
Część wprowadzająca
Część wprowadzająca
Część wprowadzająca
strona tytułowa,
spis treści,
streszczenie raportu (zawierające najważniejsze wnioski oraz rekomendacje).
Właściwa część raportu
Właściwa część raportu
Właściwa część raportu
Właściwa część raportu
wyniki badań,
wnioski,
odpowiedzi na postawione pytania ewaluacyjne.
Część uzupełniająca
Część uzupełniająca
Część uzupełniająca
Część uzupełniająca
załączniki (np. wzory wywiadów, ankiet, kwestionariuszy);
lista wykorzystanych dokumentów.
F.4 Zatwierdzenie raportu z ewaluacji wewnętrznej
F.4 Zatwierdzenie raportu z ewaluacji wewnętrznej
F.4 Zatwierdzenie raportu z ewaluacji wewnętrznej
F.4 Zatwierdzenie raportu z ewaluacji wewnętrznej
Po przygotowaniu przez ZEP ra- Następnie raport przekazywany jest do
portu z ewaluacji wewnętrznej, raport zatwierdzenia do Dyrektora WWPE,
akceptowany jest przez kierownika ZEP który zatwierdza raport również po-
poprzez podpisanie listy sprawdzajÄ…cej. przez podpisanie listy sprawdzajÄ…cej.
Formularz zatwierdzenia raportu z ewaluacji wewnętrznej stanowi załącznik nr 6 do
Formularz zatwierdzenia raportu z ewaluacji wewnętrznej załącznik nr 6
Formularz zatwierdzenia raportu z ewaluacji wewnętrznej załącznik nr 6
Formularz zatwierdzenia raportu z ewaluacji wewnętrznej załącznik nr 6
niniejszego podręcznika wytycznych.
35
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
F.5 Wykorzystanie wyników ewaluacji wewnętrznych
F.5 Wykorzystanie wyników ewaluacji wewnętrznych
F.5 Wykorzystanie wyników ewaluacji wewnętrznych
F.5 Wykorzystanie wyników ewaluacji wewnętrznych
Po zatwierdzeniu ostatecznej wersji ewaluacji jak najszerszemu gronu odbior-
raportu końcowego przez Dyrektora ców streszczenie lub całość raportu do-
WWPE, ZEP przekazuje raport wszyst- stępne są na serwerze WWPE oraz na
kim zespołom zainteresowanym wyni- stronie internetowej Władzy Wdrażają-
kami badania. Aby udostępnić wyniki cej www.wwpe.gov.pl
36
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
G. ZAA

CZNIKI
G. ZAA

CZNIKI
G. ZAA

CZNIKI
G. ZAA

CZNIKI
Załącznik nr 1
Załącznik nr 1 Roczny Plan badań i ewaluacji programów zarządzanych przez WWPE
Załącznik nr 1
Załącznik nr 1
ROCZNY PLAN BADAC
I EWALUACJI W ROKU & & & & &
ROCZNY PLAN BADAC
I EWALUACJI W ROKU & & & & &
ROCZNY PLAN BADAC
I EWALUACJI W ROKU & & & & &
ROCZNY PLAN BADAC
I EWALUACJI W ROKU & & & & &
Numer Tytuł badania Rodzaj y
ródło finansowania / Planowany zakres badania Termin rozpoczęcia i
Numer Tytuł badania Rodzaj y
ródło finansowania / Planowany zakres badania Termin rozpoczęcia i
Numer Tytuł badania Rodzaj y
ródło finansowania / Planowany zakres badania Termin rozpoczęcia i
Numer Tytuł badania Rodzaj y
ródło finansowania / Planowany zakres badania Termin rozpoczęcia i
badania badania Szacowana wartość zakończenia badania
badania badania Szacowana wartość zakończenia badania
badania badania Szacowana wartość zakończenia badania
badania badania Szacowana wartość zakończenia badania
zamówienia
zamówienia
zamówienia
zamówienia
EZ/01/07
EW/01/07
BW/01/07
& .
& .
Przygotowanie Akceptacja Zatwierdzenie
Przygotowanie Akceptacja Zatwierdzenie
Przygotowanie Akceptacja Zatwierdzenie
Przygotowanie Akceptacja Zatwierdzenie
& & & & & & & & & & & & & & . & & & & & & & & & & & & & & & & & & & & & & & & & & &
Data Data Data
& & & & & & & & & & & & & & .. & & & & & & & & & & & & & & & & & & & & & & & & & & &
Podpis S-ZEP/K-ZEP Podpis Kierownika ZEP Podpis Dyrektora WWPE
37
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 2
Załącznik nr 2 Plan ewaluacji zewnętrznej
Załącznik nr 2
Załącznik nr 2
PLAN EWALUACJI ZEWN
TRZNEJ
PLAN EWALUACJI ZEWN
TRZNEJ
PLAN EWALUACJI ZEWN
TRZNEJ
PLAN EWALUACJI ZEWN
TRZNEJ
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
y
ródło finansowania
y
ródło finansowania
y
ródło finansowania
y
ródło finansowania
Szacowana wartość za-
Szacowana wartość za-
Szacowana wartość za-
Szacowana wartość za-
mówienia
mówienia
mówienia
mówienia
Planowana data rozpo-
Planowana data rozpo-
Planowana data rozpo-
Planowana data rozpo-
częcia badania
częcia badania
częcia badania
częcia badania
Planowana data zakoń-
Planowana data zakoń-
Planowana data zakoń-
Planowana data zakoń-
czenia badania
czenia badania
czenia badania
czenia badania
I Przedmiot ewaluacji
I Przedmiot ewaluacji
I Przedmiot ewaluacji
I Przedmiot ewaluacji
II Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
II Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
II Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
II Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
III Odbiorcy ewaluacji
III Odbiorcy ewaluacji
III Odbiorcy ewaluacji
III Odbiorcy ewaluacji
IV Harmonogram ewaluacji
IV Harmonogram ewaluacji
IV Harmonogram ewaluacji
IV Harmonogram ewaluacji
38
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
V Zakres ewaluacji
V Zakres ewaluacji
V Zakres ewaluacji
V Zakres ewaluacji
a) Główne obszary badawcze
a) Główne obszary badawcze
a) Główne obszary badawcze
a) Główne obszary badawcze
b) Kluczowe pytania ewaluacyjne
b) Kluczowe pytania ewaluacyjne
b) Kluczowe pytania ewaluacyjne
b) Kluczowe pytania ewaluacyjne
c) Kryteria ewaluacyjne
c) Kryteria ewaluacyjne
c) Kryteria ewaluacyjne
c) Kryteria ewaluacyjne
VII Warunki umowy
VII Warunki umowy
VII Warunki umowy
VII Warunki umowy
a) uzasadnienie ewaluacji  podstawa prawna ewaluacji
a) uzasadnienie ewaluacji  podstawa prawna ewaluacji
a) uzasadnienie ewaluacji  podstawa prawna ewaluacji
a) uzasadnienie ewaluacji  podstawa prawna ewaluacji
b) wymagana metodologia
b) wymagana metodologia
b) wymagana metodologia
b) wymagana metodologia
c) struktura raportu końcowego ewaluacji
c) struktura raportu końcowego ewaluacji
c) struktura raportu końcowego ewaluacji
c) struktura raportu końcowego ewaluacji
d) Zasady postępowania konkursowego
d) Zasady postępowania konkursowego
d) Zasady postępowania konkursowego
d) Zasady postępowania konkursowego
Przygotowanie
Przygotowanie
Przygotowanie
Przygotowanie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis S-ZEP / K-ZEP
Akceptacja
Akceptacja
Akceptacja
Akceptacja
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Kierownika ZEP
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Dyrektora WWPE
39
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 3
Załącznik nr 3
Załącznik nr 3 Lista sprawdzająca do weryfikacji raportu z ewaluacji zewnętrznej
Załącznik nr 3
LISTA SPRAWDZAJ
CA - WERYFIKACJI RAPORTU Z EWALUACJI ZEWN
TRZNEJ
LISTA SPRAWDZAJ
CA - WERYFIKACJI RAPORTU Z EWALUACJI ZEWN
TRZNEJ
LISTA SPRAWDZAJ
CA - WERYFIKACJI RAPORTU Z EWALUACJI ZEWN
TRZNEJ
LISTA SPRAWDZAJ
CA - WERYFIKACJI RAPORTU Z EWALUACJI ZEWN
TRZNEJ
Numer Ewaluacji:
Numer Ewaluacji:
Numer Ewaluacji:
Numer Ewaluacji:
Tytuł ewaluacji:
Tytuł ewaluacji:
Tytuł ewaluacji:
Tytuł ewaluacji:
Data rozpoczęcia ewaluacji:
Data rozpoczęcia ewaluacji:
Data rozpoczęcia ewaluacji:
Data rozpoczęcia ewaluacji:
Data zakończenia ewaluacji:
Data zakończenia ewaluacji:
Data zakończenia ewaluacji:
Data zakończenia ewaluacji:
Ocena raportu
Ocena raportu
Ocena raportu
Ocena raportu
Kryteria oceny jakości raportu z ewaluacji ze-
Kryteria oceny jakości raportu z ewaluacji ze-
Kryteria oceny jakości raportu z ewaluacji ze-
Kryteria oceny jakości raportu z ewaluacji ze-
UWAGI
UWAGI
UWAGI
UWAGI
S-ZEP K-ZEP
S-ZEP K-ZEP
S-ZEP K-ZEP
S-ZEP K-ZEP
wnętrznej
wnętrznej
wnętrznej
wnętrznej
TAK NIE TAK NIE
TAK NIE TAK NIE
TAK NIE TAK NIE
TAK NIE TAK NIE
Czy struktura raportu jest godna z wymaganiami
określonymi w opisie przedmiotu zamówienia?
Czy zakres raportu jest zgodny z opisem przedmiotu
zamówienia?
Czy raport jest napisany prostym, językiem, który
będzie przejrzystym dla szerokiej grupy odbiorców?
Czy wykonawca opracował streszczenie raportu?
Czy streszczenie raportu przedstawia kluczowe
aspekty analizy oraz główne wnioski i rekomenda-
cje?
Czy w raporcie przedstawiono przesłanki ewaluacji,
jej przedmiot, cel, pytania badawcze oraz przyjętą
metodologiÄ™?
Czy w raporcie precyzyjnie przedstawiono oceniane
zagadnienia badawcze?
Czy zastosowano narzędzia badawcze określone w
opisie zamówienia przez zamawiającego?
Czy narzędzia zastosowane w trakcie zbierania
danych zostały jasno i precyzyjnie opisane?
Czy przedstawione wnioski i rekomendacje jasno
wynikajÄ… z zebranych danych i przedstawionych
dowodów?
Czy przedstawione w raporcie wnioski sÄ… jasne i
precyzyjne?
Czy przedstawione w raporcie wnioski poparte sÄ…
wiarygodnymi danymi?
Czy przedstawione w raporcie rekomendacje wyni-
kają z postawionych wniosków?
Czy wyniki badania wypływają z przeprowadzo-
nych analiz i majÄ… odzwierciedlenie w pozyskanych
danych?
Czy wybrane podejście badawcze oraz zastosowane
narzędzia były adekwatne do postawionych pytań
ewaluacyjnych?
Czy z
ródła danych są wiarygodne?
40
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Czy zastosowano metodÄ™ triangulacji danych?
Czy udzielono odpowiedzi na wszystkie postawione
pytania badawcze?
Czy wyniki badania sÄ… logiczne?
Czy w sytuacjach rozbieżności opinii prezentowane
sÄ… opinie wszystkich zainteresowanych stron?
Czy ocena poszczególnych zagadnień badawczych
została przeprowadzona w oparciu o wcześniej usta-
lone kryteria ewaluacyjne?
Czy rekomendacje zostały przypisane instytucjom,
które będą odpowiedzialne za ich wdrożenie?
Czy poszczególnym rekomendacjom przypisano
sposoby różnych działań naprawczych?
OGÓLNA OCENA RAPORTU KOC
COWEGO
OGÓLNA OCENA RAPORTU KOC
COWEGO
OGÓLNA OCENA RAPORTU KOC
COWEGO
OGÓLNA OCENA RAPORTU KOC
COWEGO
Nie
Nie
Nie
Nie
WystarczajÄ…cy Dobry Bardzo dobry
WystarczajÄ…cy Dobry Bardzo dobry
WystarczajÄ…cy Dobry Bardzo dobry
WystarczajÄ…cy Dobry Bardzo dobry
wystarczajÄ…cy
wystarczajÄ…cy
wystarczajÄ…cy
wystarczajÄ…cy
Weryfikacja raportu Weryfikacja i akceptacja raportu
Weryfikacja raportu Weryfikacja i akceptacja raportu
Weryfikacja raportu Weryfikacja i akceptacja raportu
Weryfikacja raportu Weryfikacja i akceptacja raportu
& & & & & & & & & & & & & & & & & & &
& & & & & & & & & & & & & & & & & & &
& & & & & & & & & & & & & & & & & & &
& & & & & & & & & & & & & & & & & & &
Data Data
& & & & & & & & & & & & & & & & & & &
Podpis S-ZEP Podpis K-ZEP
Zatwierdzenie raportu
Zatwierdzenie raportu
Zatwierdzenie raportu
Zatwierdzenie raportu
& & & & & & & & &
& & & & & & & & &
& & & & & & & & &
& & & & & & & & &
Data
& & & & & & & & & .
Podpis Dyrektora WWPE
41
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 4
Załącznik nr 4 Plan ewaluacji wewnętrznej
Załącznik nr 4
Załącznik nr 4
PLAN EWALUACJI WEWN
TRZNEJ
PLAN EWALUACJI WEWN
TRZNEJ
PLAN EWALUACJI WEWN
TRZNEJ
PLAN EWALUACJI WEWN
TRZNEJ
Informacje ogólne
Informacje ogólne
Informacje ogólne
Informacje ogólne
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Alokacja
Alokacja
Alokacja
Alokacja
Wydatkowanie
Wydatkowanie
Wydatkowanie
Wydatkowanie
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Planowana data rozpo-
Planowana data rozpo-
Planowana data rozpo-
Planowana data rozpo-
częcia badania
częcia badania
częcia badania
częcia badania
Planowana data zakoń-
Planowana data zakoń-
Planowana data zakoń-
Planowana data zakoń-
czenia badania
czenia badania
czenia badania
czenia badania
A Przedmiot ewaluacji (wraz z informacjÄ… na temat badanego Programu)
A Przedmiot ewaluacji (wraz z informacjÄ… na temat badanego Programu)
A Przedmiot ewaluacji (wraz z informacjÄ… na temat badanego Programu)
A Przedmiot ewaluacji (wraz z informacjÄ… na temat badanego Programu)
A I Lista badanych projektów/programów
A I Lista badanych projektów/programów
A I Lista badanych projektów/programów
A I Lista badanych projektów/programów
Numer projek-
Numer projek-
Numer projek-
Numer projek-
Nazwa projektu/pogramu Alokacja Wykorzystanie
Nazwa projektu/pogramu Alokacja Wykorzystanie
Nazwa projektu/pogramu Alokacja Wykorzystanie
Nazwa projektu/pogramu Alokacja Wykorzystanie
tu/programu
tu/programu
tu/programu
tu/programu
B Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
B Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
B Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
B Cele ewaluacji (wraz z planowanym wykorzystaniem wyników badania)
C Odbiorcy ewaluacji
C Odbiorcy ewaluacji
C Odbiorcy ewaluacji
C Odbiorcy ewaluacji
42
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
D Zakres Ewaluacji
D Zakres Ewaluacji
D Zakres Ewaluacji
D Zakres Ewaluacji
D I Główne obszary badawcze
D I Główne obszary badawcze
D I Główne obszary badawcze
D I Główne obszary badawcze
C V Kryteria ewaluacyjne
C V Kryteria ewaluacyjne
C V Kryteria ewaluacyjne
C V Kryteria ewaluacyjne
C VI Kluczowe pytania ewaluacyjne
C VI Kluczowe pytania ewaluacyjne
C VI Kluczowe pytania ewaluacyjne
C VI Kluczowe pytania ewaluacyjne
C VII Metodologia zbierania danych
C VII Metodologia zbierania danych
C VII Metodologia zbierania danych
C VII Metodologia zbierania danych
Przygotowanie
Przygotowanie
Przygotowanie
Przygotowanie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis S-ZEP / K-ZEP
Akceptacja
Akceptacja
Akceptacja
Akceptacja
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Kierownika ZEP
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Dyrektora WWPE
43
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 5
Załącznik nr 5 Harmonogram ewaluacji wewnętrznej
Załącznik nr 5
Załącznik nr 5
HARMONOGRAM EWALUACJI WEWN
TRZNEJ
HARMONOGRAM EWALUACJI WEWN
TRZNEJ
HARMONOGRAM EWALUACJI WEWN
TRZNEJ
HARMONOGRAM EWALUACJI WEWN
TRZNEJ
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Działania Planowany termin realizacji
Działania Planowany termin realizacji
Działania Planowany termin realizacji
Działania Planowany termin realizacji
Przygotowanie zakresu badania
Przygotowanie zakresu badania
Przygotowanie zakresu badania
Przygotowanie zakresu badania
Utworzenie GSE
Utworzenie GSE
Utworzenie GSE
Utworzenie GSE
Rozpoczęcie badania
Rozpoczęcie badania
Rozpoczęcie badania
Rozpoczęcie badania
Zbieranie danych
Zbieranie danych
Zbieranie danych
Zbieranie danych
Analiza i ocena danych
Analiza i ocena danych
Analiza i ocena danych
Analiza i ocena danych
Wstępna wersji raportu
Wstępna wersji raportu
Wstępna wersji raportu
Wstępna wersji raportu
Raport końcowy
Raport końcowy
Raport końcowy
Raport końcowy
Zatwierdzenie raportu
Zatwierdzenie raportu
Zatwierdzenie raportu
Zatwierdzenie raportu
Przygotowanie
Przygotowanie
Przygotowanie
Przygotowanie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis S-ZEP / K-ZEP
Akceptacja
Akceptacja
Akceptacja
Akceptacja
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Kierownika ZEP
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
Zatwierdzenie
& & & & & & & & & & . & & & & & & & & & & & &
Data Podpis Dyrektora WWPE
44
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 6
Załącznik nr 6 Formularz zatwierdzający raport z ewaluacji wewnętrznej
Załącznik nr 6
Załącznik nr 6
ZATWIERDZENIE RAPORTU Z EWALUACJI WEWN
TRZNEJ
ZATWIERDZENIE RAPORTU Z EWALUACJI WEWN
TRZNEJ
ZATWIERDZENIE RAPORTU Z EWALUACJI WEWN
TRZNEJ
ZATWIERDZENIE RAPORTU Z EWALUACJI WEWN
TRZNEJ
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Numer ewaluacji
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Ewaluowany Program
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Rodzaj ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Tytuł ewaluacji
Zakres ewaluacji
Zakres ewaluacji
Zakres ewaluacji
Zakres ewaluacji
Data rozpoczęcia ewa-
Data rozpoczęcia ewa-
Data rozpoczęcia ewa-
Data rozpoczęcia ewa-
luacji
luacji
luacji
luacji
Data zakończenia ewa-
Data zakończenia ewa-
Data zakończenia ewa-
Data zakończenia ewa-
luacji
luacji
luacji
luacji
Załączniki do listy sprawdzającej:
Załączniki do listy sprawdzającej:
Załączniki do listy sprawdzającej:
Załączniki do listy sprawdzającej:
Raport nr & & & & & & & & & ..
Akceptacja Zatwierdzenie
Akceptacja Zatwierdzenie
Akceptacja Zatwierdzenie
Akceptacja Zatwierdzenie
& & & & & & & & .. & & & & & & & & &
Data Data
& & & & & & & & & & & & & & . & & & & & & & & & & & & & & ..
Podpis Podpis
Kierownik ZEP Dyrektor WWPE
45
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 7
Załącznik nr 7 Ewidencja przeprowadzonych ewaluacji zewnętrznych
Załącznik nr 7
Załącznik nr 7
EWIDENCJA EWALUACJI ZEWN
TRZNYCH
EWIDENCJA EWALUACJI ZEWN
TRZNYCH
EWIDENCJA EWALUACJI ZEWN
TRZNYCH
EWIDENCJA EWALUACJI ZEWN
TRZNYCH
Lp. Numer ewa- Rodzaj Zakres przeprowadzonej ewa- Wykonawca Data rozpo- Data zakoń- UWAGI
Lp. Numer ewa- Rodzaj Zakres przeprowadzonej ewa- Wykonawca Data rozpo- Data zakoń- UWAGI
Lp. Numer ewa- Rodzaj Zakres przeprowadzonej ewa- Wykonawca Data rozpo- Data zakoń- UWAGI
Lp. Numer ewa- Rodzaj Zakres przeprowadzonej ewa- Wykonawca Data rozpo- Data zakoń- UWAGI
luacji ewalu- luacji częcia ewalu- czenia ewalu-
luacji ewalu- luacji częcia ewalu- czenia ewalu-
luacji ewalu- luacji częcia ewalu- czenia ewalu-
luacji ewalu- luacji częcia ewalu- czenia ewalu-
acji acji acji
acji acji acji
acji acji acji
acji acji acji
46
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
Załącznik nr 8
Załącznik nr 8 Ewidencja przeprowadzonych ewaluacji wewnętrznych
Załącznik nr 8
Załącznik nr 8
EWIDENCJA EWALUACJI WEWN
TRZNYCH
EWIDENCJA EWALUACJI WEWN
TRZNYCH
EWIDENCJA EWALUACJI WEWN
TRZNYCH
EWIDENCJA EWALUACJI WEWN
TRZNYCH
Data zakoń-
Data zakoń-
Data zakoń-
Data zakoń-
Rodzaj ewa- Data rozpoczÄ™-
Rodzaj ewa- Data rozpoczÄ™-
Rodzaj ewa- Data rozpoczÄ™-
Rodzaj ewa- Data rozpoczÄ™-
Lp. Numer ewaluacji Zakres przeprowadzonej ewaluacji czenia ewalu- UWAGI
Lp. Numer ewaluacji Zakres przeprowadzonej ewaluacji czenia ewalu- UWAGI
Lp. Numer ewaluacji Zakres przeprowadzonej ewaluacji czenia ewalu- UWAGI
Lp. Numer ewaluacji Zakres przeprowadzonej ewaluacji czenia ewalu- UWAGI
luacji cia ewaluacji
luacji cia ewaluacji
luacji cia ewaluacji
luacji cia ewaluacji
acji
acji
acji
acji
47
PODR
CZNIK EWALUACJI PROGRAMÓW REALIZOWANYCH PRZEZ WA
ADZ
WDRAŻAJ
C
PROGRAMY EUROPEJSKIE
BIBLIOGRAFIA
BIBLIOGRAFIA
BIBLIOGRAFIA
BIBLIOGRAFIA
W podręczniku wykorzystano informacje zawarte w następujących z
ródłach:
1. Ewaluacja  Kwestie ogólne, projekt współfinansowany ze środków UE, POPT;
2. EUROPEAN COMMISSION, EVALUATING EU ACTIVITIES, A PRACTICAL
GUIDE FOR THE COMMISSION SERVICES, Lipiec 2004
http://ec.europa.eu/budget/evaluation/Key_documents/evalguides_en.htm
3. Ocena (Ewaluacja) Programów i projektów o charakterze społeczno - gospodar-
czym w kontekście przystąpienia polski do Unii Europejskiej, Tomasz Kierzkowski,
Warszawa 2002;
4. Ewaluacja Narodowego Planu Rozwoju i programów operacyjnych w Polsce, Po-
radnik, KJO, Departament Koordynacji Polityki Strukturalnej, Egip., Warszawa,
maj 2005;
5. Ewaluacja funduszy strukturalnych, Opracowanie na zlecenie Wydziału Monito-
ringu i Raportowania ZPORR, Departament Wdrażania Programów Rozwoju Re-
gionalnego, MGPiPS, Polskie Towarzystwo Ewaluacyjne, Warszawa, wrzesień
2003;
6. Grupa sterujÄ…ca ewaluacja NPR/PWW  zadania i zasady funkcjonowania, KJO,
Departament Koordynacji Polityki Strukturalnej, MGiP;
48