Ewaluacja projektów publicznych
(szczególnie unijnych)

Pierwsza ewaluacja

In the beginning God created the heaven and the earth.

And God saw everything that He made. “Behold,” God said, “it is very good.” And the evening and the morning were the sixth day.

And on the seventh day God rested from all His work. His archangel came then unto Him asking, “God, how do you know that you have created is `very good'? What are your criteria? On what data do you base your judgment? Aren't you a little close to the situation to make a fair and unbiased evaluation?”

God thought about these questions all that day and His rest was greatly disturbed.

On the eight day God said, “Lucifer, go to hell.”

Z wprowadzenia do podręcznika:
Evaluating EU Expenditure Programmes.
A Guide. Ex post and Intermediate evaluation,
styczeń 1997, Komisja Europejska

Co to jest ewaluacja?

Ewaluacja przeprowadzana jest w przypadku programów i projektów finansowanych ze środków publicznych, których wartość nie jest bezpośrednio weryfikowana przez rynek (jak w sektorze prywatnym). 

Definicja: systematyczne zastosowanie procedur badań społecznych do oszacowania wartości albo cech programu publicznego (planu, działania bądź obiektu) z punktu widzenia przyjętych kryteriów w oparciu o odpowiednie informacje, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia.

Albo krócej: „proces formowania sądu na temat wartości programu”

W Polsce ewaluacja nazywana bywa również „oceną”. 

Czym jest ewaluacja, jaka powinna ona być?

1. analityczna (zastosowanie metod naukowych)

2. systematyczna

3. wiarygodna (ocena danego ewaluatora powinna być taka sama co innego, mającego dostęp do tych samych danych, używającego tych samych metod analizy danych)

4. zorientowana zadaniowo (powinna odnosić się do ważnych cech danego programu jak efektywność, wydajność)

5. skierowana na użytkownika (dająca wnioski dla decydentów w danych warunkach politycznych, ograniczeniach programu i dostępnych zasobach)

Czym nie jest ewaluacja?

• opracowaniem naukowym: ewaluacje mają charakter bardziej praktyczny

• audytem: audyt jest skoncentrowany na zagadnieniach prawnych i księgowych, aczkolwiek jego odmiana zwana audytem wykonawczym (performance audit), zajmująca się zagadnieniami wydajności i efektywności zarządzania jest podobna do ewaluacji, choć ona sama idzie „dalej” - dotyczy długookresowych konsekwencji programu, jego trwałości itd.

• monitoringiem: choć ma on kluczową wagę dla poprawy wydajności i udanej ewaluacji (zbiera dane, używane później w ewaluacji)

Po co są ewaluacje?

• dla poprawy zarządzania projektem publicznym

• z powodu wiarygodności (są ważne dla zwolenników i przeciwników programu oraz obywateli; koncentrują się na wpływie programu (stopień w jakim daje oczekiwane wyniki) oraz efektywności kosztowej, są by poprawić transparentność)

• dla poprawy alokacji zasobów budżetowych

Główne pojęcia i definicje

Co może być ewaluowane?

• projekty, np. poprawa systemu nawadniania, szkolenie danej grupy pracowników

• programy, np. program Phare, SPO RZL, SPO WKP

• polityki, np. Wspólna Polityka Rolna

Jakie zagadnienia poruszane są przez ewaluacje?

1. Program i logika interwencji

• ewaluator musi opisać ewaluowany program, co zawiera:

1. potrzeby (problemy społeczno-gospodarcze),

2. cele:

• produkty (outputs) - rzeczy produkowane przez program

• wpływy (impacts) - zmiany społeczno-gospodarcze wywołane programem, w tym: rezultat (result) - początkowy wpływ, wynik (outcome) - długookresowy wpływ

• cele operacyjne - wyrażane jako output (np. przeszkolenie bezrobotnych)

• cele specyficzne - wyrażane jako rezultat (np. zwiększenie zatrudnialności bezrobotnych poprzez podniesienie ich umiejętności)

• cele ogólne - wyrażane jako outcome (zmniejszenie bezrobocia wśród osób uprzednio bezrobotnych)

• wskaźniki (ilościowe, jakościowe)

• logika interwencji - wyjaśnienie, co i jak program ma osiągnąć?




Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 11.

2. Główne kryteria ewaluacyjne

• trafność (relevance) - na ile cele programu odpowiadają potrzebom i priorytetom (na poziomie kraju i UE)?

• wydajność (efficiency) - jak oszczędnie nakłady zostały zamienione w produkty i rezultaty?

• efektywność (effectiveness) - na ile wpływy programu przyczyniły się do osiągnięcia celów specyficznych i ogólnych? (nawet jeśli program jest wydajny, mógł być słabo zaprojektowany - stąd efektywność)

• użyteczność (utility) - jak wpływy programu porównują się do potrzeb docelowej populacji, sektora, regionu?

• trwałość (sustainability) - w jakim zakresie oczekuje się trwałości pozytywnych zmian po zakończeniu programu?

Główne zagadnienia ewaluacji




Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 72.

Jakie są rodzaje ewaluacji?

Z punktu widzenia terminu ewaluacji, wyróżnia się:

• ewaluację ex-ante - w trakcie programowania,

• ewaluację śródokresową (interim)- w trakcie wdrażania, w tym:

• mid-term

• final

• 
  ewaluację końcową (ex-post).

Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 39.




Z punktu widzenia podmiotu realizującego ewaluację, wyróżnia się:

• ewaluację wewnętrzną - dokonywaną przez jednostkę wdrażającą lub nadzorującą program

• ewaluację zewnętrzną - przez niezależnych ekspertów, w tym przez:

• konsultantów zarządzania:

• zalety: szybkość, doskonała prezentacja wyników

• wady: cena, ryzyko dostarczenia audytu (nie: ewaluacji)

• instytucje akademickie

• zalety: doświadczenie metodologiczne, duża wiedza, stosunkowo większa niezależność, niższa cena

• wady: mniejsza chęć dostosowania się, ryzyko dostarczenia opracowania naukowego

Zalety i wady ewaluacji wewnętrznej i zewnętrznej

Duże programy:
konsorcja ewaluatorów (kombinacja różnych typów organizacji).

Etapy ewaluacji:

1. Przygotowanie

2. Realizacja

3. Przekazanie raportu

4. Wykorzystanie wynikówPrzygotowanie ewaluacji

„Nawet improwizację należy zaplanować” - J.D. Antoszkiewicz

1. Stworzenie struktury zarządzania ewaluacją (jednostka odpowiedzialna, grupa robocza (komitet ewaluacyjny), grupa sterująca - ale nie za duża!)

2. Opracowanie projektu ewaluacyjnego, w tym:

• cele,

• zakres (kwestie zamówień publicznych, pytania ewaluacyjne),

• ustalenie porównań (benchmarking),

• zakres dostępnych informacji,

• plan roboczy,

• wybór ewaluatora (zewnętrzny: kryteria oceny ofert)

3. Naszkicowanie zakresu kompetencji (zleceniodawcy i zleceniobiorcy)

Przeprowadzenie ewaluacji

Uwaga: komitet ewaluacyjny nadzoruje i monitoruje prace ewaluatora.

„Praktyka pokazuje, że zaangażowanie zamawiającego na każdym etapie procesu ewaluacji prowadzi do zwiększenia jakości badania, pełniejszego zaspokojenia potrzeb i oczekiwań instytucji zlecającej,
a w konsekwencji do identyfikacji z rekomendacjami przedstawionymi w raporcie ewaluacyjnym.”

Ewaluacja w PARP. Wytyczne do systematycznej oceny programów realizowanych
przez Polską Agencję Rozwoju Przedsiębiorczości, Warszawa, styczeń 2004

Złota reguła przeprowadzania ewaluacji:

nie ma złotych reguł

Dlaczego: każda ewaluacja jest inna (por. metoda wyróżniona).

Etapy przeprowadzania ewaluacji:

• strukturyzacja - określenie struktury programu

• obserwacja - zebranie danych i informacji:

• informacje pierwotne - pochodzące z badań przeprowadzonych na potrzeby ewaluacji;

• informacje wtórne - dane dostępne w momencie rozpoczynania badania, np. dane ze statystyki publicznej lub z systemu monitoringowego

• analiza - interpretacja danych, ale uwaga:

• efekty brutto (wszystkie efekty programu) pomniejsza się o:

• deadweight - efekty, które by zaszły bez interwencji publicznej

• substytucję - osiąganie korzyści kosztem innych w ramach jednostki otrzymującej wsparcie (np. zatrudnienie na dotowanym stanowisku, zwalniając pracownika nie subsydiowanego)

• przemieszczenie - odnoszenie korzyści kosztem jednostek nie otrzymujących wsparcie (stworzenie miejsc pracy w subsydiowanej firmie kosztem miejsc pracy w innej, nie dotowanej firmie)

• i otrzymuje się efekty netto;

• ocena - ocena efektów programów na podstawie kryteriów (pytań ewaluacyjnych) oraz sformułowanie wniosków i rekomendacji;

Narzędzia i techniki ewaluacyjne




Evaluating EU Activities. A practical guide for the Commission services, July 2004, Komisja Europejska, s. 55.

Odbiór zadania ewaluacyjnego przez zamawiającego

(przekazanie raportu)

Wykorzystanie wyników ewaluacji

Koszty metod ewaluacyjnych




Evaluating EU Activities…, op. cit., s. 34.

2002 r.: średni koszt projektu ewaluacyjnego w UE ok. 215-230 tys. €

Przykład kryteriów ewaluacji
(intermediate evaluation of Internet Action Plan, DG INFSO)




Evaluating EU Activities…, op. cit., s. 49.

Przykładowa struktura raportu ewaluacyjnego ex ante

1. Introduction

- what is the purpose of this report?

- what is the structure of this report?

- what are the main sources of evidence and information on which it is based?

- what are the current Community expenditure or other interventions in this policy area?

2. What problem is the proposal expected to tackle?

- what is the problem in this policy area in terms of, for example social, economic and

environmental terms?

- what are the underlying motive forces and who are the main actors involved?

- what is the concrete target group and what are its needs?

- who else would be affected?

- what would happen under a "no policy change" scenario?

3. What are the objectives that the proposal is expected to achieve?

- what is the overall policy objective in terms of expected impacts?

- has account been taken of other Community objectives?

- what are the general, specific and operational objectives and expected results?

- what indicators are planned for measuring inputs, outputs, results and impacts?

4. What are the main policy options and alternative delivery mechanisms?

- what is the basic approach chosen to reach the overall policy objective?

- what other policy instruments, besides an expenditure programme, were considered?

- what are the trade-offs associated with the proposed option?

- what other designs for an expenditure programme were considered?

5. Risks and assumptions

- what are the risks inherent in the current situation if nothing is done?

- what assumptions is the proposed expenditure programme based on?

- what risks are involved in implementing the proposed expenditure programme?

- what measures will be taken to counter these risks?

6. What positive and negative impacts are expected from the options

considered?

- what are the expected impacts of each option (e.g. social, economic and environmental)?

- are there potential conflicts between different impacts?

- are there intense impacts on particular social groups, economic sectors or regions?

- are there impacts outside the EU on candidate and/or other countries?

- how are the impacts expected to manifest over time?

- what are the results of any scenario, risk or sensitivity analysis undertaken?

7. Added value of Community involvement

- how are subsidiarity and proportionality taken into account in the proposal?

- is the proposed programme complementary to other interventions?

- how will synergies with other interventions be encouraged?

- how large are the additional ("marginal") effects that can be attributed to the proposal?

8. Stakeholder consultation and lessons learned

- which interested parties were consulted, and why? how was this done?

- what were the results of the consultation?

- what evaluations, audits, studies, or reports of similar interventions are available?

- what lessons and evidence have been taken into account in designing the proposal?

9. Helping to achieve cost-effectiveness

- what are the financial and human resource costs of the proposed programme?

- could the expected results be achieved at lower cost?

- could the same or better results be achieved at the same cost using other means?

10. Monitoring and evaluation

- what system will be in place to collect, store and process monitoring data?

- what types of evaluation will be carried out during the lifetime of the programme, and when?

11. Draft proposal and justification

- what is the final choice of option, and why?

- why was a more/less ambitious option not chosen instead?

- what are the trade-offs associated with the chosen option?

- what accompanying measures will be taken to maximise positive impacts and minimise

negative impacts?

Evaluating EU Activities…, op. cit., s. 98-99.

1

---