Definicja i rodzaje ewaluacji

Definicja i rodzaje ewaluacji

 

Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub ważności działania, polityki lub programu.

Rada Unii Europejskiej zobowiązała wszystkie państwa członkowskie do przeprowadzenia ewaluacji pomocy finansowej z funduszy strukturalnych UE wydając Rozporządzenie nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności  i uchylającego rozporządzenie (WE) nr 1260/1999 .

Według powyższego rozporządzenia ewaluacja ma na celu poprawę: „jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”.

Ewaluacja jako proces systematycznej oceny interwencji z funduszy strukturalnych ciągle zyskuje na znaczeniu. W okresie programowania 2007-2013 wyniki badań ewaluacyjnych będą pełnić ważną rolę w procesie kształtowania polityki spójności Unii Europejskiej, a podczas debaty nad kolejnym budżetem w perspektywie po 2013 roku będą jednym z kluczowych argumentów dla jej zachowania w dotychczasowym kształcie lub weryfikacji jej założeń.

Rodzaje ewaluacji

Biorąc pod uwagę kryterium celu ewaluacji wyróżnia się następujące jej rodzaje:

Ewaluacje strategiczne dotyczyć będą głównie analizy i oceny interwencji na poziomie celów strategicznych. Przedmiotem ewaluacji strategicznych będzie analiza i ocena trafności ogólnych kierunków interwencji wyznaczonych na etapie programowania. Jednym z istotnych aspektów ewaluacji strategicznej będzie weryfikacja przyjętej strategii w odniesieniu do aktualnej i przewidywanej sytuacji społeczno – ekonomicznej.

Ewaluacje operacyjne powiązane będą ściśle z procesem zarządzania i monitorowania NSRO i PO. Celem ewaluacji operacyjnych jest wsparcie instytucji odpowiedzialnych za realizację NSRO i PO w zakresie osiągania założonych celów operacyjnych poprzez dostarczanie użytecznych wniosków i rekomendacji. Zgodnie z Rozporządzeniem 1083/2006 ewaluacje operacyjne będą przeprowadzane w szczególności w przypadku, gdy monitorowanie ujawniło znaczące odchylenia od założonych pierwotnie celów oraz gdy składane są wnioski o dokonanie przeglądu programu operacyjnego lub jego części.

Ze względu na moment przeprowadzania ewaluacji wyróżnia się następujące jej rodzaje:

Proces ewaluacji ex ante NSRO i PO zakończony został w roku 2006. Wyniki ewaluacji ex-ante NSRO i PO wykonanych przez ewaluatorów zewnętrznych zostały uwzględnione w ostatecznej wersji Narodowych Strategicznych Ram Odniesienia na lata 2007-2013 oraz poszczególnych Programów.

Ewaluacji ex post dokonuje Komisja Europejska we współpracy z państwami członkowskimi i Instytucjami Zarządzającymi. Niezależnie od ewaluacji przeprowadzanej przez KE państwa członkowskie mogą dokonać ewaluacji ex post we własnym zakresie.

Ewaluacja bieżąca (on-going) jest procesem mającym na celu lepsze zrozumienie bieżących efektów interwencji oraz sformułowanie rekomendacji użytecznych z punktu widzenia wdrażania programu. W najbliższych latach ewaluacja bieżąca stanie się kluczowa dla skutecznej realizacji polityki spójności w Polsce.

System ewaluacji Narodowego Planu Rozwoju oraz Narodowych Strategicznych Ram Odniesienia

W okresie 2007-2013 realizowane są równolegle dwa procesy

W związku z koniecznością koordynacji dwóch powyższych procesów stworzony został system integrujący procesy ewaluacji NPR i NSRO. Najważniejsze dokumenty, któe określają kształt procesu ewaluacji NPR i NSRO to:

Poniżej scharakteryzowany został system ewaluacji na poziomie Narodowego Planu Rozwoju oraz Narodowych Strategicznych Ram Odniesienia.

Ewaluacja na poziomie NPR i NSRO realizowana jest w następujących strategicznych obszarach tematycznych (odpowiadających celom NSRO):

Głównym podmiotem systemu wdrażania procesu ewaluacji jest Krajowa Jednostka Oceny, której rolę pełni Departament Koordynacji Polityki Strukturalnej w Ministerstwie Rozwoju Regionalnego (obsługą organizacyjną prac KJO zajmuje się Wydział Ewaluacji).
 
Koordynacja procesu ewaluacji NPR i NSRO odbywa się na forum Zespołu Sterującego procesem ewaluacji Narodowego Planu Rozwoju i Narodowych Strategicznych Ram Odniesienia.

W jego skład wchodzi Dyrektor Departamentu Koordynacji Polityki Strukturalnej (pełniący rolę przewodniczącego Zespołu) oraz Dyrektorzy Departamentów pełniących funkcję Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Instytucji Koordynującej NSRO, Instytucji Zarządzających Programami oraz Instytucji Koordynującej Regionalne Programy Operacyjne.

Główną rolą Zespołu Sterującego procesem ewaluacji NPR i NSRO jest:

Organizacja systemu wdrażania procesu ewaluacji na poziomie NPR i NSRO opiera się będzie na powołanych w tym celu w ramach Departamentu Koordynacji Polityki Strukturalnej 6 tematycznych grupach Sterujących odpowiadających swoim zakresem pięciu głównym strategicznym obszarom tematycznym, będących przedmiotem ewaluacji Narodowego Planu Rozwoju i Narodowych Strategicznych Ram Odniesienia.

Głównym celem funkcjonowania Grup sterujących jest zapewnienie wysokiej jakości procesu ewaluacji Narodowego Planu Rozwoju na lata 2004-2006 oraz Narodowych Strategicznych Ram Odniesienia na lata 2007-2013 poprzez realizację zasady partnerstwa.

Krajowa Jednostka Oceny

W okresie 2007-2013 ewaluacja jest realizowana na dwóch głównych płaszczyznach - na poziomie Narodowych Strategicznych Ram Odniesienia (NSRO) dotyczy kwestii horyzontalnych oraz przekrojowych z zakresu więcej niż jednego programu operacyjnego, poza tym badania ewaluacyjne zlecane są w ramach wszystkich programów.

Całość prac w zakresie ewaluacji prowadzonych na obu poziomach koordynuje Krajowa Jednostka Oceny (KJO). Ponadto jest ona odpowiedzialna za wypracowanie standardów w zakresie ewaluacji, tak aby podnieść jakość prowadzonych analiz.

Powierzone zadania KJO wykonuje we współpracy z Komisją Europejską i Instytucją Koordynującą NSRO oraz Instytucją Koordynującą Regionalne Programy Operacyjne (RPO), a także instytucjami na szczeblu zarządzania i wdrażania wszystkich programów. Szczegóły określają Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych  zatwierdzone przez Ministra Rozwoju Regionalnego 30 maja 2007 r.

Zakres działań powierzonych KJO jest bardzo szeroki i dotyczy w szczególności:

Realizacja powyższych zadań zbiega się w czasie z kończeniem prac w zakresie ewaluacji Narodowego Planu Rozwoju (NPR) na lata 2004-2006. W celu uspójnienia sposobu organizacji ewaluacji NPR oraz NSRO przygotowano dokument System ewaluacji Narodowego Planu Rozwoju na lata 2004-2006 oraz Narodowych Strategicznych Ram Odniesienia na lata 2007-2013. Odtąd ewaluacja jest realizowana w wyznaczonych obszarach tematycznych odpowiadających celom przewidzianym w obu dokumentach planistycznych.

Wszystkie prace Jednostki finansowane są ze środków Programu Operacyjnego Pomocy Technicznej.

Hostoria ewaluacji

definicja ewaluacji
systematyczne badanie prowadzone z użyciem zróżnicowanych metod badań społeczno - ekonomicznych, zlożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesów oraz efektów interwencji publicznych
Patton 2004; Rossi et al. 1999; Mathison 2004; Weiss 1998

Ewaluację można definiować jako systematyczną i obiektywną ocenę programu lub polityki, ich założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Powinna ona dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz współdziałanie wszystkich partnerów zaangażowanych w realizację projektu
Polskie Towarzystwo Ewaluacyjne, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, opracowanie, wrzesień 2006

Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub ważności działania, polityki lub programu.

powrót

historia ewaluacji
Początki ewaluacji miały miejsce w latach 30tych XX wieku w USA. Właściwy początek, tzn moment w którym ewaluacja stała się samodzielną dziedziną nauki i praktyki badawczej miał miejsce po II wojnie światowej. Trzy dziedziny, które były wtedy poddawane badaniom to: edukacja, alokacja zasobów publicznych i programy walki z ubóstwem.
Ewaluacja w Europie pojawiła się w latach 70tych XX wieku, głównie w krajach północnych (UK, Skandynawia). Podstawowym czynnikiem, który spowodował rozprzestrzenienie praktyki ewaluacji w pozostałych rejonach Europy była Unia Europejska a konkretnie fundusze strukturalne. Stad ewaluacja na południu Europy zagościła w latach 90tych XX w. a w Polsce dopiero po 2005 r i w zasadzie ogranicza się do ewaluacji programów operacyjnych.

powrót

cele ewaluacji
(wg Unii Europejskiej)

powrót

funkcje ewaluacji

  • Wzmacnianie odpowiedzialności

    • informowanie społeczeństwa na ile cele programu zostały osiągnięte i jak efektywnie użyto przypisanych zasobów publicznych

  • Wspieranie procesów uczenia się

    • wyjaśnianie czynników i procesów warunkujących sukces programu lub jego porażkę

    • weryfikowanie teorii stojących za politykami

    • promowanie dobrych wzorców

  • Poprawianie planowania

    • zagwarantowanie uzasadnienia dla polityki/programu

    • oraz wydajnej i racjonalnej alokacji zasobów

  • Poprawa wdrażania i kontroli jakości

    • podnoszenie jakości struktur zarządzania programem

    • podnoszenie jakości procesu implementacji działań

    • minimalizowanie negatywnych efektów zarządząnia opartego na wynikach

  • Wzmacnianie partnerstwa i poczucia współwłasności

    • wzmacnianie powiązań, interakcji między uczestnikami programu

    • aktywizowanie interesariuszy - włączanie ich w działania programu, dyskusję nad jego oceną

    • uprawnianie interesariuszy - włączanie we współdecydowanie o programie tych grup, które były marginalizowane

 orientacja
strategiczna
orientacja
operacyjna

Istotność i znaczenie poszczególnych funkcji są rożne w zależności od tego jakiego typu ewaluacja jest realizowana - strategiczna bądź operacyjna.
Uświadomienie sobie czego oczekujemy od badania (potrzeby informacyjne), jaką funkcję ma ono pełnić, jest kluczowe dla jego p owodzenia, gdyż nie wszystkie funkcje mogą być realizowane równocześnie (np. funkcja rozliczania, wzmacniania odpowiedzialności nie współgra ze wzmacnianiem partnerstwa czy poprawianiem wdrażania - chcąc rozliczać z efektów nie możemy oczekiwać, że aktorzy procesu "otworzą się" i szczerze porozmawiają o jego niedomaganiach) i brak ukierunkowania badania może spowodować, iż nie spełni ono żadnej funkcji.

powrót

typy ewaluacji
Typologia ewaluacji może być prowadzona ze względu na wiele kryteriów, między innymi przedmiot badania, jego cel, organizację procesu badania oraz moment w którym jest ono realizowane.

przedmiot badania

Powyższy podział jest stosunkowo jednoznaczny. Zawsze można jednak znaleźć przykłady których zaklasyfikowanie nie jest oczywiste, np. nie do końca jasne jest czy ewaluacje, których przedmiotem byłby wpływ całej polityki spójności (projektów realizowanych w jej ramach) na rozwój społeczno - gospodarczy regionu, powiatu, bądź zróżnicowań regionalnych, powinny być uznawane za ewaluacje polityki, czy tematyczne.

powrót

cel badania
Zgodnie z Rozporządzeniem Rady Unii Europejskiej (WE) 1083/2006 ze względu na kryterium celu ewaluacji wyróżniamy ewaluację o charakterze strategicznym i operacyjnym.

powrót

organizacja badania

powrót

moment realizacji badania

powrót

Miejsce poszczególnych typów ewaluacji w odniesieniu do kolejnych etapów cyklu realizacji programu obrazuje poniższa grafika:

Powyższy schemat przedstawia sytuację idealną, w zasadzie niewystepującą w rzeczywistości, przynajmniej w odniesieniu do cyklów programowania UE. Opóźnienie pomiędzy interwencją a pojawieniem się jej efektów powoduje, że możliwość badania efektów programu (ex-post) pojawia się w momencie gdy kolejne programy są już przygotowane, poddane ewaluacji ex-ante i wdrażane (przykładowo do dzisiaj tj. początek 2010 roku nie ma wyników badań ex-post wdrażania programów z lat 2004-2006, a kolejne porgramy są wdrażane od 2007 roku).

powrót

przygotowanie (strukturalizacja) badania
Strukturalizacja badania ma miejsce na kilku etapach procesu ewaluacji. Pierwszy i najważniejszy następuje tuż po podjęciu decyzji o realizacji badania i jest dokonywany przez instytucję zlecającą badanie. Istotą przedsięwzięcia jest sprecyzowanie naszych potrzeb informacyjnych, czyli czego chcemy się dowiedzieć, jakie pytania należy postawić (jakie kryteria ewaluacyjne nas interesują) i jakie odpowiedzi nas przekonają. Najczęściej zlecający wskazuje również (mniej lub bardziej szczegółowo) oczekiwania co do metodologii badania. Niezbędne jest również określenie zakresu przedmiotowego badania, jego budżetu oraz dostępnego czasu na realizację. Kolejne dwa momenty w których badanie jest re-strukturyzowane, doprecyzowywane to:

Znaczenie pierwszej strukturalizacji - przed zleceniem badania - wynika z faktu, iż to na tym etapie określane są istotne warunki, ramy, które potem w zasadzie nie mogą już być zmieniane a jedynie doprecyzowywane, co pozostawia bardzo niewielki margines modyfikacji na późniejszych etapach strukturyzacji.

powrót

potrzeby informacyjne
Określenie potrzeb informacyjnych to w zasadzie odpowiedzenie sobie na pytanie komu i do czego potrzebne jest badanie / jego wyniki. To pozwala sprecyzować jakiego typu powinna być to ewaluacja i jakie funkcje powinna pełnić. Potrzeby informacyjne z jednej strony (a ograniczenia czasowe, budżetowe, dostępność danych z drugiej) determinują zakres badania, który opisany jest w formie kryteriów i pytań ewaluacyjnych .

powrót

pytania ewaluacyjne
Można wyróżnić kilka rodzajów pytań ewaluacyjnych m.in.:

Przy strukturyzowaniu ewaluacji dywagacje o typach pytań na pewno nie są ważniejsze niż samo stawianie trafnych pytań, prowadzących do odpowiednich odpowiedzi i realizacji stawianych przed badaniem celów. Jednak znajomość typów i podstawowych zaleceń z nimi związanych pomaga ocenić czy nasza struktura pytań badawczych jest kompletna i prawidłowa.
Zalecenia:

Przykład - ewaluacja ex-post:

Ewaluacja ex-post programu finansującego inwestycje w infrastrukturę kultury województwie śląskim.

Pytania:
Opisowe

Przyczynowo - skutkowe

Normatywne

Preskryptywne

Przykład - ewaluacja ex-ante:

Ewaluacja ex-ante programu wspierającego przedsiębiorczość

Pytania:
Opisowe

Predyktywne

Normatywne

Preskryptywne

Pytania ewaluacyjne określają przede wszystkim zakres badania, ale służą również definiowaniu pojęć, pokazaniu jak rozumiemy poszczególne zagadnienia. Pytania szczegółowe przedstawiają sam pomysł na badanie, koncepcję realizacji badania ewaluacyjnego. Stawiając szczegółowe pytania badawcze pokazujemy jak zamierzamy rozwiązać nurtujące nas problemy.

Przykład:

Główne pytanie, zagadnienie:

Pytania szczegółowe, które definiują "właściwy poziom":

Pytania szczegółowe pokazujące koncepcję zdobywania odpowiedzi na główne pytanie:

Powyższe szczegółowe pytania pokazują już pomysł na badanie, na poszukiwanie odpowiedzi. Na tym poziomie decyduje się co przekona odbiorcę, co jest dla niego wiarygodne. W przypadku zlecenia realizacji badania ewaluacyjnego szczegółowe pytania ewaluacyjne proponowane przez wykonawcę pokazują czy rozumie on intencje zamawiającego - co stanowi jedno z podstawowych kryteriów oceny wykonawcy. Szczegółowe pytania determinują również jakie podejście należy zastosować (przewaga podejścia jakościowego bądź ilościowego), jakie konkretnie metody i narzędzia będą stosowane.

kryteria ewaluacyjne

Kryteria ewaluacji wynikają z relacji/interakcji, jakie zachodzą pomiędzy programem operacyjnym, procesem jego programowania i wdrażania a otoczeniem społeczno-gospodarczym, na które program oddziałuje - regionem, krajem (patrz rysunek).

Kryteria ewaluacji pomagają porządkować zakres badania, układać pytania w bloki. Umożliwiają również weryfikację zasadności pytań w kontekście cyklu realizacji programu (poszczególne kryteria i wynikające z nich pytania są charakterystyczne dla określonego typu ewaluacji).

EX-ANTE

trafność

efektywność

skuteczność

użyteczność

t rwałość

ON-GOING EX-POST

metody i narzędzia
Właściwa metodologia badania to drugi najważniejszy obok odpowiedniego zakresu badawczego warunek konieczny dobrej ewaluacji. Ustalenie metodologii odbywa się stopniowo na kolejnych etapach strukturalizacji badania. "Pierwszy ruch" należy do zamawiającego badanie ewaluacyjne, który w SOPZ (szczegółowy opis przedmiotu zamówienia) powinien wskazać swoje preferencje odnośnie podejścia / metod, którymi badanie będzie wykonane. To w większym stopniu nawet niż zakres (pytania badawcze) pokazuje wykonawcy czego właściwie oczekuje zamawiający, jakie odpowiedzi na postawione pytania go przekonają, usatysfakcjonują oraz z jakimi kosztami realizacji badania należy się liczyć. Analogicznie zamawiający czytając oferty analizuje wiarygodność i zbieżność pomysłów wykonawcy z własnymi intencjami przez głównie pryzmat zapisów odnośnie proponowanej metodologii. Ostatni i najbardziej interakcyjny etap ustalania metodologii to dyskusja na etapie tworzenia raportu metodologicznego.

W praktyce ewaluacji można spotkać dwa przeciwstawne podejścia do formułowania wymagań odnośnie metodologii realizacji badania:

Oba rozwiązania mają wady. Szczegółowe wskazanie metod wymaga sporej wiedzy ze strony zespołu przygotowującego zamówienie, konieczne jest również dokładne rozeznanie przed zamówieniem m.in. dostępnych danych, tak by wymagane metody były wykonalne. Postawienie szczegółowych wymagań metodologicznych w zasadzie pozbawia wykonawcę wpływu na kształt badania i pozostawia mu jedynie realizować zgodnie z poleceniami. Część firm nie chce być stawiana w takiej roli i nie traktuje takiego zlecenia jako odpowiednie wyzwanie - to może oznaczać, że kilka dobrych wartościowych firm zrezygnuje z przetargu. Możnaby zadać również pytanie jeśli kupujemy od wykonawcy specjalistyczną wiedzę i doświadczenie, to dlaczego nie chcemy skorzystać z niej na etapie doboru metodologii.

Choć pojawiają się głosy, iż zamawiający powinni w ogóle nie dotykać kwestii metodologii to praktyka pokazuje, że ogólne podejście również generuje ryzyka. Pozostawienie swobody wykonawcy pokazuje jak bardzo może się on rozmijać z oczekiwaniami zamawiającego (które zawsze jakieś są nawet jeśli niesprecyzowane w dokumentacji). Prowadzi to czasem do tragicznego wyboru oferty najlepszej z najgorszych gdy żadna w zasadzie nie odpowiada temu czego się spodziewaliśmy. W zależności od kryteriów oceny ofert wykonawca któremu pozostawi się swobodę może podejść do badania bardzo minimalistycznie licząc, że wygra ceną - co stanowi prostą drogę do niskiej jakości i bezwartościowych wniosków / rekomendacji. W innym przypadku możemy być świadkami niepotrzebnego mnożenia metod i pseudometod, z których część może być niepotrzebna, część niewykonalna, a całość nie układa się w spójną metodologię, ale wykonawca je wpisuje bo za każdą metodę dostaje punkty. Wykonawcy którym nie postawi się wymagań zwykle powielają jedynie kilka podstawowych metod badań społecznych nie dbając o inne wiarygodniejsze źródła oraz o etap analizy - gdzie również potrzebne są metody.

Próba uniknięcia wskazanych wad prowadzi zwykle do rozwiązań lokujących się pomiędzy dwoma wskazanymi, np. zarysowania ogólnie podejścia metodologicznego i dodatkowo wskazania kilku szczegółowych metod (mogą one stanowić niezbędne, wymagane minimum), pozostawiając równocześnie wykonawcy możliwość uzupełnienia katalogu (bądź nawet zrezygnowania z metod wskazanych przez zamawiającego jeżeli da się to rozsądnie uzasadnić).

Jakiekolwiek podejście zostanie wybrane przez zamawiającego to każdorazowo należy pamiętać o kilku rzeczach.
Wskazując metody należy mieć na uwadze budżet którym dysponujemy . Cokolwiek zaproponujemy to znajdą się wykonawcy którzy stwierdzą, że dadzą radę to wykonać, ale jeśli budżet będzie za mały to możemy mieć pewność, że zostanie to zrobione źle, pobieżnie, nierzetelnie i spora część winy za to będzie spoczywała na zamawiającym.

Jednym z podstawowych wymogów stawianych wykonawcy powinna być triangulacja: metod badawczych, źródeł danych, testowanych teorii. Prawie wszystkie dowody jakie są przedstawiane w wyniku realizacji ewaluacji to nie są dowody wystarczając. Wskazane zatem jest m.in. potwierdzanie wszelkich poczynionych ustaleń u różnych źródeł, zderzanie wniosków z badań ilościowych z jakościowymi, potwierdzanie kluczowych tez na kilka sposobów. W innym wypadku możemy otrzymać badanie jednostronne i wygodne, ale przez to niewiarygodne.

Poniżej zaprezentowano wybiórczy przegląd metod ewaluacji funduszy unijnych ograniczony jedynie do metod popularnych, tzn. takich które były faktycznie stosowane w przynajmniej kilku badaniach. Na potrzeby prezentacji metod przyjęto podział procesu badawczego na fazy obserwacji oraz analizy i oceny. Jest on oczywiście jednym z wielu możliwych, możnaby np. wydzielić osobną fazę strukturyzacji i umieścić tam metody panelu ekspertów, badania dokumentów czy modele logiczne. Powyższe pokazuje, że wybrany podział ma jedynie charakter porządkowy a poszczególne metody mogą być wykorzystywane na różnych etapach badania.

metody ewaluacyjne stosowane w fazie obserwacji

powrót
do menu

Ewaluacja programów operacyjnych

podstawy publikacje przykłady badań linki mapy myśli

definicja ewaluacji
systematyczne badanie prowadzone z użyciem zróżnicowanych metod badań społeczno - ekonomicznych, zlożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesów oraz efektów interwencji publicznych
Patton 2004; Rossi et al. 1999; Mathison 2004; Weiss 1998

Ewaluację można definiować jako systematyczną i obiektywną ocenę programu lub polityki, ich założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Powinna ona dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz współdziałanie wszystkich partnerów zaangażowanych w realizację projektu
Polskie Towarzystwo Ewaluacyjne, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, opracowanie, wrzesień 2006

Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub ważności działania, polityki lub programu.

powrót

historia ewaluacji
Początki ewaluacji miały miejsce w latach 30tych XX wieku w USA. Właściwy początek, tzn moment w którym ewaluacja stała się samodzielną dziedziną nauki i praktyki badawczej miał miejsce po II wojnie światowej. Trzy dziedziny, które były wtedy poddawane badaniom to: edukacja, alokacja zasobów publicznych i programy walki z ubóstwem.
Ewaluacja w Europie pojawiła się w latach 70tych XX wieku, głównie w krajach północnych (UK, Skandynawia). Podstawowym czynnikiem, który spowodował rozprzestrzenienie praktyki ewaluacji w pozostałych rejonach Europy była Unia Europejska a konkretnie fundusze strukturalne. Stad ewaluacja na południu Europy zagościła w latach 90tych XX w. a w Polsce dopiero po 2005 r i w zasadzie ogranicza się do ewaluacji programów operacyjnych.

powrót

cele ewaluacji
(wg Unii Europejskiej)

powrót

funkcje ewaluacji

  • Wzmacnianie odpowiedzialności

    • informowanie społeczeństwa na ile cele programu zostały osiągnięte i jak efektywnie użyto przypisanych zasobów publicznych

  • Wspieranie procesów uczenia się

    • wyjaśnianie czynników i procesów warunkujących sukces programu lub jego porażkę

    • weryfikowanie teorii stojących za politykami

    • promowanie dobrych wzorców

  • Poprawianie planowania

    • zagwarantowanie uzasadnienia dla polityki/programu

    • oraz wydajnej i racjonalnej alokacji zasobów

  • Poprawa wdrażania i kontroli jakości

    • podnoszenie jakości struktur zarządzania programem

    • podnoszenie jakości procesu implementacji działań

    • minimalizowanie negatywnych efektów zarządząnia opartego na wynikach

  • Wzmacnianie partnerstwa i poczucia współwłasności

    • wzmacnianie powiązań, interakcji między uczestnikami programu

    • aktywizowanie interesariuszy - włączanie ich w działania programu, dyskusję nad jego oceną

    • uprawnianie interesariuszy - włączanie we współdecydowanie o programie tych grup, które były marginalizowane

 orientacja
strategiczna
orientacja
operacyjna

Istotność i znaczenie poszczególnych funkcji są rożne w zależności od tego jakiego typu ewaluacja jest realizowana - strategiczna bądź operacyjna.
Uświadomienie sobie czego oczekujemy od badania (potrzeby informacyjne), jaką funkcję ma ono pełnić, jest kluczowe dla jego p owodzenia, gdyż nie wszystkie funkcje mogą być realizowane równocześnie (np. funkcja rozliczania, wzmacniania odpowiedzialności nie współgra ze wzmacnianiem partnerstwa czy poprawianiem wdrażania - chcąc rozliczać z efektów nie możemy oczekiwać, że aktorzy procesu "otworzą się" i szczerze porozmawiają o jego niedomaganiach) i brak ukierunkowania badania może spowodować, iż nie spełni ono żadnej funkcji.

powrót

typy ewaluacji
Typologia ewaluacji może być prowadzona ze względu na wiele kryteriów, między innymi przedmiot badania, jego cel, organizację procesu badania oraz moment w którym jest ono realizowane.

przedmiot badania

Powyższy podział jest stosunkowo jednoznaczny. Zawsze można jednak znaleźć przykłady których zaklasyfikowanie nie jest oczywiste, np. nie do końca jasne jest czy ewaluacje, których przedmiotem byłby wpływ całej polityki spójności (projektów realizowanych w jej ramach) na rozwój społeczno - gospodarczy regionu, powiatu, bądź zróżnicowań regionalnych, powinny być uznawane za ewaluacje polityki, czy tematyczne.

powrót

cel badania
Zgodnie z Rozporządzeniem Rady Unii Europejskiej (WE) 1083/2006 ze względu na kryterium celu ewaluacji wyróżniamy ewaluację o charakterze strategicznym i operacyjnym.

powrót

organizacja badania

powrót

moment realizacji badania

powrót

Miejsce poszczególnych typów ewaluacji w odniesieniu do kolejnych etapów cyklu realizacji programu obrazuje poniższa grafika:

Powyższy schemat przedstawia sytuację idealną, w zasadzie niewystepującą w rzeczywistości, przynajmniej w odniesieniu do cyklów programowania UE. Opóźnienie pomiędzy interwencją a pojawieniem się jej efektów powoduje, że możliwość badania efektów programu (ex-post) pojawia się w momencie gdy kolejne programy są już przygotowane, poddane ewaluacji ex-ante i wdrażane (przykładowo do dzisiaj tj. początek 2010 roku nie ma wyników badań ex-post wdrażania programów z lat 2004-2006, a kolejne porgramy są wdrażane od 2007 roku).

powrót

przygotowanie (strukturalizacja) badania
Strukturalizacja badania ma miejsce na kilku etapach procesu ewaluacji. Pierwszy i najważniejszy następuje tuż po podjęciu decyzji o realizacji badania i jest dokonywany przez instytucję zlecającą badanie. Istotą przedsięwzięcia jest sprecyzowanie naszych potrzeb informacyjnych, czyli czego chcemy się dowiedzieć, jakie pytania należy postawić (jakie kryteria ewaluacyjne nas interesują) i jakie odpowiedzi nas przekonają. Najczęściej zlecający wskazuje również (mniej lub bardziej szczegółowo) oczekiwania co do metodologii badania. Niezbędne jest również określenie zakresu przedmiotowego badania, jego budżetu oraz dostępnego czasu na realizację. Kolejne dwa momenty w których badanie jest re-strukturyzowane, doprecyzowywane to:

Znaczenie pierwszej strukturalizacji - przed zleceniem badania - wynika z faktu, iż to na tym etapie określane są istotne warunki, ramy, które potem w zasadzie nie mogą już być zmieniane a jedynie doprecyzowywane, co pozostawia bardzo niewielki margines modyfikacji na późniejszych etapach strukturyzacji.

powrót

potrzeby informacyjne
Określenie potrzeb informacyjnych to w zasadzie odpowiedzenie sobie na pytanie komu i do czego potrzebne jest badanie / jego wyniki. To pozwala sprecyzować jakiego typu powinna być to ewaluacja i jakie funkcje powinna pełnić. Potrzeby informacyjne z jednej strony (a ograniczenia czasowe, budżetowe, dostępność danych z drugiej) determinują zakres badania, który opisany jest w formie kryteriów i pytań ewaluacyjnych .

powrót

pytania ewaluacyjne
Można wyróżnić kilka rodzajów pytań ewaluacyjnych m.in.:

Przy strukturyzowaniu ewaluacji dywagacje o typach pytań na pewno nie są ważniejsze niż samo stawianie trafnych pytań, prowadzących do odpowiednich odpowiedzi i realizacji stawianych przed badaniem celów. Jednak znajomość typów i podstawowych zaleceń z nimi związanych pomaga ocenić czy nasza struktura pytań badawczych jest kompletna i prawidłowa.
Zalecenia:

Przykład - ewaluacja ex-post:

Ewaluacja ex-post programu finansującego inwestycje w infrastrukturę kultury województwie śląskim.

Pytania:
Opisowe

  • Jaka była charakterystyka wsparcia w ramach programu, na jakie inwestycje można było uzyskać dofinansowanie?

  • Jak wyglądała sytuacja społeczno-gospodarcza badanych obszarów przed realizacją inwestycji?

  • Jakie były bezpośrednie rezultaty realizowanych inwestycji?

  • Czy sytuacja społeczno-gospodarcza badanych obszarów zmieniła się po realizacji projektów?

Przyczynowo - skutkowe

  • Czy zmiana sytuacji była efektem realizacji projektu?

  • Jaki jest efekt netto realizacji projektów

Normatywne

  • Czy wywołane zmiany były pozytywne?

  • Czy oddziaływanie inwestycji jest zadowalające w kontekście poniesionych nakładów, czy program był efektywny?

  • Czy w kontekście powyższych ustaleń wsparcie projektów z zakresu kultury jest zasadne?

Preskryptywne

  • Czy należy kontynuować programy wspierające inwestycje kulturalne w kolejnej perspektywie finansowej?

  • Jakie modyfikacje należy wprowadzić względem obecnego programu by wsparcie było bardziej efektywne?

Przykład - ewaluacja ex-ante:

Ewaluacja ex-ante programu wspierającego przedsiębiorczość

Pytania:
Opisowe

  • Jaka jest kondycja sektora MSP i jak wyglądają jego podstawowe słabości i silne strony?

  • Jak wsparcie oferowano MSP w poprzednich latach i jakie były efekty pomocy?

  • Jakiego rodzaju wsparcie oferuje program, jaka jest logika interwencji?

Predyktywne

  • Czy wsparcie w takim kształcie spotka się z zainteresowaniem przedsiębiorców?

  • Jak może zmienić się konkurencyjność sektora MSP w wyniku realizacji programu?

Normatywne

  • Czy projektowane wsparcie jest adekwatne do potrzeb przedsiębiorców?

  • Czy wskaźniki odzwierciedlają cele programu, czy ich wartości docelowe są realne?

Preskryptywne

  • Jakie modyfikacje należy wprowadzić w projektowanych działaniach by bardziej odpowiadały potrzebom beneficjentów?

  • Na które działania należy położyć największy nacisk by zmaksymalizować efekt wzrostu konkurencyjności sektora MSP?

Pytania ewaluacyjne określają przede wszystkim zakres badania, ale służą również definiowaniu pojęć, pokazaniu jak rozumiemy poszczególne zagadnienia. Pytania szczegółowe przedstawiają sam pomysł na badanie, koncepcję realizacji badania ewaluacyjnego. Stawiając szczegółowe pytania badawcze pokazujemy jak zamierzamy rozwiązać nurtujące nas problemy.

Przykład:

Główne pytanie, zagadnienie:

  • Czy obecny poziom dofinansowania projektów w ramach RPO WSL (np. 85%) jest właściwy?

Pytania szczegółowe, które definiują "właściwy poziom":

  • Przy jakim poziomie dofinansowania cele RPO WSL są najlepiej realizowane?

  • Przy jakim poziomie dofinansowania można dofinansować najwięcej projektów?

  • Jaki poziom dofinansowania zapewnia realizację wartościowych projektów?

Pytania szczegółowe pokazujące koncepcję zdobywania odpowiedzi na główne pytanie:

  • Czy beneficjenci są skłonni realizować projekty przy niższym poziomie dofinansowania?

  • W ilu ze złożonych dotychczas w RPO WSL projektach wnioskuje się o niższe niż maksymalne dofinansowanie?

  • Ilukrotnie wnioskowana kwota dofinansowania przewyższa dostępne w konkursie środki?

  • Czy w złożonych dotychczas w RPO WSL projektach widać zależność między poziomem dofinansowania i jakością (miejscem na liście rankingowej)?

  • Czy w innych programach regionalnych oferowane dofinansowanie w danym obszarze jest niższe (jakie)?

  • Ile projektów złożono w programach o niższym dofinansowaniu?

  • Jakie było dofinansowanie i ile projektów złożono w poprzedniej perspektywie finansowej w ramach ZPORR?

Powyższe szczegółowe pytania pokazują już pomysł na badanie, na poszukiwanie odpowiedzi. Na tym poziomie decyduje się co przekona odbiorcę, co jest dla niego wiarygodne. W przypadku zlecenia realizacji badania ewaluacyjnego szczegółowe pytania ewaluacyjne proponowane przez wykonawcę pokazują czy rozumie on intencje zamawiającego - co stanowi jedno z podstawowych kryteriów oceny wykonawcy. Szczegółowe pytania determinują również jakie podejście należy zastosować (przewaga podejścia jakościowego bądź ilościowego), jakie konkretnie metody i narzędzia będą stosowane.

powrót

kryteria ewaluacyjne

Kryteria ewaluacji wynikają z relacji/interakcji, jakie zachodzą pomiędzy programem operacyjnym, procesem jego programowania i wdrażania a otoczeniem społeczno-gospodarczym, na które program oddziałuje - regionem, krajem (patrz rysunek).


Źródło: The New Programming Period 2007-2013, Indicative Guidelines on evaluation methods: Monitoring and Evaluation Indicators. Working Document No.2.

Kryteria ewaluacji pomagają porządkować zakres badania, układać pytania w bloki. Umożliwiają również weryfikację zasadności pytań w kontekście cyklu realizacji programu (poszczególne kryteria i wynikające z nich pytania są charakterystyczne dla określonego typu ewaluacji).

EX-ANTE
ON-GOING
EX-POST

trafność

efektywność

skuteczność

użyteczność

trwałość

         powrót

metody i narzędzia
Właściwa metodologia badania to drugi najważniejszy obok odpowiedniego zakresu badawczego warunek konieczny dobrej ewaluacji. Ustalenie metodologii odbywa się stopniowo na kolejnych etapach strukturalizacji badania. "Pierwszy ruch" należy do zamawiającego badanie ewaluacyjne, który w SOPZ (szczegółowy opis przedmiotu zamówienia) powinien wskazać swoje preferencje odnośnie podejścia / metod, którymi badanie będzie wykonane. To w większym stopniu nawet niż zakres (pytania badawcze) pokazuje wykonawcy czego właściwie oczekuje zamawiający, jakie odpowiedzi na postawione pytania go przekonają, usatysfakcjonują oraz z jakimi kosztami realizacji badania należy się liczyć. Analogicznie zamawiający czytając oferty analizuje wiarygodność i zbieżność pomysłów wykonawcy z własnymi intencjami przez głównie pryzmat zapisów odnośnie proponowanej metodologii. Ostatni i najbardziej interakcyjny etap ustalania metodologii to dyskusja na etapie tworzenia raportu metodologicznego.

W praktyce ewaluacji można spotkać dwa przeciwstawne podejścia do formułowania wymagań odnośnie metodologii realizacji badania:

Oba rozwiązania mają wady. Szczegółowe wskazanie metod wymaga sporej wiedzy ze strony zespołu przygotowującego zamówienie, konieczne jest również dokładne rozeznanie przed zamówieniem m.in. dostępnych danych, tak by wymagane metody były wykonalne. Postawienie szczegółowych wymagań metodologicznych w zasadzie pozbawia wykonawcę wpływu na kształt badania i pozostawia mu jedynie realizować zgodnie z poleceniami. Część firm nie chce być stawiana w takiej roli i nie traktuje takiego zlecenia jako odpowiednie wyzwanie - to może oznaczać, że kilka dobrych wartościowych firm zrezygnuje z przetargu. Możnaby zadać również pytanie jeśli kupujemy od wykonawcy specjalistyczną wiedzę i doświadczenie, to dlaczego nie chcemy skorzystać z niej na etapie doboru metodologii.

Choć pojawiają się głosy, iż zamawiający powinni w ogóle nie dotykać kwestii metodologii to praktyka pokazuje, że ogólne podejście również generuje ryzyka. Pozostawienie swobody wykonawcy pokazuje jak bardzo może się on rozmijać z oczekiwaniami zamawiającego (które zawsze jakieś są nawet jeśli niesprecyzowane w dokumentacji). Prowadzi to czasem do tragicznego wyboru oferty najlepszej z najgorszych gdy żadna w zasadzie nie odpowiada temu czego się spodziewaliśmy. W zależności od kryteriów oceny ofert wykonawca któremu pozostawi się swobodę może podejść do badania bardzo minimalistycznie licząc, że wygra ceną - co stanowi prostą drogę do niskiej jakości i bezwartościowych wniosków / rekomendacji. W innym przypadku możemy być świadkami niepotrzebnego mnożenia metod i pseudometod, z których część może być niepotrzebna, część niewykonalna, a całość nie układa się w spójną metodologię, ale wykonawca je wpisuje bo za każdą metodę dostaje punkty. Wykonawcy którym nie postawi się wymagań zwykle powielają jedynie kilka podstawowych metod badań społecznych nie dbając o inne wiarygodniejsze źródła oraz o etap analizy - gdzie również potrzebne są metody.

Próba uniknięcia wskazanych wad prowadzi zwykle do rozwiązań lokujących się pomiędzy dwoma wskazanymi, np. zarysowania ogólnie podejścia metodologicznego i dodatkowo wskazania kilku szczegółowych metod (mogą one stanowić niezbędne, wymagane minimum), pozostawiając równocześnie wykonawcy możliwość uzupełnienia katalogu (bądź nawet zrezygnowania z metod wskazanych przez zamawiającego jeżeli da się to rozsądnie uzasadnić).

Jakiekolwiek podejście zostanie wybrane przez zamawiającego to każdorazowo należy pamiętać o kilku rzeczach.
Wskazując metody należy mieć na uwadze budżet którym dysponujemy . Cokolwiek zaproponujemy to znajdą się wykonawcy którzy stwierdzą, że dadzą radę to wykonać, ale jeśli budżet będzie za mały to możemy mieć pewność, że zostanie to zrobione źle, pobieżnie, nierzetelnie i spora część winy za to będzie spoczywała na zamawiającym.

Jednym z podstawowych wymogów stawianych wykonawcy powinna być triangulacja: metod badawczych, źródeł danych, testowanych teorii. Prawie wszystkie dowody jakie są przedstawiane w wyniku realizacji ewaluacji to nie są dowody wystarczając. Wskazane zatem jest m.in. potwierdzanie wszelkich poczynionych ustaleń u różnych źródeł, zderzanie wniosków z badań ilościowych z jakościowymi, potwierdzanie kluczowych tez na kilka sposobów. W innym wypadku możemy otrzymać badanie jednostronne i wygodne, ale przez to niewiarygodne.

Poniżej zaprezentowano wybiórczy przegląd metod ewaluacji funduszy unijnych ograniczony jedynie do metod popularnych, tzn. takich które były faktycznie stosowane w przynajmniej kilku badaniach. Na potrzeby prezentacji metod przyjęto podział procesu badawczego na fazy obserwacji oraz analizy i oceny. Jest on oczywiście jednym z wielu możliwych, możnaby np. wydzielić osobną fazę strukturyzacji i umieścić tam metody panelu ekspertów, badania dokumentów czy modele logiczne. Powyższe pokazuje, że wybrany podział ma jedynie charakter porządkowy a poszczególne metody mogą być wykorzystywane na różnych etapach badania.

powrót

metody ewaluacyjne stosowane w fazie obserwacji
powrót

badanie dokumentów (desk research / badanie gabinetowe)
Najczęściej pierwszym krokiem w badaniu ewaluacyjnym jest analiza danych wtórnych (już istniejących), czyli badanie dokumentów. Zazwyczaj, w szczególności w przypadku ewaluacji programów unijnych, badane zjawisko czy proces generuje znaczną liczbę dokumentów, co czyni materiał badawczy i związane z nim możliwości bogatymi.

Badane dokumenty można umownie podzielić na wewnętrzne i zewnętrzne. Wewnętrzne to te tworzone i gromadzone przez zamawiającego badanie w związku z badanym przedmiotem. W przypadku programów unijnych będą to np.:

Dokumenty zewnętrzne to np.:

Badanie dokumentów pozwala przede wszystkim zapoznać się z przedmiotem analizy, poznać otoczenie, kontekst, postawić hipotezy badawcze, to ułatwia np. poźniejsze projektowanie narzędzi do zbierania danych pierwotnych.
Równocześnie analiza dokumentów w wielu przypadkach pozwala udzielać ostatecznych odpowiedzi na szczegółowe pytania badawcze.

Przykład 1

Pytanie: Które elementy wniosku aplikacyjnego sprawiają najczęściej kłopoty beneficjentom?
Źródło odpowiedzi: Dokumentacja z ocen formalnych wniosków

Pytanie: Które kryteria oceny merytorycznej, są niejednoznaczne i prowadzą do rozbieżnych ocen?
Źródło odpowiedzi: Dokumentacja z ocen merytorycznych wniosków?

Powyższe przykłady są dość oczywiste, a sposób postawienia pytań wprost narzuca źródło odpowiedzi. Analiza dokumentów może przyjąć jednak również bardziej złożoną formę, w ramach której trzeba stawiać sobie dodatkowe pytania, mając na uwadze jakie dane są dostępne.

Przykład 2

Pytanie: Czy maksymalny poziom wsparcia ustalony dla działania 3.4 jest odpowiedni?

Odpowiadając na powyższe można postawić sobie np. takie pytania pomocnicze:

  • W ilu ze złożonych dotychczas w RPO WSL projektach wnioskuje się o niższe niż maksymalne dofinansowanie?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Ilukrotnie wnioskowana kwota dofinansowania przewyższa dostępne w konkursie środki?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Czy w złożonych dotychczas w RPO WSL projektach widać zależność między poziomem dofinansowania i jakością (miejscem na liście rankingowej)?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Czy w innych programach regionalnych oferowane dofinansowanie w danym obszarze jest niższe (jakie)?
    Źródło odpowiedzi: dokumentacja z naborów dla porównywalnych działań w innych programach

  • Ile projektów złożono w programach o niższym dofinansowaniu?
    Źródło odpowiedzi: dokumentacja z naborów dla porównywalnych działań w innych programach

Pytanie: Jakie są bariery rozwoju MSP w województwie śląskim?
Źródło odpowiedzi: analizy, ekspertyzy dotyczące barier działania MSP, niekoniecznie w województwie śląskim bo o te może być trudno, ale z poziomu krajowego. Można bowiem założyć, że wiekszość barier jest uniwersalna, niezależna od specyfiki regionu. Następnie możnaby się skupić już tylko uzupełniająco na specyfice regionu (tu również może się okazać, że istnieją opracowania dla regionó porównywalnych).

We wszystkich wskazanych przykładach można oczywiście zakwestionować dane wtórne jako ostateczne i kompletne źródło odpowiedzi albo zaproponować alternatywne źródła danych, ale to nie podważa zasadności metody, gdyż jak wskazano we wstępie do przeglądu metod konieczne jest różnicowanie i dublowanie metod, źródeł danych, czyli triangulacja.

Za maksymalnym eksploatowaniem badania dokumentów przemawia to, że jest to relatywnie tania metoda (w porównaniu z pozyskaniem danych pierwotnych). Poza tym w większości przypadków dane wtórne można uznać za bardziej wiarygodne, obiektywne. Szczególnie jeśli wziąć pod uwagę, że badania społeczne prowadzone w ramach ewaluacji wielokronie pozostawiają wiele do życzenia (małe próby, źle dobrane, niskie zwroty, nieprofesjonalni ankieterzy, błędnie sformułowane kwestionariusze).

Korzyści z badania dokumentów pojawią się jedynie jeżeli ich analiza zostanie przeprowadzona prawidłowo. Konieczna jest weryfikacja wiarygodności wykorzystywanych danych, aktualności, sprawdzenia w jakim stopniu kategorie którymi posługują się autorzy wykorzystywanych badań są porównywalne z naszym przedmiotem badania.

Analiza dokumentów choć tania, łatwa i szybka wymaga zaangażowania badaczy, stąd często z wygody jest zaniedbywana a w zamian stawia się masę pytań w ankietach i wywiadach i niepotrzebnie ryzykuje nierzetelność odpowiedzi, niereprezentatywność, zawodną pamieć i wiele innych czynników, mimo że odpowiedzi czekają gotowe w dokumentach.

Odpowiednie podejście do analizy dokumentów musi więc wymóc na wykonawcy zamawiający.

obserwacja uczestnicząca
tajemniczy klient



kalkulator wielkości próby
Kalkulator wielkości próby do badania ilościowego:

Początek formularza

zmienne dychotomiczne (0/1, tak/nie)
zmienne ciągłe (średnia)

poziom ufności

(wartości od 0 do 1, oba typy zmiennych)
Poziom ufności to prawdopodobieństwo z jakim uzyskany w badaniu wynik faktycznie odwzorowuje rzeczywistość (z uwzględnieniem przyjętego marginesu błędu). Przyjęty poziom ufności 0.95 oznacza, iż istnienie 5% prawdopodobieństwo, że rzeczywisty wynik nie mieści się w oszacowanym przez nas przedziale (że błąd wykracza poza przyjęty margines). Oznacza to, że przeprowadzając ankietę składającą się z 30 pytań i przyjmując poziom ufności 0.95 musimy się liczyć z faktem, że istnieje 79% prawdopodobieństwo, że w przynajmniej jednym pytaniu błąd naszego wyniku wykracza poza pożądany margines. margines błędu

(wartości od 0 do 1, zmienne dychotomiczne)
Margines błędu to inaczej szerokość przedziału w którym zawiera się faktyczny rezultat (wynik dla całej populacji). Decydując się na badanie na próbie godzimy się na to, że nasz wynik nie będzie dokładnym odwzorowaniem rzeczywistości a margines błędu pokazuje jak dokładny wynik nas satysfakcjonuje. Przy założonym marginesie błędu 0.05 i wyniku badania 40 respondentów z których 30 poparło opcję "A", należy uznać, że w całej populacji opcja "A" cieszy się poparciem od 70% do 80% ludzi.
Im bliżej wynik oscyluje wokół wartości dla nas istotnej, tym mniejszy błąd możemy akceptować. szerokość przedziału

(wartości od 0 do ∞, zmienne ciągłe)
Szerokość przedziału wyznacza margines błędu jaki zamierzamy tolerować. Jeżeli w wyniku badania uzyskamy np. wartość 35 godzin które średnio tygodniowo ludzie spędzają w pracy a szerokość przedziału będzie ustalona na 10, to faktyczna liczba godzin mieścić się będzie w przedziale 40 +/- 10 czy od 25 do 45.
Im mniejszy przedział tym większa minimalna próba. proporcja odpowiedzi

(wartości od 0 do 1, zmienne dychotomiczne)
Proporcja odpowiedzi to rozkład odpowiedzi jakiego się spodziewamy. Element ten dotyczy tylko zmiennych 0/1 (pytań: czy używasz, znasz, popierasz, korzystałeś - wszystkich tych gdzie odpowiedź brzmi tak/nie, 0/1). Jeżeli spodziewamy się konkretnego rozkładu odpowiedzi w populacji to wpływa to na wielkość pożądanej próby. Im bardziej skośny rozkład, np. 10% na "tak", 90% na "nie" (wartość 0.1), tym mniejsza może być próba. Jeżeli nie potafimy oszacować proporcji, należy wybrać 0.5. odchylenie standardowe

(wartości od 0 do ∞, zmienne ciągłe)
Odchylenie standardowe jest miarą zmienności zjawiska w populacji. Intuicyjnie, mówi ono jak daleko od średniej są rozrzucone poszczególne wartości. Zazwyczaj trudno jest ustalić wartość odchylenia, ale musimy ją jakoś szacować, np. jeśli chcemy oszacować średni wzrost chłopców w szkole średniej to możemy zgadywać, że będzie to ok. 180cm a większość zmieści się w przedziale 170 - 190. To oznacza, że możemy przyjąć odchylenie na poziomie 6. Im większe odchylenie, tym większą próbę trzeba przebadać. wielkość populacji

(wartości od 1 do ∞, oba typy zmiennych)
Populacja to zbiorowość dla której szacujemy wynik, z której będziemy pobierać próbę. W zależności od przedmiotu badania może to być liczba uczniów w szkole, przedsiębiorców w województwie, obywateli kraju z prawem do głosowania. Parametr ten ma znaczenie przy małych wartościach - populacjach. Wyniki dla populacji powyżej 50000 niewiele będą się różniły od populacji nieskończonej. współczynnik realizowalności

(wartości od 0 do 1, oba typy zmiennych)
Współczynnik realizowalności to odsetek zwrotów jakiego się spodziewamy. W zależności od stosowanej techniki oraz badanej populacji może się on znacznie różnić (np. przy ankiecie pocztowej możemy się spodziewać zwrotów na poziomie 40% - 50%, realizacja wywiadów kwestionariuszowych na wsi może sięgnąć 90%, ale w dużym mieście wynieść ok 50%). Im mniejszy współczynnik tym bardziej próba zrealizowana różni się od planowanej i tym samym planowana musi wzrosnąć.
minimalna wielkość próby
Jeśli nasze badanie zakłada stawianie wielu pytań a spodziewane dla nich proporcje odpowiedzi / odchylenia standardowe są różne, to należy oszacować wielkość próby dla każdego z pytań osobno i wybrać do badania wartość największą.

powrót
do menu

Ewaluacja programów operacyjnych

podstawy publikacje przykłady badań linki mapy myśli

definicja ewaluacji
systematyczne badanie prowadzone z użyciem zróżnicowanych metod badań społeczno - ekonomicznych, zlożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesów oraz efektów interwencji publicznych
Patton 2004; Rossi et al. 1999; Mathison 2004; Weiss 1998

Ewaluację można definiować jako systematyczną i obiektywną ocenę programu lub polityki, ich założeń, procesu realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Powinna ona dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz współdziałanie wszystkich partnerów zaangażowanych w realizację projektu
Polskie Towarzystwo Ewaluacyjne, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, opracowanie, wrzesień 2006

Ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym. Często dotyczy ona procesu określenia wartości lub ważności działania, polityki lub programu.

powrót

historia ewaluacji
Początki ewaluacji miały miejsce w latach 30tych XX wieku w USA. Właściwy początek, tzn moment w którym ewaluacja stała się samodzielną dziedziną nauki i praktyki badawczej miał miejsce po II wojnie światowej. Trzy dziedziny, które były wtedy poddawane badaniom to: edukacja, alokacja zasobów publicznych i programy walki z ubóstwem.
Ewaluacja w Europie pojawiła się w latach 70tych XX wieku, głównie w krajach północnych (UK, Skandynawia). Podstawowym czynnikiem, który spowodował rozprzestrzenienie praktyki ewaluacji w pozostałych rejonach Europy była Unia Europejska a konkretnie fundusze strukturalne. Stad ewaluacja na południu Europy zagościła w latach 90tych XX w. a w Polsce dopiero po 2005 r i w zasadzie ogranicza się do ewaluacji programów operacyjnych.

powrót

cele ewaluacji
(wg Unii Europejskiej)

powrót

funkcje ewaluacji

  • Wzmacnianie odpowiedzialności

    • informowanie społeczeństwa na ile cele programu zostały osiągnięte i jak efektywnie użyto przypisanych zasobów publicznych

  • Wspieranie procesów uczenia się

    • wyjaśnianie czynników i procesów warunkujących sukces programu lub jego porażkę

    • weryfikowanie teorii stojących za politykami

    • promowanie dobrych wzorców

  • Poprawianie planowania

    • zagwarantowanie uzasadnienia dla polityki/programu

    • oraz wydajnej i racjonalnej alokacji zasobów

  • Poprawa wdrażania i kontroli jakości

    • podnoszenie jakości struktur zarządzania programem

    • podnoszenie jakości procesu implementacji działań

    • minimalizowanie negatywnych efektów zarządząnia opartego na wynikach

  • Wzmacnianie partnerstwa i poczucia współwłasności

    • wzmacnianie powiązań, interakcji między uczestnikami programu

    • aktywizowanie interesariuszy - włączanie ich w działania programu, dyskusję nad jego oceną

    • uprawnianie interesariuszy - włączanie we współdecydowanie o programie tych grup, które były marginalizowane

 orientacja
strategiczna
orientacja
operacyjna

Istotność i znaczenie poszczególnych funkcji są rożne w zależności od tego jakiego typu ewaluacja jest realizowana - strategiczna bądź operacyjna.
Uświadomienie sobie czego oczekujemy od badania (potrzeby informacyjne), jaką funkcję ma ono pełnić, jest kluczowe dla jego p owodzenia, gdyż nie wszystkie funkcje mogą być realizowane równocześnie (np. funkcja rozliczania, wzmacniania odpowiedzialności nie współgra ze wzmacnianiem partnerstwa czy poprawianiem wdrażania - chcąc rozliczać z efektów nie możemy oczekiwać, że aktorzy procesu "otworzą się" i szczerze porozmawiają o jego niedomaganiach) i brak ukierunkowania badania może spowodować, iż nie spełni ono żadnej funkcji.

powrót

typy ewaluacji
Typologia ewaluacji może być prowadzona ze względu na wiele kryteriów, między innymi przedmiot badania, jego cel, organizację procesu badania oraz moment w którym jest ono realizowane.

przedmiot badania

Powyższy podział jest stosunkowo jednoznaczny. Zawsze można jednak znaleźć przykłady których zaklasyfikowanie nie jest oczywiste, np. nie do końca jasne jest czy ewaluacje, których przedmiotem byłby wpływ całej polityki spójności (projektów realizowanych w jej ramach) na rozwój społeczno - gospodarczy regionu, powiatu, bądź zróżnicowań regionalnych, powinny być uznawane za ewaluacje polityki, czy tematyczne.

powrót

cel badania
Zgodnie z Rozporządzeniem Rady Unii Europejskiej (WE) 1083/2006 ze względu na kryterium celu ewaluacji wyróżniamy ewaluację o charakterze strategicznym i operacyjnym.

powrót

organizacja badania

powrót

moment realizacji badania

powrót

Miejsce poszczególnych typów ewaluacji w odniesieniu do kolejnych etapów cyklu realizacji programu obrazuje poniższa grafika:

Powyższy schemat przedstawia sytuację idealną, w zasadzie niewystepującą w rzeczywistości, przynajmniej w odniesieniu do cyklów programowania UE. Opóźnienie pomiędzy interwencją a pojawieniem się jej efektów powoduje, że możliwość badania efektów programu (ex-post) pojawia się w momencie gdy kolejne programy są już przygotowane, poddane ewaluacji ex-ante i wdrażane (przykładowo do dzisiaj tj. początek 2010 roku nie ma wyników badań ex-post wdrażania programów z lat 2004-2006, a kolejne porgramy są wdrażane od 2007 roku).

powrót

przygotowanie (strukturalizacja) badania
Strukturalizacja badania ma miejsce na kilku etapach procesu ewaluacji. Pierwszy i najważniejszy następuje tuż po podjęciu decyzji o realizacji badania i jest dokonywany przez instytucję zlecającą badanie. Istotą przedsięwzięcia jest sprecyzowanie naszych potrzeb informacyjnych, czyli czego chcemy się dowiedzieć, jakie pytania należy postawić (jakie kryteria ewaluacyjne nas interesują) i jakie odpowiedzi nas przekonają. Najczęściej zlecający wskazuje również (mniej lub bardziej szczegółowo) oczekiwania co do metodologii badania. Niezbędne jest również określenie zakresu przedmiotowego badania, jego budżetu oraz dostępnego czasu na realizację. Kolejne dwa momenty w których badanie jest re-strukturyzowane, doprecyzowywane to:

Znaczenie pierwszej strukturalizacji - przed zleceniem badania - wynika z faktu, iż to na tym etapie określane są istotne warunki, ramy, które potem w zasadzie nie mogą już być zmieniane a jedynie doprecyzowywane, co pozostawia bardzo niewielki margines modyfikacji na późniejszych etapach strukturyzacji.

powrót

potrzeby informacyjne
Określenie potrzeb informacyjnych to w zasadzie odpowiedzenie sobie na pytanie komu i do czego potrzebne jest badanie / jego wyniki. To pozwala sprecyzować jakiego typu powinna być to ewaluacja i jakie funkcje powinna pełnić. Potrzeby informacyjne z jednej strony (a ograniczenia czasowe, budżetowe, dostępność danych z drugiej) determinują zakres badania, który opisany jest w formie kryteriów i pytań ewaluacyjnych .

powrót

pytania ewaluacyjne
Można wyróżnić kilka rodzajów pytań ewaluacyjnych m.in.:

Przy strukturyzowaniu ewaluacji dywagacje o typach pytań na pewno nie są ważniejsze niż samo stawianie trafnych pytań, prowadzących do odpowiednich odpowiedzi i realizacji stawianych przed badaniem celów. Jednak znajomość typów i podstawowych zaleceń z nimi związanych pomaga ocenić czy nasza struktura pytań badawczych jest kompletna i prawidłowa.
Zalecenia:

Przykład - ewaluacja ex-post:

Ewaluacja ex-post programu finansującego inwestycje w infrastrukturę kultury województwie śląskim.

Pytania:
Opisowe

  • Jaka była charakterystyka wsparcia w ramach programu, na jakie inwestycje można było uzyskać dofinansowanie?

  • Jak wyglądała sytuacja społeczno-gospodarcza badanych obszarów przed realizacją inwestycji?

  • Jakie były bezpośrednie rezultaty realizowanych inwestycji?

  • Czy sytuacja społeczno-gospodarcza badanych obszarów zmieniła się po realizacji projektów?

Przyczynowo - skutkowe

  • Czy zmiana sytuacji była efektem realizacji projektu?

  • Jaki jest efekt netto realizacji projektów

Normatywne

  • Czy wywołane zmiany były pozytywne?

  • Czy oddziaływanie inwestycji jest zadowalające w kontekście poniesionych nakładów, czy program był efektywny?

  • Czy w kontekście powyższych ustaleń wsparcie projektów z zakresu kultury jest zasadne?

Preskryptywne

  • Czy należy kontynuować programy wspierające inwestycje kulturalne w kolejnej perspektywie finansowej?

  • Jakie modyfikacje należy wprowadzić względem obecnego programu by wsparcie było bardziej efektywne?

Przykład - ewaluacja ex-ante:

Ewaluacja ex-ante programu wspierającego przedsiębiorczość

Pytania:
Opisowe

  • Jaka jest kondycja sektora MSP i jak wyglądają jego podstawowe słabości i silne strony?

  • Jak wsparcie oferowano MSP w poprzednich latach i jakie były efekty pomocy?

  • Jakiego rodzaju wsparcie oferuje program, jaka jest logika interwencji?

Predyktywne

  • Czy wsparcie w takim kształcie spotka się z zainteresowaniem przedsiębiorców?

  • Jak może zmienić się konkurencyjność sektora MSP w wyniku realizacji programu?

Normatywne

  • Czy projektowane wsparcie jest adekwatne do potrzeb przedsiębiorców?

  • Czy wskaźniki odzwierciedlają cele programu, czy ich wartości docelowe są realne?

Preskryptywne

  • Jakie modyfikacje należy wprowadzić w projektowanych działaniach by bardziej odpowiadały potrzebom beneficjentów?

  • Na które działania należy położyć największy nacisk by zmaksymalizować efekt wzrostu konkurencyjności sektora MSP?

Pytania ewaluacyjne określają przede wszystkim zakres badania, ale służą również definiowaniu pojęć, pokazaniu jak rozumiemy poszczególne zagadnienia. Pytania szczegółowe przedstawiają sam pomysł na badanie, koncepcję realizacji badania ewaluacyjnego. Stawiając szczegółowe pytania badawcze pokazujemy jak zamierzamy rozwiązać nurtujące nas problemy.

Przykład:

Główne pytanie, zagadnienie:

  • Czy obecny poziom dofinansowania projektów w ramach RPO WSL (np. 85%) jest właściwy?

Pytania szczegółowe, które definiują "właściwy poziom":

  • Przy jakim poziomie dofinansowania cele RPO WSL są najlepiej realizowane?

  • Przy jakim poziomie dofinansowania można dofinansować najwięcej projektów?

  • Jaki poziom dofinansowania zapewnia realizację wartościowych projektów?

Pytania szczegółowe pokazujące koncepcję zdobywania odpowiedzi na główne pytanie:

  • Czy beneficjenci są skłonni realizować projekty przy niższym poziomie dofinansowania?

  • W ilu ze złożonych dotychczas w RPO WSL projektach wnioskuje się o niższe niż maksymalne dofinansowanie?

  • Ilukrotnie wnioskowana kwota dofinansowania przewyższa dostępne w konkursie środki?

  • Czy w złożonych dotychczas w RPO WSL projektach widać zależność między poziomem dofinansowania i jakością (miejscem na liście rankingowej)?

  • Czy w innych programach regionalnych oferowane dofinansowanie w danym obszarze jest niższe (jakie)?

  • Ile projektów złożono w programach o niższym dofinansowaniu?

  • Jakie było dofinansowanie i ile projektów złożono w poprzedniej perspektywie finansowej w ramach ZPORR?

Powyższe szczegółowe pytania pokazują już pomysł na badanie, na poszukiwanie odpowiedzi. Na tym poziomie decyduje się co przekona odbiorcę, co jest dla niego wiarygodne. W przypadku zlecenia realizacji badania ewaluacyjnego szczegółowe pytania ewaluacyjne proponowane przez wykonawcę pokazują czy rozumie on intencje zamawiającego - co stanowi jedno z podstawowych kryteriów oceny wykonawcy. Szczegółowe pytania determinują również jakie podejście należy zastosować (przewaga podejścia jakościowego bądź ilościowego), jakie konkretnie metody i narzędzia będą stosowane.

powrót

kryteria ewaluacyjne

Kryteria ewaluacji wynikają z relacji/interakcji, jakie zachodzą pomiędzy programem operacyjnym, procesem jego programowania i wdrażania a otoczeniem społeczno-gospodarczym, na które program oddziałuje - regionem, krajem (patrz rysunek).


Źródło: The New Programming Period 2007-2013, Indicative Guidelines on evaluation methods: Monitoring and Evaluation Indicators. Working Document No.2.

Kryteria ewaluacji pomagają porządkować zakres badania, układać pytania w bloki. Umożliwiają również weryfikację zasadności pytań w kontekście cyklu realizacji programu (poszczególne kryteria i wynikające z nich pytania są charakterystyczne dla określonego typu ewaluacji).

EX-ANTE
ON-GOING
EX-POST

trafność

efektywność

skuteczność

użyteczność

trwałość

         powrót

metody i narzędzia
Właściwa metodologia badania to drugi najważniejszy obok odpowiedniego zakresu badawczego warunek konieczny dobrej ewaluacji. Ustalenie metodologii odbywa się stopniowo na kolejnych etapach strukturalizacji badania. "Pierwszy ruch" należy do zamawiającego badanie ewaluacyjne, który w SOPZ (szczegółowy opis przedmiotu zamówienia) powinien wskazać swoje preferencje odnośnie podejścia / metod, którymi badanie będzie wykonane. To w większym stopniu nawet niż zakres (pytania badawcze) pokazuje wykonawcy czego właściwie oczekuje zamawiający, jakie odpowiedzi na postawione pytania go przekonają, usatysfakcjonują oraz z jakimi kosztami realizacji badania należy się liczyć. Analogicznie zamawiający czytając oferty analizuje wiarygodność i zbieżność pomysłów wykonawcy z własnymi intencjami przez głównie pryzmat zapisów odnośnie proponowanej metodologii. Ostatni i najbardziej interakcyjny etap ustalania metodologii to dyskusja na etapie tworzenia raportu metodologicznego.

W praktyce ewaluacji można spotkać dwa przeciwstawne podejścia do formułowania wymagań odnośnie metodologii realizacji badania:

Oba rozwiązania mają wady. Szczegółowe wskazanie metod wymaga sporej wiedzy ze strony zespołu przygotowującego zamówienie, konieczne jest również dokładne rozeznanie przed zamówieniem m.in. dostępnych danych, tak by wymagane metody były wykonalne. Postawienie szczegółowych wymagań metodologicznych w zasadzie pozbawia wykonawcę wpływu na kształt badania i pozostawia mu jedynie realizować zgodnie z poleceniami. Część firm nie chce być stawiana w takiej roli i nie traktuje takiego zlecenia jako odpowiednie wyzwanie - to może oznaczać, że kilka dobrych wartościowych firm zrezygnuje z przetargu. Możnaby zadać również pytanie jeśli kupujemy od wykonawcy specjalistyczną wiedzę i doświadczenie, to dlaczego nie chcemy skorzystać z niej na etapie doboru metodologii.

Choć pojawiają się głosy, iż zamawiający powinni w ogóle nie dotykać kwestii metodologii to praktyka pokazuje, że ogólne podejście również generuje ryzyka. Pozostawienie swobody wykonawcy pokazuje jak bardzo może się on rozmijać z oczekiwaniami zamawiającego (które zawsze jakieś są nawet jeśli niesprecyzowane w dokumentacji). Prowadzi to czasem do tragicznego wyboru oferty najlepszej z najgorszych gdy żadna w zasadzie nie odpowiada temu czego się spodziewaliśmy. W zależności od kryteriów oceny ofert wykonawca któremu pozostawi się swobodę może podejść do badania bardzo minimalistycznie licząc, że wygra ceną - co stanowi prostą drogę do niskiej jakości i bezwartościowych wniosków / rekomendacji. W innym przypadku możemy być świadkami niepotrzebnego mnożenia metod i pseudometod, z których część może być niepotrzebna, część niewykonalna, a całość nie układa się w spójną metodologię, ale wykonawca je wpisuje bo za każdą metodę dostaje punkty. Wykonawcy którym nie postawi się wymagań zwykle powielają jedynie kilka podstawowych metod badań społecznych nie dbając o inne wiarygodniejsze źródła oraz o etap analizy - gdzie również potrzebne są metody.

Próba uniknięcia wskazanych wad prowadzi zwykle do rozwiązań lokujących się pomiędzy dwoma wskazanymi, np. zarysowania ogólnie podejścia metodologicznego i dodatkowo wskazania kilku szczegółowych metod (mogą one stanowić niezbędne, wymagane minimum), pozostawiając równocześnie wykonawcy możliwość uzupełnienia katalogu (bądź nawet zrezygnowania z metod wskazanych przez zamawiającego jeżeli da się to rozsądnie uzasadnić).

Jakiekolwiek podejście zostanie wybrane przez zamawiającego to każdorazowo należy pamiętać o kilku rzeczach.
Wskazując metody należy mieć na uwadze budżet którym dysponujemy . Cokolwiek zaproponujemy to znajdą się wykonawcy którzy stwierdzą, że dadzą radę to wykonać, ale jeśli budżet będzie za mały to możemy mieć pewność, że zostanie to zrobione źle, pobieżnie, nierzetelnie i spora część winy za to będzie spoczywała na zamawiającym.

Jednym z podstawowych wymogów stawianych wykonawcy powinna być triangulacja: metod badawczych, źródeł danych, testowanych teorii. Prawie wszystkie dowody jakie są przedstawiane w wyniku realizacji ewaluacji to nie są dowody wystarczając. Wskazane zatem jest m.in. potwierdzanie wszelkich poczynionych ustaleń u różnych źródeł, zderzanie wniosków z badań ilościowych z jakościowymi, potwierdzanie kluczowych tez na kilka sposobów. W innym wypadku możemy otrzymać badanie jednostronne i wygodne, ale przez to niewiarygodne.

Poniżej zaprezentowano wybiórczy przegląd metod ewaluacji funduszy unijnych ograniczony jedynie do metod popularnych, tzn. takich które były faktycznie stosowane w przynajmniej kilku badaniach. Na potrzeby prezentacji metod przyjęto podział procesu badawczego na fazy obserwacji oraz analizy i oceny. Jest on oczywiście jednym z wielu możliwych, możnaby np. wydzielić osobną fazę strukturyzacji i umieścić tam metody panelu ekspertów, badania dokumentów czy modele logiczne. Powyższe pokazuje, że wybrany podział ma jedynie charakter porządkowy a poszczególne metody mogą być wykorzystywane na różnych etapach badania.

powrót

metody ewaluacyjne stosowane w fazie obserwacji
powrót

badanie dokumentów (desk research / badanie gabinetowe)
Najczęściej pierwszym krokiem w badaniu ewaluacyjnym jest analiza danych wtórnych (już istniejących), czyli badanie dokumentów. Zazwyczaj, w szczególności w przypadku ewaluacji programów unijnych, badane zjawisko czy proces generuje znaczną liczbę dokumentów, co czyni materiał badawczy i związane z nim możliwości bogatymi.

Badane dokumenty można umownie podzielić na wewnętrzne i zewnętrzne. Wewnętrzne to te tworzone i gromadzone przez zamawiającego badanie w związku z badanym przedmiotem. W przypadku programów unijnych będą to np.:

Dokumenty zewnętrzne to np.:

Badanie dokumentów pozwala przede wszystkim zapoznać się z przedmiotem analizy, poznać otoczenie, kontekst, postawić hipotezy badawcze, to ułatwia np. poźniejsze projektowanie narzędzi do zbierania danych pierwotnych.
Równocześnie analiza dokumentów w wielu przypadkach pozwala udzielać ostatecznych odpowiedzi na szczegółowe pytania badawcze.

Przykład 1

Pytanie: Które elementy wniosku aplikacyjnego sprawiają najczęściej kłopoty beneficjentom?
Źródło odpowiedzi: Dokumentacja z ocen formalnych wniosków

Pytanie: Które kryteria oceny merytorycznej, są niejednoznaczne i prowadzą do rozbieżnych ocen?
Źródło odpowiedzi: Dokumentacja z ocen merytorycznych wniosków?

Powyższe przykłady są dość oczywiste, a sposób postawienia pytań wprost narzuca źródło odpowiedzi. Analiza dokumentów może przyjąć jednak również bardziej złożoną formę, w ramach której trzeba stawiać sobie dodatkowe pytania, mając na uwadze jakie dane są dostępne.

Przykład 2

Pytanie: Czy maksymalny poziom wsparcia ustalony dla działania 3.4 jest odpowiedni?

Odpowiadając na powyższe można postawić sobie np. takie pytania pomocnicze:

  • W ilu ze złożonych dotychczas w RPO WSL projektach wnioskuje się o niższe niż maksymalne dofinansowanie?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Ilukrotnie wnioskowana kwota dofinansowania przewyższa dostępne w konkursie środki?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Czy w złożonych dotychczas w RPO WSL projektach widać zależność między poziomem dofinansowania i jakością (miejscem na liście rankingowej)?
    Źródło odpowiedzi: dokumentacja z naborów w działaniu 3.4

  • Czy w innych programach regionalnych oferowane dofinansowanie w danym obszarze jest niższe (jakie)?
    Źródło odpowiedzi: dokumentacja z naborów dla porównywalnych działań w innych programach

  • Ile projektów złożono w programach o niższym dofinansowaniu?
    Źródło odpowiedzi: dokumentacja z naborów dla porównywalnych działań w innych programach

Pytanie: Jakie są bariery rozwoju MSP w województwie śląskim?
Źródło odpowiedzi: analizy, ekspertyzy dotyczące barier działania MSP, niekoniecznie w województwie śląskim bo o te może być trudno, ale z poziomu krajowego. Można bowiem założyć, że wiekszość barier jest uniwersalna, niezależna od specyfiki regionu. Następnie możnaby się skupić już tylko uzupełniająco na specyfice regionu (tu również może się okazać, że istnieją opracowania dla regionó porównywalnych).

We wszystkich wskazanych przykładach można oczywiście zakwestionować dane wtórne jako ostateczne i kompletne źródło odpowiedzi albo zaproponować alternatywne źródła danych, ale to nie podważa zasadności metody, gdyż jak wskazano we wstępie do przeglądu metod konieczne jest różnicowanie i dublowanie metod, źródeł danych, czyli triangulacja.

Za maksymalnym eksploatowaniem badania dokumentów przemawia to, że jest to relatywnie tania metoda (w porównaniu z pozyskaniem danych pierwotnych). Poza tym w większości przypadków dane wtórne można uznać za bardziej wiarygodne, obiektywne. Szczególnie jeśli wziąć pod uwagę, że badania społeczne prowadzone w ramach ewaluacji wielokronie pozostawiają wiele do życzenia (małe próby, źle dobrane, niskie zwroty, nieprofesjonalni ankieterzy, błędnie sformułowane kwestionariusze).

Korzyści z badania dokumentów pojawią się jedynie jeżeli ich analiza zostanie przeprowadzona prawidłowo. Konieczna jest weryfikacja wiarygodności wykorzystywanych danych, aktualności, sprawdzenia w jakim stopniu kategorie którymi posługują się autorzy wykorzystywanych badań są porównywalne z naszym przedmiotem badania.

Analiza dokumentów choć tania, łatwa i szybka wymaga zaangażowania badaczy, stąd często z wygody jest zaniedbywana a w zamian stawia się masę pytań w ankietach i wywiadach i niepotrzebnie ryzykuje nierzetelność odpowiedzi, niereprezentatywność, zawodną pamieć i wiele innych czynników, mimo że odpowiedzi czekają gotowe w dokumentach.

Odpowiednie podejście do analizy dokumentów musi więc wymóc na wykonawcy zamawiający.

powrót

obserwacja uczestnicząca
tajemniczy klient

powrót

kalkulator wielkości próby
Kalkulator wielkości próby do badania ilościowego:

Początek formularza

zmienne dychotomiczne (0/1, tak/nie)
zmienne ciągłe (średnia)

Dół formularza

poziom ufności (wartości od 0 do 1, oba typy zmiennych)
Poziom ufności to prawdopodobieństwo z jakim uzyskany w badaniu wynik faktycznie odwzorowuje rzeczywistość (z uwzględnieniem przyjętego marginesu błędu). Przyjęty poziom ufności 0.95 oznacza, iż istnienie 5% prawdopodobieństwo, że rzeczywisty wynik nie mieści się w oszacowanym przez nas przedziale (że błąd wykracza poza przyjęty margines). Oznacza to, że przeprowadzając ankietę składającą się z 30 pytań i przyjmując poziom ufności 0.95 musimy się liczyć z faktem, że istnieje 79% prawdopodobieństwo, że w przynajmniej jednym pytaniu błąd naszego wyniku wykracza poza pożądany margines.
margines błędu (wartości od 0 do 1, zmienne dychotomiczne)
Margines błędu to inaczej szerokość przedziału w którym zawiera się faktyczny rezultat (wynik dla całej populacji). Decydując się na badanie na próbie godzimy się na to, że nasz wynik nie będzie dokładnym odwzorowaniem rzeczywistości a margines błędu pokazuje jak dokładny wynik nas satysfakcjonuje. Przy założonym marginesie błędu 0.05 i wyniku badania 40 respondentów z których 30 poparło opcję "A", należy uznać, że w całej populacji opcja "A" cieszy się poparciem od 70% do 80% ludzi.
Im bliżej wynik oscyluje wokół wartości dla nas istotnej, tym mniejszy błąd możemy akceptować.
szerokość przedziału (wartości od 0 do ∞, zmienne ciągłe)
Szerokość przedziału wyznacza margines błędu jaki zamierzamy tolerować. Jeżeli w wyniku badania uzyskamy np. wartość 35 godzin które średnio tygodniowo ludzie spędzają w pracy a szerokość przedziału będzie ustalona na 10, to faktyczna liczba godzin mieścić się będzie w przedziale 40 +/- 10 czy od 25 do 45.
Im mniejszy przedział tym większa minimalna próba.
proporcja odpowiedzi (wartości od 0 do 1, zmienne dychotomiczne)
Proporcja odpowiedzi to rozkład odpowiedzi jakiego się spodziewamy. Element ten dotyczy tylko zmiennych 0/1 (pytań: czy używasz, znasz, popierasz, korzystałeś - wszystkich tych gdzie odpowiedź brzmi tak/nie, 0/1). Jeżeli spodziewamy się konkretnego rozkładu odpowiedzi w populacji to wpływa to na wielkość pożądanej próby. Im bardziej skośny rozkład, np. 10% na "tak", 90% na "nie" (wartość 0.1), tym mniejsza może być próba. Jeżeli nie potafimy oszacować proporcji, należy wybrać 0.5.
odchylenie standardowe (wartości od 0 do ∞, zmienne ciągłe)
Odchylenie standardowe jest miarą zmienności zjawiska w populacji. Intuicyjnie, mówi ono jak daleko od średniej są rozrzucone poszczególne wartości. Zazwyczaj trudno jest ustalić wartość odchylenia, ale musimy ją jakoś szacować, np. jeśli chcemy oszacować średni wzrost chłopców w szkole średniej to możemy zgadywać, że będzie to ok. 180cm a większość zmieści się w przedziale 170 - 190. To oznacza, że możemy przyjąć odchylenie na poziomie 6. Im większe odchylenie, tym większą próbę trzeba przebadać.
wielkość populacji (wartości od 1 do ∞, oba typy zmiennych)
Populacja to zbiorowość dla której szacujemy wynik, z której będziemy pobierać próbę. W zależności od przedmiotu badania może to być liczba uczniów w szkole, przedsiębiorców w województwie, obywateli kraju z prawem do głosowania. Parametr ten ma znaczenie przy małych wartościach - populacjach. Wyniki dla populacji powyżej 50000 niewiele będą się różniły od populacji nieskończonej.
współczynnik realizowalności (wartości od 0 do 1, oba typy zmiennych)
Współczynnik realizowalności to odsetek zwrotów jakiego się spodziewamy. W zależności od stosowanej techniki oraz badanej populacji może się on znacznie różnić (np. przy ankiecie pocztowej możemy się spodziewać zwrotów na poziomie 40% - 50%, realizacja wywiadów kwestionariuszowych na wsi może sięgnąć 90%, ale w dużym mieście wynieść ok 50%). Im mniejszy współczynnik tym bardziej próba zrealizowana różni się od planowanej i tym samym planowana musi wzrosnąć.
minimalna wielkość próby
Jeśli nasze badanie zakłada stawianie wielu pytań a spodziewane dla nich proporcje odpowiedzi / odchylenia standardowe są różne, to należy oszacować wielkość próby dla każdego z pytań osobno i wybrać do badania wartość największą.
powrót

metody ewaluacyjne stosowane w fazie analizy i oceny
powrót

wybór wykonawcy (zamówienia publiczne)
Zdecydowana większość badań ewaluacyjnych programów unijnych nie jest realizowana samodzielnie przez jednostkę realizującą program operacyjny i zainteresowaną badaniem / wynikami, ale przez zewnętrzną firmę, zespół.
Kluczowym zadaniem obok określenia zakresu ewaluacji i zarysu koncepcji jest więc także wybór odpowiedniego wykonawcy, takiego, który zdolny będzie zrozumieć nasze intencje i potrzeby, rozwinie twórczo koncepcję badania a następnie rzetelnie je zrealizuje.
Wybór odpowiedniego wykonawcy badania ewaluacyjnego nie jest zadaniem prostym z wielu powodów. Jednym z podstawowych jest fakt, iż większość instytucji realizujących programy unijne jest związana rygorami prawa zamówień publicznych, które skutecznie zmusza do wyboru wykonawców tanich a nie dobrych.

powrót

tryby zamówień
Zamówienia publiczne na realizację ewaluacji są udzielane zazwyczaj w ramach jednego z dwóch trybów:

powrót

warunki udziału w postępowaniu
Zgodnie z prawem zamówień publicznych ocenie za pomocą kryteriów może podlegać jedynie oferta, nie wolno stosować kryteriów w odniesieniu do samego wykonawcy. Jedynym sposobem by zmniejszyć ryzyko wyboru wykonawcy nieposiadającego niezbędnej wiedzy ani doświadczenia oraz niedysponującego potencjałem technicznym i osobami zdolnymi do wykonania zamówienia jest ustalenie odpowiednich warunków udziału w postępowaniu. Poniżej kilka najczęściej stosowanych warunków:

warunek 1:
Wykonawca musi wykazać się wykonaniem w okresie ostatnich trzech lat przed dniem wszczęcia postępowania o udzielenie zamówienia, a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie, co najmniej 3 usług o wartości nie mniejszej niż 80 000 PLN brutto każda, których przedmiotem było przeprowadzenie badań ewaluacyjnych bądź innych badań w zakresie rozwoju społeczno-gospodarczego kraju/regionu.

Komentarz:
Ten warunek odnosi się bezpośrednio do firmy, instytucji która składa ofertę a nie - tak jak pozostałe - do osób, które będą wykonywały badanie.

Co zrozumiałe, za wiarygodnego uznaje się wykonawcę który już wykonywał usługi podobne do tej, którą my zamawiamy.

Ograniczenie do ostatnich kilku lat, zabezpiecza nas np. przed instytucjami, które parały się działalnością badawczą w latach 70 XX wieku, ale obecnie stanowią już jedynie szyld niepoparty zasobami ludzkimi, albo przed firmami, które faktycznie wykonały 3 badania na przestrzeni np. 10 lat, ale jest to dla nich działalność zupełnie poboczna.

Wartość usługi stanowi przybliżenie skali przedsięwzięcia z jakimi miał do czynienia wykonawca, dlatego najczęściej wymaga się wykazania wykonanymi usługami o wartości odpowiadającej naszemu zamówieniu (zazwyczaj nieco niższej, tzn. przykładowo: jeśli szacujemy nasze zamówienie na 100 000 PLN to wymagamy usług powyżej 80 000 PLN).

Restrykcyjność warunków powinniśmy dostosowywać do stopnia trudności jakie - naszym zdaniem - wiążą się ze zlecanym badaniem. Jeśli badanie wydaje się proste to nie powinno się zawężać grona potencjalnych wykonawców. Można wtedy zarówno zejść z 3 wymaganych badań np. do 2 jak i obniżyć ich minimalną wartość. To pozwoli kolejnym firmom zdobywać doświadczenia i zwiększy konkurencję na rynku.

Istotne jest co rozumiemy przez usługi podobne i jak to zapiszemy. Jest zrozumiałe, że potencjalny wykonawca będzie starał się interpretować i naginać nasze warunki tak, by je spełnić. Nasze zapisy muszą być na tyle precyzyjne byśmy mogli następnie podczas oceny formalnej zgłoszonych ofert odrzucić wykonawców przedstawiających usługi niespełniające naszym zdaniem warunku (nie narażając się na protest). Pisząc np. "badanie ewaluacyjne" możemy się spodziewać przedstawienia badań które nie miały nic wspólnego z funduszami unijnymi a tym bardziej strukturalnymi a także:

  • ilościowych badań marketingowych - firma przeprowadziła np. ankietę na 1000 osób pytając jakie piwo piją;

  • badań ewaluacyjnych - ale realizowanych w konsorcjum, gdzie nasz potencjalny wykonawca odpowiadał jedynie za jakiś skromny wycinek, np. właśnie przeprowadzenie ankiety;

  • strategii turystycznej gminy X - wykonawca twierdzi, że w strategii jest również część diagnostyczna i to "podpada" pod ewaluację.

Dopuszczalne jest doprecyzowanie warunku poprzez zapisy wyłączające, co ułatwia przekazanie oferentom o jakie usługi nam chodzi, np:
"do usług spełniających warunek nie zaliczają się:

  • strategie rozwoju lokalnego

  • studia wykonalności

  • lokalne programy rewitalizacji"

warunek 2:
Wykonawca musi wykazać, iż dysponuje lub będzie dysponował co najmniej 5 osobami (Zespół Badawczy) zdolnymi do wykonania zamówienia, posiadającymi:

Komentarz:
Żeby uniknąć sytuacji w której nasze badanie wykonuje dwóch studentów geografii w swoim pokoju w akademiku musimy określić minimalne wymagania ilościowe i jakościowe wobec zespołu badawczego.
3 do 5 osób wydaje się wystarczającym zespołem w zależności od rozmiaru badania (zresztą większość wykonawców z własnej woli dokłada więcej osób do zespołów, by te mogły się wykazywać doświadczeniem przy kolejnych zamówieniach) Co do ich wiedzy i doświadczeń to powinny one być już ściśle powiązane z tematyką badania, choć w praktyce, można zauważyć pewien "zestaw obwiązkowy", który spotyka się w prawie każdym badaniu.

  1. doświadczenie w kierowaniu badaniami, - kierownik badań (tematyka badań związana z problematyką Unii Europejskiej) - jedna osoba

  2. wiedzę dotyczącą wdrażania programów współfinansowanych z funduszy Unii Europejskiej - każdy członek Zespołu; jako posiadająca wystarczającą wiedzę zostanie oceniona osoba, która spełnia co najmniej jeden z poniższych warunków:

    • posiada ukończone studia kierunkowe (dopuszcza się również studia podyplomowe) w zakresie funduszy UE,

    • prowadzi/iła w ramach studiów zajęcia z tego zakresu,

    • posiada doświadczenie zawodowe w instytucjach zarządzających lub wdrażających programy unijne na stanowisku bezpośrednio związanym z wdrażaniem/zarządzaniem (minimum 1 rok doświadczenia),

    • jest autorem publikacji w przedmiotowym zakresie (min. 2 publikacje),

    • przygotowywała i realizowała badania ewaluacyjne z zakresu programów współfinansowanych z funduszy strukturalnych UE (minimum 2 badania);

Komentarz:
Jeżeli zlecane przez nas badanie ewaluacyjne ma dotyczyć programu operacyjnego to wskazane jest by członkowie zespołu znali specyfikę funduszy unijnych - inaczej ich zdolności analityczne i doświadczenie badawcze może okazać się bezużyteczne, jeżeli nie będą "czuli" przedmiotu badania.
Większość zamawiających poprzestaje na wymaganiu wiedzy nie precyzując w jaki sposób wiedzy tej trzeba dowieść. Pozostawienie takiej dowolności interpretacji sprawia, że wykonawca może wskazać prawie każdego jako osobę spełniającą warunek (np. osoby które uczestniczyły w jednodniowym szkoleniu dla beneficjentów PO KL albo konferencji fundusze unijne a rozwój polskiej wsi). Dlatego uzasadnione jest jednak wskazanie co uznamy za wystarczającą wiedzę.
Warto zauważyć, że wymóg ten choć niezbędny przy ewaluacjach operacyjnych służących rozwiązywaniu problemów na etapie wdrażania, może zostać pominięty przy ewaluacji strategicznej, badaniach ex-post, gdzie znacznie ważniejsza staje się znajomość danego obszaru rozwoju niż mechanizmów rządzących wdrażaniem funduszy unijnych.

  1. doświadczenie w realizacji analiz i/lub ewaluacji i/lub badań w zakresie rozwoju społeczno-gospodarczego kraju i/lub regionu - każdy członek Zespołu;

  2. doświadczenie w zakresie przygotowania i realizacji badań metodami ilościowymi oraz analiz statystycznych - minimum 2 osoby;

  3. doświadczenie w zakresie przygotowania i realizacji badań metodami jakościowymi - minimum 2 osoby;

Komentarz:
W zależności od tego jakiej metodologii wymagamy, konieczne jest wymaganie doświadczenia w realizacji ewaluacji odpowiednimi metodami. Brak członków zespołu przygotowanych do realizacji badań ilościowych i jakościowych może powodować na etapie realizacji błędy, które pozbawią ewaluację wiarygodności.

  1. doświadczenie zawodowe w sektorach: transportu, ochrony środowiska, msp/innowacji oraz co najmniej dwóch z pozostałych wymienionych: rewitalizacja, edukacja, kultura, turystyka, społeczeństwo informacyjne, zdrowie - Zespół łącznie; przez doświadczenie zawodowe w danym sektorze rozumie się:

    • doświadczenie w zakresie programowania, ewaluacji, oceny w zakresie programów sektorowych finansowanych z UE lub z innych źródeł w przedmiotowym obszarze i/lub doświadczenia w zakresie opracowania sektorowych dokumentów strategicznych w przedmiotowym obszarze.

Komentarz:
Jeżeli nasze badanie dotyczy konkretnego sektora gospodarki, priorytetu programu (bądź dwóch trzech) to konieczne jest by zespół badawczy dysponował specjalistyczną wiedzą w tym konkretnym obszarze, dziedzinie. Inaczej nawet jeśli specjaliści od badań ilościowych, jakościowych zgromadzą bogaty materiał analityczny, to przeprowadzone na nim wnioskowanie, będzie płytkie i pozbawione wartości.
Podobnie jak w powyższym przypadku kluczowe jest nie tylko samo wymaganie wiedzy / doświadczenia ale precyzyjne wskazanie co zostanie przez nas uznane za wystarczające. Wymaganie np. "doświadczenia w realizacji badań z obszaru transportu" pozwala na zgłoszenie:

  • osoby, która była jednym z członków zespołu realizującego badanie Regionalnego Programu Operacyjnego Województwa Śląskiego pod kątem usprawnień na etapie wdrażania - gdyż osoba ta twierdzi, że jednym z priorytetów RPO WSL jest transport, więc jest to badanie transportu.

  • osoby, która uczestniczyła kiedyś w konsultacjach projektu Strategii Rozwoju Województwa Śląskiego i jest wskazana z tyłu dokumentu jako członek zespołu sterującego - gdyż jednym z celów SRW jest rozwój transportu, więc osoba ta twierdzi, że ma doświadczenie w tym obszarze.

Jak wymóc na wykonawcy zaangażowanie odpowiednich ekspertów do badania, a nie zawodowych pseudo-ewaluatorów znających się na wszystkim, czyli na niczym - pozostaje nierozwiązanym problemem ewaluacji. My zlecając ostatnio badanie wpływu inwestycji w infrastrukturę kultury i turystyki na rozwój społeczno- gospodarczy regionu zastrzegliśmy konieczność zaangażowania osoby mającej:
doświadczenie z zakresu analiz procesów gospodarczych zachodzących w miastach i regionach, rozwoju lokalnego i regionalnego, analiz ekonomiczno - przestrzennych. Jako posiadająca wystarczająca doświadczenie zostanie zaś oceniona osoba, która spełnia następujący warunek:

  • jest doktorantem, bądź posiada stopień naukowy w dziedzinie nauk ekonomicznych lub o zarządzaniu i prowadzi(ła) wykłady / ćwiczenia w powyższym zakresie w publicznej szkole wyższej (minimum 4 semestry w ciągu ostatnich 5 lat).

Nie wiem czy ten zapis będzie skuteczny, oferty jeszcze nie spłynęły, ale jest to kolejna próba poszukiwania takiego zapisu by otrzymać oczekiwany produkt.
warunek 3:
Zamawiający zastrzega, aby żaden z członków Zespołu Badawczego nie był i nie jest pracownikiem lub doradcą w instytucji odpowiedzialnej za zarządzanie Regionalnym Programem Operacyjnym Województwa Śląskiego na lata 2007-2013 oraz jego koordynację i nie był ani nie jest Beneficjentem Programu.

Komentarz:
Warunek ten wypływa z tego samego postulatu, który uzasadnia potrzebę prowadzenia ewaluacji zewnętrznych - dla zapewnienia obiektywizmu członkowie zespołu powinni być niezależni i niezaangażowani w proces który badają.
Z podejściem takim można jednak polemizować. Obiektywizmowi eksperta zewnętrznego towarzyszy brak wiedzy odnośnie badanego przedmiotu. Wiedzę taką - która może się okazać kluczowa dla rozwiązania stawianych problemów - może posiadać osoba zaangażowana wcześniej we wdrażanie danego programu operacyjnego.
Zasadność takiego warunku należy więc oceniać indywidualnie dla każdej ewaluacji biorąc pod uwagę jej przedmiot i funkcje. Obiektywizm i niezależność są niezbędne gdy ewaluacja ma służyć rozliczeniu z efektów, wzmocnieniu odpowiedzialności. W innych przypadkach może warto postawić na wiedzę z wewnątrz.
powrót

kryteria oceny oferty
Art. 91 ustawy Prawo zamówień publicznych dopuszcza by kryteriami oceny ofert poza ceną były inne kryteria odnoszące się do przedmiotu zamówienia. Korzystając z tej możliwości, zlecający badania ewaluacyjne funduszy unijnych stosują praktycznie zawsze drugie kryterium "metodologia i sposób realizacji badania". Kryterium to w zależności od badania stanowi od 30% do 70% oceny oferty.
W praktyce za ogólnym sformułowaniem "metodologia i sposób realizacji badania" kryje się cały zestaw kryteriów merytorycznie oceniających oferty. Rolą kryteriów jest umożliwić ocenę wszystkich kluczowych elementów oferty które determinują jakość realizowanego na jej podstawie badania. Z drugiej strony kryteria merytoryczne komunikują potencjalnemu wykonawcy co jest dla nas najważniejsze i powinny mu umożliwić dopasowanie oferty do naszych potrzeb.
Kryteria powinny więc w miarę możliwości dotykać wszystkich kluczowych aspektów oferty / badania i pozwolić oceniać w ich ramach to co najistotniejsze i świadczy o wysokiej jakości oferty. Najczęściej stosowane kryteria to:

przykład 1 - ogólne kryteria oceny:

  • szczegółowa propozycja zakresu prac badawczych (20pkt)

  • szczegółowa propozycja metod i narzędzi badawczych (20pkt)

  • dostosowanie planu pracy do zaproponowanej metodologii (5pkt)

  • rozdysponowanie pracy pomiędzy członków zespołu badawczego (5pkt)

dwa pierwsze z nich są zdecydowanie wyżej punktowane, gdyż to właśnie pytania badawcze i sposób odpowiedzi na nie są najistotniejsze dla wartości oferty. Wadą powyższych sformułowań jest ich ogólność, która niewiele mówi wykonawcy i rodzi ryzyko nieporównywalnych ocen poszczególnych oceniających.
Próbując znaleźć rozsądny kompromis pomiędzy jasnością sformułowań - pozwalającą wykonawcy zrozumieć na co powinien zwrócić uwagę, a drugiej strony pozostawieniem względnej swobody oceny komisji, tak by mogła wydobyć faktyczną wartość ofert, my doszliśmy do następujących sformułowań:

przykład 2 - rozpisane kryteria oceny:
Pod uwagę będą brane następujące elementy:

  • Koncepcja badania - szczegółowa propozycja zakresu prac badawczych oraz dodatkowe szczegółowe pytania badawcze - trafność zaproponowanego zakresu badania, w tym sformułowanych dodatkowych pytań badawczych w kontekście celu głównego badania (od 0 do 20 pkt):
    Zrozumienie zakresu

    • Na ile przejrzysta i logiczna jest struktura badania

    • Czy sposób przedstawienia problemów i pytania szczegółowe sugerują, iż Wykonawca dobrze odczytuje intencje Zamawiającego, tzn. uzyska wiarygodne odpowiedzi prowadzące do realizacji celów badania,

Dodatkowe pytania

  • Na ile dodatkowe pytania wzbogacają (liczba, jakość) zakres badania (pytania dublujące zagadnienia wskazane w SOPZ, jak i te wykraczające poza cele badania będą skutkowały obniżeniem oceny)

  • Czy dodatkowe pytania zostały dobrze wkomponowane w strukturę badania.

  • Metodologia badawcza - szczegółowa propozycja metod i narzędzi badawczych w kontekście sformułowanych problemów i pytań badawczych oraz klarowność i spójność logiczna zaproponowanej metodologii (od 0 do 20 pkt):

    Bogactwo metodologii i zachowanie zasady triangulacji metod badawczych i źródeł danych - z uwzględnieniem, które z zaproponowanych metod/narzędzi są użyteczne z punktu widzenia realizacji celów badania (użyteczność metod/narzędzi względem celów badania jest warunkowana zrozumieniem zakresu badania, ocena tego aspektu nie może być więc wysoka, jeśli nisko zostanie oceniona koncepcja badania),

    Trafność doboru metod do pytań badawczych (na trafność doboru metod/narzędzi wpływ ma trafność szczegółowych pytań badawczych, ocena tego aspektu nie może być więc wysoka, jeśli nisko zostanie ocenione zrozumienie zakresu),

    Próby badawcze - trafność doboru, wielkość (jakość prób badawczych ma znaczenie jedynie przy trafnym doborze metod do pytań badawczych w innym wypadku ocena nie może być wysoka).

  • Dostosowanie planu pracy do zaproponowanej metodologii (od 0 do 5 pkt.):
    Spójność harmonogramu realizacji badania
    Czy przyjęte terminy są realne ze względu na zakres badania i wymagania poszczególnych metod/narzędzi

  • Rozdysponowanie pracy pomiędzy członków zespołu badawczego (od 0 do 5 pkt.):
    Czy poszczególni członkowie zespołu zaangażowani w odpowiednie zadania zgodnie z deklarowanym wykształceniem i doświadczeniem
    Czy określony podział obowiązków pomiędzy członków Zespołu Badawczego zapewnia odpowiednie obciążenie pracą poszczególnych członków zespołu.

Takie zapisy mogą nadal spotkać się z protestami wykonawców, bądź - co bardziej prawdopodobne - jednostki odpowiadającej za zamówienia publiczne w skali całego urzędu, przyzwyczajonej do zamawiania długopisów i ulotek. Wymagają oni by z kryteriów jasno i precyzyjnie wynikało za co ile punktów dostanie oferent w zależności od tego co wpisze w ofertę. Stąd czasami zamawiający stosują np. bardzo szczegółowe quasi-liczbowe kryteria:

przykład 3 - złe szczegółowe kryteria:

  • Za każde dodatkowe pytanie badawcze wykonawca otrzyma 2 pkt., maksymalnie 20 pkt.

  • Za każdą dodatkową metodę badawcza wykonawca otrzyma 1 pkt., maksymalnie 10 pkt.

Kryteria takie nie służą najczęściej wyborowi dobrej oferty. Gdyż nie w ilości pytań czy metod tkwi jej jakość. Wykonawca może przecież zupełnie nie rozumieć naszych problemów badawczych i wskazanego przez nas zakresu. Jego pytania dodatkowe mogą dublować wskazane przez nas, albo nie mieścić się w celach badania jakie sobie stawiamy - mimo to przy takim kryterium płodny oferent zyskuje 20 pkt. Analogicznie mnożenie metod niekoniecznie podnosi wartość oferty, gdy zupełnie nie pasują one do wymagań badania. Nielogiczne wydaje się również nagradzanie za jakiekolwiek metody, jeśli wykonawca wcześniej nie popisał się rozumieniem zakresu, bo przecież żadnymi metodami nie zrealizuje się badania którego się nie rozumie. Kryterium takie również prowadzi do sztucznego mnożenia dziwnych metod: SWOT, różnorodnych paneli, czy drzewa celów i problemów, które w normalnych warunkach nie byłyby nawet wykazywane jako osobne metody badawcze gdyż okazują się np. zwykłymi spotkaniami zespołu badawczego.

Dotychczas spotkałem się tylko z jednym protestem wykonawcy odnośnie zbyt mało szczegółowych kryteriów (była to firma nieznana na rynku ewaluacji, co częściowo może tłumaczyć jej zastrzeżenia - nikt inny do przedmiotowego protestu nie przystąpił). Poniżej przedstawiam fragment odpowiedzi na protest wskazującej jeszcze raz moje poglądy na szczegółowość kryteriów:

Odpowiedź na protest:
Zastosowanie sposobu oceny ofert opartego o sztywny algorytm punkt za metodę jak wskazano w propozycji w proteście nie jest możliwe w przypadku zamówień których przedmiotem jest realizacja badania społeczno-gospodarczego.

Katalog metod badawczych którymi mogą posłużyć się wykonawcy tego rodzaju badań jest niezwykle szeroki - przynajmniej kilkadziesiąt narzędzi. Poszczególne metody nie mogą być pojedynczo nagradzane odpowiednią punktacją, gdyż wartość badania leży w odpowiedniej kombinacji metod a nie ich indywidualnych zaletach. Traktując metodologię jako odpowiednią kombinację metod możemy mieć do czynienia z tysiącami przypadków możliwych, dopuszczalnych metodologii.

Dodatkowo oferent ma możliwość formułowania dodatkowych zagadnień, bądź uszczegółowiania tych wskazanych przez Zamawiającego, czyli jego zadaniem jest twórczo rozwinąć zakres wskazany w SOPZ dobierając następnie odpowiednie metody badawcze układające się w spójną z celami badania koncepcję.

Faktu, iż oferent nie może "powziąć wiedzy ile punktów otrzyma za zastosowanie techniki PAPI a ile za CAWI" nie można więc traktować jako zarzut, gdyż jak wynika z powyższych argumentów, żadna z metod pojedynczo nie stanowi dla Zamawiającego jakiejkolwiek wartości, która mogłaby podlegać samodzielnej ocenie. Wartość podlegającą ocenie stanowi dopiero kompletna metodologia w kontekście wcześniej ukształtowanego zakresu badania.

To wyklucza zastosowanie z powodzeniem sztywnego algorytmu który będzie co prawda bardziej jasny ,ale może objąć jedynie mocno ograniczoną liczbę prostych, bezpośrednio wymiernych aspektów, pomijając kluczowe elementy stanowiące globalnie o jakości oferty. Zastosowanie prostego algorytmu wzorowanego na propozycji wskazanej w uzasadnieniu protestu prowadziłoby faktycznie do mechanizacji oceny i pomijania faktycznej jakości merytorycznej tkwiącej w ofertach. W efekcie rodziłoby to ryzyko wyboru oferty która nie przedstawia najkorzystniejszego bilansu ceny i wartości merytorycznej.

Nie oznacza to, że szczegółowe kryteria z założenia są złe i psują ocenę. Można znaleźć przypadki gdy wybór szczegółowego kryterium wynika ze specyfiki badania i jest uzasadniony:

przykład 4 - dobre szczegółowe kryteria:

  • Dodatkowy punkt zostanie przyznany za każde kolejne 50 przedsiębiorców w badaniu CATI, maksymalnie 10.

    kontekst:
    Ewaluacja opiera się głównie o badanie ilościowe przedsiębiorców. Wskazano, że minimalna próba to 500, jednak jej zwiększenie poprawia istotnie wiarygodność wyników.

  • Dodatkowe 2 pkt zostają przyznane za każdy kolejny powiat wskazany do studium przypadku, jeżeli wybór będzie uzasadniony (maksymalnie 6)

    kontekst:
    Ewaluacja zakłada pogłębione badania trzech studiów przypadku - powiatów w regionie, które z jakiegoś powodu są dla zamawiającego charakterystyczne, reprezentują specyficzne cechy. Zamawiający dopuszcza możliwość, że da się inaczej poklasyfikować powiaty i zasadniejsza będzie większa liczba studiów przypadku. To może poprawić wartość badania i dlatego zostanie dodatkowo nagrodzone.

Na zakończenie, jeżeli ktoś ma wewnętrzny dylemat, bądź kłopot z przekonaniem kogoś jakie kryteria powinny być stosowane i jak ogólne podejście jest jeszcze dopuszczalne, warto spojrzeć na kryteria stosowane przed DG Regio Komisji Europejskiej, której trudno odmówić doświadczenia w zlecaniu badań ewaluacyjnych:

przykład 5 - kryteria KE:

  • Understanding of the Terms of Reference (20%)

  • Appropriateness of the methodology (economic analysis, case study methodology), (50 %)

  • Quality of planning of human resources and work organisation (30 %)

Co ciekawe w specyfikacji znajduje się też zapis:

Tenders with a mark below 50% of available quality points will not be considered

co rozwiązałoby czesto spotykany u nas problem gdy część ofert odpada na ocenie formalnej a z pozostałych, choć żadna nie nadaje się do realizacji, trzeba coś wybrać.
powrót

rynek ewaluacji
Dobry wybór wykonawcy wymaga odpowiedniej wiedzy odnośnie tego jak kształtuje się rynek ewaluacji w Polsce i jakie relacje na nim zachodzą.
Zmiany popytu na rynku ewaluacji są prostym odzwierciedleniem sytuacji w Polsce w zakresie funduszy unijnych tzn. ich pojawieniem się a następnie decentralizacją na poziom regionalny. Wzrost popytu na badania ewaluacyjne obrazuje poniższa tabelka:

Rok 2004 2006 2008
Budżet na ewaluacje 100 000 EUR 500 000 EUR 6 250 000 EUR
Zrealizowane badania 5 52 112
Źródło: S. Bienias, Evaluation of Structural Instruments in Poland. Experience in Evaluation Capacity Building
"Evaluation of EU Structural Funds: Reinforcing Quality and Utilisation", 26-27 March, 2009, Vilnius

Można założyć, że obecnie (2010 r.) liczba badań ewaluacyjnych w zakresie funduszy strukturalnych urosła do 150 rocznie i ustabilizowała się na tym poziomie na następne parę lat. Trzeba mieć jednak na uwadze, że poza badaniami stricte ewaluacyjnymi funduszy strukturalnych z ich środków finansowane są również liczne projekty badawcze (przede wszystkim z Programu Operacyjnego Kapitał Ludzki) w zakresie rozwoju społeczno - gospodarczego. Badania te mają podobną konstrukcję, wymagania (choć są średnio większe i droższe) i są realizowane przez te same firmy, więc jest to ten sam rynek. Szacuję, że liczba badań finansowanych z PO KL jest większa niż liczba ewaluacji. Mamy więc do czynienia z popytem na ponad 300 badań rocznie.
Jak uczy stara dobra mikroekonomia podaż powinna dostosowywać się do popytu i takie zjawisko na pewno na rynku ewaluacji zachodzi. Tyle, że póki co mamy do czynienia chyba z krótkim okresem i jest to dostosowanie w ramach istniejącego "potencjału produkcyjnego". Przygotowana przez jednostkę ewaluacyjną RPO WSL na potrzeby zlecania ewaluacji baza ewaluatorów zbiera wszystkie firmy / instytucje, które do roku 2009 wykonały choć jedno badanie ewaluacyjne w obszarze funduszy strukturalnych. Jest ich 111 (liczba ta jest nieco większa gdy uwzględnić regionalne oddziały firm realizujšce badania samodzielnie). Należy wziąć pod uwagę to, że baza na moment powstawania mogła być niepełna oraz to, że na pewno kolejne firmy weszły w międzyczasie na rynek. Można więc założyć że mamy do czynienia z około 150 podmiotami potencjalnie zdolnymi realizować badania ewaluacyjne funduszy unijnych. Dla wielu z nich była to jednak działalność incydentalna - jedno zrealizowane badanie z jakichś specyficznych, jednorazowych powodów. Dla wielu firm ewaluacja jest działalnością dodatkową, na "złe czasy" kiedy brakuje innych zleceń, albo tylko w konkretnych warunkach, gdy pojawia się jakieś prestiżowe zamówienie. Wiele firm zdecydowało się na udział w badaniu jedynie w ramach konsorcjum, zaproszone przez inna firmę. Wszystkie powyższe oraz inne niewymienione uwarunkowania powodują, że jak szacuję, firm / instytucji które obecnie na poważnie i stale uczestniczą w rynku ewaluacji i są w stanie zagwarantować minimalną jakość jest 15-30. Jeżeli uznać, że badanie trwa ok. trzy miesiące a średniej wielkości firma jest w stanie skompletować trzy zespoły badawcze to podaż wynosi maksymalnie:

4 (badania w roku) * 3 (zespoły) * 30 (firm) = 360 badań możliwych do wykonania rocznie

Te oparte na wielu założeniach obliczenia są bardzo szacunkowe, ale jednak pokazują, iż konkurencja na rynku ewaluacji nie jest duża. Każda firma coś dla siebie znajdzie, a to nie wymusza jakości i dyktowania rozsądnych cen. To na zamawiającym spoczywa presja, nie może on przebierać w dobrych ofertach, a raczej wybrać dopuszczalną spośród złych - tym trudniejsza i odpowiedzialniejsza rola osób zajmujących się zlecaniem ewaluacji.

Wśród wykonawców badań ewaluacyjnych można wyróżnić charakterystyczne typy*:
Małe firmy konsultingowe

Średnie i duże firmy konsultingowe

Wielka czwórka

Firmy prowadzące badania społeczne

Uczelnie / instytuty naukowe

Dół formularza


Wyszukiwarka

Podobne podstrony:
Jąkanie definicje rodzaje reakcje fizjologiczne(1)(1)
Wskaźniki definicja, rodzaje i charakterystyka
25. Intensywność dystrybucji - definicja i rodzaje, Materiały PSW Biała Podlaska, ZiPM- ćwiczenia
123 definicje rodzaje modelowanieid 13941 ppt
definicje rodzaje menedżerów
04-definicja i rodzaje etyki
04 definicja i rodzaje etyki
definicje rodzaje
Definicje i rodzaje lęków u dzieci
04 rodzaje ewaluacji, procedura badań ewaluacyjnych
Jąkanie definicje rodzaje reakcje fizjologiczne(1)(1)
2 definicja i rodzaje stresu (agnieszka jednacz krzysztof korczynski)
Wskaźniki definicja, rodzaje i charakterystyka
CELLULIT DEFINICJA, RODZAJE, LECZENIE
Definicje ewaluacji
3.10 Definicja rytmow biologicznych, Definicja rytmów biologicznych, ich rodzaje i mechanizmy synchr
3.10 Definicja rytmow biologicznych, Definicja rytmów biologicznych, ich rodzaje i mechanizmy synchr

więcej podobnych podstron