Wykorzystanie ewaluacji

Zgodnie z tezą Earla Babbie („Podstawy badań społecznych”, PWN 2009) jedną z bolączek ewaluacji jest wykorzystanie jej wyników.

Dlaczego?

Czy nie powinno być tak, że przekazanie zlecającemu obiektywnych danych na temat słabych i mocnych stron danego projektu wystarczy do podjęcia odpowiednich decyzji?

Rady i porady...

Powinno, ale często nie jest...

Wykorzystanie nawet najlepszych i najbardziej rzetelnych badań ewaluacyjnych często zależy od szeregu czynników niezależnych od badacza i samego badania.

Przyjrzyjmy się przykładowi zaprezentowanemu przez E. Babbie („Podstawy badań społecznych”, PWN 2009):

Przykład...

Richard Nixon, będąc prezydentem, powołał narodową komisję do zbadania skutków pornografii. Po wnikliwym badaniu ewaluacyjnym komisja wystąpiła z raportem, w którym stwierdzono, że pornografia nie ma żadnych negatywnych konsekwencji, jakie zazwyczaj są jej przypisywane. Np. prezentowanie materiałów pornograficznych nie zwiększa prawdopodobieństwa zwiększenia liczby przestępstw na tle seksualnym.

W następstwie badań można było oczekiwać liberalizacji prawodawstwa. Jednak prezydent stwierdził, iż komisja byław błędzie.

W literaturze przedmiotu wskazuje się zazwyczaj dwie grupy czynników wpływających na wykorzystanie ewaluacji: (za: K. Olejniczak, „Mechanizmy wykorzystania ewaluacji”, Wyd. Naukowe Scholar, Warszawa 2008):

1. Związane ze środowiskiem ewaluacji;

2. Związane z samym badaniem ewaluacyjnym.

Środowisko ewaluacji - odbiorcy

Do czynników związanych ze środowiskiem ewaluacji, mających wpływ na jej wykorzystanie, zaliczamy:

• Zaangażowanie odbiorców badania w proces ewaluacji – większe zaangażowanie zlecającego w proces badania oznacza pełniejsze porozumienie w zakresie jego założeń, przyjętych kryteriów i wskaźników.

Rady i porady...

Obie strony – ewaluator i zlecający - stanowią swego rodzaju zespół pracujący wspólnie w celu uzyskania rzetelnego, miarodajnego, wieloaspektowego badania. Zlecający współpracuje z ewaluatorem dla osiągnięcia lepszego zrozumienia danej interwencji.

Taki zlecający w naturalny sposób będzie bardziej zainteresowany wykorzystaniem uzyskanych wyników badania ewaluacyjnego.

Środowisko ewaluacji –rodzaj danych

• Rodzaj danych, jakich pozyskaniem zainteresowani są odbiorcy badania w celu podjęcia odpowiednich decyzji odnośnie danej interwencji.

Rady i porady...

Należy zwrócić uwagę na formułowanie tego rodzaju rekomendacji, którymi decydenci są zainteresowani. Nie znaczy to, że pomijamy informacje „niewygodne” dla zlecającego. Po prostu dyrektorowi WUP potrzebne są innego rodzaju informacje niż prowadzącemu projekt, w którym bierze udział 50 osób.

Badacze zwracają tu uwagę na problem kolidujących z naszymi źródeł informacji. Te niezależne od nas źródła informacji mogą wzmacniać lub osłabiać zapał do wykorzystania wyników naszego badania.

Środowisko ewaluacji - ludzie

• Element ludzki – stosunek do badania jednostek stanowiących kluczowy personel zlecającego, odpowiedzialny za podejmowanie wiążących decyzji. Mają tu znaczenie: pozycja tych osób w organizacji, ich wpływy, interesy, cechy charakteru.

Przykład...

Stąd, istotnym zadaniem jest przekonanie takich właśnie osób do celowości przeprowadzenia badania.

Środowisko ewaluacji – otoczenie decyzyjne

• Proces decyzyjny, klimat polityczny, kwestie finansowe – mogą wpłynąć na wykorzystanie (bądź niewykorzystanie) wyników badania ewaluacyjnego.

Rady i porady...

Jest to coś, z czym musimy się pogodzić, powierzając wyniki badania zlecającemu. Są to czynniki niezależne od samego zlecającego.

Cechy badania

Do czynników związanych z samą ewaluacją, mających wpływ na jej wykorzystanie, zaliczamy:

• Odpowiednie ukierunkowanie badania na kwestie istotne dla odbiorców badania.

Rady i porady...

Kwestie te rozważaliśmy w poprzednim module przy okazji definiowania zakresu badania (obszary badania, pytania kluczowe).

Cechy badania – wiarygodność

• Wiarygodność badania – wiarygodność osoby ewaluatora oraz jego profesjonalizm. Znaczenie ma tu posiadane doświadczenie, odpowiednie wyczucie w kwestiach finansowych, zasób umiejętności ewaluatora jako badacza oraz specjalisty z zakresu danego obszaru badawczego.

Rady i porady...

Cechy te mają wpływ na to, jak osoba ewaluatora jest odbierana przez zlecającego badanie i tym samym rzutują na wykorzystanie (bądź niewykorzystanie) wyników ewaluacji.

Cechy badania - rzetelność

 

• Rzetelność badania – rozumiana jako odpowiedni dobór strategii, metod, narzędzi badawczych, sposób zbierania i analizy danych oraz formułowanie rekomendacji.

• Sposób komunikowania się ze zlecającym badanie – częstotliwość, przejrzystość działania, skłonność do negocjacji, uzgadniania kluczowych dla obu stron elementów badania.

O co zadbać?

Badacze wskazują tu na szereg czynników (za: K. Olejniczak, „Mechanizmy wykorzystania ewaluacji”, Wyd. Naukowe Scholar, Warszawa 2008):

• Odpowiednia częstotliwość kontaktów ze zlecającym ewaluację, w szczególności podczas fazy planowania badania;

• Uzyskanie odpowiedzi na pytania kluczowe dla odbiorców badania;

• Jednolita grupa odbiorców badania ewaluacyjnego (jednolitość rekomendacji);

• Bliska współpraca ze zlecającym podczas realizacji badania (pamiętajmy, iż zlecający ma dużą wiedzę o badanym obszarze, którą możemy i powinniśmy wziąć pod uwagę);

• Współpraca ewaluatora z odbiorcą przy wdrażaniu rekomendacji z badania – monitorowanie wdrażania rekomendacji.

Raport – standardy

Zgodnie z Wytycznymi MRR w zakresie ewaluacji programów operacyjnych na lata 2007-13 raport ewaluacji powinien zawierać:

• Streszczenie – nie więcej niż 5 stron A4

• Spis treści

• Cel badania

• Metodologię oraz źródła informacji wykorzystywanychw badaniu

• Opis procesu badawczego

• Wnioski, rekomendacje

• Załączniki

Raport z ewaluacji:

Powinien zawierać krótkie ok. 5 stronicowe streszczenie głównych tez i rekomendacji;

Rady i porady...

Pamiętajmy, że zamawiający może nie mieć czasu czytać całego raportu wraz załącznikami.

• Przejrzysty, odpowiedni dla do odbiorców język raportu;

• Każdy rozdział powinien zawierać krótkie podsumowanie;

• Rekomendacje konstruktywne i jasne. Można je uporządkować tematycznie, wskazać rekomendacje kluczowe i te mniej istotne;

• Opis rekomendacji powinien jednoznacznie wskazywać odpowiedzialnego za ich wdrożenie adresata oraz horyzont czasowy, w jakim powinno to nastąpić;

• Komentarze na marginesie, ułatwiające czytelnikowi śledzenie treści;

• Wykorzystać wykresy, tabele i grafy do zilustrowania najważniejszych spostrzeżeń raportu (ma to być czytelne, a więc nie za dużo takich form graficznych);

• Wszystko, co nie jest niezbędne odbiorcy, można wprowadzić do raportu w formie załączników (wzory ankiet, metodologia badania, sposób doboru próby losowej do badania).

Kryteria jakości raportu:

• Czy ewaluacja odpowiada na potrzeby odbiorcy i rozstrzyga wszystkie istotne kwestie;

• Czy badaniem objęto wszystkie niezbędne obszary interwencji;

• Czy dobrano odpowiednią metodologię badania do przedmiotu ewaluacji;

• Czy dane wykorzystane do analizy były rzetelnie zebrane i poprawnie przeanalizowane;

• Czy wyniki ewaluacji wypływają z logiki procesu badawczego i mają poparcie w zebranych danych;

• Czy rekomendacje mają cechy obiektywności i czy są konstruktywne;

• Czy forma raportu wspomaga proces prezentacji wyników badania ewaluacyjnego.

Raport – złe praktyki:

• Raport zbyt obszerny;

• Rekomendacje nie wynikają z zebranych informacji;

• Rekomendacje nie są konstruktywne, nie są przydatne odbiorcy;

• Wyciąganie nieuprawnionych, zbyt daleko idących wniosków, generalizowanie;

• Zbyt dużo szczegółowych, nieistotnych danych;

• Zbyt dużo/zbyt mało wykresów, grafów, diagramów etc.;

• Chaotyczna struktura raportu, brak przywiązania uwagi do formy raportu;

• Brak wiedzy o szerszej perspektywie/środowisku wdrażania danej interwencji