Procedury badań ewaluacyjnych

Źródła: Polskie Towarzystwo Ewaluacyjne (strona internetowa), Ewaluacja ex post

04.03.2009

Ewaluacja - ocena wartości jakiegoś obiektu, programu, interwencji społecznej. Badania te mają dostarczyć pomocy programom np. jak zwiększyć efektywność programów. Z założenia programy powinny być poddawane ewaluacji. Badania ewaluacyjne to relatywnie świeży wynalazek (XX w.) s początki to np. Hobbes (XVII w.).

Ewaluacja programu - żeby ocenić przydatność programu trzeba odpowiedzieć na szereg pytań:

1. Jaka jest natura i zasięg programu (kogo dotyka, jak wielu ludzi, jaka jest jego lokalizacja, w jaki sposób problem dotyka tych osób);

2. Jakie są możliwe do wykonania działania, które polepszą sytuację;

3. Jaka jest populacja docelowa;

4. Czy interwencja jest dobrze wdrożona;

5. Czy zamierzone usługi są dostarczone;

6. Czy przynosi zamierzone korzyści;

7. Czy koszty programu pozostają w rozsądnej relacji z efektami.

Odpowiedź na te pytania jest konieczna i w projektach o małej i o dużej skali. Ewaluator dostarcza tych odpowiedzi. Ewaluatorzy używają metod badań metodologii.

Historia - w latach 30. XX w. podejmowano różne badania (np. dotyczące epidemiologii chorób zakaźnych). To np. słynne badania E. Mayo - miały na celu wykrycie czynników wpływających na efektywność pracy robotników. Wychodził z badań F. Taylora, z naukowej teorii zarządzania. Taylor proponował obserwacje podstawowych czynności w pracy. Mayo chciał zbadać jak na efektywność wpływa np. oświetlenie. Wydzielono pomieszczenie eksperymentalne. Działano w nim różnymi bodźcami. Okazało się, że tam efektywność jest większa niż w zakładzie niezależnie od bodźców. Szybko utworzyła się tu grupa. Te badania też miały charakter ewaluacyjny. Stosowanie nauk społecznych systematycznie wzrastało. Zwłaszcza w czasach drugiej wojny światowej. Rozwinięto procedury obserwacji i oceny technik propagandy. Badania sondażowe do badania morali. Po drugiej wojnie światowej uruchomiono dużo programów mających na celu np. rozwój miast, podniesienia poziomu ewaluacji. To okres dużego zaangażowania środków budżetowych. Chciano poznać rezultaty więc ewaluacja stała się powszechna w latach 50. W latach 60. Pojawiła się literatura dla tej dziedziny.

Definicja: zastosowanie metod nauk społecznych do systematycznego badania społecznych interwencji, programów w sposób, który jest dostosowany do ich polityki i organizacyjnego otoczenia (musi zawsze brać pod uwagę realia) i zaprojektowany aby wpływać na społeczne działania mające na celu poprawę warunków społecznych.

11.03.2009

Elementy definicji:

• Zastosowanie metod nauk społecznych - techniki i metody badań społecznych muszą zostać zastosowane w badaniu ewaluacyjnym. Metodologiczna jakość badania niekoniecznie jest najważniejszym aspektem ewaluacji. Programy społeczne są wrogim środowiskiem dla celów badawczych, zmuszają badaczy do pewnych kompromisów. Istotą ewaluacji jest zastosowanie standardów społecznych. Konstruowanie rzetelnego opisu działania programu - jeden z podstawowych celów. Opis musi być szczegółowy, bez niego nie można pewnych rzeczy zrobić.

• Efektywność programów społecznych - każde badanie ewaluacyjne będzie związane z badaniem efektywności. Obszary związane z efektywnością:

• I obszar - ocena potrzeby programu

• II obszar - podlega ocenie efekt programu - teoria

• III obszar - wdrożenie programu i dostarczenie usług

• IV obszar - wpływ programu na otoczenie i wyniki

• V obszar - badanie kosztów w stosunku do celów

• Dopasowanie programu do politycznego i organizacyjnego środowiska - ewaluacja musi dopasować swój wyjściowy plan do warunków, które przeważnie powodują modyfikację wyjściowego programu. Badanie to uwikłane jest w politykę. Ważne są powody, dla których jest zadawane pytanie ewaluacyjne i co przez nie rozumieją sponsorzy. Ewaluacja musi być dostosowana do warunków organizacyjnych, w których jest prowadzona. Ewaluacja nie jest gotowym działaniem, trzeba dopasować plan do warunków. Zakres będzie zależał od celów, audytoriów. Musi być dopasowany do kontekstu politycznego i organizacyjnego, ci którzy zamawiają ewaluację chcą coś osiągnąć.

• Wpływanie na działanie społeczne jako cel ewaluacji - ewaluacja jest kierowana w pierwszej kolejności do osób, które są decydentami. Badania te mogą służyć celom społecznym. Ważną formą ewaluacji są programy demonstracyjne, które są społecznymi interwencjami, które służą testowaniu wartości innowacyjnego pojęcia. Ma też dostarczać informacje planistom itp.

Stake holders - jednostki, grupy, organizacje, które mają interes w tym jak działa program, fundatorzy badania, personel, klienci. To podstawowa grupa - ktoś z nich finansuje. Badanie od początku uwikłane jest w politykę. Często Ewaluator musi negocjować żeby rozwinąć i udoskonalić pytania. Ewaluacja nie powinna być robiona póki nie określi się zamiaru, celu. Na początku bada motywacje zleceniodawców.

Ewaluacja ma wpływać na postawę - celem jest działanie skierowane przede wszystkim do tych, którzy mają moc wpływania. Mogą służyć działaniom społecznym. Jedna z form ewaluacji to programy demonstracyjne. Charakterystyczną cechą jest odniesienie do praktyki.

Dylematy ewaluatorów:

• Pierwszorzędny konflikt - wymagania badań a wymagania organizacyjne (rutynowe działanie programu);

• Fakt, że badane środowisko stale ulega zmianom, to wymaga dużej elastyczności i gotowości do zmiany programu ewaluacji w trakcie jej przeprowadzania. Nawet początkowe wyniki ewaluacji same w sobie mogą powodować zmiany.

• Napięcie między dążeniem do naukowości a podejściem pragmatycznym (Campbell uważał, że polityka powinna iść za nauką, ona powinna być drogowskazem - to skrajne stanowisko; Cronbach - cel ewaluacji odróżnia się ostro od nauki, to bardziej sztuka, powinna spełniać oczekiwania decydentów).

Kto przeprowadza ewaluację? - większość wykształcona w naukach społecznych. Idealny Ewaluator powinien znać cały repertuar metod nauk społecznych.

Dopasowanie badań ewaluacji - kłopotliwy aspekt - nie ma jednego uniwersalnego typu, który można zastosować do każdego badania.

Aspekty, które muszą być dopasowane:

1. Pytanie, na które ewaluacja ma odpowiedzieć;

2. Metody i procedury, które dostarczą odpowiedzi na pytanie;

3. Natura ewaluacji między ewaluatorem a stakeholders.

Cechy sytuacji ewaluacyjnej, jakie plan powinien brać pod uwagę:

1. Cel ewaluacji - np. by pomóc managmentowi udoskonalić program może być odpowiedzią na presję publiczną. Ewaluator musi odkryć cele. To nie zawsze jest proste. Ujawniane cele to rzadko cała historia. Istnieją trzy podstawowe grupy celów, mają one inne motywacje:

• Ulepszanie programu - ewaluacja formatywna. Tu celem jest pomoc w kształtowaniu programu. Ewaluator ściśle współpracuje z kierownikami.

• Ocena sprawozdawcza - cel to rozliczenie danego programu. Oczekiwania efektywnego wykorzystania zasobów.

• Zdobycie wiedzy - najważniejsze jest tu zastosowanie standardów metodologicznych. Celem jest rozszerzenie wiedzy naukowej.

• Elektorat walki politycznej.

2. Struktura programu - nie ma dwóch programów, które są identyczne. Trzy podstawowe kategorie istotne dla ewaluatora:

• Etap rozwoju programu - ocena programu we wczesnych stadiach różni się znacznie od oceny w późniejszych etapach. Gdy program jest nowy Ewaluatorzy często chcą ocenić społeczną potrzebę programu, jego cele, ocena oczekiwanych wyników, środków. Ewaluator - konsultant przy planowaniu lub jako osoba, która ma ocenić. Od nowych programów oczekuje się, że mają one badać wpływ jaki on ma. Na początku nie można oczekiwać, że dobrze w pełni się to oceni. Więcej znacznie jest ocen, które są już wdrażane przez dłuższy czas, które są już ustanowione, rozwinięte. Określone typy ewaluacji pojawiają się na określonych etapach realizacji programów.

• Kontekst administracyjno-polityczny - ewaluator nie ma swobody w tworzeniu własnych definicji, w zadawaniu pytań jakie są cele programu, jaki jest problem, czego dotyczy, jakie należy zadawać pytania ewaluacyjne. Ewaluator powinien wydobyć opinię o tym jakie są cele programu, jak powinny być realizowane. Te opinie mają pochodzić od stakeholders. Może on planować ewaluację tylko z perspektywy jednego stakeholders (ten kto finansuje programy). Zaprojektowanie ewaluacji, która może być próbą wyjaśnienia powodów, że dwie osoby mają odmienny punkt myślenia, np. nauczyciele-rodzice. Rodzice uważają, że w publicznej szkole dzieci są dyskryminowane a nauczyciele tak nie uważają. Ewaluacja wyjaśnia przyczyny różnic zdań. Praca ewaluator zawsze napotyka na krytykę z jakiejś strony.

• Konceptualna i organizacyjna struktura programu - uczestnicy programu (stakeholders) nie wiedzą, co program ma na celu, trudno wtedy stwierdzić czy program jest dobrze prowadzony. Konceptualizacja ma na celu wydobycie, jaka jest logika programu, jego rolę, co ma na celu, wtedy można ocenić czy program dobrze działa. Ewaluator musi brać pod uwagę strukturę organizacyjną programu. Im większa jest struktura, im bardziej rozproszona, tym trudniej przeprowadzić ewaluację, potrzebne są większe zasoby, więcej czasu. Gdy są to proste zadania, czynności, np. dostarczanie bezdomnym posiłków, to ewaluację łatwiej przeprowadzić. Znaczenie ma więc typ usług, działań.

3. Zasoby dostępne do ewaluacji:

• Personel do różnego rodzaju działań. Mogą to być już zaczerpnięte z istniejących, mogą być dostarczane przez sponsora lub mogą być to całkiem nowe zasoby.

• Specjalistyczna wiedza, eksperci do zbierania danych, zarządzanie nimi. Ważne są nie tylko środki finansowe, ale zasoby ludzkie.

• Wsparcie ze strony manegmantu danego programu z ewaluatorem. Dostęp ewaluatora, do różnych danych, zapisków.

• Czas potrzebny na ewaluację. Im wyższe standardy nakładane na ewaluację, tym dłużej ona trwa.

Wszystkie te kwestie trzeba brać pod uwagę przed wdrożeniem programu.

Fundatorzy, osoby, które decydują czy program i kiedy ma być uruchomiony, sponsorzy, uczestnicy programu (jednostki, gospodarstwa domowe, które uzyskują pomoc od programu). Kierownicy programu, którzy kierują programem, przeciwnicy programu, uczestnicy konstytualni (organizacje, osoby i w bezpośrednim otoczeniu programu, którzy mają bezpośredni interes, co się wydarzy, jakie prace są realizowane), społeczność badaczy (zajmują się badaniem ewaluacyjnym).

18.03.2009

Typy relacji stakeholders - ze współpracą lub bez współpracy.

Dopasowanie pytania badawczego i metod:

Drabina ewaluacyjna - etapy programów, hierarchicznie. Grupy pytań ewaluacyjnych, które tworzą hierarchię (od dołu):

1. Ocena potrzeby programu - czy program realizuje problem społeczny?

2. Ocena projektu i teorii programu - w jaki sposób program jest konceptualizowany, jakie są skutki. Czy program opiera się na założeniach zgodnych z wiedzą naukową i zdroworozsądkową?

3. Ocena działania programu i jego zastosowanie (wdrażanie nowego programu)

4. Ocena wyników, wpływów programu

5. Ocena kosztów i efektywności programu

Każda ewaluacja musi być dostosowana do okoliczności, to kwestie pytań, metod i procedur, relacji między ewaluatorem a stakeholders. Muszą one być dopasowane do okoliczności, żeby były skuteczne. Plan musi być dopasowany do różnego rodzaju ograniczeń.

Pytania:

1. Jaki jest cel ewaluacji?

2. Struktura i okoliczności programu (czy program nowy, czy stary)

3. Dostępne zasoby, środki od sponsora, personel, eksperci.

25.03.2009

Złożony proces formułowania pytań ewaluacyjnych: identyfikacja kwestii ewaluacji; podstawowe pytania:

Należy zwrócić uwagę jakie są dobre pytania ewaluacyjne, forma pytania kształtowana jest przez funkcje, jakie musi spełniać informacja. Pytania muszą być:

• Rozsądne (tzn. adekwatne do programu, nie może być irracjonalne) i uzasadnione;

• Takie, na które da się odpowiedzieć;

• W jakim kontekście działa program, na czym polega, ocenić personel, zanalizowanie relacji i do wiedzy w naukach społecznych;

• Ewaluator musi wiedzieć jak program działa, musi znać jego składniki. Pytanie musi odwoływać się do kryteriów, które dotyczą programu.

Standardy/ kryteria do pytań (drogi skąd się biorą):

1. Potrzeby populacji docelowej - najczęściej jest dookreślone. Czy dobrze działa możemy zbadać, porównując cele.

2. Przedstawione przez program cele.

3. Profesjonalne - brane z innych dziedzin praktyki i wiedzy, z pedagogiki, psychologii, standardy skuteczności terapii zaczerpnięte z psychologii.

4. Taktyki zwyczajowe.

5. Wymogi prawne.

6. Wartości moralne.

7. Kryteria brane z przeszłości - porównanie jak było kiedyś, a jak jest teraz.

8. Kryteria, które posiadają kierownicy.

9. Opinia ekspertów.

10. Warunki, których się oczekuje, gdy program by nie działał (gdyby nie było interwencji).

11. Koszty bezwzględne, relatywne.

Typowe pytania ewaluacyjne:

1. Dotyczące potrzeby

• Jaka jest natura i wielkość programu? Badanie jaka jest skala tego programu.

• Jakie są cechy populacji, która będzie badana?

• Jakie są potrzeby populacji?

• Jakie są usługi i świadczenia? Jak wiele usług i przez jaki czas?

• Jaka organizacja tych usług jest potrzebna?

2. Pytania o konceptualizację programu

• Jaka klientela powinna być obsługiwana?

• Jakie usługi powinny by ć dostarczane?

• W jaki sposób program zidentyfikuje, przyciągnie, zrekonstruuje i utrzyma daną klientelę?

• Jak powinien być skonstruowany program?

• Jakie zasoby są konieczne i potrzebne do programu?

3. Pytania o działanie programu, dostarczanie usług i świadczeń

• Czy założenia administracyjne są osiągnięte?

• Czy planowane usługi są dostarczane do konkretnych osób?

• Czy są potrzebujące, ale nie obsłużone osoby?

• Czy klient wejdzie do programu, czy otrzyma konkretną usługę?

• Czy są zadowoleni?

• Czy funkcje administracyjne i związane z personelem są dobrze prowadzone?

4. Pytania o wyniki

• Czy są osiągnięte cele bliższe i dalsze?

• Czy usługi odnoszą korzyści?

• Czy usługi nie dają zamierzonych efektów dla klientów?

• Czy na odbiorców problem wpływa bardziej lub mniej?

• Czy mogły być lepiej zaplanowane elementy programu?

5. Pytania o ocenę kosztów, skuteczności i efektywności

• Czy koszt…

• Czy są alternatywne podejścia, które byłyby dobre przy mniejszych kosztach?

Krytyczna faza to sformułowanie pytań i identyfikacja. Pytania zawierają kryteria badawcze.

22.04.2009

Poziomy ewaluacji:

1. Ocena potrzeby programu - czynnikiem aktywnym są politycy a nie badacze w badaniach ewaluacyjnych. Rola ewaluatora polega na diagnozie warunków społecznych. Dobra ocena potrzeby programu jest bardzo ważna, można uniknąć niepotrzebnych kosztów.

Czynności:

1. Zdefiniowanie problemu.

2. Określenie zakresu problemy programu - można korzystać z istniejących statystyki z istniejących statystyk; można wykonać ankietę, sondaż itp.

3. Definicja granic populacji docelowej (targetu). Target to osoby, domy, ulice, dzielnice.

2. Ocena projektu i teorii programu - na tym etapie należy wyartykułować program, przedstawić opis teorii programu. Należy ustalić, jakie są transakcje, które mają miejsce między działaniami programu a populacją, do której jest on skierowany (konkretne działania, gdzie program styka się z targetem). Ewaluator ma pewne poglądy, przewidywania, co do wyników krótkoterminowych programu oraz długotrwałe (teorie wpływu). Powstaje plan dostarczania usługi. Struktura programu - urządzenia, personel, zasoby (struktura organizacyjna - plan organizacyjny programu). Jedne dotyczą samego programu a drugie grupy docelowej.

29.04.2009

Teoria wpływu - jest teorią przyczynową, opisuje sekwencję przyczynowo-skutkową. Każdy element jest albo przyczyną albo skutkiem (przyczynowe połączenia).

Program dostarczania usługi - przyjmuje założenie jak odbiorcy faktycznie zostaną zaangażowani w program.

Schemat organizacyjny programu - określa się stanowiska, komórki, działy; struktury podległości, kompetencji, pozycji, stanowisk.

Ocena - polega na ty, że m.in. próbuje się zanalizować czy działania realizują zamierzone potrzeby. Kluczowym aspektem oceny jest nadanie konkretności.

• Porównanie programu z innymi, z praktyką społeczną;

• Porównanie z wiedzą.

20.05.2009

Ocena pływu programu na wynik eksperymentu

Rezultaty programu są opisywane tym, co w teorii programu jest nazywane teorią wpływu. Pomiar wyników jest skomplikowanym bo na końcowy wynik mogą działać inne czynności.

Klasyczny plan eksperymentalny

Eksperyment przeprowadza się tak, że zbiorowości dzieli się na dwie grupy: eksperymentalną i kontrolną.

Rosenberg, Jacobson - samospełniające się proroctwo.

Eksperyment służy do badania zależności przyczynowej. Po wydobyciu teorii programu trzeba ją więc ocenić. Ocena zawiera też ocenę logiczności, zgodności z wiedzę standardów metodologicznych. Może odnosić się do oceny innych teorii programów. Teoria programu jest kryterium oceny tego, czy program działa dobrze czy źle.

Trudno jest dobrać odpowiednią grupę kontrolną. Wtedy trzeba zastosować różne rodzaje planów, np.:

Quazi-eksperymentalny (niby-eksperymentalne)

D. Campbell - przeprowadził analizę kampanii 1955 roku, kampania ograniczenia prędkości na drodze, 1955 r. - 324 wypadki ze skutkiem śmiertelnym, od 1956r. - 284 wypadki (ok.12% spadek). Ogłoszono, że kampania jest sukcesem.

Y₁ -> x (kampania) ->Y₂

Nie ma w tym badaniu grupy kontrolnej.

Ale mogą wystąpić też inne czynniki, np. warunki atmosferyczne, które wpłynęły na spadek wypadków, a nie tylko kampania. Gdy nie ma możliwości wprowadzenia grupy kontrolnej, to można zastosować analizę szeregu czasowego.

E (l) Y₁ -> x -> Y₂

Y₃ ----- Y₄

Dokonuje się kilka pomiarów przed i po. Śledząc to można twierdzić, czy nastąpiła zmiana.

Argumenty za tym, że kampania nic nie zmieniła:

• Występują inne czynniki, okoliczności, które powodują spadek wypadków, np. warunki atmosferyczne, polepszenie jakości dróg; za parę lat nastąpi powrót do stanu normalnego.

Spór może rozstrzygnąć grupa porównawcza, np. wzięcie pod uwagę wyników w innych stanach.

Campbell uśrednił współczynniki wypadków z czterech standardów sąsiednich.

W stanie z kampanią trend jest spadkowy jest bardziej wyraźny (obniżenie się liczby wypadków w Connecticut od średniej). Campbell uznał, że kampania była skuteczna - głębszy spadek liczby wypadków od średniej.

Program traktuje się jak typowy eksperyment i dlatego bada się go tak jak eksperyment.

27.05.2009

Hierarchia ewaluacyjna - pewna kolejność pytań ewaluacyjnych:

1. Ocena potrzeby programu

• Definiowanie problemu

• Ocena skali problemu

• Zakres problemu (kiedy, gdzie)

• Ocena populacji docelowej (target)

• Czy populacja docelowa potrzebuje usługi, czy zostanie ona przyjęta

2. Ocena projektu i teorii programu

• Wydobycie tzw. teorii programu

• Jakie są wyobrażenia ludzi co do programu, jakie są oczekiwania

• 
  
  Opis teorii - transakcje pomiędzy programem a grupą docelową; bezpośrednie skutki i odległe skutki - teoria wpływu

• Wyobrażenia, w jaki sposób populacja docelowa będzie wchodziła w interakcji z systemem dostarczania usług - plan dostarczania usług/ świadczeń

• Plan organizacyjny programu - jaka jest infrastruktura, zasoby, podejmowane aktywności

3. Ocena wdrożenia i działania programu

• Są realizowane cele programu - wtedy działa dobrze

• Kryterium oceny jest tu teoria programu (cele)

4. Ocena wyników i wpływu programu

• Ocena rezultatów programu, badanie eksperymentu

5. Ocena efektywności

Ocena potrzeby programu (w miejscowości turystycznej):

• Czy ktoś będzie korzystał z tego dostępu? (molo), kryterium - określona liczba osób dziennie

• Czy walory przyrodnicze uzasadniają zbudowanie molo?, kryterium - czysta woda, widok

• Czy jest dostęp bezpośredni do mola?

• Czy będzie ono służyło interesom mieszkańców wioski?

Ocena projektu i teorii programu:

• Jak sobie wyobrażają skutki bezpośrednie i dalsze?

• Jak będą informować turystów, że istnieje takie molo?

• Jak sobie wyobrażają zarządzanie tym molem?

• Czy istnieją jakieś zasoby?

Ocena wdrożenia i działania programu:

• Jak to jest realizowane?

• Czy budowa nie sprawia kłopotów?

• Czy są zatrudnieni przy niej mieszkańcy?

• Czy jest ono jakoś nadzorowane?

Ocena wyników i wpływu programu:

• Wpływ na środowisko naturalne

• Porównanie ilości turystów odwiedzających wieś po i przed (można też porównać z sąsiednią wsią, w której nie podjęto takiej inicjatywy)

Ocena efektywności:

• Bilans ekonomiczny

Relacje ewaluator-stakeholders:

• Ścisła współpraca

• Ewaluacja niezależna

Od typu relacji zależy sama ewaluacja, proces jej przeprowadzenia.

7

PLAN ORGANIZACYJNY PROGRAMU

Infrastruktura programu: personel, środki, struktura organizacyjna programu

TEORIA WPŁYWU

Rezultaty odległe (pośrednie)

Bliskie rezultaty (bezpośrednie)

Transakcje pomiędzy programem a populacją docelową

Transakcje pomiędzy systemem dostarczania usług a populacją docelową

PLAN DOSTARCZANIA USŁUG

Trening zawodowy

Umiejętności zawodowe

Rozwinięcie umiejętności poszukiwania pracy

Zwiększenie motywacji do pracy

Lepsza praca beneficjentów programu

Polepszenie ekonomicznego statusu klientów

Pacjent zwalniany ze szpitala psychiatrycznego

Wizyta opiekuna socjalnego

Skierowanie do usługi społecznościowej

Otrzymanie usługi programu

Pozostanie w społeczności

OBSZAR DZIAŁANIA PROGRAMU

d_E>d_K

ALTERNATYWNE MOŻLIWOŚCI

Skierowanie do szpitala

Nie otrzymuje usługi

Nie otrzymuje skierowania

Nie odwiedzany pracownika społecznego

Wyniki zmiennej zależnej

Grupa

Eksperymentalna Y₁ x Y₂ Y₂-Y₁=d_E

Kontrolna Y₃ nic Y₄ Y₄-Y₃=d_K

Pomiar początkowy

Różnica

Pomiar końcowy

Teoria progra-mu

---