Obraz
9

Pojawiają się wtedy popularne pytania o komunikatywność prowadzących, poziom satysfakcji uczestników itp., mające się nijak do realizowanych zadań i celów (kuriozalne wydają się pytania typu „zajęcia były: a) bardzo fajne, b) fajne, c) nudne” - na podstawie których można myśleć, że zasadniczym celem zajęć jest „fajność” programu i „fajność” realizatorów).

Jeżeli my jesteśmy autorami narzędzia ewaluacyjnego i niewiele wiemy o jego trafności i rzetelności, warto przeprowadzić badanie pilotażowe. Wbrew pozorom, jest to praktyczna i ekonomiczna droga, np. kiedy badaniami obejmujemy całą społeczność szkolną, pilotaż możemy zrobić w jednej klasie. Może się bowiem okazać, że nasze precyzyjne i spójne z zadaniami pytania są dla badanych niezrozumiałe albo zbyt zagrażające (wtedy większość badanych odpowiada na dane pytanie jednakowo albo je pomija). Badanie pilotażowe może być przeżywane przez realizatora jako jeszcze jedno obciążenie. Jednak o wiele większym obciążeniem i frustracją może okazać się zainwestowanie ogromnego wysiłku w duże badania, które przyniosą bezużyteczne wyniki. Najbardziej przystępne wskazówki pomagające ocenić trafność i rzetelność własnego narzędzia znajdzie Czytelnik w książce Hawkinsa i Nederhooda¹⁵, np. jak badać spójność wewnętrzną pytań, jak testować czy dane pytanie różnicuje badane osoby (tj. jeżeli cała pilotażowa próba odpowiada na jakieś pytanie jednakowo, to pytanie to nie będzie dla nas użyteczne). Warto przy tej okazji zwrócić uwagę na sytuację, kiedy w badaniu ewaluacyjnym otrzymujemy wyniki wskazujące, że prawie wszyscy badani odnieśli maksymalną korzyść z udziału w programie (skrajne wyniki liczbowe). Oznacza to, że rozkład otrzymanych wyników odbiega znacznie od tzw. rozkładu normalnego w kierunku skrajnie wysokich wartości - jest to powód do radości realizatorów. Niestety, zaistniała sytuacja powinna budzić wątpliwości odnośnie poprawności metodologicznej badania (niewłaściwe pytanie albo warunki badania, „urozmaicona” instrukcja, np. „to ewaluacja dla sponsora, od waszych odpowiedzi zależeć będzie powtórzenie programu w przyszłym roku”, bądź faktycznego, choć niejawnego, celu programu - „zachwyt uczestników”).

^ Hawkins J.D., Nederhood B., Podręcznik ewaluacji programów profilaktycznych. Polskie Towarzystwo Psychologiczne, Pracownia Wydawnicza, Warszawa - Olsztyn 1994

Warunki badania powinny być jednakowe dla wszystkich badanych (patrz: „O konstruowaniu programu profilaktycznego na podstawie diagnozy”, Krok 6, s. 181). Podobnie jak w diagnozie wstępnej, zawieramy z badanymi kontrakt określający dostępność wyników badań, anonimowość itd.

Czego można się nauczyć dzięki ewaluacji

Jeżeli posługujemy się własnym, nowym narzędziem badawczym, to otrzymamy zapewne wyniki dość nieuporządkowane. Taka postać wyników jest oczywiście dogodna dla wstępnych interpretacji, swobodnego wyszukiwania prawidłowości, procesów. Warto te rozproszone wyniki uporządkować, tak jak uprzednio w obszary (patrz: Krok 8, s. 183). Dopiero wówczas otrzymujemy bardziej systematyczne wnioski. Możemy np. ustalić, że nasze działania edukacyjne są wprawdzie skuteczne, ale nie wpływają na osiągnięcie zasadniczego celu programu: np. wykazujemy, że uczestnicy zdobyli wiedzę o mechanizmach przemocy w grupie, natomiast sam poziom zachowań agresywnych w owej grupie się nie zmienił. Ryzykowną rzeczą wydaje się przedstawianie „suchych” wyników (nieopatrzonych naszym komentarzem) zewnętrznym osobom bądź instytucjom - np. sponsor, otrzymując tego rodzaju sprawozdanie w najlepszym razie będzie się zastanawiał, co z tego wynika, w najgorszym - opacznie zrozumie jakąś ekscytującą go informację, co może mieć negatywne skutki zarówno dla realizatorów, jak i ich klientów.

Proponowane tutaj treści koncentrują się na badaniu skuteczności. Hawkins i Nederhood prezentują znacznie szersze podejście do ewaluacji. Uzależniają oni formułę badań od celu i rodzaju odbiorców ewaluacji. Przy pomocy odpowiedniej matrycy możemy np. rozstrzygnąć, jaką ewaluację zrobić, żeby zachować ciągłość finansową organizacji, zadowolić sponsorów, podtrzymać dobre relacje ze środowiskiem, a jaką, żeby zwiększyć skuteczność naszych działań. Wydaje się, że możemy dzięki odpowiednio dobranej ewaluacji zapewnić sobie kolejną dotację, nie dbając zbytnio o realną skuteczność programu. Można też pomyśleć, że realizator programu jest uprawniony do przedstawiania różnych wniosków z badań po zakończeniu działań: innych wniosków dla środowiska oświatowe-