Pułapki i zagrożenia ewaluacji oddziaływań modyfikacyjnych wobec dzieci
i młodzieży
Gdy myślimy o psychologicznych oddziaływaniach modyfikacyjnych, to zakładamy konieczność wpływu społecznego i zmiany aktualnego stanu rzeczy. Czasem wyrażamy to bardziej otwarcie, najczęściej jednak jest to założenie ukryte. Psychologiczna modyfikacja zachowań, postaw, przekonań prowadzić powinna do bardziej satysfakcjonującego funkcjonowania jednostek i grup, do działań bardziej efektywnych tak w skali jednostkowej jak i w skali społecznej. Tak rozumiana modyfikacja zachowania (postaw, poglądów) dzieci i młodzieży jest ważnym elementem procedur socjalizacyjnych. Przypomnieć się jednak godzi, że choć socjalizacja w swoim założeniu służyć powinna rozwojowi jednostek, to może prowadzić do ograniczenia swobody wyboru i ograniczenia osobistego wpływu na rzeczywistość tych, którzy socjalizacji są poddawani.
Planując ewaluację wpływu społecznego myśli się zazwyczaj o ocenie efektu końcowego. Ocena ta jest dokonywana na dwa sposoby. Sposób pierwszy polega na oszacowaniu różnicy pomiędzy wynikiem założonym i osiągniętym. Sposób drugi polega na oszacowaniu różnicy pomiędzy stanem sprzed oddziaływania i po oddziaływaniu. Im różnica jest mniejsza (w pierwszym przypadku) lub większa (w drugim przypadku), tym wpływ wydaje się bardziej skuteczny. Podstawowym kryterium oceny poprawności czy skuteczności programu jest stwierdzenie, że - w następstwie podjętego działania - oczekiwany wynik został osiągnięty, a co najmniej, że jest on bliżej niż był przed podjęciem modyfikacji. Ten sposób myślenia nie wydaje się zadowalający.
Słuszniejsze wydaje się założenie, że proces ewaluacji powinien dotyczyć kolejno wszystkich ważnych elementów oddziaływania, nie tylko wyniku końcowego. Za najważniejsze elementy procesu oddziaływania na innych uznać należy: sformułowanie i uzasadnienie celu oddziaływania, wypracowanie procedur postępowania i możliwości ich plastycznej modyfikacji, określenie sposobu oceny uzyskiwanych efektów.
Ewaluacja celu programu wychowawczego (programu modyfikacji)
Sformułowanie i uzasadnienie celu oddziaływania jest krokiem niezbędnym. Jest krokiem, który musi wyprzedzać pracę nad podjęciem programów i procedur modyfikacyjnych. Każde bowiem działanie powinno być poprzedzone koncepcją tego, co ma być osiągnięte i uzasadnieniem tego dążenia (po co ma być osiągnięte)
Ten etap procesu ewaluacji zawierać powinien odpowiedź na kilka pytań.
O co chodzi w procesie zmiany?
Jak wyobrażamy sobie wynik?
Czy oczekiwana zmiana da się rozpoznać jako zestaw nowych cech i umiejętności?
Czy oczekiwana zmiana jest potrzebna, dobra, korzystna?
Czy należy do kanonu powszechnie podzielanych wartości?
W jakim stopniu realizatorzy programu, uczestnicy, osoby dla nich znaczące podzielają ten kanon?
Czy wynik jest stanem finalnym, czy warunkiem osiągnięcia kolejnej zmiany?
Tu pojawiają się jednak dwa ważne problemy. Pierwszy dotyczy charakterystyki celów. Są bowiem takie cele, których cechy są precyzyjnie określone. Kiedy zamierzamy zaoszczędzić w ciągu dwóch miesięcy tysiąc złotych, to dokładnie wiadomo jaki ma być wynik. W każdym momencie można porównać nasze zasoby z założonym wynikiem. Nie będziemy mieli także wątpliwości czy i kiedy cel zostanie osiągnięty. Są jednak i takie cele, które nie mogą być opisane w sposób jasny i pełny. Kiedy zamierzamy wychować dziecko na porządnego człowieka, to stan jaki ma być osiągnięty nie jest bynajmniej jasny. W tej sytuacji ewaluacja celu (a potem osiągniętego wyniku) jest szczególnie ważna. Łatwo zauważyć, ze większość celów wychowawczych, większość celów różnorodnych programów modyfikacji zachowań, to cele rozmyte, łatwo podlegające arbitralnym ocenom, tendencyjnym reinterpretacjom itp.
Problem drugi, to kontekstowy charakter rozwoju. Współczesna wiedza o kulturze i edukacji podkreśla kontekstowość rozwoju człowieka. Często brak jest jednoznacznych kryteriów pozwalających przyjmować, że to co jest słuszne w oczach edukatorów i profilaktyków (osób starszych, osób o innych doświadczeniach, osób o odmiennych - prawdopodobnie - systemach wartości itp.) słuszne jest także dla każdego z „beneficjentów” programu i akceptowane jest przez inną społeczność. Programy modyfikacyjne dla młodzieży nierzadko wchodzą w konflikt z normami obowiązującymi w grupie odniesienia. Aby zabezpieczyć się przed ryzykiem manipulacji i przed arbitralnym narzucaniem innym własnego stanowiska koniecznością staje się podjęcie różnorodnych prób sformułowania wspólnego celu, obustronnego uświadomienia rozbieżności pomiędzy stanem aktualnym i przyszłym, a także zaakceptowania przez obie strony potrzeby i możliwości zmiany. W przypadku pracy z dziećmi, dodatkowym ważnym zobowiązaniem realizatorów programów modyfikacyjnych jest uwzględnienie potrzeb i przekonań rodziców lub opiekunów dzieci.
Najważniejszą, moim zdaniem, trudnością w zakresie ewaluacji celu oddziaływań, jest rozróżnienie pomiędzy wspomaganiem rozwoju spontanicznego i pożądanego przez uczestników różnorodnych programów modyfikacyjnych, a ingerencją w rozwój jednostek i grup społecznych. Nie przyjmuję, rzecz prosta, stanowiska, że ingerencja w rozwój młodego człowieka jest niedopuszczalna. Spotykamy się, w trakcie programów profilaktycznych z wieloma formami patologii wymagającymi zdecydowanych działań modyfikacyjnych. Obowiązkiem twórców programów, w takich przypadkach, jest uświadomienie sobie co najmniej zakresu podobieństw i rozbieżności celów obydwu stron, a także odpowiedzialność i uwaga przy wprowadzaniu procedur modyfikacji
Ewaluacja stosowności postępowania
Kiedy problemy w ustaleniem celu, z jego jakością, akceptacją zostały rozwiązane, pojawia się fundamentalne pytanie jak oraz kiedy to zrobić. To pytania o strukturę działań.
Program profilaktyczny, edukacyjny czy modyfikacyjny może być skuteczny jedynie w warunkach zgodności pomiędzy założonym celem i strukturą kolejnych kroków. Chodzi zatem o dostosowanie metod oddziaływań (oraz sposobu pomiaru) do wyniku, jaki ma być osiągnięty.
Pułapką czyhającą na twórców wprowadzających programy modyfikacyjne, jest automatyczne przenoszenie procedur stosowanych i sprawdzonych w innych warunkach, w odniesieniu do innych ludzi do nowych programów o specyficznych wymaganiach i celach. Kopiowanie programów niedopasowanych do możliwości realizatorów, replikacja procedur bez uwzględnienia struktury całości oddziaływań, a także ignorowanie specyfiki lokalnej społeczności - to błędy niweczące skuteczność wprowadzanych programów modyfikacyjnych.
Pomocna, dla oceny stosowności postępowania może być odpowiedź na m.in. poniższe pytania:
Czy zachodzi logiczny i merytoryczny związek pomiędzy celem i planowanymi oddziaływaniami?
Czy kolejne kroki (etapy) oddziaływań dadzą się ocenić niezależnie?
Czy da się powyższe relacje sukcesywnie rozpoznawać w trakcie procesu oddziaływań, a nie wyłącznie post hoc?
Jakie konsekwencje wynikają z niewykonania kolejnego kroku?
Czy dysponujemy planem działania na wypadek niepowodzenia planu pierwotnego?
Ewaluacja wyniku (efektów) oddziaływań
Podejmowanie niezależnych prób oceny efektywności oddziaływań modyfikacyjnych jest prawdopodobnie najważniejszym aspektem (choć jak wspominano powyżej - nie jedynym) całościowej ewaluacji procesu wprowadzania zmian.
Poprawna ewaluacja wyniku nie może się ograniczać do prostego porównania stanu sprzed- i po- oddziaływaniu. Ewaluator musi zwrócić uwagę na kilka ważnych spraw, aby w efekcie mógł mieć zaufanie do formułowanych wniosków.
Każda czynność może wywołać dwa rodzaje efektów: specyficzne - związane z rodzajem oddziaływania i niespecyficzne - związane z samym faktem oddziaływań. Powyższe dwa rodzaje efektów rzadko są rozróżniane, a prawie nigdy drugi z nich nie podlega pomiarowi. Nie ma to znaczenia w przypadku braku skutków, natomiast przy stwierdzonej skuteczności wpływu - efekty niespecyficzne przypisywane być mogą rodzajowi (treści i formie) oddziaływań. Ponadto, każdy z efektów niespecyficznych może modyfikować (wzmacniać lub osłabiać!) skutki zamierzone.
Niespecyficznymi i najczęściej niezamierzonymi (choć, można przypuszczać, pojawiającymi się nierzadko) efektami oddziaływań mogą być:
Wzbudzenie u odbiorców programu potrzeby aprobaty społecznej, tendencja do przedstawiania się w korzystnym świetle (zwłaszcza, gdy partnerem lub osobą oceniającą jest autorytet), a także tendencja do spełniania ukrytych, domniemanych oczekiwań prowadzących program czy oczekiwań innych uczestników programu.
Wzrost koncentracji na „ja” u osób uczestniczących w programie (wywołany przekonaniem o wyjątkowości, przeświadczeniem o szczególnej pozycji grupy, skoro podlega ona oddziaływaniom; lub przeciwnie przekonaniem o patologii „coś jest z nami nie tak, skoro musza się nami zajmować w szczególny sposób”)
Wzbudzenie reaktancji tzn. oporu (gdy oddziaływania spostrzegane są jako nacisk i presja).
Zmiana nastroju, zmiana samopoczucia itp.
Efekty niespecyficzne programów modyfikacyjnych rzadko podlegają ocenie. Równie rzadko ocenie podlega wpływ, jaki na efekty specyficzne mają występujące efekty niespecyficzne. Na pozór jest to zrozumiałe. Trudno przecież, można powiedzieć, planować pomiar zmian nieprzewidzianych (a także a priori drugorzędnych), trudno poświęcać wysiłek oraz środki na ocenę tylko domniemanych możliwych skutków działania. Stanowisko takie wydaje się trudne do zaakceptowania. Wydaje się koniecznością podjęcie prac nad badaniem, lub choćby inwentaryzacja różnorodnych efektów niespecyficznych występujących podczas realizacji różnorodnych programów modyfikacyjnych. Taka z pozoru nieekonomiczna strategia wzbogaca jednak całościowy obraz sytuacji społecznej, którą kreują wspólnie twórcy i uczestnicy programu oraz pozwala czasem odkryć niespodziewane aspekty oddziaływania. Przede wszystkim jednak umożliwia oszacowanie wielkości skutków specyficznych. Co więcej pozwala ocenić proporcję skutków specyficznych do wszystkich efektów powstałych w następstwie realizacji jakiegoś programu modyfikacyjnego.
Wspomnijmy też, że ewaluacja efektu programów profilaktycznych i modyfikacyjnych niezmiernie rzadko zawiera próbę zauważenia (pomiaru) możliwych niekorzystnych skutków dla uczestników programu, choćby takich jak poziom zmęczenia, problem wypalenia zawodowego, zaburzenie własności systemu w jakim znajduje się uczestnik programu itp.
Pułapki wielokrotnych pomiarów. Samospełniające się proroctwa.
Edukacyjne programy profilaktyczne i modyfikacyjne zwykle są tak pomyślane, aby prowadzić do zmian długofalowych, a najlepiej trwałych. Z punktu widzenia oceny trwałości wpływu oraz oceny dynamiki zmian, oczywisty jest więc postulat wielokrotnego pomiaru efektów. Należy wziąć pod uwagę, że każdy kolejny pomiar zawsze zawiera w sobie w jakiejś mierze efekty pomiaru poprzedniego. Ingerują tu procesy uczenia się, habituacji, wygaszania, zapominania itp. Problemem dla badaczy i ewaluatorów jest zatem opracowanie i dobór ekwiwalentnych metod powtórnego pomiaru. Przy wielokrotnej ocenie wybranego aspektu funkcjonowania może się jednak pojawić iluzoryczny efekt długotrwałej zmiany.
Młodzieżowe programy profilaktyczne i modyfikacyjne powiązane są często z placówkami oświatowymi. Bezpośrednimi realizatorami są wychowawcy klasowi, pedagodzy szkolni, nauczyciele. Zaletą takiej strategii jest to, że program ma szanse dotrzeć do wielkiej liczby uczniów. Wadą jest fakt, że osoby realizujące program edukacyjny bywają jednocześnie jego ewaluatorami. Tendencyjne „skrzywienie” wyników zgodne z oczekiwaniami badacza (Efekt Rosenthala, samospełniajace się proroctwo) jest jedną z najczęściej opisywanych w literaturze psychologicznej bezwiedną pułapką eksperymentowania. Tymczasem co rusz pojawiają się poglądy, że nikt lepiej nie potrafi ocenić efektów danego programu niż jego wykonawca czy uczestnicy. Trudno się z tym zgodzić. Ewaluacja jest sposobem mierzenia, a to wymaga obiektywnej miary i obiektywnego pomiaru.
Spełnianie oczekiwań recenzentów, przełożonych, sponsorów - przymus efektywności
Programy których celem jest wpływ społeczny, słusznie zakładają konieczność kontroli efektywności i trwałości wpływu. Oczekiwania te przeradzają się czasem w przymus udokumentowania mierzalnych efektów zmiany. Dodatkowo, organizacje zlecające oddziaływania profilaktyczne, autorzy programów, sponsorzy, wymagają od realizatorów wyrazistej „pozytywnej” ewaluacji.
Sądzi się, że wartość mają te tylko programy modyfikacyjne, które przyniosły wyniki zgodne z oczekiwaniami. Apelowałabym, aby nie poddawać się takiej zewnętrznej presji. Należy bowiem zauważyć, że nawet stwierdzenie doraźnego braku efektu bynajmniej nie przesądza o nieskuteczności i nietrafności programu. Możliwe są bowiem efekty odroczone.
Oczywiście, możliwe są także niepowodzenia, ale bynajmniej nie musi (choć oczywiście może) świadczyć to o słabości samego programu. Po pierwsze, niepowodzenie oddziaływań może być nieomal w całości przesądzone przez obiekt oddziaływań, zdarza się np., że niepowodzenie jest konsekwencją ukształtowania się negatywistycznie nastawionej „duszy grupowej”. Po drurupowej”. Po druie może mieć swoje źródło w błędach wykonania, a więc może być w całości przesądzone przez osobę koordynatora czy lidera. Ponadto oczywiście, źródłem niepowodzeń może być źle postawiony cel, może być źle dobrana metoda, może być błędnie rozpoznany skutek, mogą być błędnie ocenione umiejętności (możliwości) mogą być błędnie ocenione warunki zewnętrzne.
Choć nie ulega kwestii, że podstawowe znaczenie ma jakość samego programu, to sposób, w jaki otrzymujemy informacje zwrotne może kształtować dalsze kroki w postępowaniu modyfikacyjnym. Powierzchowne, fragmentaryczne oceny mogą być źródłem dobrego samopoczucia, gdy efekty ocenia się pozytywne lub być zbagatelizowane, gdy efekty ocenia się negatywnie. W obu przypadkach niewiele wnoszą konstruktywnego do procesu modyfikacji zachowań.
Barbara Weigl, APS 2005, Konflikt, stereotypy, uprzedzenia - fakultet
4