Istotną cechą szkół niepublicznych jest ich autonomia w zakresie tworzenia i wdrażania ponadobowiązkowych standardów zarówno edukacyjnych, jak i dotyczących pracy szkoły.
Pociąga to za sobą dwie ważne konsekwencje: państwowe formy nadzoru nie uwzględniają całości zamierzeń danej szkoły w zakresie wprowadzania standardów, a po drugie - istniejące formy kontroli nie wspierają procesu wdrażania standardów. Pojawia się zatem potrzeba zastosowania narzędzi, które, z jednej strony, umożliwią szkole ocenę własnych działań zgodnie z przyjętymi w danej szkole założeniami, po drugie - będą nie tylko "kontrolowały" efekty, ale również wesprą procesy wdrożeniowe.
Niniejszy tekst ma na celu przyczynić się do popularyzacji ewaluacji w jej właściwym kształcie oraz ukazać przydatność proponowanych procedur ewaluacyjnych dla postawionego zadania, jakim jest wsparcie procesu wdrażania standardów i ocena stopnia ich wdrożenia.
Pisząc o właściwym kształcie ewaluacji, mam na myśli wiele nieporozumień, jakie towarzyszą definiowaniu celów i roli ewaluacji. Ewaluacja jest często mylnie kojarzona z dokonaniem jednorazowego pomiaru po zakończeniu realizacji planów. Taka redukcja jej roli powoduje, że odrzuca się całą gamę rozwiązań, jakimi ewaluacja dysponuje w zakresie wsparcia całego procesu realizacji planów. W konsekwencji redukcji roli ewaluacji prowadzone działania monitorujące wyłącza się z metodologii, jaką powinny cechować tego typu działania.
Innym ważnym nieporozumieniem jest sprowadzanie ewaluacji do jednej metody: ankiety. Pomija się przy takich okazjach problem: jak to, w jaki sposób zbiera się informacje, przesądza o tym, jakie informacje się zbiera - jakiego typu wiedzę się gromadzi. Hipertrofia metod ilościowych, dotykająca zresztą nie tylko dziedzinę edukacji, jest zjawiskiem dość powszechnym. Niestety jeśli weźmiemy pod uwagę rozliczne "miękkie" cechy rzeczywistości, które cechują działanie szkoły, adekwatność metod ilościowych może wydać się wątpliwa. Szkoła dąży między innymi do takich celów, jak rozwój osobowości, odpowiedzialności, krytycznego myślenia, kultury, empatii, tolerancji i in. Diagnostyka tych sfer dokonywana za pomocą standaryzowanego narzędzia, jakim jest ankieta, w której pyta się o istnienie złożonych zjawisk, oczekując odpowiedzi "tak" lub "nie", musi budzić wątpliwości.
Do czego służy ewaluacja?
Ewaluacji mogą podlegać wszelkie, mniej lub bardziej rozbudowane zinstytucjonalizowane działania szkoły, takie jak: wdrażanie standardów jakości, programy antynarkotykowe, programy przeciw przemocy, reformatorskie, restrukturyzacyjne i in. Ewaluacja dysponuje procedurą, której skuteczność jest niezależna od tematyki, jaką się zajmuje. Stąd twierdzenie niektórych autorów, że ewaluator wręcz nie powinien się znać na dziedzinie, w której jest dokonywana ewaluacja.
Ewaluacja polega przede wszystkim na dobrym zaprojektowaniu i przeprowadzeniu badania. Badanie ewaluacyjne to systematyczny, podporządkowany regułom metodologicznym, proces zbierania informacji o rzeczywistości, których uzyskanie pozwala na sformułowanie wniosków o jakości ewaluowanych obiektów i efektywności działań. Ewaluacja nie jest więc oceną jako taką ani się do niej nie powinna sprowadzać.
Cele ewaluacji, jej kryteria, kluczowe pytania badawcze itd., są opracowywane dla potrzeb konkretnego przypadku i dziedziny. Opracowywane oznacza także, że nie narzuca się gotowych "obiektywnych" wzorców, ale że poszczególne składowe ewaluacji są wynikiem uzgodnień i negocjacji wszystkich zainteresowanych stron - ewaluacja jest zatem wynikiem pracy całej grupy osób.
Trzeba zaznaczyć, że ewaluacja sama w sobie nie jest jeszcze jednym systemem zarządzania jakością, ale może być elementem zarówno bardziej złożonych struktur zarządzania jakością szkoły, jak i samodzielnie stosowaną metodą mierzenia jakości. Pozyskiwanie informacji zwrotnych jest najczęściej integralnym elementem "systemów" i "managementów" mających w nazwach i na celu quality, czyli jakość. Niestety praktyka procedur badawczych stosowanych w tych propozycjach pozostawia wiele do życzenia.
Z ewaluacyjnego punktu widzenia w zakresie badania jakości pracy szkoły niepublicznej daje się wyróżnić trzy poziomy, na których się przyjmuje standardy jakości:
obowiązkowe - standardy narzucone przez państwo,
ponadobowiązkowe - standardy wypracowane na użytek szkół niepublicznych,
indywidualne - dodatkowe standardy wypracowane przez konkretną szkołę.
Wszystkie te poziomy wymagają uzyskiwania informacji zwrotnych o tym, co i w jakim stopniu udało się osiągnąć. Narzędzia badawcze służące do oceny (ewaluacji) zastosowane w konkretnej szkole powinny uwzględniać, jeśli takie się im postawi zadanie, ocenę standardów obowiązujących na wszystkich poziomach. Istnieje oczywiście możliwość zastosowania ewaluacji w odniesieniu do wybranych poziomów jakości. Szkoła może być zainteresowana w ocenie tylko własnych, indywidualnych standardów.
O ile w zakresie mierzenia standardów obowiązkowych istnieją pewne narzędzia umożliwiające zebranie określonych informacji (np. poradnik Dzierzgowskiej), to w zakresie standardów ponadobowiązkowych i indywidualnych szkoły muszą same dawać sobie radę. Inną kwestią jest, na ile istniejące narzędzia spełniają swoje zadanie w zakresie mierzenia obowiązkowych standardów i czy to zadanie odpowiada wymogom rzeczywistości. Ewaluacja daje możliwość rozbudowania tradycyjnych procedur mierzenia jakości o wiele istotnych elementów, których wprowadzenie, z ewaluacyjnego punktu widzenia, jest niezbędne.
Elementami (cechami) ewaluacji, które pokrywają się z klasycznym mierzeniem jakości, są:
ustalenie kryteriów oceny i ich operacjonalizacja,
korzystanie ze standaryzowanych metod ilościowych,
odwoływanie się do opinii różnych zaangażowanych grup, osób.
Elementami (cechami) ewaluacji, które uzupełniają procedury klasycznego mierzenia jakości, są:
korzystanie z niestandaryzowanych, metod jakościowych,
metodologiczna triangulacja (wzajemne uzupełnianie i weryfikacja danych pozyskiwanych różnymi metodami),
dostosowanie procedur ewaluacyjnych do wymagań i specyfiki konkretnego przypadku,
wspólne (demokratyczne) opracowywanie i ustalanie założeń i celów ewaluacji,
uwzględnianie także tych cech rzeczywistości, które nie poddają się pomiarowi,
dążenie najpierw do opisu rzeczywistości, a w dalszej kolejności do oceny,
skoncentrowanie się na rozwoju szkoły, a nie na jej kontroli,
dążenie do opisu i wyjaśniania uwarunkowań realizacji planów.
Powyższe wyliczenie pokazuje, że ewaluacja dalece wykracza poza zwykle przypisywane jej funkcje kontrolno-pomiarowe. Zastosowana jako procedura mierzenia jakości spełnia wielorakie dodatkowe funkcje, m.in. takie jak:
opisywanie i wyjaśnianie badanej rzeczywistości,
przyczynianie się do rozumienia badanej rzeczywistości przez gromadzenie informacji o postawach, doświadczeniach, opiniach respondentów wyrażanych w ich własnych kategoriach i języku, dzięki korzystaniu z metod jakościowych,
pobudzanie aktywności środowiska lokalnego przez włączenie różnych grup w ewaluację,
czynne wspieranie rozwoju, a nie kontrola jego przebiegu.
Zarówno ewaluacja, jak i klasyczne formy pomiaru jakości pracy szkoły, nie są neutralnym narzędziem, którego użycie nikogo nie obchodzi. Przeciwnie, badaniu zawsze przypisuje się znaczenia, nadaje sens, doświadcza się go. Użycie tej lub innej metody, odwoływanie się do tej, a nie innej grupy respondentów, zadanie tych, a nie innych pytań ma charakter komunikatu dla badanych, o tym, jak się ich traktuje, o czym i jak pozwala im się wypowiedzieć. Wielu badanych nie chce wypełniać ankiet, traktując je jako jeszcze jeden element biurokracji bądź wątpiąc w możliwość jakiejkolwiek zmiany. Takie reakcje ukazują konieczność zredefiniowania społecznego wizerunku i roli ewaluacji przez aktywne włączanie różnych grup już na etapie ustalania kluczowych założeń. Ewaluacja powinna upodmiotawiać uczestników badania. a nie traktować ich jak przedmiot badania.
Kryteria ewaluacyjne
Oceny jakości dokonuje się zgodnie z ustalonymi kryteriami jakości (standardami). To czy kryteria ewaluacyjne pokrywają się ze standardami, zależy od stopnia uszczegółowienia tych ostatnich. Standardy bywają opracowane jedynie na poziomie ogólnym, a ich uszczegółowienia są formułowane w postaci pytań; innym rozwiązaniem jest dodanie do ogólnie sformułowanego standardu szeregu jego uszczegółowień w postaci np. konkretnych zdarzeń. Ta druga metoda z ewaluacyjnego punktu widzenia wydaje się rozsądniejsza, ponieważ stosowane w pierwszym wariancie zadawanie pytań powinno być częścią procedur mierzenia jakości.
W praktyce może oznaczać to, że standardy są konstruowane na etapie badania, które ma potwierdzić ich istnienie, a więc odwrotnie, niż być powinno. Z ewaluacyjnego punktu widzenia standardy powinny zawierać możliwie precyzyjnie uszczegółowienia i ukonkretnienia ogólnych założeń. Zadanie to powinno spoczywać na decydentach, którzy standardy opracowują, a nie na ewaluatorze czy zespole ewaluatorów. Ewaluator może negocjować, dodawać, uzupełniać, przeformułować niektóre propozycje, ale nie może ich tworzyć od nowa. Inaczej zachodzi niebezpieczeństwo oceny stopnia wdrożenia tych elementów, które nie miały być wdrażane. Innymi słowy badajmy to, do czego szkoła została zobowiązana lub sama się zobowiązała. Wymaga to szczegółowego opracowania standardów na wstępie procesu wdrażania jakości.
Warto się rozstać z iluzorycznym założeniem, przeniesionym żywcem do edukacji z dziedziny zarządzania, że jakość w szkole to jest to, co zadowala klienta. Nic bardziej błędnego. Wyobraźmy sobie sytuację, w której szkoła ma stanowić jedynie realizację preferencji jej klientów (dzieci, rodziców, in.). Szkoła może się równie dobrze zamienić w park rozrywki, bo tak będą ją sobie wyobrażali jej klienci i takie będą ich kryteria satysfakcji. Są granice przekształceń szkoły wynikające z odgórnej definicji, na którą jej klienci nie mają żadnego wpływu. Szkoła niesie w sobie nieodzownie spory ładunek intencjonalnej arbitralności obowiązującej w wielu obszarach jej działania.
Wdrażanie jakości i badanie efektów
Egzekwowanie podstawowych standardów jakości wespół z twierdzeniem, że jakość w szkole to jest to, co zadowala klienta, może przyprawić o ból głowy, a co najmniej wskazuje na strukturalną niemożność wprowadzenia tej zasady. Tak pojmowana jakość ma jedynie ograniczone pole realizacji. Ponadto szkoła podejmuje szereg działań, które nie dotyczą klientów szkoły, bądź dotyczą bardzo pośrednio (np. gromadzenie dokumentacji lub promocja szkoły, która odnosi się do potencjalnych klientów) i trudno tu twierdzić, że jakość powinna być budowana na podstawie kryteriów satysfakcji jej klientów.
Iluzoryczność tego założenia przejawia się również w praktyce: nie prowadzi się systematycznych badań potrzeb i poszukiwania źródeł zaspokojenia satysfakcji klientów szkoły. Lansowane hasła stają się więc częstokroć pustosłowiem nawet na polach, których mogłyby dotyczyć, lub listkiem figowym skrywającym w istocie autorytarne tendencje obecne w wyborach kryteriów jakości.
Ewaluacja może zarówno towarzyszyć procesowi zmian, wdrażania jakości aż do jego zakończenia, przynosząc na bieżąco informacje o stanie realizacji zamierzeń, jak i może być stosowana po zakończeniu całego procesu, programu i przynosić informacje o jego efektywności - w przypadku mierzenia jakości będą to informacje o stopniu wdrożenia przyjętych standardów. To rozróżnienie odpowiada obecnemu w literaturze ewaluacyjnej rozróżnieniu na ewaluację - odpowiednio - formatywną i konkluzywną.
Ewaluacja formatywna, prowadzona w trakcie działań, przynosi informacje pozwalające na korektę i dostosowanie działań do zmieniających się okoliczności. Uwzględnia zmiany wynikające zarówno z faktu wprowadzania innowacji, jak i z tytułu niezależnych czynników (okoliczności) występujących podczas działań. Ten rodzaj ewaluacji cechuje ukierunkowanie uwagi na doświadczenia, oczekiwania, możliwości, problemy osób będących uczestnikami programu, na tym, co stoi na przeszkodzie we wdrażaniu przyjętych rozwiązań, jakie są najlepsze sposoby usunięcia przeszkód, w jakim stopniu projekt powinien być zmodyfikowany, jakich dziedzin powinna dotyczyć modyfikacja, co stanowi największą wartość projektu itd.
Inną, wymienioną już ewaluacją jest ewaluacja konkluzywna, polegająca na badaniu efektywności i jakości działań po ich zakończeniu. Ewaluacja konkluzywna jest tą, którą się powszechnie utożsamia z pojęciem ewaluacji. Przynosi ona informacje o końcowych efektach działań, np. zmianie świadomości, zaistnieniu pożądanych zjawisk, zaniknięciu niepożądanych, stopniu wdrożenia przyjętych rozwiązań, standardów.
Uzupełnieniem omówionych strategii jest zastosowanie ewaluacji typu front-end, a więc badania wykonywanego przed i po zakończeniu programu. Ewaluacja taka posiłkuje się modelem eksperymentalnym stosowanym w naukach społecznych czy psychologii. Pozwala na oszacowanie efektów netto wdrażanego programu oraz precyzyjnie określa związki między zmianą, jaka się dokonała, a działaniem programu. Badanie takie obejmuje także analizę potrzeb.
Kto przeprowadza ewaluację?
Odpowiedź na to pytanie może wydawać się bardzo prosta: szkoła, czyli np. wyznaczeni nauczyciele. Jednak w ewaluacji wyróżnia się ewaluację zewnętrzną i wewnętrzną. Tę drugą nazywa się czasem samoewaluacją - dokonywana jest ona bez korzystania z usług ewaluatorów zewnętrznych. Ewaluacje zewnętrzną natomiast przeprowadza wynajęta instytucja czy osoba.
Zasadnicza różnica dzieląca te dwie strategie polega na tym, że zewnętrzny obserwator ma szansę z racji swojego niezaangażowania w prowadzone działania dostrzec więcej i bardziej "obiektywnie", ma szansę także postawić nieco inne (trafniejsze?) pytania niż ewaluator wewnętrzny. Społeczny byt ewaluacji charakteryzuje m.in. to, że ktoś ewaluację zamawia, ktoś ją wykonuje, kogoś ona dotyczy. Wszyscy ci "aktorzy" sytuacji społecznej mają swoje interesy w wynikach ewaluacji (bez względu na deklaracje).
Dla wewnętrznego ewaluatora zawsze jakiś temat będzie bardziej drażliwy od innego. Istnieje pokusa, żeby ten lub inny temat pominąć, skrócić, przedstawić nieco inaczej. Ewaluator wewnętrzny, a więc członek społeczności szkoły, jest mniej lub bardziej świadomie uwikłany w grę interesów wewnętrznych szkoły i nie zawsze jest w stanie wznieść się ponad te uwarunkowania. Ewaluacja jest siłą rzeczy "wmontowana" w panujące stosunki społeczne, wzajemne oczekiwania, definicje problemów, interesy grupowe, antagonizmy, style zarządzania, komunikację, kulturę organizacji itd. Uwarunkowania tego typu mają wpływ na konstrukcję poszczególnych szczebli projektu ewaluacji, jego realizacji oraz spożytkowania wyników.
Ewaluacja jest narzędziem wsparcia decyzji, które dotyczą nierzadko konkretnych osób. Z tego tytułu ewaluacja jest narażona na różnorakie naciski i zniekształcenia. To, co obowiązuje badacza ewaluatora, to wrażliwość społeczna, która pozwala mu na w miarę obiektywny, całościowy ogląd. Wrażliwość społeczna ewaluatora cenna jest zarówno w obszarze środowiska, w którym będzie prowadzona ewaluacja, jak i rozumienia jego własnej roli.
Uwarunkowania, o jakich tu mowa, prowadzą nas w stronę wniosku, że ewaluacja powinna być przeprowadzana przez zewnętrznego ewaluatora. I owszem, z pewnością dobrze jest, jeżeli są ku temu sprzyjające okoliczności (w tym środki). Nie należy jednak zapominać o możliwościach, jakie daje samoewaluacja. Może ona przybierać różnorakie formy, począwszy od prostych spotkań podsumowujących efekty prowadzonych działań wedle przyjętych kryteriów aż po rozbudowane projekty badawcze.
Marcin Majewski
Agencja Badawcza "Ewaluator", Warszawa
Edukacja i dialog, Czerwiec 2000