Po co ewaluacja?

Po raz pierwszy z ewaluacją zetknąłem się sześć lat temu, gdy jako socjolog zostałem zaproszony do uczestnictwa w zespole badawczym, którego zadaniem była ewaluacja jednego z ogólnopolskich programów wdrażania reformy edukacji. Od tego czasu uczestniczyłem w różnorodnych programach badawczych, zajmując się przede wszystkim konstruowaniem narzędzi badawczych oraz analizą danych.

 

Choć coraz rzadziej stykam się z pytaniem, co to jest ewaluacja, nadal, gdy mówię, że zajmuję się ewaluacją, powszechnie słyszę stwierdzenia w rodzaju: "My też ostatnio zrobiliśmy ocenę naszych zajęć". Przyznam się, że mam wątpliwości, do jakiego stopnia ewaluację można utożsamiać z oceną. Tym bardziej, gdy dowiaduję się, że ta ocena polega najczęściej na przeprowadzeniu badań ankietowych, w których prosi się zainteresowanych o wybranie odpowiedzi "tak", "nie", "nie mam zdania", ewentualnie: "czy pana(i) zdaniem...". Spróbujmy więc najpierw się zastanowić, komu jest potrzebne gromadzenie ocen i opinii, po co mierzyć jakość szkoły, co we współczesnych badaniach edukacyjnych określa się jako ewaluacja?

 

--> Proces badań ewaluacyjnych można przedstawić jako ciąg pytań, na które musi odpowiedzieć ewaluator. [Author:W] Treść pytań zależy od fazy procesu badawczego; --> można tu wyróżnić cztery zasadnicze grupy pytań odpowiadające kolejnym etapom pracy badawczej[Author:W] : a) pytania związane z fazą projektowania ewaluacji, b) pytania dotyczące realizacji badań, czyli gromadzenia danych, c) pytania związane z  analizą i interpretacją danych, d) pytania dotyczące sporządzenia raportu i prezentacji wyników badań. Znajdowanie odpowiedzi jest celem ewaluacji, postawienie pytania - to jedynie środek do tego celu.

A więc pierwsze pytanie brzmi: --> dlaczego chcę przeprowadzić ewaluację?[Author:W] Odpowiedzi mogą być różne: od banalnego zaspokojenia ciekawości, jak jest oceniana czyjaś praca, przez ocenianie działalności immanentnie wkomponowanej w całość procesu dydaktycznego, a dotyczącej nie tylko uczniów, ale i ich nauczycieli, dyrektorów szkół i placówek oświatowych czy pracowników nadzoru pedagogicznego aż po szukanie praktycznych korzyści, jakie daje wiedza wynikająca z ewaluacji działań, programów, instytucji edukacyjnych.

--> Wyróżnikami tak pojętej ewaluacji są[Author:W] : adekwatność, przydatność, przyzwoitość i wykonalność. Ponadto: demokratyczność, interaktywność, zorientowanie na analizę ludzkich doświadczeń, metodologiczną integralność, dynamiczność. Charakterystyka ewaluacji - nawet gdy nie do końca jest utożsamiana z oceną i pomiarem - musi zmierzać do całościowej charakterystyki badanych działań, instytucji czy programów. --> Całościowej w tym sensie, iż ewaluator[Author:W] , chcąc coś oceniać, mierzyć, a przede wszystkim ewaluować, musi znać cel takich badań; kryteria, na których podstawie w sposób uprawniony będzie orzekać o badanym obiekcie ewaluacji, kontekst, w którym mają miejsce podejmowane działania, w którym funkcjonuje dany program czy instytucja. Zdając sobie sprawę, że rzeczywistość społeczna jest zróżnicowana, że w różny sposób jawi się różnym aktorom czy podmiotom w niej funkcjonujących, ewaluator dążący do sporządzenia charakterystyki badanego przez niego wycinka rzeczywistości musi uwzględniać złożoność świata, z którego wycinek ten pochodzi.

Ta cecha to użyteczność

--> Kolejne pytania, na które ewaluator musi odpowiedzieć to[Author:W] : Dla kogo chcesz prowadzić badania? Jak będą wykorzystane wyniki twoich badań? Jak przeprowadzać badania, aby uchwycić złożoność badanej sytuacji?
I wreszcie: Po co i dlaczego? Myślę, że odpowiedź kryje się w terminie użyteczność. Ewaluacja tylko wtedy ma sens, jeśli czemuś lub komuś służy. Jeśli wnioski płynące z badania można wykorzystać w praktyce, gdy można je przełożyć na zmianę zachowań konkretnych osób, funkcjonowania konkretnych instytucji i programów.

No, dobrze - powie ktoś - ale jak sprawić, żeby zróżnicowani uczestnicy działań społecznych dostrzegli użyteczność ewaluacji? Przede wszystkim, jest ważne wyraźne oddzielenie oceny od ewaluacji. Ewaluacja ma służyć pomocą różnym aktorom działań, aby doskonalili swoją pracę, traktowali ją jako środek prowadzący do celu, jakim zazwyczaj jest doskonalenie, poprawa, usprawnienie, polepszenie czy zmiana lub reforma. --> Z pewnością nie należy jej traktować jako przypisanie pewnej wartości (oceny) konkretnym osobom, programom, czy instytucjom[Author:W] . Co prawda, takie przypisanie wartości może stanowić część diagnozy charakteryzującej działania, instytucje i przedsięwzięcia, lecz z pewnością na tym nie poprzestaje, gdyż uwzględnia kontekst, w którym funkcjonuje interesujący nas obiekt.

Musimy poznać charakterystykę badanego obiektu, uwzględniającą jego wewnętrzne zróżnicowanie, musimy poznać cele i motywy, interesy i wartości, jakimi kierują się ludzie w podejmowanych przez siebie działaniach, czyli musimy być zorientowani na analizę ludzkich doświadczeń, a te z kolei, można analizować, uwzględniając kontekst, w którym wystąpiły. Musimy mieć także świadomość ograniczeń stosowanych przez nas metod badawczych, czyli troszczyć się o to, by metody i techniki gromadzenia informacji były adekwatne do pytań badawczych, na które poszukujemy odpowiedzi.

Tak więc poszukując odpowiedzi na pytanie: po co przeprowadzać ewaluację, musimy zdawać sobie sprawę, jaką pociąga to za sobą lawinę kolejnych pytań wymagających odpowiedzi. Jednakże jestem mocno przekonany, że klucz do zrozumienia istoty ewaluacji wiedzie przez dostrzeżenie jej praktycznej funkcji dla każdego uczestnika przedsięwzięciach edukacyjnych.

Projektowanie ewaluacji

Przechodząc do spraw bardziej konkretnych, chciałbym wskazać schemat, którym posługujemy się, prowadząc badania ewaluacyjne. Przedstawię go w formie tabeli uwzględniającej zasadnicze punkty projektu ewaluacji oraz zasadnicze pytania, które systematyzują i porządkują procedury badawcze zarówno w fazie projektowania ewaluacji, jak i w kolejnych fazach procesu badawczego, to jest na etapie realizacji badań, analizy danych i prezentacji wyników. Poniższa tabela to swoisty przewodnik po pytaniach, na które musi odpowiedzieć ewaluator.

Z tego, co dotychczas powiedziano, widać, że ewaluacji mogą podlegać ludzie i ich działania, instytucje, programy, ich komponenty, szkoły, lekcje, sposoby administrowania, mechanizmy funkcjonowania, jakość nadzoru, obieg informacji etc. Ewaluacja może więc dotyczyć bardzo zróżnicowanych obiektów, w których będzie mieć swoją własną specyfikę, jak i swój specyficzny kontekst, w którym funkcjonuje. W określeniu obiektu ewaluacji trzeba być maksymalnie precyzyjnym.  Jeśli chcemy badać szkołę, to musimy wiedzieć, czy badamy ludzi i ich działania, czy też przebieg jakiegoś procesu (edukacyjnego, wychowawczego, dydaktycznego). A może "szkoła" to instytucja lub placówka oświatowa, lub element systemu edukacyjnego, lub podmiot działań samorządu lokalnego.

Zależnie od tego, jak odpowiemy na pytanie, --> po co przeprowadzać ewaluację - pośrednio odpowiadając również na pytanie dla kogo [Author:W] - jesteśmy w stanie maksymalnie precyzyjnie określić przedmiot naszych badań. Czym innym będą badania dotyczące np. reformy oświaty od badań nad sposobem wdrażania tej reformy. Idąc dalej tym tropem, możemy sformułować przedmiot naszego zainteresowania jako np. sposób wdrażania reformy edukacji na przykładzie funkcjonowania gimnazjum. Konkretyzacja określenia obiektu badań pozwala nam na takie rozłożenie akcentów, które spotka się z oczekiwaniami osób zainteresowanych przeprowadzeniem ewaluacji. Tak więc określenie przedmiotu badań powinny poprzedzać swoiste negocjacje  z tymi, którzy badań tych potrzebują.

W precyzyjnym określeniu "części składowych" obiektu ewaluacji pomogą nam ustalenia poczynione z tymi osobami, które oczekują danej ewaluacji. Posługując się uprzednio określonym obiektem ewaluacji, można wyróżnić w nim przykładowe problemy badawcze, choćby - sposób wdrażania reformy edukacji na przykładzie funkcjonowania samorządu szkolnego w gimnazjum. Podobnie możemy wyróżnić problem badawczy w odniesieniu do rady pedagogicznej, relacji nauczyciel - rodzice, kulturotwórczych aspektów wpływu funkcjonowania gimnazjum na działalność społeczności lokalnej itp.

--> Istota formułowania problemów badawczych [Author:W] polega na tym, że wyróżniając pewne, interesujące nas aspekty badanego obiektu (tzn. wyróżniając problemy badawcze), możemy orzekać o całości. Aby dokonać takiej syntezy, musimy określić relacje istniejące między wyróżnionymi aspektami funkcjonowania przykładowego gimnazjum. Działanie takie opiera się na założeniu, że sposób wdrażania reformy może przejawiać się w różnych miejscach funkcjonowania szkoły: w pracach samorządu, rady pedagogicznej, zebrania rodziców, na lekcji matematyki i zajęć pozalekcyjnych. Jeszcze raz należy podkreślić, że to, które aspekty obiektu ewaluacji zostaną określone jako problemy badawcze, powinno być przedmiotem ustaleń między badaczem a odbiorcami i zleceniodawcami ewaluacji.

Kolejnym wielkim wyzwaniem, z którym musi się zmierzyć badacz przeprowadzający ewaluację, --> jest ustalenie kryteriów, na których podstawie będzie orzekać o badanym obiekcie[Author:W] . Zawsze wiele emocji wzbudza pytanie: kto formułuje kryteria ewaluacji? Analizując dotychczasowe rozważania, można wykazać, że ustalenie kryteriów ewaluacji jest również przedmiotem negocjacji różnych podmiotów zainteresowanych w jej przeprowadzeniu. Ponieważ celem ewaluacji jest wspomaganie działań podejmowanych w ramach pewnej całości, a o sensowności tej pomocy decydować będzie użyteczność wniosków z tej ewaluacji płynących, można wykazać, że pytanie, kto formułuje kryteria ewaluacji, jest w ogóle nieistotne!

 

 

Komponenty projektu ewaluacji	Pytania pomocne przy projektowaniu
obiekt ewaluacji	Co jest przedmiotem ewaluacji (ludzie? proces? zjawisko?)
zadania ewaluacji	Dlaczego chcesz to badać? Dla kogo chcesz to badać? Jak zostaną wykorzystane wyniki twoich badań?
zasadnicze problemy badawcze	Jakie problemy badawcze można wyróżnić w ramach danego obiektu ewaluacji? Jak sformułować problemy badawcze?
kryteria ewaluacji	Na podstawie, jakich kryteriów będziesz wnioskować o obiekcie ewaluacji oraz orzekać o problemach badawczych? Kto formułuje kryteria ewaluacji?
pytania kluczowe	--> Jakie zasadnicze pytania można postawić w odniesieniu do wyróżnionych problemów badawczych? [Author:W]
metodologia i metody	Jakie metody badacze pozwolą na orzekanie o przedmiocie ewaluacji? Jak zoperacjonalizować pytania badawcze? Na jakie pytania można uzyskać odpowiedzi, stosując konkretne metody badawcze? Jak zintegrować wykorzystane metody badawcze?
próba badawcza	Kto może dostarczyć istotnych informacji (danych)? Do kogo i do czego możesz mieć dostęp? Jak liczne przypadki pozwolą ci orzekać o przedmiocie badań?
monitorowanie	Jak będziesz kontrolować przebieg swoich badań? Jak będziesz kontrolować przestrzeganie standardów etycznych, merytorycznych i profesjonalnych?
organizacja	Jak będzie przeprowadzona ewaluacja? Jak będą prezentowane wyniki ewaluacji? Ile masz czasu na przeprowadzenie ewaluacji?

 

Badanie charakteru relacji

Kluczową staje się odpowiedź na pytanie, jakie to będą kryteria ewaluacji? Przykładami często stosowanych kryteriów są: efektywność, adekwatność, zgodność, aplikowalność. Są to pojęcia, za pomocą których będziemy ustalać relacje i charakter tych relacji między różnymi klasami obiektów. Trzeba również podkreślić, iż kryteria ewaluacji niejako wynikają z założeń leżących u podstaw działań podejmowanych w ramach ewaluowanego obiektu oraz iż kryteria ewaluacji niejako przenikają wszystkie wyróżnione aspekty ewaluowanego obiektu. Na przykład: czy działania podejmowane w ramach pracy samorządu szkolnego są zgodne z założeniami reformy; czy program samorządu lokalnego przeciwdziałania narkomanii jest adekwatny potrzeb danej szkoły; czy dana szkoła realizuje program sformułowany przez radę szkoły.

Z praktyki wynika, że ustalenie kryteriów ewaluacji jest zadaniem trudnym. Ale staje się tym łatwiejsze, im więcej osób uczestniczy w tym procesie; istnieje prawdopodobieństwo, że pojedyncza osoba nie ma wystarczających kompetencji do określenia, jakiego typu relacji można oczekiwać między wszystkimi komponentami ewaluowanego obiektu. Kolejne niebezpieczeństwo kryje się w możliwości ustalenia takich kryteriów ewaluacji, które nie uwzględniają specyfiki badanego obiektu, np., gdy przyjmuje się jakieś zewnętrzne kryteria w stosunku do obiektu badań. Wśród osób, które podlegają ewaluacji, rodzi to poczucie, że są oceniani według niezrozumiałych lub nieakceptowanych zasad, nie mających związku z ich motywami, wartościami, przekonaniami i interesami działania. Z drugiej jednak strony, przyjęcie tylko takich kryteriów, na które wskażą uczestnicy procesu ewaluacji, może prowadzić do sytuacji, w której uczestnicy jakiś działań staną się de facto sędziami we własnej sprawie, a specyfika badanego obiektu przesłoni rzeczywiste działania poszczególnych osób. Po trzecie, sformułowanie kryteriów ewaluacji przez różne podmioty zainteresowane jej przeprowadzeniem przybliża nas do sytuacji, w której ewaluacja staje się użyteczna dlatego, że różne osoby mogą korzystać z jej wyników, mając przekonanie o własnej podmiotowości.

Kolejne wyzwanie, przed którym stoi ewaluator, to określenie, jak przełożyć liczne i różnorodne założenia teoretyczne zawarte w projekcie ewaluacji na konkretne działanie badawcze? Innymi słowy, ewaluator przystępujący do badań musi również zaprojektować narzędzia i metody, którymi będzie się posługiwał podczas gromadzenia informacji służących mu do orzekania o badanym obiekcie. Użyteczna procedura operacjonalizowania założeń badawczych na konkretne metody i techniki badań wiedzie przez sformułowanie tak zwanych pytań kluczowych.

Pytania kluczowe

Istota pytań kluczowych polega na takim sformułowaniu, które uwzględnia kryteria ewaluacji w odniesieniu do wyróżnionych problemów badawczych. Przykładem może być pytanie, jak władze gminy wspierają inicjatywy wychowawcze podejmowane na terenie szkoły, odwołujące się do kryterium zgodności działań podejmowanych przez samorząd lokalny wobec szkoły. Pytanie, oczywiście, koresponduje z jednym z założeń reformy mówiącym o współdziałaniu gminy i szkoły. Albo pytanie, jak jest realizowany system doskonalenia nauczycieli w danej placówce, odwołujące się do kryterium aplikowalności systemu doskonalenia nauczycieli do warunków, w jakich funkcjonuje konkretna szkoła.

W wielkim skrócie można powiedzieć, że wychodząc od ogólnego stwierdzenia, iż obiektem ewaluacji ma być, na przykład, funkcjonowanie systemu wychowawczego w danej szkole, określamy obszary jego funkcjonowania w działalności np. samorządu szkolnego czy rady pedagogicznej lub w relacji gmina - szkoła. Następnie określamy kryteria na których podstawie będziemy orzekać o wdrażaniu, charakterystyce relacji oraz działaniu i formułujemy pytania w odniesieniu do konkretnych problemów badawczych.

Następny krok w pracy ewaluatora polega na przełożeniu pytań kluczowych na pytania odpowiadające charakterystyce poszczególnych technik i metod badawczych. Powszechnie praktykowane badania kwestionariuszowe służą przede wszystkim określeniu rozkładu pewnych cech i właściwości charakterystycznych dla badanej przez nas zbiorowości, nie nadają zaś się do badań,  których celem jest opisanie przebiegu jakiegoś zjawiska czy procesu. Aby uzyskać wiedzę o rzeczywistych zachowaniach uczestników jakichś wydarzeń, najbardziej efektywną metodą będzie bezpośrednia obserwacja tych wydarzeń, w sytuacji zaś, w której badacza interesują motywy i cele działań podejmowanych przez uczestników wydarzeń, najbardziej użyteczną metodą ich ujawnienia są wywiady z uczestnikami.

 Chcąc stwierdzić, jak często nauczyciele rzeczywiście korzystają z danych technik dydaktycznych, można przeprowadzić obserwację różnych zajęć organizowanych w szkole, lub też poddać analizie np. dzienniki zajęć, rozkład zajęć w pracowni komputerowej lub też wpisy nauczycieli potwierdzających wypożyczenie sprzętu audiowizualnego z sekretariatu szkoły. Co więcej, chcąc poznać to, co poszczególne grupy uznają za normę korzystania z omawianych technik, a więc to, względem czego deklarują częstotliwość określonych działań możemy się posłużyć techniką wywiadu. Podobnie, gdy chcemy dowiedzieć się, dlaczego korzystają lub nie z tych metod, co sprawia, że chcą z nich korzystać, lub co sprawia, że korzystać z nich nie mogą, technika wywiadu będzie do tego typu pytań najbardziej  efektywna i użyteczna.

Gdy chcemy badać rzeczywiste zachowania i rzeczywiste procesy, motywację i cele, interesy i opinie rządzące zachowaniem konkretnych ludzi w konkretnym środowisku, tak złożonym i zmieniającym się w czasie, jakim jest społeczność szkolna, musimy korzystać z różnorodnych metod badawczych pozwalających na formułowanie kompleksowych i prawomocnych wniosków. Tylko takie badania, które pozwalają sięgnąć złożoności badanego obiektu i wyjaśnić dynamikę zachodzących w nim procesów społecznych, można uznać za użyteczne, adekwatne i sensowne dla jego funkcjonowania oraz jakości działań podejmowanych przez tworzące go osoby.

Jeszcze raz należy podkreślić, że procedura projektowania ewaluacji przebiega od  określenia spraw bardzo ogólnych do coraz bardziej szczegółowego określenia tego, co i jak będzie badane na poziomie pytań zadawanych za pomocą konkretnych metod i technik badawczych adresowanych do precyzyjnie zdefiniowanych osób oraz wobec bardzo konkretnie określonych zjawisk, działań czy też zachowań. Przedmiotem analizy dokonywanej przez ewaluatora są teraz poszczególne fakty, empirycznie potwierdzone informacje, z których konstruuje coraz bardziej ogólny obraz badanego przez niego obiektu. Jest to przechodzenie od spraw bardzo konkretnych do coraz bardziej ogólnych wniosków, które o tyle są uprawnione, o ile znajdują potwierdzenie w prezentowanym przez badacza materiale empirycznym, którego zakres wyznacza projekt ewaluacji wynegocjowany, zatwierdzony i de facto realizowany przez różne podmioty zainteresowane w doskonaleniu swojej pracy. 

Jak ugotować dobrą zupę?

Przeprowadzenie ewaluacji wydaje się sensowne i użyteczne jedynie w sytuacji, w której potrafimy odpowiedzieć na pytanie: "Dlaczego i po co powinniśmy ją przeprowadzić"? Ewaluacja nie jest alternatywą wobec mierzenia jakości, gdyż jakość i mierzenie jest przedmiotem zainteresowania badacza i może być jednym z aspektów przeprowadzanej przez niego ewaluacji.

Aby lepiej wyjaśnić zależności między nimi, posłużę się kulinarną analogią. Chcąc zmierzyć na przykład jakość zupy, możemy określić wszelkie istotne parametry, które stanowić będą o jej jakości. Wymiernymi parametrami może tu być kaloryczność, ilość soli i innych przypraw, zawartość witamin i mikroelementów, jej temperatura, a może nawet i określone cechy jej wyglądu. Wydaje się, że posiadając taką wiedzę, jesteśmy w stanie ugotować zupę idealną. Ale czy rzeczywiście można przygotować taki przepis, który zadowoli różne gusta, smaki, przyzwyczajenia i tradycje kulinarne? Być może, zamiast określać, jaki ma to być produkt, lepiej jest określić, jakie są reguły postępowania, gdy chce się ugotować dobrą zupę. Innymi słowy, zamiast mówić, jaka ma być dobra zupa, można powiedzieć, jak można zostać dobrym kucharzem.

Interesując się działaniami ludzi, chcąc wspierać ich różnorodne inicjatywy i przedsięwzięcia ulokowane w zawsze specyficznym środowisku, chcąc pomagać im dostrzegać własną podmiotowość, zapraszając wszystkich zainteresowanych do współtworzenia  projektu, problemów, pytań, a nawet kryteriów badawczych i wniosków z tych badań płynących, ewaluacja staje się narzędziem wspierania procesów demokratyzacji i narzędziem wspierania tych ludzi i ich działań. Co więcej, przy takich założeniach ewaluacja staje się sposobem realizowania jakości ich pracy, a nie tylko sposobem mierzenia jakości produktów ich pracy.

Michał W. Kowalski

Agencja Badawcza "Ewaluator", Warszawa

Edukacja i dialog, Czerwiec 2000

4

Jak charakteryzuje proces badań ewaluacyjnych M.Kowalski?

Jakie grupy pytań odpowiadają kolejnym etapom pracy badawczej?

Co może uzasadniać przeprowadzenie ewaluacji?

Jakie są wyróżniki ewaluacji?

Co to znaczy, że ewaluacja powinna zmierzać do całościowej charakterystyki badanych działań?

Jakie pytania wiążą się z użytecznością ewaluacji?

Czy ewaluację należy sprowadzić do przypisania wartości (oceny) osobom, programom lub instytucjom?

Jakie jest kolejne pytanie, gdy wiemy po co i dla kogo przeprowadzić ewaluację?

Na czym polega istota formułowania problemów badawczych?

Jak ustala się kryteria ewaluacji?

Na czym polega kwestia zgodności i aplikowalności ewaluacji?

---