Ewaluacja - zaproszenie do rozwoju
Bardzo różnie rozumiana i kojarzona na ogół z zachodnimi systemami zarządzania ewaluacja staje się ważnym elementem strategii działań społecznych. W istocie nie bardzo wiadomo, jak jest ona postrzegana w polskiej polityce społecznej, zdrowia publicznego, ochrony środowiska czy edukacji.
Nie sposób nie dostrzec jednak, że zainteresowanie --> i praktyczne aplikacje ewaluacji wiążą się z istotnymi przemianami społecznymi, reformowaniem nie tylko systemów zarządzania i kultury organizacyjnej wielu instytucji, ale i form świadomości, postaw i wzorców działania liderów wielu organizacji. [Author:W] Bardzo --> wyraźnie widać, że istnieje ona w konkretnym kontekście społecznym, głęboko wiążąc się z kierunkami jego przekształceń i nie sprowadzając się jedynie do technik pomiaru[Author:W] , analizy i oceny badanej rzeczywistości. --> Ewaluacja pojęta jako systematyczne badanie wartości programów i strategii społecznych staje się procedurą, ale i dyskursem, dialogiem i negocjacją. [Author:W] Dzieje się tak już w momencie projektowania jej podstawowych elementów, jakimi są nie tylko zasadniczy obiekt, ale i kluczowe pytania ewaluacji, kryteria, cele, odbiorcy oraz sposoby jej wykorzystania.
Tak pojęte procedury ewaluacji wkomponowują się w dynamikę --> demokratyzacji [Author:W] zarówno systemu podejmowania decyzji, jak i obiegu informacji, kształtowania opinii, nagradzania oraz wyznaczania kryteriów rozwoju organizacyjnego i indywidualnego. Takie właśnie społeczne przesłanie ewaluacji stało się podstawą myślenia i praktykowania ewaluacji w ramach licznych programów PHARE realizowanych w polskim systemie edukacji ostatnich kilku lat, szczególnie w programie TERM i SMART. --> Doświadczenia te wydają się bardzo istotne z punktu widzenia reform oświatowych, w których to ewaluacja ma być:[Author:W]
integralnym elementem wspierania i rozwoju jakości
stymulatorem uspołecznienia procedur analitycznych i decyzyjnych,
inspiratorem działań autoewaluacyjnych na różnych poziomach systemu.
Szczególnie interesujące doświadczenia stały się udziałem ewaluacji formatywnej, a więc wkomponowanej w procedury bieżącej korekty i doskonalenia realizacji programu SMART. --> Ewaluacja formatywna wymaga bowiem:[Author:W]
ciągłego dialogu z kierownictwem programu,
uważnej obserwacji procesu swej realizacji przez ustawiczne przywoływanie przyjętych kryteriów,
korekty w kształcie i treści instrumentów badawczych,
komunikowania się wewnątrz zespołu ewaluacyjnego, szczególnie podczas występowania konfliktów, dysfunkcji, zmian i modyfikacji,
efektywnego sposobu komunikowania się z ewaluowanymi w różnych okresach realizacji programu.
Dyskusja wokół kryteriów ewaluacyjnych odsłania bardzo poważny, społeczny wymiar ewaluacji, który ignorowany jest przez ujęcia technokratyczne. Pojawiają się wówczas --> pytania zasadnicze o cel, przeznaczenie, użytkowników, formy oraz miejsce ewaluacji. [Author:W] Pytania te ujawniają wielość stanowisk, różnice interesów, odmienne wizje jej zastosowań. W ewaluacji technokratycznej odpowiedzi na te pytania padają w wąskim gremium tak zwanych specjalistów od ewaluacji i decydentów. Demokratyczne wizje ewaluacji podkreślają natomiast ten właśnie, newralgiczny moment procesu ewaluacyjnego. Stwarza on bowiem szanse na wykorzystanie fazy projektowania ewaluacji do pobudzenia dyskursu społecznego między zainteresowanymi stronami, ujawnienia swoich stanowisk, artykulacji potrzeb i pośrednio, do ujawnienia szeregu problemów, które powinny być wzięte pod uwagę w samej ewaluacji lub też poza obszarem jej funkcjonowania.
--> Dyskurs ten zaliczyć trzeba do efektów ewaluacji, co obala powszechnie panujący stereotyp uznający jedynie raport ewaluacyjny za właściwy produkt procedur ewaluacyjnych. [Author:W] Dyskurs ów mieści się w pojęciu procesu ewaluacyjnego, którego socjologiczna obserwacja zaczyna się już w momencie planowania ewaluacji, a następnie przebiega przez operacyjną fazę projektowania, zbierania danych, ich analizy, fazę pisania raportu, jego upowszechniania i uwzględnienia wynikających z ewaluacji wniosków. Każda z tych faz ma swoją społeczną dynamikę, swoich "aktorów".
Każda z faz generuje także właściwe dla niej problemy etyczne. Są one elementem szeroko pojętej kultury ewaluacyjnej i określają szereg norm, które obowiązywać mają wszystkich uczestników procesu ewaluacyjnego. Uwzględnienie ich jest komponentem społecznego uprawomocnienia działań ewaluacyjnych i powodem wielu nieporozumień, a nawet konfliktów, rozbieżności oczekiwań, odmiennego postrzegania ról i w konsekwencji braku powodzenia wielu przedsięwzięć ewaluacyjnych. Stąd też, szczególnie w warunkach ubogiej kultury ewaluacyjnej i braku wiedzy o jej funkcjach, kluczowe znaczenie negocjowania celów, przebiegu i warunków realizacji ewaluacji. Wyjaśnienie tych kwestii, co z pewnością powinno być świadomie inicjowane przez ewaluatorów, nie tylko dookreśla wzajemne oczekiwania, ale buduje obowiązujące wzajemnie normy, legitymizuje procedury i działania ewaluacyjne, pozwala pokonać restryktywne wyobrażenia o ewaluacji, otwiera możliwości komunikacyjne.
Na gruncie polskim dość powszechnie nie różnicuje się cech konkretnych modeli ewaluacyjnych, myląc je z ewaluacją poszczególnych faz realizacji programu, a więc ewaluacją projektu programu, ewaluacją realizacji zaplanowanego działania, a następnie jego rezultatów. --> Modele ewaluacyjne wyrażają natomiast[Author:W] :
strategiczne cele ewaluacji,
rodzaje stosowanej metodologii,
założenia co do dynamiki jej przebiegu,
rozumienie efektów ewaluacji,
odniesienie do społecznego, kulturowego i politycznego kontekstu.
Tak pojmowana ewaluacja jest oczywiście czymś innym niż kojarzony z nią często, szczególnie w środowiskach edukacyjnych, pomiar dydaktyczny, do którego może się odwoływać, wkomponowywać w różne elementy projektu ewaluacji, ale na którym nie poprzestaje, lub który w ogóle może znaleźć się poza jej celem. Decyzja określająca przedmiot, zakres i technikę pomiaru wyłania się bowiem w określonej fazie procedur ewaluacyjnych i jest efektem poprzedzającej ją debaty, stanowiącej element społecznej racjonalizacji strategii ewaluacyjnych. Zasadniczo nie powinno to rodzić konfliktu pomiędzy specjalistami w dziedzinie technik pomiaru a uspołecznioną procedurą ewaluacji. Eksperci w dziedzinie pomiaru mogą bowiem uwzględniać efekty wcześniejszych faz debaty ewaluacyjnej dotyczące konkretnych celów całościowo rozumianej ewaluacji.
--> Problem ten pojawia się natomiast, gdy zainteresowania specjalistów w dziedzinie pomiaru i możliwości technik pomiarowych pretendują do ustalania celów ewaluacji, zawierzając swoim kompetencjom i samodzielnie określając swoją rolę[Author:W] . Mamy wówczas do czynienia ze zderzeniem różnie pojmowanej "racjonalności" postępowania ewaluacyjnego, w którym inaczej postrzegana jest jego "rozumność", ale także zasadnicze cele oraz miejsce w całokształcie procesów decyzyjnych. Społeczne funkcje ewaluacji, szanse na rzeczywiste uwewnętrznienie jej rezultatów oraz na stymulacje procesów autorefleksyjnych rosną wraz ze stopniem włączenia zainteresowanych stron oraz samych ewaluowanych we wspomnianą wcześniej fazę planowania.
Ewaluacja nie powinna też być utożsamiana z popularnym w Polsce na skutek upowszechnienia wiedzy o TQM, mierzeniem jakości. Wydaje się, że nie ma żadnego rozsądnego i dającego się obronić argumentu, dla którego warto poszerzać słowo mierzenie poza jego semantyczne granice, a więc na sytuacje, w których niczego już nie mierzymy. --> Badanie, analiza i opis jakości może się posługiwać różnymi technikami, w tym od dawna znanymi w naukach społecznych technikami jakościowymi[Author:W] . Nie wydaje się uzasadnione, aby z nich rezygnować w czasach poszukiwania strategii integralnych, wzajemnie się dopełniających i weryfikujących, choć w pewnych sytuacjach badawczych trudno porównywalnych. Ewaluacja posługiwać się może wszystkimi rodzajami metod, choć w różnych proporcjach i dla różnych celów, mieszcząc się w obszarze badań nad jakością.
Warto także pamiętać, iż zupełnie dopuszczalnym i wartościowym celem ewaluacji nie musi być ani "zmierzenie", ani "pomiar" wybranego zjawiska, umiejętności czy procesu. Nie musi być nim nawet najczęściej praktykowane określenie skuteczności lub efektywności ewaluowanego programu. Nie zawsze więc ewaluacja jest projektowana, aby wywrzeć wymierny i doraźny wpływ na procesy decyzyjne. Ujawnienie i zrozumienie ewaluowanej rzeczywistości może być jednym z akceptowanych celów działań ewaluacyjnych. Realizacja tego celu może mieć wielki wpływ na świadomość decydentów, ale także na uczestników ewaluowanego programu i pośrednio okazać się czynnikiem istotnie wpływającym na całą serię decyzji.
W tym właśnie sensie --> ewaluator może spełniać rolę medium[Author:W] , ukazując, oświetlając lub wręcz wyzwalając istotną społecznie wiedzę, wspomagając procesy zmiany społecznej. Strategia ta może obejmować różne stopnie poszerzania typowej funkcji ewaluacji, jaka uformowała się jeszcze w latach trzydziestych i zmierzała początkowo jedynie do określenia relacji możliwie precyzyjnie zoperacjonalizowanych rezultatów konkretnego programu w stosunku do zakładanych w nim celów. Tak wąsko rozumiane zadania ewaluacji, które tkwiły już w pracach Fredericka Taylora, rozbudował Ralph Tyler, postulując konieczne uwzględnienie szerzej pojętych celów ewaluowanej instytucji jako ważnego kontekstu w realizacji programu.
Tyler był jednak przywiązany do "pomiarowej" strategii ewaluacji usilnie poszukując jej zobiektywizowanych instrumentów o jednorodnym i często jednoczynnikowym charakterze. Z tego to powodu bardzo istotnym krokiem była praca Lee J. Cronbacha zatytułowana Course Improvement Through Evaluation, która ukazała się w 1963 roku. Ideą proponowanej przez niego ewaluacji było nie tyle dążenie do wydawania wymiernych i określonych w czasie ocen, ile właśnie doskonalenie i wspieranie (improvement) programu poprzez śledzenie nie tylko jego finalnego wyniku, ale także procesu jego realizacji. Strategia ta wiązała się oczywiście z rozszerzeniem uwzględnianych przez ewaluatora danych oraz zmianą stosunku do swej roli. Pomimo wielu lat, jakie upłynęły od tego czasu, dopiero współcześnie idea ewaluacji wspierającej, nastawionej na analizę procesu i świadomie nastawionej na jego wieloaspektową obserwację wydaje się zyskiwać poważnych zwolenników.
Znacznie bardziej rewolucyjne zmiany i niemal przewrót w postrzeganiu funkcji i społecznej roli ewaluacji przyniosła konferencja zorganizowana w grudniu 1972 roku przez Churchill College w Cambridge z udziałem ewaluatorów brytyjskich, amerykańskich, szwedzkich oraz przedstawicieli wielu urzędów i fundacji. Najpełniejszym wyrazem przewartościowań oraz poważnej krytyki, z jaką spotkały się tradycyjne modele ewaluacji, jak również rodzajem manifestu była prezentowana w czasie konferencji praca M. Parletta i D. Hamiltona pt. Evaluation as Illumination: A New Approach to the Study of Innovatory Programmes. Autorzy podobnie jak wielu dyskutantów odbierali w istocie --> wiele władzy ewaluatorom, podnosząc jednocześnie znaczenie ich społecznej roli[Author:W] , świadomości ich zachowań oraz obligując ich do:
dialogu z różnymi audytoriami i uczestnikami procesu ewaluacyjnego,
oświetlania złożoności ludzkich doświadczeń, jakie powstają w trakcie programu,
rozumiejącej analizy organizacyjnych, psychologicznych i kulturowych aspektów ewaluowanych działań i ewaluacji jako takiej, komunikatywności i interaktywności ze wszystkimi stronami i podmiotami ewaluacji.
Stworzono w ten sposób --> podwaliny ewaluacji dialogicznej[Author:W] , której społeczna racjonalność daleko wybiega poza pomiarową ewaluację lat trzydziestych. Michael Q. Patton, jeden z czołowych ewaluatorów współczesności, podkreśla, iż stworzony w ten sposób model ewaluacji odchodzi od metodologii hipotetyczno-dedukcyjnej na rzecz paradygmatu ustawicznych wyborów, podkreślając wielość metod, alternatywnych ujęć i... wkomponowując je w kontekst specyficznych sytuacji i wymogów ewaluacyjnych. W ten sposób ewaluacja wymaga nie tyle przestrzegania gotowych i niezmiennych reguł, ile elastycznego współgrania z potrzebami, szansami i wyzwaniami konkretnej społeczności. Taką strategię ewaluacji rozwijają i praktykują współcześnie Robert Stake, Egon G. Guba i Yvonne S. Lincoln, Helen Simons, ewaluatorzy kontynuujący dorobek brytyjskiego Centre for Applied Research in Education w University of East Anglia (Norwich) przez wiele lat kierowanego przez współtwórcę tzw. ewaluacji demokratycznej, Berry MacDonalda.
Wszystkie wspomniane cele oraz społeczne wymiary ewaluacji, podobnie jak strategie i techniki jej realizacji, powinny stanowić przedmiot systematycznej refleksji nie tylko socjologów, ale i powstających w Polsce środowisk ewaluacyjnych. Zapotrzebowanie na szeroko rozumianą, dobrze projektowaną i właściwie realizowaną ewaluację jest ogromne. Gdyby ograniczyć się tylko do sfery edukacji, pomijając olbrzymie zapotrzebowanie na ewaluację w dziedzinie promocji i ochrony zdrowia, polityki społecznej, ochrony środowiska oraz wielu innych dziedzin gospodarki, bezpieczeństwa publicznego, administracji, finansów, a nawet wojska, potrzebnych jest około kilkudziesięciu profesjonalnych ewaluatorów w każdym województwie, którzy działaliby na terenie każdego kuratorium i każdej większej instytucji, fundacji lub stowarzyszenia.
Warto jednak zadbać, aby nie przekształcili się oni w nowych technokratów i emisariuszy przedmiotowej kontroli. Ewaluacja może bowiem być istotnym motorem autorefleksji, stawiać pytania, prowokować i wskazywać drogi rozwoju, ale pod warunkiem, że będzie wkomponowana w procesy uspołeczniania i upodmiotowienia, że ochronimy ją przed autorytaryzmem nowych technologii zarządzania.
Leszek Korporowicz
Instytut Socjologii
Uniwersytet Warszawski
Edukacja i dialog, Styczeń 2001
Z czym wiąże się ewaluacja?
Czy ewaluacja to tylko pomiar?
Czym obok procedury pomiaru jest ewaluacja?
Na czym polega demokratyzacja procedury ewaluacji?
Czy jest ewaluacja w reformach oświatowych?
Na czym polega ewaluacja formatywna?
Jakie pytania zdaniem L. Korporowicza wiążą się z ewaluacją?
Czy ostatecznym efektem ewaluacji ma być raport z badań?
Jakie można wyróżnić modele ewaluacyjne?
Kiedy może pojawić się problem zderzenie „racjonalności” postępowania ewaluacyjnego z jego „rozumnością”?
Czy ewaluację powinno ograniczać się do pomiaru ilościowego?
Na czym może polegać rola ewaluatora jako medium przekazującego wiedzę wspomagającą procesy zmiany społecznej?
Na czym polega „nowe podejście” Arletta i Hamiltona?
Na czym polega ewaluacja dialogiczna?