Ewaluacja. Istota i zastosowania praktyczne
(referat wygłoszony podczas seminarium UKA, Poznań 8.10.1999)

Podstawowe pytanie rodzące się w sytuacji podejmowania działań ukierunkowanych na określony cel dotyczy nie tylko tego, w jaki sposób cel ten osiągnąć, ale również jak to zrobić, aby zminimalizować ich ewentualne negatywne i niepożądane skutki uboczne. Chodzi o to, aby bilans korzyści i strat w działaniu był klarowny i by korzyści dominowały nad stratami.

Ocenianie wyników naszych działań i kontrolowanie przebiegu aktywności jest jednym z głównych sposobów zapewniających regulację naszego zachowania się zarówno w życiu codziennym, jak i w sytuacjach pracy zawodowej, nauki szkolnej i w ogólności szeroko rozumianego funkcjonowania społecznego ludzi w różnorodnych grupach i organizacjach.

Aktywność o charakterze zinstytucjonalizowanym w szczególnym stopniu wymaga umiejętności oceniania zachowań ludzkich, ponieważ ocena jest w wielu wypadkach podstawą wymiany świadczeń, gdzie ważne jest nie tylko wynagrodzenie za określony wkład, który w naszych warunkach cywilizacyjnych jest podstawą bytu materialnego znacznej części ludzi, ale także dlatego, że wyznacza ich pozycję społeczną i prestiż. W środowisku akademickim jest to szczególnie widoczne, ponieważ rozwój naukowy i kariera zawodowa nauczycieli akademickich wiąże się w ścisły sposób (określony Ustawą) z oceną ich dorobku naukowego.

Waga oceniania zachowań ludzi w instytucjach edukacyjnych jest szczególnie doniosła, ponieważ proces uczenia się i nauczania wymaga nieustającej kontroli wyników, niezbędnych do kwalifikowania uczniów i studentów. Pomiar osiągnięć szkolnych i akademickich to wielka i ważna dziedzina współczesnej teorii pomiaru psychologicznego i pedagogicznego. Ale pomiar osiągnięć uczniów lub studentów sam w sobie interesujący, może być jednocześnie traktowany jako wskaźnik osiągnięć nauczycieli, w tym nauczycieli akademickich, a ich ocena tworzyć obraz efektywności działania instytucji edukacyjnej jako całości.

Aby odróżnić ocenę indywidualnego zachowania się człowieka (np. ucznia, nauczyciela, przełożonego, czy podwładnego) od oceny instytucji lub organizacji, w której czynność ta przebiega przyjęto dla tej ostatniej posługiwanie się terminem e w a l u a c j a. W tym artykule będzie mowa o ocenie zachowań ludzkich, a zwłaszcza o procesach zachodzących między osobami oceniającymi i ocenianymi, o ocenie instytucji, w jakich te relacje przebiegają, czyli o ewaluacji, oraz o tym, jak te procesy mają się wzajemnie do siebie.

Ocena a ewaluacja

Każdy z nas nieustannie ocenia różne przedmioty, zjawiska i stany rzeczy, ludzi i ich zachowania się, ale także sam jest przedmiotem oceny innych. I to pod różnymi względami i z różnych stron: z góry (w roli podwładnego), z dołu (w roli przełożonego), z boku (przez kolegów), ale także od środka, (przez samego siebie), samoocena, jest bowiem podstawą podmiotowego zachowania się człowieka w przyszłości.

Można powiedzieć, że skoro ocenianie jest powszechnym doświadczeniem każdego z nas, to nie powinno być większych kłopotów z określeniem czym ono jest, na czym polega, co reguluje i czym się kończy. Tymczasem przy bliższej analizie tego procesu okazuje się, że ocenianie jest złożonym procesem poznawczym, w którym dają się wyróżnić fazy i aspekty, które odgrywają rolę w przebiegu aktywności oceniającej. Ważnym spostrzeżeniem jest to, że aktywność ta początkowo ściśle sprzężona z określonym działaniem potrafi się stopniowo autonomizować, że nabiera cech swoistych, i pełni nie tylko funkcje pomocnicze (facylituje dalsze zachowanie się człowieka) lecz przeciwnie może stać się barierą, a nawet hamulcem dalszego działania. Same oceny też są na cenzurowanym, ponieważ mogą być nietrafne, nierzetelne, niesprawiedliwe i dlatego nieakceptowane przez osoby, których dotyczą, mogąc wyrządzać im krzywdę i burzyć równowagę psychiczną. Jeżeli więc oceny mają tak ważne znaczenie w regulacji zachowania się człowieka w toku jego życia i pracy, to o ileż większej wagi nabierają one w życiu instytucji i organizacji, w których człowiek jest elementem, częścią, powiązaną relacjami z innymi ludźmi i innymi obiektami zarówno materialnymi jak i symbolicznymi.

Ocenianie, jako czynność wyróżniona, autonomiczna, zinstytucjonalizowana i zewnętrzna wobec danej instytucji (sporządzana przez niezależnych ekspertów) nazywa się e w a l u a c j ą. Jest to procedura wykonywana w sytuacjach społecznych i ukierunkowana na poprawę funkcjonowania określonych instytucji i organizacji. Najczęściej jest ona podstawą tworzenia określonych strategii zaradczych, przyjmujących postać zmiany planowanej, programu interwencyjnego lub prewencji. Jest ona traktowana jako podstawowe narzędzie kształtowania polityki społecznej w takich dziedzinach życia jak bezpieczeństwo publiczne i walka z przestępczością, zwłaszcza reedukacja przestępców i skazanych, prewencja wypadkowa w środowisku pracy i na drogach publicznych, zapobieganie zjawiskom kryzysowym, patologicznym i szkodliwym społecznie, w promowaniu zachowań prozdrowotnych, integrowaniu osób niepełnosprawnych z resztą społeczeństwa oraz doskonalenie instytucji edukacyjnych na wszystkich poziomach i we wszystkich ogniwach systemu oświaty. Nietrudno zauważyć, że ewaluacja jako narzędzie polityki społecznej ma ścisły związek ze strategiami dystrybucji środków finansowych i alokacją funduszy najczęściej pochodzących nie tylko z budżetu państwa, czyli z kieszeni podatników, ale i z kieszeni możnych fundatorów gotowych wesprzeć przedsięwzięcia o charakterze naprawczym.

Tajemnica sukcesu

Powstaje pytanie dlaczego ewaluacja zrobiła w ostatnich 30 latach tak oszałamiającą karierę? Na czym polegał sukces ludzi, którzy potrafili zorganizować się we wpływowa grupę nacisku, że stali się języczkiem u wagi w podejmowaniu ważnych decyzji o wadze państwowej? Sukces ewaluacji jako nowej dziedziny badań i działalności praktycznej jest bezpośrednim skutkiem, swego rodzaju niepowodzeń i porażek jakie miały miejsce w krajach Zachodu, w tym głównie w USA w latach 60-90 w związku z wprowadzaniem tam na wielką, społeczną skalę (państwa) programów walki z alkoholizmem, narkomanią, przestępczością, ochroną zdrowia i szkolnictwem (np. problem integracji rasowej i etnicznej).

Pojawiły się pytania, czy było warto i na ile, czy nakłady nie były marnotrawione, lub niewłaściwie zużytkowane. Okazało się, że tylko połowa programów przyniosła jakieś skutki pozytywne, a żaden z nich nie miał wmontowanego mechanizmu kontroli (monitorowania) w trakcie realizowania programów. (P. Mosteller 1975). Okazało się, że niezbędne są procedury umożliwiające opis, ocenę i dyrektywę jej wykorzystania w dalszym praktycznym działaniu. Powstała więc potrzeba stworzenia metodologii oceniania wyników aktywności związanej z realizacją owych programów. Pojawiły się jednostki badawcze zajmujące się tworzeniem metodologii oceniania pomiaru w psychologii, zwłaszcza trafności spostrzegania. Swoista meta nauka. Opierała się ona na teorii pomiaru (najczęściej psychologicznego), gdzie wyróżnił się Crobach, znany teoretyk pomiaru psychologicznego. Pojawiło się czasopismo "Evaluation Studies" oraz towarzystwo naukowe. Są to uznane w naukoznawstwie symptomy wyodrębniania się i usamodzielniania dyscypliny naukowej. Ma ona zarazem charakter teoretyczny (teoria pomiaru) jak i praktyczny (opis zastosowań owych metod do praktyki społecznej).

Dwa aspekty ewaluacji i jeden kontekst

Można wyróżnić dwa aspekty ewaluacji: metodologiczny i aplikacyjny. Aspekt metodologiczny to problemy związane z percepcją, opisem, a wreszcie z pomiarem zjawisk społecznych i procesów społecznych, które odnoszą się do określonej aktywności człowieka w sytuacjach społecznych (zinstytucjonalizowanych). Drugim aspektem jest aspekt aplikacyjny, czyli kwestia przekładu twierdzeń naukowych na dyrektywy praktycznego działania. Wymaga to oceny użyteczności potencjalnych wyników działania. Aby to uczynić, należy wynikom tym nadać sens, czyli umieścić je w szerszym kontekście aktywności, czy to jednostki, czy danej społeczności. Sens ten musi być dostrzegany zarówno przez twórców projektowanych zmian jak i realizatorów, jak i osób, których zmiana ta będzie dotyczyła (np. uczniów w szkole, pacjentów w reformowanej służbie ochrony zdrowia, użytkowników dróg publicznych itp.). Ale także przedstawicieli władz, którzy odpowiedzialni są przed opinią publiczną za realizację projektu.

Jeśli zaś idzie o społeczny kontekst ewaluacji to składa się nań relacja między ekspertem dokonującym oceny a osobą (osobami) ocenianymi, relacja między osobą oceniającą a instytucją, która zleca wykonanie procedury ewaluacyjnej oraz relacja między instytucją a właściwym adresatem ewaluacji, (którego jej wyniki bezpośrednio będą dotyczyły). Każda z tych relacji musi być brana pod uwagę przez ekspertów dokonujących ewaluacji, ale najważniejsze znaczenie ma relacja osoba oceniająca - osoba oceniana, ponieważ błędy popełnione w trakcie oceniania wykonawców interesujących nas czynności mogą mieć negatywny wpływ na ocenę instytucji, która jest przedmiotem oceny i na losy jej uczestników.

Regulacyjna moc ewaluacji

Ogólnie rzecz biorąc, można powiedzieć, że ocenianie jest podejmowaniem decyzji, w którym podmiot oceniający występuje w charakterze _"narzędzia pomiaru". Istotą ewaluacji jest nie tylko opis (deskrypcja) określonych stanów rzeczy, ale i nadawanie im znaku, czyli wartościowości. Jest to innymi słowy zbieranie informacji i nadawanie im znaczenia, w celu odróżnienia dobra od zła. Aby to uczynić niezbędne są kryteria różnicowania, nazywane s t a n d a r d a m i. Są one dwojakiego rodzaju:

• Deskryptywne (opisowe)

• Ewaluatywne (wartości wzorcowe, _"pozytywne plusy")

Zarówno jedne jak i drugie służą za podstawę tworzenia dyrektyw działania, które w następstwie mogą stać się wzorcami działania. Dobra ewaluacja to taka, która posługuje się oboma rodzajami standardów i pozwala tworzyć dyrektywy praktycznego działania.

Regulacyjna moc ewaluacji zależy od dwojakiego rodzaju czynników:

• od treści oceny

• od sposobu jej przekazania

Uwzględnienie jednego tylko czynnika prowadzi do wypaczenia sensu ewaluacji

Treść oceny

Treść oceny można sprowadzić do 3 rodzajów informacji:

• Informacji o istniejącym stanie rzeczy (jak jest?)

• Informacji o pożądanym stanie rzeczy (jak być powinno?)

• Informacji o możliwym stanie rzeczy (jak być może?)

Te trzy rodzaje informacji tworzą zwarty system poznawczy, którego elementy modyfikują się wzajemnie. Moc regulacyjna tego systemu zależy od dystansów między tymi 3 rodzajami informacji (częściami składowymi treści oceny), a mianowicie:

• między tym jak jest a tym jak być powinno oraz

• między tym jak być powinno i tym jak być może

• oraz między tymi jak być może i jak jest.

Są to trzy skale, które mogą służyć do oceny oraz tworzenia dyrektyw praktycznego działania. Dystanse - to różnice między stanem faktycznym a stanem pożądanym z jakichś względów (tu właśnie, potrzebne są kryteria owej dobroci, korzystności, jakości). Im są one większe tym większe znaczenie ma ewaluacja dla zmiany stanu rzeczy na lepsze, to znaczy - usunięcia dysfunkcji, zmniejszenia patologii, przywrócenia normy (jeśli norma jest stanem pożądanym), ustanowienia harmonii, doprowadzenia do adekwatności funkcjonalnej między elementami danego systemu organizacji.

Stwierdzenie braku owej adekwatności jest z reguły impulsem do działania. Określenie jej przyczyn wyznacza kierunek działania prowadzającego do stanu pożądanego. Stymulacja oraz ukierunkowanie działań zmieniających stan aktualny jest istotą regulacji zachowania się człowieka w warunkach zmian, ponieważ wówczas dochodzi do zaburzenia równowagi między człowiekiem a jego otoczeniem.

Tworzenie dyrektyw praktycznego działania może mieć więc charakter mniej lub bardziej normatywny. _"Aby osiągnąć pożądany stan rzeczy należy zrobić to a to, albo nie czynić tego a tego". To stwarza postać dyrektywy. Zarówno zaniechanie działania jak i jego wyniki mogą być przedmiotem oceny.

Kryteria oceny mogą być rozmaite, najczęściej można spotkać następujące: sensowność, skuteczność, ekonomiczność, bezpieczność i etyczność działania ludzkiego. Kryteria te nie zawsze są ze sobą spójne, np. skuteczność działania może nie iść w parze z ich etycznym wymiarem, albo ekonomiczny aspekt może być w niezgodzie z bezpieczeństwem (np. szybko, ale ryzykownie). Mówienie o tym co zrobić należy, co być powinno, co trzeba, żeby było itp. kojarzy się z moralizowaniem, apelowaniem, nawoływaniem, co wywiera skutek odwrotny do zamierzonego, a często paraliżuje aktywność. Podobnie pomijanie informacji o tym, czy i jak można to osiągnąć i czy to w ogóle jest możliwe. Równie słaby, lub wręcz negatywny wpływ ma pomijanie różnych m o ż l i w o ś c i jakie tkwią w istniejącym stanie rzeczy. W ludziach powstaje wówczas poczucie niemożności działania, które także paraliżuje aktywność.

Eksperci zajmujący się ewaluacją powinni więc zdawać sobie sprawę z tego pod jakim względem, z jakich pozycji i na czyj użytek wydają oceny (uczestnicząc w procesie ewaluacji).

Sposób przekazywania oceny społecznej.

Interakcje zachodzą zwykle w jakimś kontekście społecznym. Dla regulacji stosunków międzyludzkich panujących w danej instytucji (w tym przypadku w szkole wyższej) duże znaczenie mają:

• różnice treściowe, jakie zachodzą między oceną _"nadaną" a _"odebraną" to znaczy między treścią danej oceny w świadomości oceniających i ocenianych. Różnice są dwie: dotyczą one celów, (skutków) oceny oraz jej zasadności.

Ewaluator (ekspert) ocenia określony stan rzeczy z wyraźną świadomością tego po co to robi i do czego ta ocena ma służyć. Oceniany ma natomiast znacznie mniejszą świadomość tego jaki jest cel oceny i do czego ona posłużyć może i posłuży. Często nie zna prawdziwych zamiarów oceniającego, bardziej jest wrażliwy na odległe nieraz skutki oceny, których dokładnie nie zna (i to skutki zarówno zamierzone przez ewaluatora jak i niezamierzone). Z reguły ma on poczucie zagrożenia, silną potrzebę dodatkowych informacji, a brakujące uzupełnia własnymi domysłami. Jego nieufność rośnie, gdy wie, że ocena przekazywana jest komuś trzeciemu (a tak w przypadku ewaluacji właśnie się dzieje), a przed nim ukrywana.

W zależności od tego k t o wydał ocenę (sformułował) i k t o przekazuje ocenę albo traci swoją wartość dla ocenianego albo zyskuje. Zasadność oceny wiąże się ze wspomnianymi wyżej dwiema skalami, jednej, której bieguny tworzy informacja o stanie faktycznym i informacja o tym _"jak być powinno" oraz drugiej, której bieguny tworzą informację o tym _"jak być powinno" i o tym, _"jak być może".

Oceniani są znacznie bardziej niż oceniający wrażliwi na drugi z wymienionych wymiarów (skalę) wyraźniej odróżniają to co jest rzeczywiste od tego co jest możliwe, jeśli idzie o ich osobę, instytucję, zespół, czy zakład.

Oceniający (ewaluatorzy) są bardziej skłonni poprzestać na stwierdzeniu istniejącego stanu rzeczy i na jego podstawie przewidywać, że tak samo będzie w przyszłości, zakładają s t a ł o ś ć dystansu między tym jak jest i jak być powinno. Są wrażliwi na różnice między oceną wyników (oceną czynności i oceną ludzi) np. błędy wyników przypisują błędnym czynnościom, a błędy czynności cechom wykonawców. Trwałość cech jest podstawą do przewidywania zachowania się danej osoby w przyszłości. Diagnozę cech traktują jak podstawę prognozy przyszłych stanów rzeczy (zachowań).

Z perspektywy oganianych sprawy przedstawiają się inaczej. Oceniani bardziej są wrażliwi na m o ż 1 i w o ś c i a rzeczywisty, aktualnie istniejący stan rzeczy skłonni są traktować jako stan przypadkowy (przejściowy) incydent, znacznie wyraźniej więc spostrzegają różnice, jakie zachodzą między oceną wyniku, oceną czynności i oceną. własnej osoby. Łatwiej akceptują krytykę swojego dzieła, niż swojego działania, a swego działania łatwiej niż swojej osoby. Dopuszczają, że wynik może być niedoskonały, a nawet zły pod jakimś względem, mimo poprawnego działania a działanie może być błędne mimo, że oni sami są całkiem w porządku. Dopuszczają swoje słabości chwilowe, sytuacyjne, łatwo znajdują usprawiedliwienia, łatwiej też spostrzegają możliwości poprawy nauczenia się i rozwoju.

Z tych względów oceniani dostrzegają w odniesieniu do własnej osoby, ostrą różnicę między diagnozą stanu aktualnego a atrybucją przyczyn tego stanu rzeczy, między poznawaniem cech i stanów, a ich przypisywaniem osobie. Dlatego też skłonni są poddawać ocenie same oceny (i tak często robią), zajmując wobec nich sytuację oceniających, włącznie z osobami ewaluatorów. Następuje więc wyrównanie asymetrii, która jest istotną cechą relacji oceniający-oceniany. Oceniani także oceniają te oceny nie tylko i nie tyle jako trafne lub błędne, lecz jako sprawiedliwe lub niesprawiedliwe i odpowiednio do tego a k c e p t u j ą je lub odrzucają.

Wynika z tego, że w skład podstawowych kompetencji ewaluatora wchodzi umiejętność diagnozy stanu rzeczy na dwu wymiarach: normatywnym (jak być powinno) w relacji do tego jak jest, oraz na wymiarze posybilistycznym (jak być może w relacji do tego jak jest) oraz umiejętność przekazywania wyników ewaluacji zarówno ocenianym jak i tym, do których jest ona adresowana. Wtedy zamienia się ona w kompetencję komunikacyjną.

Kompetencja ewaluacyjna

W życiu codziennym kompetencja ta jest kształtowana przypadkowo, objawia się chaotycznie, jako spontaniczna reakcje na sytuacyjne bodźce społeczne. W procesie świadomej i celowo podejmowanej ewaluacji jest ona umiejętnością profesjonalną. W tym wypadku ewaluator powinien wiedzieć (umieć odpowiedzieć) na 4 pytania:

• Co się ocenia (sformułować przedmiot oceny, np. wynik, czynność, osobę?),

• Po co się ocenia? (np. aby podnieść poziom kształcenia, nauczania, zwiększyć satysfakcję studiowania, obniżyć poziom lęku uczniów itp.)

• Ze względu na kogo się ocenia? (np. ze względu na instytucję UKI, która nadaje certyfikaty akredytacyjne),

• W jakich okolicznościach się ocenia? (źródło zakłóceń w ocenianiu, czyli powstawanie tzw. artefaktów.

Ponieważ wyniki ewaluacji mają z reguły zamierzony wpływ nie tylko na zachowania się ludzi w instytucjach i organizacjach, ale na ich losy (zamykanie kierunku studiów, zmniejszenie liczby studentów, pogorszenie opinii w środowisku itp.) niezbędne są ścisłe reguły oceniania, określone standardy oceny, aby uniezależnić się od chwilowych nastrojów, nastawień, uprzedzeń i stereotypów osób oceniających. Ma to swoje dobre i złe strony. Np. w środowisku uczelnianym dzieje się wiele rzeczy, które wymykają się owym sztywnym regułom i standardom, ważnych z punktu widzenia misji uczelni i jej roli kulturotwórczej w swoim otoczeniu.

Dlatego obok tzw. twardych metod ilościowych i ścisłego pomiaru osiągnięć akademickich proponowane są metody miękkie (jakościowe) oparte na wywiadach, studiach przypadku, obserwacji uczestniczących, historycznej rekonstrukcji, luźnych rozmowach o pozwalających na głębsze zrozumienie nieuchwytnych nieraz zjawisk, wyławianie zalążków twórczej myśli, nowej idei, która m szansę na rozwój pod warunkiem zapewnienia odpowiednich warunków.

Zakończenie

Można przypuszczać, że ewaluacja na użytek akredytacji będzie miała nie tylko znaczenie dla podnoszenia skuteczności działania uczelni jako całości, zmniejszania kosztów kształcenia (finansowych i psychologicznych) podnoszenia poziomu nauczania i radości studiowania ale także na budowanie stosunków wzajemnego zaufania i zrozumienia własnych potrzeb ocenianej jednostki oraz poczucia, że w warunkach nasilającej się konkurencji i rywalizacji możliwe jest współdziałanie między uczelniami i wzajemna pomoc. Ewaluacja, którą proponuje UKA nie jest pomyślana jako przeszkoda, zagrożenie, szykana, cenzurka, lecz jako swego rodzaju _"szkoła" w której można się nauczyć trudnej sztuki ewaluacji, Chodzi o to, by nauczyć się odróżniać wyniki pracy akademickiej rzeczywiście wartościowe od pozornych lub pozorowanych albo tylko ich wskaźników formalnych.

Aneks

Definicje:

1. Cronbach: Ewaluacja to gromadzenie, wykorzystywania danych (informacji) pozwalających na podejmowanie decyzji dotyczących problemów edukacyjnych.

2. Dziedzina, która wyrosła z działalności naukowo-badawczej i administracyjnej, z praktyki zarządzania, z interwencji społecznej, z działań planistycznych i kontrolnych, osadzonych w realiach politycznych i kulturowych danej społeczności.

3. Ewaluacja - to instrument efektywności i skuteczności konkretnych programów lub przedsięwzięć, wychodząca poza rutynowe praktyki standardowej sprawozdawczości, aspiruje do opisania _"efektów" nie tylko przyrostu wiedzy, ale i zmian osobowości, postaw, stylu pracy pedagogicznej (kierowniczej, interwencyjnej itp.), przeżywania pewnej rzeczywistości ludzkiej.

Celem ewaluacji jest nie tylko i nie tyle wspomaganie określonej opcji decyzyjnej ile przyczynianie się do lepszego rozumienia programów społecznych i pobudzanie publicznej dyskusji w sprawach o znacznej doniosłości publicznej.

Literatura:

Brzeziński J, Metodologiczne i psychologiczne wyznaczniki procesu badawczego w psychologii, Poznań 1897 UAM.
Korporowicz L. (red.), Ewaluacja w edukacji. Warszawa, PHARE 1997.
Ratajczak (red.) Psychologiczne podstawy oceniania pracowników, Katowice, 1984, wyd. UŚ.
Tomszewski T., O regulacyjnej funkcji ocen personalnych, w: Ratajczak Psychologiczne podstawy oceniania pracowników Katowice, 1983, wyd. UŚ.
Tomaszewski T., Układ referencyjny czynności pomagania, _"Chowanna" 1993, nr 1.
Tomaszewski T., Z. Ratajczak, Treść ekspertyz naukowych i współdziałanie eksperta z użytkownikiem, (w:) Ekspertyzy naukowe a praktyka społeczna, pod red. Z. Ratajczak, Katowice 1988, wyd. UŚ.
Wojciszke B., Procesy oceniania ludzi; Warszawa -Poznań, Nakom, PAN, 1991.

---