METODY EWALUACJI

Wprowadzenie

Każde dobrze zorganizowane doskonalenie kończy się ewaluacja. Uzyskane w jej wyniku informacje powinny służyć dalszemu rozwojowi zarówno poszczególnych osób, jak i zespołów oraz całej organizacji.

Ewaluacja dotyczy realizacji celów, przebiegu procesu, kosztów, zysków, skuteczności.

Opisuje ona rezultaty końcowe procesu (zarówno pozytywne, jak i negatywne). Szuka wyja­śnienia związków między nakładem pracy i środków a uzyskanym rezultatem, porównuje wynik z zamierzeniem.

Istnieje wiele sposobów przeprowadzania ewaluacji. Dobór metod zależy m.in. od takich czynników, jak:

• czas, jaki można przeznaczyć na ten cel

• znaczenie przypisywane ewaluacji

• wyniki, ich dalsze wykorzystanie przez adresata

• funkcja ewaluacji (ewaluacja końcowa, wstępna, cząstkowa itd.); czy ma dotyczyć kontroli procesu uczenia się, kierowania przebiegiem projektu czy pomocy w transferze

• rola prowadzącego ewaluację

Często stosowanymi sposobami ewaluacji są:

• ankieta,

• informacja zwrotna,

• sprawozdania,

• obserwacja

• refleksja z praktyki.

• Cel:

— poszerzenie wiedzy o metodach ewaluacji i możliwościach ich zastosowania

• Czas:

1,5 godziny

EWALUACJA JAKO INTEGRALNY ELEMENT
PROCESU UCZENIA SIĘ

Dobre zespoły systematycznie analizują sposób własnej pracy, po­dejmowania decyzji, radzenia sobie w sytuacjach konfliktowych. Taka analiza, ocena i refleksja nad uzyskiwanymi rezultatami pozwala ze­społowi uczyć się na własnych błędach, stale doskonalić swoją pracę i zdobywać doświadczenie.

Ewaluacji można dokonywać na wiele sposobów. Metoda lub tech­nika, jaką zamierzamy posłużyć się prowadząc ewaluację pracy grupy, musi być dostosowana do warunków,
w jakich grupa realizuje zadania, panującego w niej klimatu społecznego oraz atmosfery towarzyszącej procesowi uczenia się.

Przed rozpoczęciem ewaluacji należy poszukać odpowiedzi na następujące pytania:

— Dla kogo jest przeprowadzana ewaluacja?

— Jak zostaną wykorzystane wyniki?

— Na ile jesteśmy w stanie być wiarygodnymi partnerami?

Dokonując ewaluacji, najczęściej stosuje się takie sposoby jak:

— analiza i ocenianie działań poszczególnych osób przez zespół

— wykorzystywanie obserwatorów

— nagrywanie na wideo

DEFINICJE

Ewaluacja to:

• zbieranie, analiza, interpretacja i formułowanie danych

• ocenianie istoty, znaczenia i jakości tego, co jest wartościowane

• zwrócenie uwagi na aspekty i zagadnienia istotne dla zainteresowanych oceną stron

Ewaluacja to:

• próba opisu rezultatów (wyników) końcowych zaistniałych już oce­nianych faktów (zarówno z pozytywnej, jak i negatywnej strony)

• szukanie wyjaśnienia związków między nakładami a końcowym re­zultatem

• porównanie rezultatów ze wstępnymi zamierzeniami

EWALUACJA to:

• zbieranie, analiza i interpretacja danych

• ocena wartości działań osób, których te działania dotyczą

• ocena wpływu tych działań na osoby i środowiska, ich trwałości, metod i narzędzi realizacji (arkusze, rozmowy, obserwacje)

PYTANIA, KTÓRE WARTO SOBIE POSTAWIĆ W TRAKCIE PROJEKTOWANIA EWALUACJI

1. Uzasadnienia, cele i motywacje

• Kto chce, żeby przeprowadzono ewaluację?

• Jakie powody mają osoby zainteresowane, żeby chcieć przeprowadzenia/wykonania ewaluacji?

• Komu potrzebna jest informacja, której dostarczy ewaluacja?

• Kto jeszcze powinien mieć dostąp do tej informacji?

2. Przydatność

• Jakie możliwe działania lub decyzje można podjąć w wyniku ewaluacji?

• Jakie możliwe działania lub decyzje zostały wcześniej przesądzone

• Jakie ograniczenia związane są z planowaniem i wprowadzaniem w życie ewaluacji?

3. Interpretacje zadania ewaluacyjnego

• Jakie poglądy wyrażają osoby zaangażowane, co do natury ewaluacji?

• Jaki jest istniejący system podejmowania decyzji i jak odnosi się do niego ewaluacja?

4. Zakres ewaluacji

• Co będzie ewaluowane?

• Jakiego rodzaju informacje są wymagane?

5. Ewaluatorzy

• Kto będzie zbierać informacje?

• Kto będzie koordynować proces?

• Kto sporządzi raport(y)?

6. Metody ewaluacji

• Czy metody, które będą stosowane, są odpowiednie w stosunku do wymaganej infor­macji?

• Czy metody te mogą być opracowane, jeśli okaże się to konieczne i zastosowane w cza­sie na to przeznaczonym?

• Jakie zasady, sprzęt, wspomagające udogodnienia wymagane są, by metody wprowadzić w życie?

• Czy metody do zbierania/gromadzenia danych zostaną zaakceptowane przez tych, któ­rzy będą zaangażowani w dostarczanie informacji?

7. Harmonogram

• Ile jest czasu na ewaluację?

• Czy informacja może być zebrana i przetworzona w ciągu tego okresu czasu?

8. Kontrola informacji

• Jakie procedury, o ile jakiekolwiek, będą rządzić zbieraniem i rozpowszechnianiem
  in­formacji?

• Jak zadecyduje się o własności informacji?

9. Kryteria do wydawania sądów czy decyzji

• Kto będzie decydować o kryteriach, które będą stosowane w korzystaniu z informacji?

• Czy będzie potrzeba/możliwość stosowania alternatywnych kryteriów?

10. Składanie raportów

• W jakiej formie zostanie złożony raport ewaluacyjny?

• Czy osoby zaangażowane będą miały dostęp do raportu zanim zostanie on sfinalizowa­ny?

• Do jakiego audytorium będzie adresowany raport?

• Jakie kroki będą podjęte, żeby upewnić się, że raport dotrze do desygnowanego audyto­rium?

PRZYKŁADY PYTAŃ, KTÓRE MOŻNA WYKORZYSTAĆ
W TRAKCIE EWALUACJI ZAJĘĆ

Poniżej podano przykłady rodzajów pytań, jakie można zadać. Niektóre z nich nie będą odpowiednie dla Twojego kursu. Będziesz w stanie sam sformułować o wiele więcej pytań, bardziej przystających do potrzeb.

Ważne też by nie zadawać za dużo pytań naraz. Lepiej wybrać kilka naprawdę ważnych tematów i zachęcić studentów do przemyślenia odpowiedzi a następnie zapytać dlaczego tak a nie inaczej odpowiedzieli. Dużo więcej dowiesz się w ten sposób niż zadając mnó­stwo pytań, na które uzyskasz krótką odpowiedź tak lub nie.

Oto typ pytań, które należy w trakcie kursu zadawać regularnie, co pewien czas. Nie od­wlekaj postawienia ich respondentom do zakończenia kursu. Według preferencji, można poświęcić im kilka minut pod koniec każdej sesji lub przeznaczyć na to wydzielony, dłuższy, czas co kilka tygodni.

1. Czego się na kursie dowiedziałeś i co zrozumiałeś (wiedza)?

2. Jakie umiejętności zdobyłeś? (np. pisanie wypracowań, przemawianie na forum grupy, przedstawianie śmiało swojego punktu widzenia, konwersacja w obcym jęz, etc..)

3. Które umiejętności chciałbyś i spodziewasz się w sobie rozwinąć dzięki uczestnictwu w kursie?

4. Jak zmieniło się Twoje samopoczucie od momentu rozpoczęcia kursu?

5. Czego jeszcze chciałbyś się dowiedzieć?

6. Przypomnij sobie czego spodziewałeś się po tym kursie,

a) Czy kurs spełnia Twoje oczekiwania?

b) Których spośród Twoich oczekiwań kurs nie spełnia?

c) Czy kurs przynosi Ci korzyści, których się nie spodziewałeś?

7. Co Ci się najbardziej do tej pory i dlaczego?

a) podobało

b) nie podobało

8. Czy masz uwagi, które mogłyby pomóc nam lepiej rozplanować i poprowadzi kurs?

9. Czy w ogólnym odczuciu, Twoim zdaniem, tempo kursu jest:

a) za szybkie byś był w stanie wszystko zrozumieć?

b) za wolne - więc się nudzisz?

c) odpowiednie?

10. Czy sądzisz, że studenci są wystarczająco często proszeni o wypowiedź i włączenie się do dyskusji?

a) niewystarczająco często?

b) za często?

c) wystarczająco często?

11. Czy jesteś w stanie znaleźć dostęp do książek, które nauczyciel poleca do przeczytania?

12. Jeśli nie, to czy ma to w Twoim przypadku negatywny wpływ na efektywność kształce­nia? Czy mógłbyś zaproponować rozwiązanie tego problemu?

13. Czy łatwo przychodzi Ci zabrać głos w trakcie zajęć i zgłosić swoja opinię? Jeśli nie, to czy w jakiś sposób można byłoby Ci to ułatwić?

14. Czy Twoje opinie na temat przedmiotu kursu uległy jakiejkolwiek zmianie?
Jeśli tak, to w jakim sensie?

15. Czy wolałbyś:

a) pobieżnie omówić wiele tematów i uzyskać ogólną orientacją w danej dzie­dzinie?

b) omówić mniejszą ilość tematów, ale dokładniej - każdemu tematowi poświę­cić np. kilka sesji?

16. Czy wolałbyś poświęcić więcej czasu na:

a) słuchanie wykładów?

b) dyskusję w grupie?

c) wykonywanie ćwiczeń praktycznych? Uzasadnij.

17. Poproś respondentów o odpowiedź na następujące pytania, osobno dla każdej ze
zre­alizowanych sesji:

a) Czy zrozumiałeś omawiane zagadnienie?

b) Czy sesja przypadła Ci do gustu?

c) Czy prowadzący podał: za dużo treści, za mało treści, lub akurat?

d) Czy wybrano odpowiednie materiały pomocnicze (książki, filmy itp.)? Czy pomogły Ci one lepiej zrozumieć temat?

18. a) Czy uważasz, że w grupie panują dobre stosunki międzyludzkie?

b) Czy masz jakieś problemy w relacjach z grupą?

c) Czy mógłbyś zaproponować, co zrobić by grupa lepiej poznała się nawzajem?

A teraz pomyśl nad pytaniami od siebie, które ewentualnie dopisałbyś do listy.

PRZYKŁADY METOD SYSTEMOWEGO GROMADZENIA DANYCH

Metoda	Przykłady	Zalety	Wady
Ćwiczenia i techniki z zakresu komunikacji	Informacja zwrotna „błyskawiczna"	Ewaluacja jest jednym z głównych etapów procesu rozwoju. Ist­nieje możliwość bez­pośredniej dyskusji na temat wyników	Trudności w doku­mentowaniu. Pro­cesy grupowe mogą mieć wpływ na obiektywność opinii uczestników
Analiza danych już istniejących	Dane statystyczne dotyczące uczniów i nauczycieli. Oceny szkolne, protokoły, prace kontrolne	Nie zachodzi potrzeba uruchamiania procesu zbierania danych	Dane zostały zgroma­dzone w innym celu, istnieje, więc problem możliwości przeniesie­nia do innych badań
Pytania otwarte	Samo badanie, me­toda kartkowa	Daje możliwości au­tentycznych i szczerych wypowiedzi	Przy większej liczbie badanych lub szer­szym zakresie pytań pojawiają się trudno­ści z opracowaniem obszernego materiału
Ankieta pytania zamknięte	Gotowe narzędzia analizy procesów roz­wojowych. Opraco­wania własne ankiet uczniowskich	Nawet w przypadku dużej liczby badanych można szybko otrzy­mać wyniki	Zawęża możliwości wypowiedzi, problem interpretacji ilościo­wych wyników, istnieje konieczność wykorzy­stania pomocy tech­nicznej przy zbieraniu danych
Wywiad, rozmowy z jednostkami	Rozmowy z uczniami i rodzicami	Możliwość dodatko­wych wyjaśnień, in­tensywnej dyskusji na tematy trudne do rozwiązania	Problem zarejestro­wania wypowiedzi/protokołowania, opracowanie da­nych bardzo czaso­chłonne, niewielka liczba badanych
Wywiad, rozmowy z grupami	Rozmowy z radami pedagogicznymi, rozmowy refleksyjne z grupami uczniów	Więcej „głosów" niż w przypadku rozmów indywidualnych, do­świadczenia grupy sta­nowią większą wartość niż tylko suma poje­dynczych opinii	Kompleksowe badanie, problem rejestrowania wypowiedzi, w gru­pach mogą nie poja­wić się kontrowersyjne wypowiedzi
Obserwacje	Wzajemne hospitacje zajęć	Możliwość uzyska­nia bezpośredniej informacji	Kompleksowa obser­wacja, czasochłonna
Notatki/Pamiętniki	Notatnik prowadzony wg metody projektu, dokumentacja działal­ności szkoły	Możliwość „uwiecznie­nia" procesów, moż­liwość uzyskiwania bezpośrednich danych	Wymaga wewnętrznej dyscypliny, problem opracowania danych
Materiał zdjęciowy	Taśmy wideo, fotografie	Możliwość odtworze­nia pewnych sytuacji	Kompleksowe wy­niki, czasochłonne i kosztowne

INFORMACJA ZWROTNA UCZESTNIKÓW

PRZYKŁAD 1

1. W kontur walizki wpisz, co Ci się najbardziej podobało na zajęciach, czego się nauczyłeś, co chcesz zabrać ze sobą.

2. Do symbolicznego „kosza na śmieci” wrzuć (zapisz) to, co Ci się nie podobało lub najmniej podobało, co nie będzie Ci przydatne.

Dziękuję.

PRZYKŁAD 2

ANKIETA EWALUACYJNA

Organizatorzy kursu proszą Panią/Pana o wypowiedź dotyczącą przeprowadzonych zajęć. Zebrane wyniki będą miały wpływ na stałe poprawianie jakości naszych usług.

1. W jakim stopniu kurs spełnił Pani/Pana oczekiwania?

l 1 I 2 | 3 | 4 . | 5 I 6

2. W jakim stopniu tematykę kursu uważa Pani/Pan za przydatną w swojej pracy?

l 1 I 2 | 3 | 4 . | 5 I 6

3. Jak ocenia Pani/Pan poziom zajęć?

l 1 I 2 | 3 | 4 . | 5 I 6

4. Jaki zagadnienia należałoby według Pani/Pana pogłębić?

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

5. Z jakich zagadnień należałoby zdaniem Pani/Pana zrezygnować?

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

6. Inne uwagi:

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

…………………………………………………………………………………………………………

Dziękuję.

PRZYKŁAD 3

ANKIETA EWALUACYJNA

1. Czy sposób prowadzenia zajęć wywołał aktywność uczestników i sprzyjał współpracy?

nie raczej nie nie mam zdania raczej tak tak

2. Czy tematy, treści, formy realizacji były dla ciebie interesujące?

nie raczej nie nie mam zdania raczej tak tak

3. Czy tematy, treści, formy realizacji były dla ciebie trudne?

nie raczej nie nie mam zdania raczej tak tak

4. Wymień mocne strony zajęć (np. metody pracy, atmosfera pracy, kompetencje

prowadzącego, wzajemne relacje uczestników itp.)

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

5. Wymień słabe strony zajęć (jak wyżej)

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

……………………………………………………………………………………………………

Dziękuję

PRZYKŁAD 4

ARKUSZ EWALUACYJNY

Prosimy o zakreślenie właściwych odpowiedzi w twierdzeniach 1-4 oraz

o ustosunkowanie się do zagadnień sygnalizowanych w punktach 5-6.

1. Zajęcia pomogły mi uporządkować i poszerzyć posiadaną wiedzę:

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

2. Sposób prowadzenia zajęć wywołał zaciekawienie, aktywność i współpracę uczestników:
zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

3. Na zajęciach panowała dobra atmosfera sprzyjająca wspólnej pracy:

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

4. Materiały otrzymane i wypracowane w trakcie zajęć oceniam jako przydatne:

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

5. Szczególnie zainteresowały mnie zagadnienia:

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

6. Moje własne refleksje, uwagi i sugestie:

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

…………………………………………………………………………………………………………..

Dziękuję.

PRZYKŁAD 5

ARKUSZ EWALUACYJNY

Prosimy Cię o wypełnienie arkusza. Uzyskane informacje posłużą refleksji nad proponowanymi przez nas działaniami.

Przedmiot: ..................................................

Prowadzący zajęcia: ..................................................

l . Zajęcia pomogły mi uporządkować i pogłębić posiadaną wiedzę

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

2. Uzyskane wiadomości i umiejętności wykorzystam w swojej pracy

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

3. Formy i metody prowadzenia zajęć uważam za efektywne

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

4. Sposób prowadzenia zajęć sprzyjał aktywności i współpracy uczestników

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

5. Przygotowane materiały były przydatne

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

6. Moduł ten spełnił moje oczekiwania

zdecydowanie nie raczej nie trudno powiedzieć raczej tak zdecydowanie tak

7. Przez uczestnictwo w zajęciach rozwinęłam/em) umiejętności:

……………………………………………………………………

……………………………………………………………………

8. Moim zdaniem zbędne były zagadnienia:

……………………………………………………………………

……………………………………………………………………

9. Najistotniejsze zagadnienia tego modułu to:

……………………………………………………………………

……………………………………………………………………

Dziękujemy

Raport

Raport wieńczy „ewaluacyjne dzieło". Jego celem jest poinformowanie zaintereso­wanych
o wynikach przeprowadzonej ewaluacji. Stanowi on również rodzaj wizytówki osób prowadzących ewaluację. Na podstawie raportu wydawane są opinie nie tylko na te­mat programu lub projektu poddanego ewaluacji, lecz również o samym ewaluatorze. Sta­nowi on rodzaj świadectwa jakości jego pracy, poziomu jego profesjonalizmu. Dlatego nie należy przeceniać zbytnio własnych „zdolności pisarskich" i włożyć sporo wysiłku w przy­gotowanie raportu. W praktyce oznacza to konieczność przygotowania wersji próbnych i -po przedyskutowaniu ich w zespole - wprowadzenie niezbędnych poprawek.

Istnieje bardzo wiele rodzajów raportów. W zależności od rodzaju ewaluacji oraz jej odbiorców różnią się one między sobą bardzo znacznie.

Wszelkie konkluzje i uogólnienia muszą mieć oparcie w faktach. Należy zadbać szczególnie o to, by przedstawić wszelkie zebrane opi­nie i poglądy.Tak naprawdę nikogo nie interesują subiektyw­ne oceny i opinie ewaluatora. Jego powinnością jest opowiedzenie historii relacjonującej przebieg, następujące zmiany oraz doświadczenie konkretnego przypadku (projektu, cyklu przeprowadzonych zajęć) w konkretnym, żywym historycznym, społecznym i kulturowym kontekście.

Dlatego przygotowując raport dobrze jest uwzględ­nić następujące kryteria decydujące
o jego wartości:

• Autentyczność - raport powinien dokumentować w trafny i rzetelny sposób to, jakiego rodzaju doświadczenie płynie z badanego przypadku.

• Zgodność z przedmiotem ewaluacji - przygotowując raport nie można stracić z pola widzenia pytań, które postawiono w fazie projektowania ewaluacji.

• Kontekst kulturowy - pisząc raport należy precyzyjnie określić kontekst relacjonowanych zdarzeń. W praktyce oznacza to konieczność opisania celów poddanego ewaluacji programu, jego zawartości, dokonania charakterystyki uczestników, czasu i miejsca „akcji"

• Wiarygodność i wewnętrzna spójność - w raporcie mogą się znaleźć jedynie te

dobrze udokumentowane kwestie, hipotezy czy przypuszczenia. BIBIOGRAFIA:

1. Edwards J., (1997) „Metody ewaluacji kursu”, [w:] Ewaluacja w szkole, Wybór tekstów , H. Mizerek (red), Olsztyn: Wyd. MG

2. „Ewaluacja w edukacji” (1997) (red. L. Korporowicz), Warszawa: Oficyna Naukowa

3. Hawkins J.D., Nederhood B., (1994) „Podręcznik ewaluacji programów profilaktycznych”, Warszawa - Olsztyn: Wyd. PTS

4. Hopkins D., (1997) „Projektowanie i prowadzenie ewaluacji”, [w:] Ewaluacja w szkole, Wy­bór tekstów, H. Mizerek (red), Olsztyn: Wyd. MG

5. Kwiatkowska H., (1997) “Edukacja nauczycielska”, Warszawa: IBE

6. Robson C., (1997) „Projektowanie ewaluacji” [w:] „Ewaluacja w edukacji” (1997)
   (red. L. Korporowicz), Warszawa: Oficyna Naukowa

7. Simons H., (1997a) Proces ewaluacji w szkołach [w:] Ewaluacja w szkole, Wybór tekstów, H. Mizerek (red), Olsztyn: Wyd. MG

8. Simons H., (1997b) Specyfika i rozwój studiów ewaluacyjnych, [w:] Ewaluacja
   w eduka­cji) (red. L. Korporowicz), Warszawa: Oficyna Naukowa

9. Stake E.R., (1997) Studium przypadku, [w:] „Ewaluacja w edukacji”
   (red. L. Korporowicz), Warszawa: Oficyna Naukowa

Hopkins D., „Projektowanie i prowadzenie ewaluacji”1997, s. 155)

Dydaktyka ogólna i metodyka str. 10

Opracowała: Mgr Jolanta Szabłowska

---