image139 (7)

U. NSemirrio. JfeMfowr cłNw. \Yirw*wa KKi?. ISBN y,y-8:i-WVIilF7.1l-a. C by WAIP200?

Rzwelnoit sprawdzano 277

zawierającego uznaniowe skale jakości odpowiedzi. Obydwa sposoby mają swoje ograniczenia. Klucze punktowania nadają się, w zasadzie, tylko do zadań zamkniętych. w których uczeń wybiera jedną (rzadko więcej) spośród gotowych odpowiedzi. Próby sporządzania kluczy punktowania zadań otwartych, w których uczeń sam buduje odpowiedź, prowadzą do nadmiernej komplikacji sprawdzania i, co gorsza, do utraty wrażliwości na oryginalne walory rozwiązań. Natomiast schematy punktowania nie zapewniają zgodności między punktującymi.

Wykonano ogromną liczbę badań nad zgodnością między punktującymi wypracowania uczniów (zadania otwarte), w tym w Polsce - od badań Michała Kryńskiego (1936) do badań Romana Dolaty z zespołem (2004). Okazało się, że nawet wysoko wykwalifikowany zespół egzaminatorów uzyskuje co najwyżej umiarkowaną zgodność ocen (Niemierko, 1999, s. 201-203). Punktujący zadania, zwani też sędziami, różnią się (a) surowością ocen, (b) rozrzutem ocen i (c) uporządkowaniem ocen, to jest związkiem (korelacją) z ocenami innych sędziów (Noizet i Caverni, 1988; Materska, 1994). Jest wiele prawidłowości psychologicznych wyjaśniających te rozbieżności (Tyszka, 1999).

Co z nimi począć? Wewnątrz szkoły dajemy nauczycielowi pełne prawo do własnej interpretacji wymagań programowych i do twórczości, a więc nawet do zmiany poglądów i ocen po pewnym czasie. W egzaminach zewnętrznych natomiast sędziowie muszą - w trakcie odpowiednich ćwiczeń - porzucić swoje osobiste przekonania na rzecz jak najwyższej zgodności punktowania. „Ideałem byliby sklonowani egzaminatorzy, w identyczny sposób reagujący na wykonane prace..." - stwierdził Jan Potworowski (2000, s. 58). Sędziowie sprawdzają bowiem osiągnięcia uczniów innych nauczycieli, o nieznanym warsztacie dydaktycznym, a przyjęta w komisji egzaminacyjnej interpretacja wymagań programowych staje się oficjalna.

Rzetelność sprawdzania

Mianem „rzetelnych" obdarzamy ludzi sumiennych, solidnych, zasługujących na zaufanie. Takie cechy z pewnością powinien mieć nauczyciel, ale tym razem nie chodzi nam o niego, lecz o procedurę sprawdzania osiągnięć uczniów. Uznamy, że procedura jest rzetelna, gdy zastosowana wielokrotnie w podobnych warunkach przynosi takie same wyniki, np. konsekwentnie daje „czwórkę” pewnemu uczniowi, a nie waha się od „jedynki” do „piątki”.

By ewentualne powtórzenia egzaminu dawały takie same lub choćby zbliżone wyniki, trzeba czegoś więcej niż tylko dokładności punktowania odpowiedzi uczniów. Ze względu na ujawnienie i przećwiczenie zadań (pytań) z pierwszego egzaminu do drugiego egzaminu trzeba dobrać inne zadania, ale równic dobrze

www.waip.com.pl

B. SNrtmrrto. Kat.tJn-me akolm Wacwiwa 2«i?. ISBN ^TH-Łl-WWOMl-a. C by WAIP200?

278 RoidzUł 9 Sprawdzań* osiągnięć wzniów

reprezentujące wymagania programowe. W ten sposób powstają wersje równoległe egzaminu, sprawdzające tak samo dokładnie te same osiągnięcia uczniów.

Rzetelność sprawdzania osiągnięć uczniów jest zgodnością wyników uzyskiwanych przez tych samych uczniów u różnych nauczycieli punktujących zadania w równoległych wersjach egzaminu (Niemierko, 1999, s. 193), czyli jest powtarzalnością wyników egzaminu. Jej miarą jest współczynnik rzetelności, obliczany - współcześnie zawsze z zastosowaniem komputera - jako statystyczny współczynnik korelacji między dwoma zastosowaniami sprawdzianu. Uważa się na ogół, że współczynnik wynoszący 0,80 wskazuje zadowalającą rzetelność sprawdzania, ale często musimy zadowolić się procedurą, której współczynnik rzetelności niewiele przekracza wartość 0,50 (tamże, s. 213).

W praktyce szkolnej powtórzenia całego egzaminu są rzadkością, więc próbujemy zorientować się o jego rzetelności, porównując wyniki kolejnych zadań lub grup zadań oraz punktowanie różnych sędziów (nauczycieli) w jednym egzaminie. Te metody są opisane w specjalistycznych podręcznikach (tamże, s. 196 -210). Pozwalają oszacować błąd losowy sprawdzania, jako miarę niedokładności powtórzeń sprawdzania w ustalonych warunkach.

Błąd losowy sprawdzania okazuje się zwykle bardzo duży, bo na przykład w typowym teście złożonym z trzydziestu prostych zadań punktowanych 0-1 wynosi zwykle 2-3 punkty, co pozwala oszacować wynik ucznia w przedziale 8-12 punktów, a więc gdy uczeń uzyskuje 20 punktów, to możemy spodziewać się (z 95 procentami pewności), że powtórzenia egzaminu przyniosą mu, odpowiednio. 16-24 punktów lub nawet 14-26 punktów. Procedurę tego wnioskowania objaśniają podręczniki statystyki.

Powyższy przykład liczbowy jest podany po to, by przestrzec nauczycieli przed naiwną wiarą w rzetelność egzaminów szkolnych. Wiele czynników wpływa na błąd losowy sprawdzania: niekontrolowany dobór zadań, niekonsekwencje punktowania, wahania uwagi i pamięci ucznia, wahania jego motywacji do osiągnięć. Uczniowi jednym razem „udaje się" uzyskać więcej punktów, a innym razem „nie udaje się".

Jak podnieść rzetelność sprawdzania i zmniejszyć losowe wahania jego wyników? Wśród wielu zabiegów najskuteczniejsze są następujące:

1.    Starannie określić zakres treści (dziedzinę) sprawdzania, tak by nie była za szeroka i stała się możliwie jednorodna.

2.    Podnieść jakość zadań, zwiększyć ich jasność i atrakcyjność dla uczniów.

3.    Umotywować uczniów do wysiłku w pracy nad zadaniami.

4.    Zadbać o bezstronność sytuacji sprawdzania.

5.    Zadbać o dokładność punktowania wyników przez sporządzenie schematów lub kluczy punktowania i ewentualne zwiększyć liczbę sędziów.