6570141441

Różnice w łagodności oceniania występują nie tylko na poziomie indywidualnym, ale utrzymują się również na poziomie okręgowych komisji egzaminacyjnych. W przypadku języka polskiego w niektórych OKE różnice te są systematyczne i występują we wszystkich badanych tematach wypracowań. Średnia różnica pomiędzy najbardziej surową i najbardziej łagodną komisją wyniosła 1,6 punktu procentowego wyniku egzaminu. Jeśli spojrzeć na różnice w wynikach egzaminacyjnych uczniów na poziomie OKE, to okazuje się, że efekt łagodności egzaminatorów wyjaśnia dużą część tego zróżnicowania (średnio dla wszystkich tematów wyjaśniane jest 11% wariancji różnicy wyników). Dla matematyki różnice na poziomie OKE również występują, lecz są mniejsze i nie mają systematycznego charakteru. Zamiast o różnicach, w tym przypadku można by mówić raczej o pewnych tendencjach łagodności egzaminatorów, którymi cechują się poszczególne OKE.

Innym wnioskiem płynącym z analizy efektu egzaminatora jest zaobserwowane zaburzenie rozkładu wyników, które występuje na progu zdawalności egzaminu. Ponieważ próg zdawalności służy certyfikacji, pożądane jest zwiększenie rzetelności oceny w jego okolicy. W polskich egzaminach próg zdawalności jest niestety źródłem efektu egzaminatora polegającego na lokalnym zwiększeniu łagodności oceniania tuż poniżej progu zaliczenia. Warto zaznaczyć, że nawet jeśli efekt lokalnego zwiększenia rzetelności oceniania ma pozytywny wpływ na oceny zdających, których prace znajdują się w okolicy progu zdawalności, to lokalny wzrost łagodności jest czynnikiem negatywnym w kontekście egzaminu jako całości. Powoduje on, że część prac zdających oceniana jest w sposób systematycznie różny od pozostałych. Efekt ten jest znacznie większy dla egzaminu maturalnego z języka polskiego niż z matematyki. Istnieje też statystycznie istotne zróżnicowanie łagodności egzaminatora w okolicy progu zdawalności pomiędzy okręgowymi komisjami egzaminacyjnymi.

Kolejnym zagadnieniem, które było przedmiotem analiz w prezentowanych badaniach, jest porównywalność oceniania wypracowań pisanych odręcznie i przepisanych komputerowo. Na podstawie analizy danych z badań porównawczych rezultatów oceniania wypracowań maturalnych w odręcznym, oryginalnym zapisie i ich kopii w zapisie komputerowym zaobserwowano, że prace pisane ręcznie oceniane są wyżej niż ich kopie zapisane na komputerze. Różnica średniej ocen dla wypracowania z egzaminu maturalnego ocenianego w skali pięćdziesięciopunktowej przekracza 2 punkty i jest statystycznie istotna na poziomie istotności p = 0,01. Rezultat ten jest zaskoczeniem dla praktyków, chociaż podobny wynik uzyskano w wielu badaniach na świecie porównujących jakość oceniania tekstów pisanych odręcznie i ich kopii wykonanych z wykorzystaniem procesora tekstu.

W prezentowanych badaniach przedmiotem analiz był także związek oceny za wypracowanie z cechami pisma autora. Wyniki sugerują, że prace pisane przez autorów, których pismo cechuje się małym wyrobieniem, oceniane są niżej w stosunku do prac pisanych wyrobionym lub średnio wyrobionym charakterem pisma. Różnica ta jest znaczna i statystycznie istotna. Związki czytelności pisma z oceną otrzymaną przez zdającego za wypracowanie są umiarkowane. Należy tu jednak zaznaczyć, że czytelność i wyrobienie są silnie skorelowanymi cechami pisma. Większość wypracowań mało czytelnych to również prace pisane mało wyrobionym charakterem pisma. Wyniki te są zgodne z rezultatami badań w innych krajach.

W przypadku wpływu zmiennych opisujących indywidualne cechy egzaminatorów (zarejestrowanych podczas badania ankietowego) na stopień precyzji i łagodności egzaminatorów zarówno w przypadku języka polskiego, jak i matematyki zaobserwowano wyłącznie związki specyficzne dla poszczególnych przedmiotów. Jedynie w przypadku łagodności egzaminatorów z języka polskiego można zaobserwować związek z indeksem nastawienia do pracy w zespołach podczas oceniania. Zaobserwowano różnice w poziomie motywacji wewnętrznej i nastawienia do pracy w zespołach w konkretnych OKE.

Sprawdzono także wpływ czasu oceniania prac oraz kolejności ich oceniania na uzyskaną liczbę punktów w zadaniach otwartych. W przypadku zarówno kolejności, jak i czasu oceniania efekty te, choć istotne statystycznie, są bliskie zeru (zarówno w przypadku prac z języka polskiego, jak i matematyki). Wyniki te sugerują, że zmęczenie egzaminatora nie zaburza procesu oceniania.

B