6570141459

Streszczenie

Badania efektu egzaminatora i porównywalności oceniania prowadzone przez Instytut Badań Edukacyjnych są spójne z szeregiem działań prowadzonych przez Centralną Komisję Egzaminacyjną zmierzających do zapewnienia rzetelności oceniania egzaminów zawierających zadania otwarte rozszerzonej odpowiedzi. Oceny za rozwiązanie takich zadań z natury obciążone są efektem egzaminatora wynikającym z faktu, że wartościowania dokonuje człowiek - z całym bagażem swojej wiedzy, doświadczenia, postaw, empatii i innych cech indywidualnych. Dlatego też zróżnicowanie wyników egzaminu zależy nie tylko od zróżnicowania poziomu sprawdzanych na egzaminie umiejętności, ale także od egzaminatora. W egzaminach z przedmiotów humanistycznych, w których zastosowane są zadania wymagające napisania wypracowania, niebagatelna część zmienności wyników jest generowana przez efekty związane z cechami egzaminatora (nazywane ogólnie w niniejszym opracowaniu efektem egzaminatora). W prezentowanych badaniach efekt ten jest analizowany dla dwóch głównych maturalnych przedmiotów egzaminacyjnych - języka polskiego i matematyki, które są w diametralnie różny sposób podatne na wpływ tego czynnika.

W poszczególnych rozdziałach niniejszego opracowania przedstawiono: dotychczasowe badania w Polsce w tej dziedzinie, główne założenia metodologiczne, specyfikację wykorzystanego do analiz hierarchicznego modelu oceniającego oraz rezultaty badań. Szczególną wartość stanowią poszukiwania rozwiązań mających prowadzić do minimalizacji wpływu efektu egzaminatora na wyniki zdających egzamin.

Do badania efektu egzaminatora wybrano dwa kolejne lata: 2011 i 2012. Ze względów praktycznych prace egzaminacyjne zostały wylosowane z dwóch okręgowych komisji egzaminacyjnych: Jaworzna i Krakowa. Istotne było zgromadzenie zbioru prac posiadających następujące cechy:

1.    zróżnicowanie poziomu umiejętności badanych w zakresie całej skali zastosowanej w ocenie zadań;

2.    dla języka polskiego - zróżnicowanie tematów wypracowań do analizy interakcji egzaminator *-* temat wypracowania.

Badania zostały przeprowadzone na reprezentatywnej próbie oceniających prace maturalne, warstwowanej ze względu na okręgowe komisje egzaminacyjne (rozszerzonej o nauczycieli niebędących egzaminatorami, a także o studentów w przypadku egzaminu maturalnego z języka polskiego). W celu powiązania wszystkich prac i egzaminatorów z ośmiu OKE zastosowano złożony model, w wyniku którego każda z prac z języka polskiego była oceniana przez jednego egzaminatora z każdej OKE. W przypadku egzaminu maturalnego z matematyki, dla którego badano ocenianie prac z egzaminu na poziomie podstawowym i rozszerzonym, każda z prac oceniana była przez czterech egzaminatorów (każdy z innej OKE).

Ocenianie zostało przeprowadzone w warunkach możliwie najbardziej zbliżonych do tych, które mają miejsce podczas głównej (majowej) sesji oceniania egzaminu maturalnego. Zastosowano analogiczną strukturę koordynacji oceniania, zespoły ulokowano w tych samych miastach oraz użyto niezmienionych kryteriów i schematów oceniania.

Wyniki analiz

Badania wykazały istnienie istotnego wpływu egzaminatorów na wyniki oceniania zarówno dla matury z języka polskiego jak i matematyki. Przy tym w wypadku języka polskiego siła tego wpływu jest wyraźnie większa. Różnica łagodności pomiędzy 25% najbardziej łagodnych a 25% najbardziej surowych egzaminatorów wynosi (w zależności od roku i tematu wypracowania) od 3,1 do 3,7 punktu procentowego na egzaminie¹. Dla matematyki różnice te przyjmują wartości od 0,87 do 1,36 punktu procentowego wyniku egzaminu. Wynik taki nie jest zaskoczeniem. Ocenianie wypracowań (esejów) zawsze będzie obarczone pewną dozą subiektywizmu na co wskazuje wiele badań na świecie. Osiągnięcie pełnej zgodności oceniania jest utopią. Usilne dążenie do 100 procentowej zgodności, które pociąga za sobą rozszerzanie i usztywnianie oceniania kryterialnego może mieć negatywny wpływ na uczenie tak ważnej umiejętności jak pisanie własnych tekstów.

Wyniku dla całego egzaminu - łącznie zadania krótkiej odpowiedzi i wypracowanie dla j. polskiego oraz zamknięte i otwarte dla matematyki.