Rodz. 7

Bezstronne badanie testem i stosowanie testu

I.

Zapewnienie całkowitej bezstronności w tym obszarze każdej osobie badanej nie jest możliwe do spełnienia choćby z tego powodu, że:

- testy nie są doskonale rzetelne

- trafność - w różnych kontekstach - jest zróżnicowana

- żadne alternatywne metody selekcji czy mechanizmy oceny nie są całkowicie bezstronne

- techniczne błędy w konstrukcji testu, stosowaniu testu, czy interpretowaniu wyniku.

W celu minimalizowania stronniczości testu stosuje się praktykę starannego recenzowania
i empirycznego sprawdzania testu.

Bezstronność - nie ma jednoznacznego, technicznego znaczenia. Sposoby rozumienia pojęcia:

- brak obciążeń (stronniczość) oraz jednakowe traktowanie wszystkich osób badanych testem

- jednakowa rola wyników testowania dla różnych grup badanych definiowanych ze względu na rasę, pochodzenie etniczne, płeć, niepełnosprawność czy inne cechy

- równe szanse nauczenia się materiału zawartego w teście osiągnięć

1. Bezstronność jako brak obciążenia testu

Obciążenie - pojawia się, gdy usterki (niedociągnięcia) w samym teście czy sposobie jego stosowania nadają różne znaczenia wynikom testowym otrzymanym przez osoby należące do różnych, dających się określić grup. W opisie tego typu nieprawidłowości stosuje się pojęcia: obciążenia (stronniczość) pozycji lub zróżnicowanie funkcjonowania pozycji testowych.

2. Bezstronność jako równe traktowanie w procesie testowania

Bez względu na cel testowania bezstronność wymaga, aby wszystkie osoby badane miały porównywalne szanse ujawnienia swojej pozycji na kontinuum mierzonego konstrktu.

Jednakowe traktowanie oznacza również:

- uwzględnienie właściwych warunków badania (jednakowe warunki badania testem)

- jednakowe szanse na poznanie formatu pozycji testowych, materiału ćwiczeniowego itp.

- sposób prezentowania wyników grupowych i jednostkowych

Jeśli przedstawia się wyniki grupowe czy jednostkowe osobom, które nie są specjalistami to należy zwrócić uwagę na język i słownictwo oraz starać się opracować takie raporty, które zmniejszą prawdopodobieństwo niewłaściwej interpretacji. Przekazane informacje powinny być dokładne i pełne.

3. Bezstronność jako jednakowe traktowanie wyników testowych

Gdy testy są wykorzystywane do celów selekcyjnych, to osoby, które wypadają jednakowo dobrze w odniesieniu do mierzonego kryterium, powinny mieć jednakowe szanse na wybór, bez względu na przynależność grupową.

4. Bezstronność jako równe szanse wyuczenia się

dot. testów osiągnięć stosowanych w edukacji

Jeżeli osoby badane nie mogły się zapoznać z materiałem będącym przedmiotem pomiaru testowego i go nauczyć, to wykorzystywanie otrzymanych przez nie wyników testowych jako podstawy do podjęcia decyzji, np. o nieuzyskani świadectwa ukończenia szkoły średniej jest nieuczciwe.

II.

Stronniczość zw. z treścią testu i procesem udzielania odpowiedzi

Stronniczość - odnosi się do komponentów wyniku niezwiązanych z mierzonym konstruktem. Powodem wprowadzenia takich komponentów wyniku może być niewłaściwy dobór treści testu lub brak jasności w instrukcji badania testem.

Danych dotyczących takich potencjalnych źródeł stronniczości można szukać w treści testu, porównując wewnętrzną strukturę odpowiedzi udzielonych przez osoby należące do różnych grup czy porównując związki wyników testowych z innymi miarami, chociaż żadnego z tych rodzajów danych nie można traktować jako wystarczającego.

1. Treść testu jako źródło stronniczości testu

Autorzy testów zatrudniają czasem ekspertów, których zadaniem jest ocena treści testu pod względem językowym. Zespoły te sprawdzają, czy osoby należące do różnych grup mogą różnie interpretować materiał testowy oraz czy - w przypadku niektórych osób badanych - materiał testowy może zawierać treści obraźliwe lub przykre emocjonalnie.

Zróżnicowane funkcjonowanie pozycji testowych występuje wtedy, kiedy osoby badane o równym poziomie zdolności i należące do różnych grup przeciętnie odpowiadają inaczej na określoną pozycję testową.

2. Odpowiedzi osób badanych jako źródło stronniczości testu

- pozycje testowe mogą uruchamiać znacznie więcej zróżnicowanych odpowiedzi niż zakładane lub prowadzą do innych niż zakładano rozwiązań

- osoby badane kwestionariuszem diagnostycznym mogą udzielać takich odpowiedzi, jakich, ich zdaniem, oczekuje od nich osoba badająca, zamiast odpowiedzi, które najlepiej je opisują

III.

Bezstronność w procedurach selekcji i w procedurze predykcji

Test nie jest stronniczy, gdy równania regresji wiążące test i kryterium są takie same dla branych pod uwagę grup.

STANDARDY

1. Jeżeli wiarygodne badania wskazują na to, że wyniki danego testu mogą mieć różne znaczenie dla osób badanych należących do różnych grup, to - w tym zakresie, w jaki to możliwe - format zabranych danych walidacyjnych powinien być taki sam zarówno dla pełnej populacji osób badanych, jak i dla wyłonionych w niej grup. Wyłonione podgrupy mogą się różnić stopniem dopasowania treści testu, wewnętrzną strukturą odpowiedzi testowych, związkiem wyników testowych z innymi zmiennymi czy charakterystycznym dla danej osoby badanej sposobem odpowiadania. Każde zjawisko tego typu powinno zostać uwzględnione zarówno w aktualnej interpretacji i wykorzystywaniu wyników testowych, jak i w późniejszych rewizjach testu.

2. Jeżeli wyniki wiarygodnych badań wskazują na to, że w różnych grupach osób badanych wariancja czynników niezwiązanych z konstruktem ma różny wpływ na poziom wykorzystania niektórych części testu, to ten test należy stosować tylko do badań takich grup, dla których istnieją odpowiednie dane potwierdzające trafność wniosków wyciągniętych na podstawie wyników testowych.

3. Jeżeli wiarygodne wyniki badań wskazują na to, że w grupach zdefiniowanych ze względu na wiek, płeć, rasę, pochodzenie etniczne, kulturę, niepełnosprawność czy język mamy do czynienia ze zróżnicowanym funkcjonowaniem pozycji testowych spowodowanym zakresem treści mierzonym przez test, to autorzy testów powinni - w miarę możliwości - przeprowadzać odpowiednie badania w tym obszarze. Badania takie powinny umożliwić wykrycie i wyeliminowanie tych elementów związanych z tworzeniem testu, jego treścią i formą, które mogą obciążać wyniki testowe otrzymane przez określone grupy osób badanych.

4. Autorzy testów powinni się starać zidentyfikować i wyeliminować te elementy języka, symbole, słowa, frazy i teści, ktre mogą być uznane za uwłaczające przez członków grup wyróżnionych ze względu na rasę, pochodzenie etniczne płeć czy inne zmienne, z wyjątkiem tych sytuacji, gdy wymiary te są istotne z punktu widzenia adekwatnej reprezentacji zakresu treści.

5. Gdy efektem zastosowania testu jest interpretacja wyników testu na poziomie jednostkowym, i to nie dla celów selekcyjnych, to - bez rozważania alternatywnych wyjaśnień, dlatego osoba badana otrzymała taki wynik w danym teście w określonym momencie - nie należy traktować wyniku indywidualnego jako wyniku odzwierciedlającego pozycję osoby badanej na kontinuum mierzonej cechy.

6. Jeżeli się przeprowadza badania potwierdzające różny poziom predykcji dla różnych badanych grup, to powinny one obejmować wyznaczenie odpowiednich równań regresji (czy ich odpowiedników) niezależnie dla każdej, branej pod uwagę grupy lub też obejmować analizę, w której zmienne wyznaczające przynależność grupową lub inne zmienne został uwzględnione jako zmienne pośredniczące.

7. Gdy test jest stosowany w takich sytuacjach, w których poziom biegłości językowej czy poziom rozumowania werbalnego nie są elementami mierzonego konstruktu, to poziom kompetencji językowych czy pozio rozumowania werbalnego wymagane przez test powinny zostać określone na poziomie minimalnym, zapewniającym trafną diagnozę mierzonego konstruktu.

8. Jeżeli dla grup zdefiniowanych ze względu na płeć, pochodzenie etniczne, wiek, biegłość językową czy stopień niepełnosprawności publikuje się oddzielne wyniki, to należy podkreślić, powołując się na wyniki wiarygodnych badań, że wyniki nie muszą mieć takiego samego zncaeznia w tych grupach.

9. Jeżeli testy albo diagnoza testowa są wykorzystywane jako narzędzia polityki społecznej czy edukacyjnej, to autorz lub użytkownicy testów rekomendujący wykorzystanie określonego testu powinni dokładnie poinformować osoby odpowiedzialne za tę politykę zarówno o właściwościach testu, jak i o wszystkich danych mających naczenie z punktu widzenia konstrukcji stosowania tego testu.

10. Jeżeli wyniki zastosowania testu mogą mieć znaczenie w odniesieniu do życiowych decyzji czy możliwości edukacyjnych osób badanych, to dane dot. różnic między średnimi wynikami obliczonymi dla określonych grup osób badanych powinny - jeżeli jest to możliwe - zostać zebrane dla tych grup, dla których na podstawie wyników wiarygodnych badań stwierdzono różnice między średnimi wynikami w podobnych testach. Gdy zostaną zauważone różnice między średnimi wynikami, to należy sprawdzić, czy przyczyną tych różnic nie jest niedoreprezentowanie konstruktu lub wariancja niezwiązana z konstruktem. I choć odpowiedzialność za podanie tych informacji spoczywa na autorze testu, to użytkownik testu jest odpowiedzialny za wykorzystanie testu, które nie zostały opisane przez jego autora.

11. Jeżeli dany konstruktu może zostać zmierzony na różne sposoby, które mniej więcej w tym samym stopniu reprezentują ten konstrukt oraz mniej więcej w tym samym stopniu uwzględniają elementy niezwiązane z konstruktem, to - podejmując decyzję o tym, który test wybrać - należy się kierować danymi dot. różnic między średnimi wynikami testowymi w określonych grupach osób badanych.

12. Testowanie czy diagnoza testowa powinny być tak przeprowadzone, aby osobom badanym zagwarantowano porównywalne i jednakowe procedury postępowania w czasie wszystkich faz procedury badania testem lub diagnozy testowej.

---