Tworzenie testu i jego rewizja.
1.Proces tworzenia testu to opracowywanie sposobu pomiaru wiedzy, umiejętności, zdolności, zainteresowań i innych cech charakterystycznych dla danej osoby. Polega na budowaniu pozycji testowych i ich łączeniu w test. Obejmuje analizę treści, formatu, kontekstu, konsekwencji. To także określenie warunków, w których test ma być stosowany. Proces ten podporządkowany jest celom i wnioskom, jakie mają być otrzymane.
2. Tworzenie testu:
-testy mierzące ten sam konstrukt mogą się różnić ze wzg na decyzje podejmowane na różnych etapach postępowania. Są 4 fazy : a) wyznaczenie celów/ konstruktów/ dziedziny , b)określenie formalnych cech testu, c) tworzenie ,badania wstępne, ocena oraz wybór pozycji testowych, określenie zasad oceny wyniku d) stworzenie i ocena finalnej wersji testu.
Ad a) przekształcenie początkowych celów w podstawę testu będącą opisem zakresu dziedziny lub konstruktu, który ma być przedmiotem pomiaru. Może to być wyznaczone teorią, analizą treści. Podstawa testu jest przewodnikiem przy kolejnych ocenach testu.
Ad b) określenie formatu pozycji testowych, zadań lub pytań, format odpowiedzi albo kryteria formułowania odpowiedzi oraz rodzaju procedur oceniania wyników, mocy dyskryminacyjnej, ograniczenie czasowe, cechy populacji, procedury badania, interpretacja wyniku oparta na normach(względna interpretacja, porównanie wyniku z układem odniesienia) czy kryterium (bezwzględna interpretacja,wskazanie poziomu kompetencji w obszarze kryterium).
Ad c) - w przypadku pozycji z zamkniętym formatem odpowiedzi może byś tak że tylko jedna odp jest prawidłowa. Jednak gdy pozycja oczekuje wypowiedzi to niezbędne mogą się okazać schematy oceniania. Gdy odp ma charakter rozbudowanej odpowiedzi to stosujemy schemat analityczny (wypowiedz oceniana niezależnie z punktu widzenia każdego kryterium, cząstkowe wyniki) lub całościowa (tylko jeden wynik ogólny)
- pozycje testowe są oceniane pod względem jasności i jednoznaczności treści. Eliminuje się słowa i tematy które mogą obrażać lub przeszkadzać osobą badanym. Czasem przeprowadza się badania pilotażowe, dzięki którym określa się wartości psychometryczne pozycji testowych.
-określenie puli pozycji testowych.
-upewnienie się czy procedury oceniania odpowiadają celom testu. np. moc dyskryminująca, wskaźnik trudności pozycji jest ważny gdy przyjmuje się relatywny sposób interpretacji.
Ad d) Prowadzenie badań dot zróżnicowanego funkcjonowania pozycji testowych. Celem takich badań jest identyfikowanie aspektów treści, formatu pozycji lub kryteriów oceny które nie mają związku z mierzonym konstruktem i których wpływ jest różny w poszczególnych grupach badanych osób. Autorzy testów starają się tłumaczyć obserwowane różnice, a następnie rewidują lub wymieniają te pozycje testowe, które są przyczyną różnic grupowych i które mogą nie mieć związku z mierzonym konstruktem.
3. Zagadnienia specjalne dot procedury tworzenia testu :
a) określenie podstaw testu - zakres w jakim można zdefiniować postawy testu zależy od celu testowania. W niektórych obszarach pomiaru psychologicznego budowanie testu bardziej zależy od danych wynikających z empirycznie wyprowadzonych def podstaw testu. Wówczas pozycje testowe wybiera się na podstawie ich zw z kryterium zew, inter korelacji czy ich zdolności do różnicowania osób badanych
W wypadku wielu testów pierw formułuje się podstawy testu, a dane empiryczne wykorzystuje się do uzasadnienia decyzji o usunięciu, zmodyfikowaniu pozycji.
b) szacowanie poziomu wykonania - wymaga się tu u osób badanych wykazania się pewnymi zdolnościami czy umiejętnościami w syt które przypominają codzienne życie. Liczba zadań jest niewielka, więc określenie zakresu jest bardzo ważne.
c) zestawy prac osób badanych (portfolio) - Portfolio to systematyczne gromadzony zbiór prac lub wytworów szkolnych. Procedura jego tworzenia także zależy od celu (typowe to ocena poprawy poziomu wykonywania jakiegoś zadania, cele zw z zatrudnieniem) Portfolio może zawiera prace wskazujące na coraz lepsze wyniki osoby.
4. Rewizja testu - gdy pojawią się nowe dane empiryczne, wystąpią nowe warunki stosowania testu, interpretowania, kiedy treść czy język testu jest przestarzały, by zapewnić tajność testowi.
Standardy :
- Testy i programy testujące powinny być tworzone zgodnie z określonymi podstawami teoretycznymi. Obowiązkiem autorów i wydawców testów jest dostarczenie i przedstawienie odpowiednich danych dot procesu tworzenia testu.
- Cel ,def, dziedzina testu powinny zostać przedstawione na tyle jasno aby można było ocenić zgodność zdefiniowanej dziedziny z założonymi celami testu oraz związek pozycji testowych z wymiarami dziedziny, które z założenia mają reprezentować.
Charakterystyka testu powinna zostać szczegółowo opisana wraz z uzasadnieniem oraz przedstawieniem procesu określania odpowiednich cech formalnych testu.
Należy opisać procedury wykorzystywane do interpretowania wyników testowych i próby standaryzacyjne oraz normalizacyjne, jak też kryteria wykorzystywane w interpretacji kryterialnej.
Osoby kompetentne powinny oceniać charakterystykę testu. Należy podać cel oceny,sposób jej przeprowadzenia i wynik. Oraz opisać doświadczenia i cechy demograficzne sędziów kompetentnych
Rodzaje pozycji testowych, format odpowiedzi, procedury oceny wyników oraz procedury badania testem powinny być zgodne z celami testu, mierzną dziedziną oraz populacją na której test ma być stosowany. Treść testu powinna być tak dobrana, by wnioski wyciągane na podstawie wyników testowych były jednakowo trafne dla członków tych grup, dla których test jest przeznaczony. Proces oceny testu powinien obejmować analizy empiryczne i skorzystanie z techniki sędziów kompetentnych (należy udokumentować ich doświadczenie, cechy demograficzne itp.)
Należy opisać procedury wykorzystane do tworzenia, oceniania i sprawdzania pozycji testowych oraz wybierania pozycji z ogólnej puli pozycji.
Jeśli prowadzi się badania pilotażowe to należy podać kryteria doboru próbki/prób osób badanych oraz dane demograficzne opisujące tą próbkę.
Jeżeli autor testu dokonuje oceny właściwości psychometrycznych pozycji testowych to należy opisać jaki wykorzystuje w tym celu model klasycznej teorii testów czy model teorii odpowiadania na pozycje testu (IRT) Należy opisać badane próby, przedstawić procedury selekcji pozycji testowych oraz wykorzystane dane. Jeżeli do wyznaczenia psychometrycznych właściwości pozycji testowych wykorzystuje się teorię odpowiedzi na pozycje testu, to należy opisać model IRT.
Jeżeli pozycje testowe są dobierane praktycznie wyłącznie na podstawie związków empirycznych to autorzy powinni przeprowadzać krzyżowe badania walidacyjne.
Autorzy testu powinni opisać zakres w jakim treść testu odzwierciedla dziedzinę treści i charakterystykę testu.
Należy przedstawić uzasadnienie i odpowiednie dane dla komputerowego testowania adaptacyjnego.
Jeżeli wynik testu powstaje jako efekt ważenia wyników pozycji testowych, to autor powinien opisać zasadność oraz procedury wykorzystywane do tworzenia, oceny i przypisywania wag poszczególnym pozycjom testowym
Należy opisać kryteria wykorzystane do oceny odpowiedzi w pozycjach z formatem wymagającym dłuższej wypowiedzi.
Jeżeli przy pobieraniu u strukturyzowanych próbek zachowania korzysta się z testu standaryzowanego to należy opisać dziedzinę, schemat budowy testu, jego charakterystykę oraz materiały testowe.
Jeżeli przygotuje się skróconą wersję testu to charakterystyka wersji skróconej powinna być równie dokładna jak charakterystyka wersji pełnej. Należy opisać procedury wykorzystane przy skracaniu testu.
Jeżeli badania wskazują że wariancja nieistotna może zniekształcić definicję dziedziny lezącej u podstawy testu to autor powinien przeanalizować możliwe źródła tej wariancji.
W wypadku testów z limitem czasowym należy określić stopień w jakim wyniki testu są nasycone czynnikami szybkości oraz wskazać znaczenie tego czynnika z punktu widzenia mierzonej dziedziny.
Wskazówki dot procedury badania testem powinny zostać przedstawione na tyle jasno, by inne osoby stosujące test mogły odtworzyć procedury badania.
Instrukcja przedstawiona osobą badanym powinna być szczegółowa, aby odpowiadały one w sposób założony przez autora testu.
Jeżeli autor testu dopuszcza możliwość wprowadzania zmian do procedury badania testem to powinien określić jaki jest zakres dopuszczalnych zmian w procedurze badania oraz uzasadnić swoje stanowisko.
Autor testu powinien jasno i wyraźnie przedstawić procedurę obliczania wyników testowych oraz podać kryteria oceny po to by zwiększyć jej dokładność oceny.
Autor testu powinien opisać proces wyboru, ćwiczenia oraz niezbędne kwalifikacje osób oceniających wyniki testowe,
Kiedy obliczenie wyników testowych odbywa się lokalnie i wymaga odwołania się do oceny sędziów to osoby prowadzące test są odpowiedzialne za dostarczanie odpowiednich wskazówek, za jakoś procedur treningowych oraz za sprawdzanie zgodności i dokładności ocen stawianych przez sędziów.
Test powinien być poprawiany lub zrewidowany, gdy pojawiają się nowe dane., istotne zmiany w dziedzinie czy nowe warunki stosowania testu które mogą obniżyć trafność interpretacji wyników testowych
Testo powinien zostać określony jako zrewidowany jedynie wtedy kiedy wprowadzono wiele istotnych poprawek.
Jeżeli test lub części testu mają być wykorzystywane tylko do celów badawczych i nie będą stosowane do celów diagnostycznych to musi to być wyraźnie określone w wypadku wszystkich możliwych zastosowań testu i we wszystkich materiałach testowych, które mogą trafić do użytkowników tego testu.