Standardy

1. "Standardy..." coś o trafności. (~ rozdz. 1)

Trafność - stopien, w jakim dane empiryczne oraz teoria uzasadniają interpretację wyników testowych w zakładanym kierunku. Jeżeli wyniki są interpretowane na więcej niż 1 sposób to każdy kierunek zakładanej interpretacji powinien zostać poddany walidacji. Kierunek interpretacji powinien być powiązany z pojęciami lub konstruktami, które z godnie z założeniem ma mierzyć test.

Kiedy zostaną sformułowane założenia które będą podstawą do interpretacji wyników testowych to proces walidacji będzie polegał na zbieraniu danych empirycznych, studiowaniu literatury. Za proces walidacji odpowiadają wspólnie autor i użytkownik testu.

1.Należy przekazać inf. uzasadniające każdą proponowaną interpretację i wykorzystanie wyników testowych w tym dane empiryczne dotyczące trafności interpretacji wyników testowych oraz teorię leżącą u podstaw testu

2.Autor testu powinien wyraźnie określić jaki jest pożądany kierunek interpretacji i sposób wykorzystania wyników. Populacja dla której test ma być stosowany powinna być zdefiniowana, podobnie jak konstrukt mierzony przez test

3.Jeżeli trafność typowej lub prawdopodobnej interpretacji wyników testowych nie została potwierdzona lub proponowana interpretacja nie jest zgodna z istniejącymi danymi to fakt ten powinien zostać jasno wskazany a potencjalnych użytkowników należy ostrzec przed nieuprawnionymi interpretacjami

1.4.Jeżeli test jest wykorzystywany w sposób którego trafność nie została potwierdzona to osoba stosująca ma obowiązek uzasadnić nowy sposób interpretacji wyników i jeżeli to konieczne dostarczyć nowych danych

1.5. Schemat tworzenia każdej próby osób na potrzeby badań walidacyjnych powinien zostać opisany na tle szczegółowo by maiło to znaczenie praktyczne. W opisie tym powinna się znaleźć charakterystyka zmiennych socjodemograficznych oraz zmiennych związanych z rozwojem jednostki

1.6. Kiedy proces walidacji opiera się częściowo na poprawności treści testu to procedury dotyczące określania i generowania treści testu powinny zostać opisane i zweryfikowane w punktu widzenia mierzonego konstruktu czy zakresu treści, który test ma odzwierciedlać. Jeżeli definicja zakresu treści obejmowanego przez test zawiera takie kryteria, jak ważność, częstość czy istotność, to powinny one zostawić w zrozumiały sposób wyjaśnione i uzasadnione

Gdy proces walidacji opiera się częściowo na opiniach czy decyzjach sędziów ekspertów, obserwatorów czy osób dokonujących oszacowania to należy dokładnie opisać procedurę dobierania ekspertów oraz przyjęty sposób oceniania odpowiedzi. Kwalifikację i doświadczenie sędziów powinno się udokumentować, informację na temat procedury powinny obejmować opis treningu lub przekazane informacje. Informacje te powinny pozwolić ocenić czy uczestniczący podejmują decyzje niezależnie i jaki jest stopień zgodności ich opinii. Jeżeli osoby oceniające współpracują ze sobą lub wymieniają się informacjami to sposób w jaki mogą na siebie wpływać powinien zostać opisany

Jeżeli uzasadnienie sposobu stosowania testu czy interpretacji wyników testowych zależy od przyjętych założeń na temat procesów psychologicznych uruchamiane przez osoby badane lub przeprowadzanych przez nie operacji poznawczych, to należy podać dane teoretyczne lub dane empiryczne potwierdzające te założenie. Jeżeli twierdzenia dotyczące sposobu funkcjonowania obserwatorów czy osób oceniających wyniki zostały włączone w obszar danych walidacyjnych to również należy dostarczyć podobnych danych empirycznych

Jeżeli się zakłada że wprawa lub trening nie wpływają zasadniczo na wyniki testowe to należy wykazać w jakim stopniu zachowania testowe mogą zie zmieniać wraz ze zmianą tych form oddziaływań.

Jeżeli się dopuszcza możliwości specyficznej interpretacji odpowiedzi na pojedyncze pozycje testowe czy niewielkie zbiory pozycji to należy wykazać, że taka interpretacja jest zasadna oraz dostarczać niezbędnych danych walidacyjnych. Jeżeli interpretacja odpowiedzi na pojedynczą pozycje testową jest możliwa ale niezalecana przez autora testu to należy przestrzec osoby stosujące tesy przed takimi interpretacjami

Jeżeli racjonalne uzasadnienie proponowanej interpretacji wyników testowanych zależy od założeń dotyczących związków między poszczególnymi częściami testu to należy przedstawić dane na temat wewnętrznej struktury testu.

Jeżeli w teście dopuszcza się interpretację wyników podtestów, interpretację różnić miedzy wynikami lub interpretację profilową to również należy przedstawić racjonalne uzasadnienie proponowanych kierunków interpretacji oraz odpowiednie dane walidacyjne, jeżeli w teście pojawiają się wyniki złożone, to należy przedstawić oraz uzasadnić sposób otrzymania poszczególnych składowych wyniku

Jeżeli dane walidacyjne obejmują analizę statystyczne otrzymanych wyników, to należy na tyle dokładnie opisać warunki w jakich otrzymano te dane by osoby stosujące test mogły ocenić ich przydatność z punktu widzenia lokalnych zastosowań. Należy także zwrócić uwagę na te wyznaczniki procedury zbierania danych walidacyjnych które odbiegły od standardowych warunków w jakich test jest stosowany i które ewentualnie mogły wpłynąć na wyniki testowe.

Jeżeli dane walidacyjne obejmują wyniki analiz odpowiedzi udzielnych w teście oraz danych empirycznych dotyczących innych zmiennych to należy uzasadnić wybór tych dodatkowych zmiennych. Gry jest to właściwe i możliwe zależy też omówić dane dotyczące konstruktów mierzonych przez inne zmienne wraz z opisem ich parametrów technicznych. Trzeba zwrócić uwagę na wszelkie inne potencjalne źródła powiązań między zmiennymi poza tymi które występują miedzy mierzonym przez te zmienne konstruktem

Jeżeli stwierdzono że określony poziom wykona testu jest dobrym predykatorem wyniku kryterialnego to należy przedstawić dane mówiące o tym jaki poziom wyników kryterialnych jest powiązany z określonym poziomem wyników testowych .

Jeżeli potwierdzenie trafności testu jest oparte na danych dotyczących związku wyników testowych z jedną lub więcej miarami kryterialnymi to należy przestawić informacje o adekwatności tych miar i o ich technicznych parametrów

Jeżeli w celu predykcji jakiegoś wyniku lub kryterium wyniki testowe będą wykorzystywane łącznie z innymi zmiennymi ilościowymi to analiza regresji lub inna podobna technika powinny obejmować oprócz wyników testowych także te zmienne

Jeżeli występują poprawki statystyczne związane z ograniczeniami zakresu czy rozcieńczeniem to należy przestawić zarówno współczynniki poprawione jak i niepoprawione zastosowanie procedury oraz wszystkie wykorzystane miary statystyczne

Jeżeli zaleca się wykorzystanie testu w celu kierowania osób na określony typ terapii oraz jeżeli wyniki terapii można w uzasadniony sposób porównywać uwzględniając powszechnie przyjmowane kryteria to – gdy tylko to możliwe należy przedstawić dane dotyczące zróżnicowaniach efektów terapii

Jeżeli technika metaanalizy jest wykorzystywana jako źródło danych na temat siły związku miedzy testami a kryterium to zmienna testowa i zmienne kryterialne wykorzystywane w lokalnych badaniach powinny być porównywalne z tymi które były brane pod uwagę w metaanalizie. Jeżeli istotne badania lokalne dostarczają mocnych przesłanek przemawiających za tym ze inne cechy związane ze stosowaniem testu mogą wpływać na siłę związku miedzy testem a kryterium to należy wskazać stopień podobieństwa tych cech w badaniach lokalnych i badaniach metaanalitycznych. Każda istotna różnica która może wpłynąć na ograniczenia możliwości wykorzystania danych z metaanaliz na potrzeby lokalnych sytuacji powinna zostać wyraźnie opisana

Każdy rodzaj danych pochodzących z badań metaanalitycznych i wykorzystywanych jako potwierdzenie zamierzonego kierunku wykorzystania testu powinien zostać starannie opisany łącznie z decyzjami o charakterze metodologicznym służącymi do identyfikowania kodowania wykorzystywanych badań, poprawiania ze względu na możliwe artefakty oraz analizowania potencjalnych zmiennych moderujących. Należy jasno przestawić założenia przyjęte przy wprowadzaniu poprawek ze względu na możliwe artefakty takie jak brak rzetelności kryterium czy ograniczenie zakresu wyników oraz konsekwencje tych założeń

Jeżeli wyraźnie się przyjmuje ze zalecany sposób wykorzystania testu będzie prowadzić do określonych wyników to należy przestawić postawy takich oczekiwań oraz odpowiednie dane empiryczne.

Jeżeli zalecany sposób zastosowania testu lub interpretacji wyników testowych wynika z przyjęcia założenia ze efektem procesu testowania jako takiego będą pośrednie korzyści dodatkowe w stosunku do informacji wynikających z wyników testowych to należy wyraźnie sformułować zasady na postawie których wnioskuję się o pośrednich korzyściach. Trzeba przestawić argumenty logiczne lub teoretyczne potwierdzające te wnioski. Powinno się też przywiązywać dużą wagę do tych wyników opisywanych w literaturze naukowej które nie potwierdzają założonej interpretacji włączając w to także wyniki wskazujące na występowanie pośrednich korzyści stosowania testu innych niż wcześniej zakładane

Kiedy zastosowanie testu powoduje nieplanowana konsekwencje, to należy sprawdzić czy konsekwencje te nie wynikają one z wrażliwości testu na inne cechy niż te, które założenia podlegają ocenie lub też z tego że test nie reprezentuje w pełni założonego konstruktu

"Standardy..." - pojęcie rzetelności. (~ rozdz. 2)

Należy określić rzetelność, standardowy błąd pomiaru lub funkcję informacji dla testu w wypadku każdego wyniku ogólnego, wyniku cząstkowego lub wyniku złożonego, dla których jest przewidziana określona interpretacja.

Należy przedstawić dane dotyczące standardowego błędu pomiaru, zarówno całkowitego, jak i warunkowego, jeżeli ma on znaczenie, zarówno w terminach surowych (czy wyrażonych na wyjściowej skali), jak i na skali wyników przeliczonych, zalecanej dla określonej interpretacji tych wyników.

Kiedy w interpretacji kładzie się nacisk na różnicę między dwoma wynikami obserwowanymi osoby badanej czy dwiema średnimi grupowymi, to należy przedstawić dane na temat rzetelności i standardowego błędu pomiaru tych różnic.

Każda metoda ilościowego określania stopnia dokładności testu czy stałości wyników testowych powinna zostać jasno opisana i wyrażona za pomocą terminów statystycznych właściwych dla zastosowanej metody. Należy przedstawić procedury doboru grup osób do badania dot. rzetelności oraz odpowiednie statystyki opisowe charakteryzujące te grupy.

Nie należy traktować współczynnika rzetelności czy standardowego błędu pomiaru, otrzymanych za pomocą jednej metody, jako dających zastąpić innymi współczynnikami, uzyskanymi dzięki zastosowaniu innych technik, chyba że sposób rozumienia standardowego błędu pomiaru jest w nich równoważny.

Jeżeli współczynniki rzetelności zostały poprawione ze względu na ograniczony zakres zmienności wyników w próbie, to należy przedstawić procedurę uzyskania odpowiedniej poprawki oraz wartości poprawione i niepoprawione. Należy także podać odchylenie standardowe wyników w rzeczywiście przebadanej grupie, a także w populacji docelowej oraz uzasadnienie decyzji o wprowadzeniu poprawki.

Jeżeli w teście dopuszcza się tworzenie skal złożonych z pozycji składających się na ten test i przyjmuje się, że każda ze skal mierzy częściowo niezależne cechy lub zdolności, to zastosowane procedury badania rzetelności powinny uwzględniać wieloczynnikowy charakter narzędzia pomiarowego.

Należy poinformować użytkowników testów, w jakim stopniu tempo pracy może wpłynąć na poziom wykonania testu przez badaną osobę.

Kiedy test jest zaprojektowany, by odzwierciedlał szybk. pracy to do badania rzetelności należy stosować metodę form alternatywnych lub metodę test retest i mierzyć czas wszystkich poszczególnych badań.

Jeżeli metoda oceniania wyników testowych jest oparta na kryteriach subiektywnych, to prezentowane informacje powinny obejmować zarówno stopień zgodności między sędziami, jak i stopień stałości odpowiedzi w powtarzanych pomiarach. Należy wyraźnie odróżniać od siebie dane dotyczące rzetelności otrzymane: a) w badaniu niezależnych zespołów sędziowskich oceniających te same zachowania lub wytwory, b) w badaniu jednego zespołu oceniającego kolejne zachowania czy nowe wytwory.

Jeżeli istnieją ogólnie akceptowane, uzasadnione przyczyny teoretyczne lub empiryczne, powodujące, że współczynniki rzetelności, standardowe błędy pomiaru czy funkcje informacji dla testu będą się istotnie różnić w różnych populacjach, to wydawca testu powinien dostarczyć – możliwie jak najszybciej – danych na temat rzetelności odpowiedniej dla każdej populacji, dla której test jest rekomendowany.

Jeżeli test jest przeznaczony dla uczniów z różnych klas lub kolejnych grup osób różniących się wiekiem i jeżeli dla każdej klasy lub każdego ucznia podano odpowiednie normy, to powinno się podać odpowiednie dane o rzetelności dla każdej tak wyróżnionej populacji, a nie tylko dla populacji ogólnej.
Jeżeli do obliczenia wyników testowych według ogólnych zasad i reguł podawanych przez autora testu wykorzystuje się lokalnych sędziów, to – jeżeli tylko są dostępne próbki o odpowiedniej liczebności – należy zebrać i przedstawić lokalne dane na temat rzetelności.

Jeżeli nie można przyjąć założenia o stałości wyników testowych, to należy podać wartości warunkowych standardowych błędów pomiaru dla różnych poziomów wyników. Jeżeli dla celów selekcji czy klasyfikacji wyznacza się punkty odcięcia, to powinno się poinformować o standardowych błędach pomiaru dla wyników mieszczących się w pobliżu wszystkich punktów odcięcia.

Jeżeli test lub test w połączeniu z innymi metodami są wykorzystywane do podejmowania decyzji o charakterze klasyfikacyjnym, to należy oszacować odsetek osób badanych, które zostaną tak samo sklasyfikowane w dwukrotnym zastosowaniu tej samej procedury, z wykorzystaniem tej samej formy lub form równoległych narzędzi pomiarowych.

Niektóre sposoby zastosowania testu dopuszczają możliwość korzystania z różnych zestawów pozycji testowych dla różnych osób badanych. Zestawy te są losowane z dużej puli pozycji testowych, powstają dzięki zastosowaniu algorytmu, zgodnie z którym pozycje testowe są dobierane w zależności od odpowiedzi osoby badanej na wcześniejsze pozycje lub ze względu na ich trudność. W wypadku tego rodzaju badania testem zaleca się, aby badania rzetelności polegały na kolejnych badaniach testem w warunkach podobnych do panujących w trakcie badania oryginalnego.

Jeżeli test jest dostępny w dwóch wersjach: pełnej i skróconej, to należy podać dane dotyczące rzetelności wyników obu wersji, i to najlepiej wynikające z niezależnego zastosowania obu wersji.

Kiedy procedura stosowania testu dopuszcza istotne zróżnicowanie, to – jeżeli tylko dysponuje się próbami o odpowiedniej liczebności – należy przeprowadzić niezależne analizy rzetelności dla wyników otrzymanych dla każdej wersji.

Kiedy średnie wyniki testowe otrzymane dla grup są wykorzystywane do oceny programu, to wszystkie badane grupy powinny być zasadniczo traktowane jako próby pochodzące z większej populacji, nawet wtedy kiedy wszystkie osoby dostępne w momencie testowania zostały przebadane. W takim wypadku należy podać standardowy błąd pomiaru dla średnich grupowych, ponieważ odzwierciedla on zróżnicowanie wynikające z doboru osób badanych oraz błedu pomiaru .

Jeżeli celem testowania jest pomiar poziomu wykonania grupy, a nie jednostek, to często stosowaną procedurą jest przyporządkowanie niewielkich zbiorów pozycji testowych każdej z wielu prób osób badanych. Zebrane dane, dla każdej próby i dla każdego zbioru pozycji testowych, agreguje się w całość, aby otrzymać miarę poziomu wykonania w całej grupie. Kiedy taką procedurę wykorzystuje się do oceny programu czy opisu populacji, to w analizach rzetelności należy uwzględnić schemat doboru prób.

"Standardy..." dla tworzenia i rewizji testów (chodziło o podanie jakichś punktów zamieszczonych w tychże standardach, mówienie o normalizacji standaryzacji itd nie było odp. na to pytanie). – (~ rozdz. 3)

Testy i programy testujące powinny być tworzone zgodnie z określonymi podstawami teoretycznymi. Obowiązkiem autorów i wydawców jest dostarczenie i przedstawienie odpowiednich danych dot. procesu tworzenia testu.

- Cel ,def, dziedzina testu powinny zostać przedstawione na tyle jasno aby można było ocenić zgodność zdefiniowanej dziedziny z założonymi celami testu oraz związek pozycji testowych z wymiarami dziedziny, które z założenia mają reprezentować.
Charakterystyka testu powinna zostać szczegółowo opisana wraz z uzasadnieniem oraz przedstawieniem procesu określania odpowiednich cech formalnych testu.
Należy opisać procedury wykorzystywane do interpretowania wyników testowych i próby standaryzacyjne oraz normalizacyjne, jak też kryteria wykorzystywane w interpretacji kryterialnej.
Osoby kompetentne powinny oceniać charakterystykę testu. Należy podać cel oceny,sposób jej przeprowadzenia i wynik. Oraz opisać doświadczenia i cechy demograficzne sędziów kompetentnych
Rodzaje pozycji testowych, format odpowiedzi, procedury oceny wyników oraz procedury badania testem powinny być zgodne z celami testu, mierzną dziedziną oraz populacją na której test ma być stosowany. Treść testu powinna być tak dobrana, by wnioski wyciągane na podstawie wyników testowych były jednakowo trafne dla członków tych grup, dla których test jest przeznaczony. Proces oceny testu powinien obejmować analizy empiryczne i skorzystanie z techniki sędziów kompetentnych (należy udokumentować ich doświadczenie, cechy demograficzne itp.)
Należy opisać procedury wykorzystane do tworzenia, oceniania i sprawdzania pozycji testowych oraz wybierania pozycji z ogólnej puli pozycji.
Jeśli prowadzi się badania pilotażowe to należy podać kryteria doboru próbki/prób osób badanych oraz dane demograficzne opisujące tą próbkę.
Jeżeli autor testu dokonuje oceny właściwości psychometrycznych pozycji testowych to należy opisać jaki wykorzystuje w tym celu model klasycznej teorii testów czy model teorii odpowiadania na pozycje testu (IRT) Należy opisać badane próby, przedstawić procedury selekcji pozycji testowych oraz wykorzystane dane. Jeżeli do wyznaczenia psychometrycznych właściwości pozycji testowych wykorzystuje się teorię odpowiedzi na pozycje testu, to należy opisać model IRT.
Jeżeli pozycje testowe są dobierane praktycznie wyłącznie na podstawie związków empirycznych to autorzy powinni przeprowadzać krzyżowe badania walidacyjne.
Autorzy testu powinni opisać zakres w jakim treść testu odzwierciedla dziedzinę treści i charakterystykę testu.
Należy przedstawić uzasadnienie i odpowiednie dane dla komputerowego testowania adaptacyjnego.
Jeżeli wynik testu powstaje jako efekt ważenia wyników pozycji testowych, to autor powinien opisać zasadność oraz procedury wykorzystywane do tworzenia, oceny i przypisywania wag poszczególnym pozycjom testowym
Należy opisać kryteria wykorzystane do oceny odpowiedzi w pozycjach z formatem wymagającym dłuższej wypowiedzi.
Jeżeli przy pobieraniu u strukturyzowanych próbek zachowania korzysta się z testu standaryzowanego to należy opisać dziedzinę, schemat budowy testu, jego charakterystykę oraz materiały testowe.
Jeżeli przygotuje się skróconą wersję testu to charakterystyka wersji skróconej powinna być równie dokładna jak charakterystyka wersji pełnej. Należy opisać procedury wykorzystane przy skracaniu testu.
Jeżeli badania wskazują że wariancja nieistotna może zniekształcić definicję dziedziny lezącej u podstawy testu to autor powinien przeanalizować możliwe źródła tej wariancji.
W wypadku testów z limitem czasowym należy określić stopień w jakim wyniki testu są nasycone czynnikami szybkości oraz wskazać znaczenie tego czynnika z punktu widzenia mierzonej dziedziny.
Wskazówki dot procedury badania testem powinny zostać przedstawione na tyle jasno, by inne osoby stosujące test mogły odtworzyć procedury badania.
Instrukcja przedstawiona osobą badanym powinna być szczegółowa, aby odpowiadały one w sposób założony przez autora testu.
Jeżeli autor testu dopuszcza możliwość wprowadzania zmian do procedury badania testem to powinien określić jaki jest zakres dopuszczalnych zmian w procedurze badania oraz uzasadnić swoje stanowisko.
Autor testu powinien jasno i wyraźnie przedstawić procedurę obliczania wyników testowych oraz podać kryteria oceny po to by zwiększyć jej dokładność oceny.
Autor testu powinien opisać proces wyboru, ćwiczenia oraz niezbędne kwalifikacje osób oceniających wyniki testowe,
Kiedy obliczenie wyników testowych odbywa się lokalnie i wymaga odwołania się do oceny sędziów to osoby prowadzące test są odpowiedzialne za dostarczanie odpowiednich wskazówek, za jakoś procedur treningowych oraz za sprawdzanie zgodności i dokładności ocen stawianych przez sędziów.
Test powinien być poprawiany lub zrewidowany, gdy pojawiają się nowe dane., istotne zmiany w dziedzinie czy nowe warunki stosowania testu które mogą obniżyć trafność interpretacji wyników testowych
Testo powinien zostać określony jako zrewidowany jedynie wtedy kiedy wprowadzono wiele istotnych poprawek.
Jeżeli test lub części testu mają być wykorzystywane tylko do celów badawczych i nie będą stosowane do celów diagnostycznych to musi to być wyraźnie określone w wypadku wszystkich możliwych zastosowań testu i we wszystkich materiałach testowych, które mogą trafić do użytkowników tego testu.

1. „Standardy…” - skale, normy testowe. (~ rozdz. 4)
PODSTAWY

Wyniki testowe są przedstawiane na skalach po to, by można było dokonać ich interpretacji. Ocena wyników rozpoczyna się zazwyczaj od oceny odpowiedzi na poszczególne pozycje testowe. W tym celu najczęściej wykorzystuje się wagi 0 lub 1 dla oznaczenia odpowiedzi niepoprawnych i poprawnych lub też stosuje się bardziej zróżnicowany liczbowo system ocen. Następnie łączy się pozycje testowe, najczęściej dodając do siebie ich wyniki lub wykorzystując bardziej złożone procedury, po to, aby otrzymać wynik surowy. Wyniki surowe zależą w pewnym stopniu od takich cech testu, jak: długość, wybór granic czasowych, trudność pozycji testowych i okoliczności, w jakich test jest przeprowadzany. Czynniki te sprawiają, że bez dodatkowych informacji wyniki surowe są trudne do interpretacji. Przekształcając wyniki surowe na zupełnie inny zbiór wartości, nazywanych wynikami przeliczeniowymi lub wynikami skalowymi, można ułatwić interpretację wyników testowych i przeprowadzenie odpowiednich analiz statystycznych. Proces tworzenia takiej skali wyników nazywa się skalowaniem testu. Wyniki przeliczone mogą pomóc w procesie interpretacji, wskazując na to, w jakim stopniu dany wynik jest podobny do wyników innych osób rozwiązujących test. Zwiększa się w ten sposób możliwość porównywania wyników otrzymanych na przykład w różnych formach tego samego testu lub uzyskanych w inny sposób.

Innym sposobem pozwalającym na interpretację wyników jest ustalenie standardów lub punktów odcięcia, które tworzą różne przedziały wyników. Punkty odcięcia określa się zarówno do wyników surowych jak i przeliczeniowych.

INTERPRETACJA POPRZEZ ODWOŁANIE SIĘ DO NORM I INTERPRETACJA PRZEZ ODWOŁANIE SIĘ DO KRYTERIUM

Wyniki surowe lub wyniki przeliczone są często odnoszone do rozkładu wyników otrzymanego dla jednej lub więcej porównywalnych grup. Pozwala to na wyciąganie praktycznych wniosków o indywidualnym poziomie wykonania testu. Interpretacje wyników testowych oparte na takich porównaniach są nazywane interpretacją przez odwołanie się do norm. Centyle, średnie lub inne statystyki obliczone dla takich grup odniesienia nazywane są normami. Normy pozwalają na klasyfikowanie albo na opis badanych osób dzięki temu, że pokazują, w jaki sposób wyniki testowe danej osoby przedstawiają się na tle wyników innych ludzi.

Inne sposoby interpretacji wyników testowych nie odnoszą się bezpośrednio do poziomu wykonania testu przez inne osoby. Tego typu interpretacje mogą mieć wiele różnych form. Większość z nich ogólnie nazywa się interpretacją zorientowaną na kryterium. Wyniki przeliczone wykorzystywane przy tego typu interpretacji, mogą określać propozycję poprawnych odpowiedzi w stosunku do większego zbioru pozycji testowych lub prawdopodobieństwa udzielenia prawidłowej odpowiedzi na jakiś rodzaj pozycji testowych.

NORMY

Trafność interpretacji zorientowanych na normy zależy częściowo od odpowiednio dobranej grupy odniesienia, na tle której są przedstawiane wyniki testowe. Dlatego należy bardzo starannie definiować i opisywać populację, która stanowi punkt odniesienia. Trafność takich interpretacji zależy również od dokładności, z jaką normy opisują poziom wykonania testu w grupie odniesienia. Populacja może być tak mała, że w zasadzie można przebadać ją w całości. Często jednak bada się tylko próbę osób z populacji będącej punktem odniesienia. Dlatego ważne jest, aby normy były oparte na próbie odpowiedniej wielkości, która jest reprezentatywna, adekwatne i właściwa.

PORÓWNYWANIE I WYRÓWNYWANIE

Formy równoległe czy inaczej alternatywne lub równoważne tego samego testu to rozłączne zbiory pozycji testowych wyprowadzane z tego samego obszaru treściowego, mając te same właściwości statystyczne i stosowane dokładnie w taki sam sposób. Procedura przedstawiania wyników otrzymanych w takich formach równoległych na jednej wspólnej skali nazywa się wyrównywaniem. Wyrównywanie można porównać do kalibrowania ciężarków w ten sposób, by wszystkie one wskazywały tę samą wagę dla danego obiektu. Procedura wyrównywania wyników testowych jest jednak bardziej skomplikowana. Obejmuje poprawki statystyczne wyrównujące efekty nawet niewielkiego zróżnicowania trudności i właściwości statystycznych form równoległych testów.

Istnieje jeszcze inny sposób, niepolegający na wyrównywaniu, a pozwalający na porównywanie ze sobą wyników będących efektem oceniania różnych zbiorów pozycji testowych. Jest to testowanie adaptacyjne. Test adaptacyjny składa się ze zbioru pozycji testowych oraz zasad tworzenia podzbiorów tych pozycji dla danej osoby badanej na tej samej skali. Dobór poszczególnych pozycji testowych jest częściowo oparty na odpowiedziach osoby badanej na poprzednie pozycje testowe. Zbiór pozycji testowych i zasady selekcji powinny zostać tak opracowane, aby każda osoba badana odpowiadała na reprezentatywny zbiór pozycji testowych o pożądanej trudności. Reguły selekcji zapewniają zazwyczaj odpowiedni stopień precyzji, zanim badanie zostanie zakończone. Dawniej testowanie adaptacyjne było ograniczone tylko do niektórych, indywidualnie stosowanych testów psychologicznych. Jednak wraz z rozwojem teorii odpowiadania na pozycje testowe (IRT) i rozwojem technologii komputerowej testowanie adaptacyjne stało się bardziej wyrafinowane.

PUNKTY ODCIĘCIA

Istotnym momentem w tworzeniu i stosowaniu niektórych testów jest ustalenie jednego lub więcej punktów odcięcia dzielących cały zakres wyników na kategorie. Kategorie te można wykorzystywać do celów opisowych, do dzielenia osób badanych na grupy, w których ma być realizowany odpowiedni dla nich program kształcenia, czy na grupy, dla których uzasadnione są określone predykacje.

2. „Standardy…” dla procedury badania, obliczania i przedstawiania wyników. (~ rozdz. 5)

1 badacze mają przestrzegać wystandaryzowanych procedur badania i oceniania wyników opracowanych przez autora danego testu, chyba że sytuacja badania wymaga wprowadzenia pewnych zmian < niepełnosprawne osoby, ograniczona znajomość języka w którym jest napisany test,>

Test jest wystandaryzowany jeśli instrukcja przekazywana osobom badanym, warunki badania oraz procedury są zawsze takie same. < ma na celu zapewnić wszystkim osoba te same szanse osiągnięcia danego wyniku>

2 Należy opisać zaistniałe modyfikacje w standardowej procedurze lub ocenie wyników w raportach.

3 Jeśli określono formalne procedury badania testem, to badani musza się o nich dowiedzieć przed rozpoczęciem wypełniania <mówimy: jak się odpowiada w teście , na ile i jak możemy pomóc jeśli wystąpią niejasności itp.>

4 dbamy o komfort i eliminujemy czynniki zakłócające <hałas, skrajne temperatury itp.>

5 jeśli badany ma w teście używać jakiś urządzeń trzeba z nim poćwiczyć aby umiał się nim posługiwać <komputer kalkulator>

6 Uważamy aby badani nie ściągali od siebie

7 Należy chronić tajność materiału testowego <żeby badani nie mogli go poznać przed testem i nauczyć się dobrych odpowiedzi>,< nie udostępniamy wyników ludziom nie mającym do nich prawa>

8 osoby oceniające musza być wyposażone w schematy oceniania <kryteria>. Należy monitorować ocenianie.

9 Jeśli wyniki oceniane są w specjalnych ośrodkach , to należy opisać procedury na podstawie których upewniono się, ze dokonano dobrej oceny. Monitorować i eliminować błędy merytoryczne , techniczne.

10 Jeśli podajemy wyniki testów to musimy przygotować ich interpretacje. <prostym językiem mówimy czego dotyczył test co oznacza wynik, jak wykorzystane będą wyniki testowe, najczęstsze błędy>

11 Jeśli komputer daje interpretacje należy wskazać jakie są źródła oraz wskazać ograniczenia.

<często nie uwzględnia ona takich danych jak wiek płeć wykształcenie, doświadczenie i choroby wpływające na kontekst badania itp.>

12 Jeśli przekazujemy wyniki instytucjom lub urzędnikom to tak aby zachować ich poufność <nie przez telefon, nie przez komputer itd.>

13 Jeśli w wynikach wykryto poważny błąd rzeczowy <taki który zmieni interpretacje wyniku> należy wszystkim osoba przekazać raport z poprawionymi wynikami>

14 Jeśli przechowujemy dane testowe dotyczące indywidualnych osób to należy zatrzymać również protokoły i raporty z badań < na wypadek roszczeń ze strony badanego>

15 Organizacje przechowujące wyniki indywidualnych danych musza podać zasady udostępniania i korzystania z tych zbiorów

2. „Standardy…” - dokumentacja testu psychologicznego. (~ rozdz. 6)

3. Co "Standardy...." mówią na temat praw i obowiązków osoby badanej (~ rozdz. 8)

Zanim dana osoba weźmie udział w badaniu testowym, należy jej udzielić – podobnie jak wszystkim innym badanym – wszelkich informacji o treści testu i celu jego zastosowania. Niezbędne informacje powinny być udostępniane nieodpłatnie i w łatwym do zrozumienia formacie.

Celem tego standardu jest równe traktowanie wszystkich osób. Istotne informacje powinny obejmować ważne kwestie dotyczące procedury testowania, na przykład kiedy i gdzie ma zostać przeprowadzony test, jaki jest cel testu, jaki materiał powinien zostać dostarczony itp.

Bardziej szczegółowe informacje, takie jak materiały ćwiczeniowe, mogą być czasem udostępniane za opłatą. Taką ofertę powinno się złożyć wszystkim osobom badanym.

Gdy jest to uzasadnione, powinno się – przed przeprowadzeniem badania testowego – dostarczyć osobom badanym informacji o teście, procesie testowania, planowanym wykorzystaniu wyników testowych, kryteriach oceniania wyników testowych, polityce stosowania testów oraz sposobach zapewnienia poufności, co jest niezbędnym warunkiem, by otrzymać trafne odpowiedzi.

Osoby badane – gdy jest to właściwe, powinny zostać poinformowane za pośrednictwem biuletynu lub innej formy o treści testu łącznie z obszarem przedmiotowym oraz formatach pozycji testowych.

Należy przekazać inf. o tym, że można nie udzielić informacji na niektóre pozycje testu. Badanym powinno się uświadomić limity czasowe, tak by mogli właściwie zagospodarować czas przeznaczony na wykonanie testu.

Należy udzielić ogólnych wskazówek dotyczących strategii odpowiadania na pozycje testu.

Każdy badany powinien rozumieć planowaną interpretację wyników testowych i konieczność zachowania poufności wyników testowych.

Powinno się udzielić niezbędnej pomocy każdemu, kto będzie chciał poznać swoje wyniki.

Trzeba też przekazać informacje o zasadach, które pozwalają na szczególnie staranne przeanalizowanie niektórych protokołów z badania testem.

Ważne jest także uświadomienie osobom badanym konsekwencji nieprzestrzegania procedury lub konsekwencji niewłaściwego zachowania, takiego jak oszukiwanie albo nieotrzymanie wyników testu.

Jeżeli osobie badanej oferuje się możliwość wyboru formatu testu, to należy jej przedstawić informacje na temat każdego dopuszczalnego formatu.

Osoby badane muszą czasami wybrać między wersją testu papier – ołówek a wersją komputerową, która może mieć charakter testowania adaptacyjnego. W związku z tym badani powinni poznać właściwości każdej alternatywnej procedury, by mogły podjąć świadomą decyzję.

Osoby badane lub ich prawni opiekunowie – gdy jest to potrzebne – powinni wyrazić świadomą zgodę na badanie testem, zanim test zostanie przeprowadzony, z wyjątkiem sytuacji, gdy:

testowanie bez wyrażenia świadomej zgody jest dopuszczone przez prawo lub inne przepisy rządowe,
testowanie jest elementem procedur regularnie stosowanych przez szkołę,
wyrażenie zgody jest oczywiste.

Świadoma zgoda oznacza, że osobom badanym przekazano zrozumiałym językiem:

- przyczyny testowania,

- rodzaj wykorzystywanych testów,

- zamierzony cel stosowania testu oraz

- zakres materialnej odpowiedzialności wynikającej z planowanego wykorzystania testu.

Jeżeli przebieg badania rejestrowany jest na taśmie wideo lub audio, w formie pisemnego sprawozdania albo planuje się inny sposób przechowywania danych, to osoby badane mają prawo wiedzieć, jakie informacje będą udostępniane i komu.

Zgoda nie jest wymagana wtedy, kiedy testowanie jest zgodne z przepisami prawa, na przykład w wypadku diagnozy na potrzeby sądu, jednak mogą istnieć pewne prawne wymagania dotyczące przekazywania informacji.

Wyniki testowe powiązane z nazwiskami badanych osób lub z innymi informacjami o charakterze personalnym powinny być udostępniane tylko ludziom mającym prawne lub profesjonalne powody dostępu do takich informacji lub osobom wskazanym w wyrażonej zgodzie na badanie albo prawnym opiekunom czy innym osobom dopuszczonym przez prawo.

Wyniki osób badanych zidentyfikowanych za pomocą nazwiska lub innych danych, które szybko pozwalają rozpoznać osobę badaną, powinny być utajnione. W niektórych sytuacjach można poufnie przekazać takie informacje, z zachowaniem przepisów prawnych i zasad etycznych, innym specjalistom z uzasadnionych powodów zainteresowanym konkretnym przypadkiem.

Informacji o wynikach testowych można udzielić osobom prowadzącym badania, jeżeli anonimowość osób badanych zostanie zachowana oraz jeżeli planowane wykorzystanie wyników testowych jest zgodne z akceptowaną praktyką badawczą oraz z warunkami sformułowanymi w zgodzie, którą wyraziła osoba badana.

Dane testowe przechowywane w postaci plików danych powinny zostać odpowiednio zabezpieczone przed niepożądanym ujawnieniem. Posługiwanie się faksem, sieciami komputerowymi, bazami danych i innymi systemami elektronicznego przetwarzania danych czy transmitowania danych powinno zostać ograniczone do takich sytuacji, w których poufność danych zostanie zachowana.

Jeżeli do przekazywania protokołów z wynikami badań testowych do ośrodka obliczającego wyniki wykorzystuje się faks lub komputer lub jeżeli przesyła się je w podobny sposób, to należy zachować specjalne środki ostrożności, aby zachować poufność udzielonych informacji (por. standard 5.13.).

Osoba badana powinna być świadoma tego, że proszenie innej osoby o rozwiązanie za nią testu, ujawnienie materiału testowego i każda inna forma oszukiwania są niewłaściwe i że takie zachowania mogą prowadzić do zastosowania sankcji.

Osobom badanym należy uświadomić, że ponoszą jednostkową i prawną odpowiedzialność. Proszenie kogoś innego o zastąpienie osoby badanej w czasie testowania jest oszustwem. Ujawnienie materiału testowego, który jest traktowany jako poufny, po to by inne osoby badane wcześniej zapoznały się z testem, jest nieuczciwe i może być przyczyną pogwałcenia praw autorskich.

W wypadku testów, na podstawie których przyznaje się licencje lub certyfikaty, takie działania mogą przynieść niepożądane konsekwencje dla zdrowia czy bezpieczeństwa społecznego. Ujawnienie materiału testowego może się również przyczynić do zmniejszenia trafności interpretacji wyników testowych.

Jeżeli w raporcie o wynikach testowych znajduje się również informacja o przypisaniu osoby badanej do jakiejś kategorii, to kategorie te powinny być starannie dobrane i precyzyjnie opisane. Kategoriom tym zawsze powinno się przypisywać jak najmniej piętnujące społecznie etykiety.

Kiedy etykiety są powiązane z wynikami testowymi, należy bardzo starannie przeanalizować znaczenia poszczególnych etykiet i unikać wynikających z tego powodu niepotrzebnych konsekwencji stygmatyzacji. Na przykład wykorzystanie etykiety „niezdolny” przy podejmowaniu decyzji, czy osoba badana może brać udział w postępowaniu sądowym, jest właściwe w wypadku osób, które słabo wypadły w testach. Natomiast gdyby ta sytuacja dotyczyła testów podstawowych umiejętności czytania i pisania, to należałoby raczej zastosować etykietę „niskie umiejętności” niż „niezdolny”, ponieważ ostatnie określenie jest dosyć ogólne i może być poniżające.

Jeżeli wyniki testowe są wykorzystywane do podejmowania decyzji o osobie badanej, do przekazania jej określonych zaleceń lub do zarekomendowania jej komuś trzeciemu, to osoba badana lub jej prawni opiekunowie mają prawo do otrzymania kopii każdego raportu dotyczącego wyników testowych lub interpretacji wyników testowych, chyba że osoba badana zrezygnuje z tej możliwości lub jest to zakazane przez prawo.

W niektórych przypadkach osoba badana może zostać poinformowana o tym, kiedy raport z badania zostanie przekazany innym osobom (np. prowadzącemu psychologowi czy psychiatrze), które objaśnią jej znaczenie otrzymanych wyników.

W profesjonalnym wykorzystaniu wyników indywidualnego badania testowego, kiedy osoba badana otrzymuje kopię raportu, to ktoś inny do tego powołany powinien te wyniki zinterpretować. Zasada ta obowiązuje nawet wtedy, kiedy wyraźnie napisano, że osoba badana może nie wszystko zrozumieć bądź też zadawać pytania niezwiązane bezpośrednio z raportem.

Jeżeli w testowaniu na potrzeby edukacyjne lub na potrzeby udzielania licencji i przyznawania certyfikatów może istnieć konieczność przedłużenia czasu, w jakim osoba badana powinna zostać poinformowana o otrzymanych wynikach (np. z powodu wątpliwości co do jej zachowania w czasie testowania i konieczności wyjaśnienia tej sprawy), to należy jej wyjaśnić przyczyny takiej decyzji. Trzeba także zrobić wszystko, aby przyspieszyć wydanie opinii i starać się zabezpieczyć prawa osoby badanej. Kiedy postępowanie wyjaśniające zostanie zakończone, osoba badana powinna zostać poinformowana o podjętej decyzji.

Jeżeli w wyniku testowania na potrzeby edukacyjne lub na potrzeby udzielania licencji i przyznawania certyfikatów zostanie podjęta decyzja o unieważnieniu lub niebraniu pod uwagę wyniku osoby badanej z powodu nieprawidłowości, które nastąpiły w procesie testowania (także z powodu podejrzewania jej o niewłaściwe zachowanie), to wszystkim osobom badanym, których decyzja ta może bezpośrednio dotyczyć, należy wyjaśnić rodzaj informacji i procedury wykorzystywane w prowadzonym postępowaniu wyjaśniającym. Osoby badane powinny mieć możliwość wykazania, że ich wyniki nie powinny być unieważnione bądź niebrane pod uwagę. Na prośbę osoby badanej należy podać powody podjęcia ostatecznej decyzji.

Każda forma oszukiwania lub takiego zachowania, które ogranicza trafność i bezstronność wyników testowych, powinna stać się przedmiotem postępowania wyjaśniającego i powodem podjęcia określonych działań.

Niebranie pod uwagę czy unieważnienie wyników testowania może być spowodowane podejrzeniem o niewłaściwe zachowanie w czasie testowania lub ujawnieniem okoliczności mających wpływ na inne osoby badane, jak na przykład kradzież lub nieprzewidziane zdarzenia w procedurze badania testem.

Zawsze istnieje możliwość odwołania i należy o tym poinformować kandydatów, których wyniki mogą być poprawione lub nie będą brane pod uwagę. Niektóre organizacje zajmujące się badaniem testami oferują możliwość ponownego darmowego badania lub arbitrażu w sporze.

Jeżeli w testowaniu na potrzeby edukacyjne lub na potrzeby udzielania licencji i przyznawania certyfikatów istnieje podejrzenie, że doszło do uchybień w procedurze testowania, to rozważając bezpośredni wpływ tego faktu na proces oceny, należy dbać o nieujawnianie tożsamości osób badanych.

Poza sytuacjami, gdy zarzut niewłaściwego zachowania zostanie postawiony przez kolegów osoby badanej, zbieranie informacji powinno być ograniczone do danych nieujawniających tożsamości osoby badanej ani jej kolegów.

Jeżeli w testowaniu na potrzeby edukacyjne lub na potrzeby udzielania licencji i przyznawania certyfikatów pojawi się spór dotyczący wyników testowania, to osoby badane mają prawo do uczciwego traktowania i uczciwego procesu, zgodnie z konkretnymi okolicznościami. Osoby badane mają prawo do informacji o dostępnych sposobach postępowania.

Jeżeli wynik testowy otrzymany przez osobę badaną może być zostać poddany w wątpliwość, może być nietrafny, osoba badana domaga się ponownej oceny badania testowego lub pojawiają się inne przesłanki dotyczące procesu testowania, oceniania, czy prezentowania wyników, to osoba badana ma prawo znać typowe, skuteczne sposoby postępowania przy odwoływaniu się od decyzji osoby badającej czy osoby wykorzystującej wyniki testowe.

W zależności od rodzaju konsekwencji dotyczących testu, sposoby te mogą sprowadzać się do wewnętrznego przejrzenia przez osobę badającą wszystkich istotnych danych, do niefo0rmalnej rozmowy z osobą badaną, a nawet do oficjalnego przesłuchania. Im większe są ewentualne konsekwencje, tym szerszy powinien być zakres formalnej ochrony dostępnej osobie badanej.

Badani powinni być również świadomi dostępnych sposobów postępowania, regulacji dotyczących opłat, czasu oczekiwania na rozwiązanie problemu oraz wszelkich innych konsekwencji.

W niektórych programach badania testami zaleca się, aby osobę badaną reprezentował prawnik, nawet jeżeli wiąże się to z dodatkowymi ponoszonymi przez tą osobę kosztami.

3. "Standardy dla testów ..." badanie testowe osób niepełnosprawnych. (~ rozdz. 10)

1.Badając testem osoby niepełnosprawne, należy się upewnić, że interesują nas wnioski związane z mierzonym konstruktem, a nie stopniem niepełnosprawności osoby badanej. Wręcz zakazane jest gromadzenie informacji o niepełnosprawności, wyjątkiem są informacje zawarte w samopisie, które przekazuje osoba.

2. Osoby odpowiedzialne za procedury i modyfikacje testu powinny mieć wiedzę na temat wpływu określonego rodzaju niepełnosprawności na poziom wykonania konkretnego typu testu.

3. Jeśli jest możliwe, zmodyfikowane testy powinny zostać poddane badaniom pilotażowym w grupie osób z podobnym rodzajem niepełnosprawności, po to by sprawdzić poprawność i możliwość wprowadzenia poprawek.

4. Modyfikacje, czy zalecenia modyfikacji ze względu na osoby niepełnosprawne powinny zostać szczegółowo opisane w podręczniku testowym. Jeśli jest możliwe, należy też przedstawić dane dot, trafności, w sensie jeżeli autorzy przyjmują, że zmodyfikowana wersja testu powinna być interpretowana jako porównywalna z wersją niemodyfikowaną, to należy przedstawić dane potwierdzające porównywalność wyników testowych.

5. Materiały techniczne i podręczniki dołączone do zmodyfikowanych testów powinny zawierać staranny opis procedur wykorzystywanych do modyfikacji.

6.Jeżeli autor testu zaleca stosowanie specjalnych limitów czasowych, to ustalając je, należy się odwołać –w miarę możliwości- do procedur empirycznych, a nie pozwalać osobom niepełnosprawnym na wielokrotne wydłużanie czasu badania.

7. Należy przeprowadzać badania walidacyjne, gdyż są jedynym sposobem gromadzenia informacji o przydatności zmodyfikowanych testów dla osób niepełnosprawnych.

8. Osoby stosujące test powinny a) mieć informacje niezbędne do wybrania właściwych narzędzi pomiarowych, b) mieć aktualne informacje dot. dostępności zmodyfikowanych wersji testu c) informować osoby badane, jeżeli ma to znaczenie, o istnieniu zmodyfikowanych wersji oraz d) postarać się, aby te wersje były dostępne-gdy to właściwe i możliwe- osobom badanym.

9.Normy podstawowe można wykorzystywać, kiedy celem testowania jest określenie poziomu funkcjonowania osoby badanej na tle populacji ogólnej. Natomiast, gdy gdy chcemy określić pozycję osoby badanej na tle grupy tak samo niepełnosprawnych osób, to należy odwołać się do danych normatywnych otrzymanych w grupie osób niepełnosprawnych.

10. Każda modyfikacja testu powinna być dostosowana do osoby badanej (jej cech, umiejętności, które mogą wpłynąć na poziom wykonania testu), ale o ile to możliwe, powinna posiadać wszystkie standardowe cechy testu.

11. Jeżeli istnieją przekonujące dane, które potwierdzają możliwość porównywania wyników testu standardowego i zmodyfikowanego, to wyniki testowe nie powinny być w żaden sposób oznaczane. Oznaczanie specjalnymi symbolami, może być niezgodne z celami polityki społecznej, w których położono nacisk na obiektywne traktowanie osób niepełnosprawnych.

12. Powinno się korzystać z wielu różnych źródeł informacji w celach diagnostycznych i terapeutycznych. Test nie powinien być jedynym wskaźnikiem funkcjonowania osoby badanej. .

3. „Standardy...” pojęcie odpowiedzialności użytkowników testu. (~ rozdz. 11)

Zanim użytkownik testu zdecyduje się wykorzystać opublikowany test, powinien przeanalizować i ocenić materiały dostarczone przez wydawcę testu. Szczególnie ważne są te, w których przedstawiony jest cel testu, procedura badania, populacja, dla której test jest przeznaczony, oraz w których omawiana jest interpretacja wyników testowych z odpowiednimi danymi dotyczącymi jej trafności oraz rzetelności wyników. (prawne ograniczenia)
Jeśli test na zostać wykorzystany w takim celu, dla którego nie na bądź jest bardzo mało materiałów zawierających odpowiednie informacje, to użytkownik test jest odpowiedzialny za uzyskanie danych świadczących o rzetelności i trafności wykorzystania testu do tego celu. (cel nie polecany przez autora to użytkownik musi to udowodnić, że ten test może służyć temu celowi)
Odpowiedzialność za wykorzystywanie testów powinna spoczywać bezpośrednio na tych osobach, które odbyły odpowiedni trening, mają uprawnienia oraz doświadczenie niezbędne do sprostania tej odpowiedzialności. Należy respektować wszystkie zalecenia wymienione w podręczniku testowym i wskazówki dotyczące kwalifikacji, które powinny mieć osoby badające testami i interpretujące wyniki testowe.
Użytkownik testu powinien racjonalnie uzasadnić potrzebę zastosowania testu lub procedury ewaluacji w kategoriach ich trafności oraz udziału w procesie diagnozy czy też w procesie podejmowania decyzji (przed przeprowadzeniem testu należy określić znaczenie każdego narzędzia pomiarowego dla selekcji, diagnozy, klasyfikacji czy podejmowania decyzji)
Osoby, które mają do tego prawo, powinny zostać poinformowane o celu badania, o sposobie przeprowadzenia testów, czynnikach branych pod uwagę przy oceniani odpowiedzi osób badanych, a także o tym, w jaki sposób zazwyczaj będą wykorzystywane wyniki, jak długo będą przechowywane raporty z badania oraz komu i pod jakim warunkiem można przekazywać raporty z badań.
Jeśli nie istnieją określone okoliczności uniemożliwiające przedstawienie wyników badania, to użytkownik testu jest zobligowany do szybkiego przedstawienia raportu z badań przygotowanego tak, aby był zrozumiały dla osoby badanej i innych osób uprawnionych do otrzymywania takich informacji (wyniki w formie ustnej i pisemnej, interpretacja dostosowana do możliwości osoby, która ją otrzymuje).
Użytkownicy testów są zobowiązani do ochrony bezpieczeństwa testów w takim zakresie, w jakim jest to zalecane przez autora testu.
Użytkownicy testów mają obowiązek respektowania praw autorskich (powody prawne i etyczne, zabronione powielanie materiałów testowych bez zgody właściciela).
Użytkownicy testów powinni przypominać osobom badanym i tym osobom, które mają dostęp do materiałów testowych, że ze względu na prawa wydawców testów, w tym prawa autorskie i prawne zobowiązania innych osób uczestniczących w procesie testowania, nie wolno- bez uzyskania specjalnej zgody- ujawniać treści pozycji testowych.
Użytkownicy testów powinni być świadomi tego, że mogą popełniać błędy przy ocenianiu wyników testowych. Powinni też zadbać o możliwość powtórnej oceny wyników (koszty błędu mogą być bardzo wysokie; monitorowanie dokładności oceniania- rutynowa praktyka).
Jeżeli wiarygodność wyników testowych osoby badanej budzi wątpliwości, to przedstawiciele władz, autorzy testów oraz osoby organizujące badania testowe powinni poinformować osoby badane o ich prawach, także o możliwości odwołania się lub powołania swojego prawnego reprezentanta.
Użytkownicy testów lub instytucje organizujące badania powinny poinformować osoby badane, że istnieje szansa (jeśli jest tak faktycznie) powtórnego rozwiązania testu. Należy również określić, w jakich przypadkach zarówno wcześniej, jak i później uzyskane wyniki zostaną przedstawione osobom uprawnionym do takich informacji.
Jeśli można wykazać, że niektóre strategie rozwiązywania testu nie mają nic wspólnego z tym, co jest przedmiotem pomiaru, to zarówno te strategie, jak i ich konsekwencje powinny zostać przedstawione wszystkim osobom badanym przed przystąpieniem do testu (zgadywanie, pomijanie, szybkość rozwiązywania testu).
Użytkownicy testów mają obowiązek chronić prywatności osób badanych oraz instytucji zaangażowanych w proces badania testami, chyba że uzyskano zgodę na ujawnienie informacji lub ujawnienie to jest zgodne z przepisami (ochrona prywatności obowiązuje we wszystkich badaniach psychologicznych).
Użytkowników testów powinno się ostrzec przed potencjalnie niewłaściwą interpretacją wyników orz możliwymi, niezamierzonymi konsekwencjami wykorzystania wyników testowych (użytkownik minimalizuje możliwość i unika niewłaściwych interpretacji i negatywnych konsekwencji (użytkownik testu musi być do tego przeszkolony).
Użytkownicy testów powinni okresowo sprawdzać, biorąc pod uwagę zmianę populacji osób badanych, w procedurze badania testem i celu testowania, czy interpretacje danych testowych nadal są poprawne (aktualizacja wiedzy).
Jeżeli opinia publiczna ma wgląd do zbiorczego zestawienia wyników testowych, to użytkownicy testów powinni sformułować zasady szybkiego dostępu do tych wyników oraz konsekwencje związane z ich przestrzeganiem (potrzeby szkolnictwa).
Jeżeli wyniki testowe są udostępniane opinii publicznej lub urzędnikom odpowiedzialnym politykę społeczną, to osoby, które przekazują te wyniki, powinny dostarczyć i objaśnić dodatkowe informacje minimalizujące ewentualnie błędne interpretacje danych (dokładne przygotowanie raportów).
Jeżeli użytkownik testu planuje wprowadzić zaakceptowaną zmianę do formatu testu, sposobu badania, instrukcji czy języka wykorzystywanego w teście, to powinien dołożyć wszelkich starań, aby nie zmieniła się trafność, rzetelność i poprawność norm.
Gdy badanie testowe jest przeprowadzone na potrzeby diagnozy klinicznej, edukacyjnej lub doradztwa, to wyniki otrzymywane przez osobę badaną nie powinny być interpretowane w oderwaniu od innych danych. Należy wziąć pod uwagę także inne źródła informacji, które mogą doprowadzić do alternatywnych sposobów wyjaśnienia poziomu wykonywania testu.
Użytkownicy testów nie powinni polegać na interpretacjach wyników testowych generowanych komputerowo, chyba że dysponują ekspertyzą świadczącą o poprawności tych interpretacji w konkretnych przypadkach.
Jeśli wymagają tego okoliczności, aby test był stosowany w tym samym języku w stosunku do wszystkich osób badanych należącej do populacji zróżnicowanej pod względem językowym, to użytkownik testu powinien przeanalizować trafność interpretacji wyników w przypadku tych osób, co do których można przyjąć, że znają język w ograniczonym zakresie (gdy osoba rozwiązuje test w nie ojczystym języku może dojść do poważnych nieprawidłowości).
Jeśli test jest przeznaczony dla osób w określonym wieku lub dla wszystkich studentów określonego rocznika, to użytkownik testu powinien się starać zidentyfikować osoby niepełnosprawne lub słabo znające język, gdyż mogą wymagać dostosowania procedury badania do ich możliwości, i upewnić się, że wprowadzono potrzebne modyfikacje (uprawnieni urzędnicy mają obowiązek określenia odpowiednich modyfikacji).
Jeśli podstawowym celem testowania jest opisanie populacji definiowanej konkretnie, lokalnie, czy regionalnie, to należy starannie opisać kryteria włączania do niej czy wyłączania z niej konkretnych osób badanych (nie są to profesjonalne sposoby postępowania; wyłączanie i włączanie określonej grupy może prowadzić do otrzymywania słabych lub dobrych wyników).

1. "Standardy..." w kwestii testowania i diagnozy psychologicznej. (~ rozdz. 12)
Osoby badające za pomocą testów psychologicznych powinny ograniczać wykorzystywane przez siebie testy i działania diagnostyczne do tych obszarów, w których są kompetentne. Kompetencje te powinny być potwierdzone przez odpowiednie wykształcenie, trening z superwizją, doświadczenie lub posiadanie licencji.

Osoby wybierające testy i interpretujące wyniki testowe powinny się starać unikać stronniczych interpretacji, zgodnych z oczekiwaniami osób i grup mających prawo do podejmowania decyzji na podstawie wyników testowych.
Testy dobierane do indywidualnych badań powinny być dostosowane do cech i pochodzenia osoby badanej.
Jeżeli wydawca zaleca, aby testy były stosowane w określonej kombinacji, to należy poznać dane, które stały się podstawą takiej właśnie procedury zestawiania testów, uzasadnienia określonej kombinacji testów oraz uzasadnienia interpretacji opartej na wynikach otrzymanych w badaniu zestawem testów.
Wybór kombinacji testów służących do postawienia złożonej diagnozy powinien odpowiadać celowi badania oraz być podporządkowany istniejącym danym walidacyjnym. Minimalne kwalifikacje osoby badającej i interpretującej wyniki wybranych testów obejmują odpowiednie wykształcenie i praktykę odbytą pod kierunkiem superwizora.
Kiedy konieczna jest diagnoza różnicowa, to, jeżeli jest to możliwe, należy wybrać test, o którym wiadomo, że pozwala raczej na różnicowanie między dwiema lub więcej grupami diagnostycznymi, a nie tylko na wyróżnianie przypadków wykraczających poza normę.
Jeżeli trafność diagnozy ocenia się, opierając na stopniu zgodności wniosków wyciągniętych na podstawie wyników testowych z diagnozą, to wykorzystywane terminy diagnostyczne powinny zostać starannie zdefiniowane i określone.
Specjaliści powinni się upewnić, że osoby badające testami i obliczające wyniki testowe pozostające pod ich nadzorem zostały właściwie przeszkolone w obszarach, w których stosuje się testy, oraz mają odpowiednią wiedzę o populacji, dla której przeznaczony jest test.
Specjaliści odpowiedzialni za nadzorowanie programów grupowych badań testowych powinni się upewnić, że osoby, które interpretują wyniki testowe, zostały odpowiednio poinstruowane co do sposobów interpretowania otrzymanych wyników.
Przed przeprowadzeniem badania testem specjaliści i osoby badające testami powinni przedstawić osobie badanej właściwe informacje wstępne w języku, który jest dla niej zrozumiały. Jeżeli istnieją okoliczności umożliwiające powtórne badanie testem, to osoby badane powinny zostać o tym poinformowane.
Specjaliści i inne osoby, które mają dostęp do materiałów i wyników testowych, powinni się upewnić, czy – zgodnie z wymaganiami prawnymi i etycznymi – została zachowana zasada poufności wyników testowych.
Specjalista zna dostępne dane normatywne, przestrzega zasad instrukcji (łącznie z kalibracją wyposażenia technicznego), sprawdza poprawność ocen wyników testowych i ich powtarzalność oraz dba o takie warunki badania testem, które umożliwią osobom badanych optymalne rozwiązanie testu. Jednak w takich sytuacjach, w których celom testowania najlepiej odpowiadają nie tyle optymalne co realistyczne warunki testowania, należy uzasadnić powody takiej decyzji i – jeśli to możliwe – przeprowadzić dla celów porównawczych badania w warunkach optymalnych. (np. jak klient z deficytem uwagi radzi sobie w warunkach realistycznych, gdy jest głośno, a jak w warunkach optymalnych, gdy jest cicho)
Osoby, które wybierają testy i wyciągają wnioski na podstawie wyników testowych, powinny znać dane dotyczące trafności, rzetelności wyników testowych oraz inwentarzy i powinny być przygotowane na logiczne uzasadnienie wszystkich aspektów diagnozy oraz wszystkich wniosków diagnostycznych.
Interpretacji wyników testowych w procesie diagnostycznym powinna towarzyszyć – gdy tylko to możliwe – analiza stylu opowiadania i innych istotnych cech jakościowych charakteryzujących zachowanie testowe. Źródłami takich informacji mogą być obserwacja zachowania osoby badanej podczas wywiadu psychologicznego oraz badania testowego, a także dane dotyczące historii jej życia.
Osoby korzystające z interpretacji danych testowych generowanych przez komputer powinny ocenić jakość tych interpretacji, jeśli to możliwe, dopasowanie norm, na których zostały oparte te interpretacje.
Interpretacje wyników testu nie powinny sugerować, że istnieją dane empiryczne dotyczące związków między konkretnymi wynikami testowymi a zaplanowanymi interwencjami i pożądanymi efektami, chyba, że są dostępne dane empiryczne dla populacji podobnej do tej, z której pochodzi osoba badana.
Dane dotyczące trafności kryterialnej powinny być dostępne wtedy, kiedy podstawą decyzji czy rekomendacji przygotowywanych przez specjalistę są dane aktualne.
Ogólnie rzecz biorąc, interpretacja wyników testu czy baterii testów powinna być oparta na danych otrzymanych dla wielu podobnych testów, z uwzględnieniem danych normatywnych i empirycznych oraz podstaw teoretycznych tych testów, jak też ich ograniczeń.
Interpretując wyniki testowe czy profil wyników otrzymanych w baterii testów, należy brać pod uwagę wiedzę o wielu czynnikach, które mogą wpłynąć na określone rezultaty testowe. Jeżeli ma to znaczenie, w raporcie z badania powinny się znaleźć opis i analiza konkurencyjnych hipotez wyjaśniających otrzymane profile wyników testowych.
Specjaliści powinni udostępniać wyniki badania testem osobom badanych, z wyjątkiem niektórych sytuacji sądowych lub urzędowych lub niektórych sytuacji dotyczących zatrudniania pracowników, kiedy klientem jest pracodawca. Informacje o wynikach powinny zostać podane w języku, który rozumie osoba badana lub, gdy jest to potrzebne, jej pełnomocnik.

3. "Standardy..." jakiś wyraz> testowania przyszłych pracowników i otrzymywania uprawnień. (~ rozdz. 14)
14.1 Zanim się podejmie prace nad skonstruowaniem i wdrożeniem w praktykę testu na potrzeby zatrudnienia, należy najpierw jasno określić cel badan testowych i podjąć prace walidacyjne , aby sprawdzić na ile cel ten został dobrze zrealizowany.

Komentarz : cele stosowania testów w obszarze zatrudnienia są bardzo różne( np. przyjmowanie / odrzucanie kandydatów, itd. ),testy różna pod względem tego jakie zachowania są przedmiotem predykcji.

14.2 Gdy test jest wykorzystywany w celu predykcji określonego kryterium, to decyzja przeprowadzeniu lokalnych badań empirycznych dotycząca związku między kryterium a predykatorem oraz interpretacja wyników tych badań powinna mieć swoje oparcie w wiedzy dotyczącej danego obszary.

Komentarz: gdy ta literatura jest na tyle obszerna i spójna, że na jej podstawie można dowieść zakładanego związku miedzy predykatorem a kryterium, nie ma konieczności przeprowadzania dodatkowych badań. Badania lokalne są potrzebne gdy literatura jest zbyt skromna, niespójna lub gdy nie zostały w niej opisane badania w podobnych, lokalnych obszarach ( np. gdy w literaturze opisano wykorzystanie testu wyłącznie w obszarze prac produkcyjnych, a lokalnie test ma być zastosowany u osób ubiegających się o stanowisko kierownicze)

14.3 Opieranie strategii walidacyjnych na danych otrzymanych w lokalnych badaniach empirycznych dotyczących związku między predyktorem a kryterium zależy od spełnienia kryterium technicznej jakości tych badań. Komentarz: znaczenie danych dotyczących związku między predykatorem a kryterium zależy od kilku czynników, w tym od tego czy :

brana pod uwagę praca jest stabilna czy podlega gwałtownym lub okresowym zmianom
dostępna jest miara rzetelnego i istotnego kryterium
dysponuje się reprezentatywna próba populacji branej pod uwagę

próba, która będzie podstawą oszacowania związku między predykatorem a kryterium, jest odpowiedniej wielkości

14.4 Jeżeli dane empiryczne dotyczące związku między predykatorem a kryterium są częścią danych walidacyjnych uzasadniających zastosowanie testu, to wykorzystywana miara ( miary) kryterium powinna odzwierciedlać -ważną z punktu widzenia organizacji- teoretyczna dziedzinę kryterium. Wszystkie wykorzystane kryteria powinny dotyczyć ważnych zachowań w pracy lub ważnych efektów wykonywanej pracy, istotnych z punktu widzenia danego zawodu, zgodnie z dostępnymi informacjami o tym zawodzie.

14.5 Osoby przeprowadzające badania dotyczące związku między predyktorem a kryterium oraz interpretujące wyniki tych badań powinny zidentyfikować czynniki zakłócające oraz artefakty, które mogły wpłynąć na wyniki badań. Do czynników tych należą: błąd pomiaru, ograniczenie zakresu zmienność wyników lub wpływ brakujących danych . Należy przechowywać i w razie potrzeby udostępnić dane dotyczące występowania lub braku tych czynników oraz działań podjętych w celu wyeliminowania lub kontrolowania ich wpływu.

Komentarz: błąd pomiaru kryterium oraz mała wariancja wyników otrzymanych dla predyktra i kryterium zaniżają szacowanie związku między miarą predykatora a teoretyczną dziedzina kryterium.

14.6 Nie należy wnioskować o związku między predykatorem a kryterium w aktualnej sytuacji lokalnej na podstawie wcześniejszych pojedynczych badań walidacyjnych, chyba że były przeprowadzone w korzystnych warunkach ( np. na dużej próbie i z wykorzystaniem istotnego kryterium), a obecna sytuacja jest bardzo podobna do wcześniejszej.

Komentarz: ścisłe podobieństwo oznacza, że wymagania dotyczące pracy i konstrukty psychologiczne leżące u ich podstaw są takie same ora że wykorzystuje się ten sam predyktor.

14.7 Jeżeli testy mają być wykorzystywane do podejmowania decyzji klasyfikujących osoby badane do określonej pracy ( np. wyniki otrzymane w zmiennych predykcyjnych staną się podstawą przyporządkowania do różnych zadań zawodowych), to należy zebrać dane, które potwierdzają, że wyniki testowe są powiązane z różnym prawdopodobieństwem ( czy poziomem) osiągnięcia sukcesu przy wykonywaniu określonej pracy lub kilku prac.

14.8 Dane dotyczące trafności i oparte na analizie treści testu wymagają dokładnego zdefiniowania obszaru treści branego pod uwagę. Dla celów selekcji, klasyfikacji oraz awansowania charakterystyka obszaru powinna wynikać z analizy pracy.

Komentarz: Wiedza, umiejętności czy zdolności włączone w obszar treści powinny odpowiadać tym, które osoby już mają zanim zaczną starać się o określoną pracę.

14.9 Gdy dane walidacyjne oparte na treści testu są podstawowym źródłem informacji o trafności wykorzystania danego testu w procesie selekcji czy awansowania, to należy wykazać, że istnieje silny związek między treścią testu a treścią pracy.

Komentarz: Jeżeli treść testu obejmuje precyzyjnie zdefiniowane próbki pracy ( np. rzeczywiste próbki pracy, takie jak posługiwanie się urządzeniami) lub – określone na podstawie ocen sędziów ekspertów – symulacje określonych zadań (np. określone zadania do wykonania) bądź próbki wiedzy niezbędne do do osiągnięcia sukcesu w pracy ( np. informacje konieczne do ujawnienia posiadanych umiejętności) , to dane oparte na analizie treści testu mogą być traktowane jako podstawowe dane walidacyjne. Jeżeli związek między treścią testu a treścią pracy nie jest jasny i bezpośredni, to w takiej sytuacji większe znaczenie będzie miał inny rodzaj danych walidacyjnych.

14.10 Jeżeli się przedstawia dane dotyczące trafności oparte na analizie treści testu, to powinno się jasno wyznaczyć konkretny sposób definiowania i opisywania treści danej pracy (np. w kontekście zadań, które mają być wykonane, czy wiedzy, umiejętności, zdolności lub innych cech podmiotowych).

14.11 Jeżeli dane otrzymane na podstawie analizy treści są podstawowym źródłem danych uzasadniających trafność testu na potrzeby selekcji osób do określonej pracy, to wykorzystanie testu w nowej sytuacji jest możliwe tylko wtedy, kiedy istotne czynniki definiujące pracę nie uległy zmianie ( czego dowodem jest analiza pracy), poziom umiejętności czytania wymagany przez test nie przekracza poziomu wymaganego przez nowy rodzaj pracy oraz nie pojawiły się takie dostrzegalne cechy nowej sytuacji, które istotnie mogły zmienić wyjściowe znaczenie materiału testowego.

14.12 Jeżeli wykorzystanie danego testu do selekcji osób do pracy opiera się na zakładanym związku teoretycznej dziedziny predyktora ( tej , która jest odzwierciedlana przez test) z teoretyczną dziedziną kryterium, to należy opisać dwa typy powiązań : związek między testem a teoretyczną dziedziną predyktora oraz związek między teoretyczną dziedziną predyktora a podstawowymi czynnikami charakteryzującymi teoretyczną dziedzinę kryterium.

Komentarz: należy podać precyzyjne uzasadnienie teoretyczne tych związków. Zarówno teoretyczna dziedzina predyktora, jak i powiązana z nią teoretyczna dziedzina kryterium powinny zostać jasno zdefiniowane.

14.13 Jeżeli osoby podejmujące decyzje integrują informacje otrzymane z zastosowania wielu testów lub integrują informacje testowe i informacjami pozatekstowymi, to należy jasno określić, jaką rolę odgrywa każdy test w procesie decyzyjnym oraz przedstawić dane świadczące o trafności wykorzystania każdego testu lub części testu w stosunku do zakładanego celu.

Komentarz: wnioski wyciągane na podstawie wyników testowych należy ograniczyć do tych, dla których dostępne są dane walidacyjne. Traktowanie np. bardzo dobrego wyniku otrzymanego w teście jako wskaźnik ogólnej przydatności do pracy i rezygnowanie na tej podstawie z danych referencyjnych, będzie niewłaściwe wtedy, kiedy zastosowany test będzie miarą wąskiej, ale istotnej dziedziny, takiej jak np. wiedzy dotyczącej wykonywanej pracy.

14.14 Dziedzina treści, która powinien obejmować test wykorzystywany w celu przyznawania uprawnień, powinna zostać jasno zdefiniowana, a jej wybór – uzasadniony w kontekście ważności treści z punktu widzenia kwalifikacji niezbędnych do wykonywania danego zawodu. W uzasadnieniu tym należy wykazać, że badana wiedza lub mierzone umiejętności są niezbędne do wykonywania danego zawodu i że są spójne z celem, dla którego uruchomiono dany program przyznawania uprawnień.

Komentarz: jeżeli ten sam egzamin stosuje się przy nadawaniu licencji lub przyznawaniu uprawnień w wypadku osób zatrudnionych w wielu obszarach czy specjalnościach, to należy przeanalizować wiele różnych sytuacji wykonania pracy. Choć mogą to być podobne techniki to w przypadku wydawania uprawnień kładzie się nacisk na wiedze i umiejętności niezbędne do wykonywania danej pracy. W testach stosowanych przy przyznawaniu licencji nie powinno się uwzględniać tych zdolności, które mogą decydować o odniesieniu sukcesu, a które nie są bezpośrednio związane z istotą licencji ( np. w wypadku ochrony mienia i osób). Fakt, że praktycy odnoszący sukces mają określona wiedzę i umiejętności, jest istotny, ale nie decydujący.

14.15 Należy oszacować rzetelność decyzji o przyznaniu uprawnień podjętych na podstawie wyników testowych.

Komentarz: standardy wykorzystywane do oceny rzetelności decyzji opisane w rozdziale 2 mają również zastosowanie w wypadku testów stosowanych w procesie nadawania uprawnień czy przyznawania licencji.

14.16 Reguły i procedury wykorzystywane do łączenia wyników otrzymanych w różnych miarach, po to by uzyskać globalny wskaźnik charakteryzujący poziom wykonania testu przyznającego uprawnienia, powinny zostać przedstawione osobom badanym, najlepiej przed przeprowadzeniem testu.

Komentarz: czasami wymaga się, by kandydaci otrzymali wyniki wykraczające poza określone minimum w każdym z testów. A czasami decyzja o tym czy egzamin jest zdany bądź niezdany może być oparta wyłącznie na ogólnym wyniku łącznym.

14.17 Poziom wymagany do zdania testu będącego podstawą przyznawania uprawnień powinien zależeć od wiedzy i umiejętności koniecznych do utrzymania dającego się zaakceptować poziomu wykonania danego zawodu. Poziom ten nie powinien być zmieniany po to, by uzyskać pożądaną proporcję osób zdających test.

Komentarz: czasami można regulować liczbę czy proporcję osób otrzymujących uprawnienia, jednak podstawa tej regulacji powinny być inne czynniki niż modyfikacja wyniku lub poziomu decydującego o zdaniu testu. Punkt odcięcia należy wyznaczyć na podstawie starannej analizy i uzasadnienia dopuszczalnego poziomu wykonania. Jeżeli istnieją alternatywne formy testu, to punktu odcięci powinny zostać starannie wyrównane, tak by maiły takie samo znaczenie we wszystkich testach

Wyszukiwarka