TRAFNOŚĆ- rozdział 1

1. Pojęcie i podstawy

Pojęcie trafności odnosi się do stopnia, w jakim dane empiryczne oraz teoria uzasadniają interpretację wyników testowych w zakładanym kierunku. Jeżeli wyniki testowe są interpretowane na więcej niż jeden sposób to każdy kierunek zakładanej interpretacji powinien zostać poddany walidacji. Kierunek interpretacji powinien być powiązany z pojęciami lub konstruktami, które z godnie z założeniem ma mierzyć test.

Ze względu na różnorodność testów i sytuacji testowania w pewnych sytuacjach niektóre dane walidacyjne będą miały szczególne znaczenie a inne mniejsze.

Hipotezy konkurencyjne można często sformułować biorąc pod uwagę to czy test mierzy mniejszy czy większy zakres w stosunku do zdefiniowanego konstruktu.- takie postępowanie nosi nazwę określenia wariancji wynikającej z niedoreprezentowania konstruktu lub wariancji niezwiązanej z konstruktem. Niedoreprezentowania konstruktu odnosi się do stopnia w jakim procesy niezwiązane z zakładanym konstruktem wpływają na wyniki testowe.

Kiedy zostaną sformułowane założenia które będą podstawą do interpretacji wyników testowych to proces walidacji będzie polegał na zbieraniu danych empirycznych, studiowaniu literatury. Za proces walidacji odpowiadają wspólnie autor i użytkownik testu.

2. źródła danych walidacyjnych

• analiza związku między treścią testu a konstruktem który ma zostać zmierzony.

Dane walidacyjne oparte na analizie treści testu mogą wynikać z analiz logicznych czy empirycznych dotyczących stopnia w jakim treść testu reprezentuje zakres treści. Dane walidacyjne mogą pochodzić z oszacowań ekspertów dotyczących powiązań między częściami testu a mierzonym konstruktem.

• dane oparte na analizie procesu udzielania odpowiedzi

uzyskuje się dzięki analizie indywidualnych odpowiedzi, zachowania osób badanych.

• dane wynikające z analizy struktury wewnętrznej testu

umożliwiają ocenę stopnia w jakim powiązanie miedzy pozycjami testowymi czy składowymi testu można potwierdzić rozumienie konstruktu leżącego u postaw zmierzonej interpretacji wyników testowych. Analiza pojęciowa testu może obejmować pojedynczy wymiar zachowania lub dotyczyć kilku wymiarów których każdy jest traktowany jako homogeniczny i niezależny od siebie.

• Dane oparte na analizie związków z innymi zmiennymi (zewnętrznymi)

Zmienne zewnętrzne mogą obejmować zarówno pomiar zmiennych kryterialnych przewidywanych na podstawie wyników testowych ja też związki z innymi testami mierzącymi z założenia te same inne lub podobne konstrukty.

Dane walidacyjne oparte o analizę związków z innymi zmiennymi są wykorzystywane do potwierdzenia hipotez o stopniu w jakim związki te są spójne z konstruktem leżącym u podstaw zakładanej interpretacji.

Dane oparte na analizie związków z innymi zmiennymi- zaliczymy do nich:

• Dane walidacyjne zbieżne i różnicowe

Związki między wynikami testowymi a innymi miarami mającymi z założenia odzwierciedlać podobne konstrukty dostarczają danych walidacyjnych charakterze zbieżnym podczas gdy dane o sile związku miedzy wynikami testowymi a pomiarami innych konstruktów są traktowane jako dane walidacyjne o charakterze różnicowym

• Związek między testem a kryterium

Zmienna kryterialna jest miarą cech lub wyników mających zasadnicze znaczenie z punktu widzenia użytkowników testu. Podstawowe znaczenie ma wybór kryterium i procedur pomiarowych wykorzystywanych do uzyskania wyników kryterialnych. Wartość badań dotyczących związku testu i kryterium zależy od istotności, rzetelności i trafności interpretacji opartej na pomiarze kryterium dla danego zastosowania testu.

• Uogólnienie danych dotyczących trafności

Na ile dane walidacyjne oparte na badaniu związku między testem a kryterium mogą zostać uogólnione na nowe sytuacje bez konieczności przeprowadzania dodatkowych badań walidacyjnych.

• Dane oparte na konsekwencjach testowania

Informacje na temat konsekwencji testowania mogą wpłynąć na decyzje o zastosowaniu testu to same konsekwencje nie mają wpływu na trafność zamierzonej interpretacji wyników testowych.

3. integrowanie danych na temat trafności.

Dostarczanie istotnych danych na temat trafności polega na integrowaniu informacji pochodzących z różnych źródeł dowód świadczący o stopniu w jakim dostępne dane i teoria potwierdzają zamierzoną interpretację wyników testowych. Analiza polega na połączeniu danych z nowych badań wcześniejszych. Otrzymane dane walidacyjne mogą wskazywać na konieczność redefinicji konstruktu, rewizji testu lub elementów procesu badania testem i mogą wskazywać obszary, które wymagają dalszych badań.

Wniosek o trafności zamierzonej interpretacji wyników testowych opiera się an wszystkich dostępnych danych zgodnych z procedurą badania testowego. Obejmuje to dane wynikające z analizy procesu tworzenia testu, dane dotyczące adekwatnej rzetelność testu, właściwej procedury badania testem i procedury obliczania wyników testowych, procedury skalowania i wyrównywania wyników oraz analizy testu z punktu widzenia potencjalnej stronniczości testu.

STANDARD 1.1. Należy przekazać informacje uzasadniające każdą proponowaną interpretację i wykorzystanie wyników testowych w tym dane empiryczne dotyczące trafności interpretacji wyników testowych oraz teorię leżącą u podstaw testu

STANDARD 1.2. Autor testu powinien wyraźnie określić jaki jest pożądany kierunek interpretacji i sposób wykorzystania wyników testowych. Populacja dla której test ma być stosowany powinna być wyrażenie zdefiniowana, podobnie jak konstrukt mierzony przez test

STANDARD 1.3. Jeżeli trafność typowej lub prawdopodobnej interpretacji wyników testowych nie została potwierdzona lub proponowana interpretacja nie jest zgodna z istniejącymi danymi to fakt ten powinien zostać jasno wskazany a potencjalnych użytkowników należy ostrzec przed nieuprawnionymi interpretacjami

STANDARD 1.4. Jeżeli test jest wykorzystywany w sposób którego trafność nie została potwierdzona to osoba stosująca taki test ma obowiązek uzasadnić nowy sposób interpretacji wyników i jeżeli to konieczne dostarczyć nowych danych.

STANDARD 1.5. Schemat tworzenia każdej próby osób na potrzeby badań walidacyjnych powinien zostać opisany na tle szczegółowo by maiło to znaczenie praktyczne. W opisie tym powinna się znaleźć charakterystyka zmiennych socjodemograficznych oraz zmiennych związanych z rozwojem jednostki

STANDARD 1.6. Kiedy proces walidacji opiera się częściowo na poprawności treści testu to procedury dotyczące określania i generowania treści testu powinny zostać opisane i zweryfikowane w punktu widzenia mierzonego konstruktu czy zakresu treści, który test ma odzwierciedlać. Jeżeli definicja zakresu treści obejmowanego przez test zawiera takie kryteria, jak ważność, częstość czy istotność, to powinny one zostawić w zrozumiały sposób wyjaśnione i uzasadnione.

STANDARD 1.7. Gdy proces walidacji opiera się częściowo na opiniach czy decyzjach sędziów ekspertów, obserwatorów czy osób dokonujących oszacowania to należy dokładnie opisać procedurę dobierania ekspertów oraz przyjęty sposób oceniania odpowiedzi. Kwalifikację i doświadczenie sędziów powinno się udokumentować, informację na temat procedury powinny obejmować opis treningu lub przekazane informacje. Informacje te powinny pozwolić ocenić czy uczestniczący podejmują decyzje niezależnie i jaki jest stopień zgodności ich opinii. Jeżeli osoby oceniające współpracują ze sobą lub wymieniają się informacjami to sposób w jaki mogą na siebie wpływać powinien zostać opisany

STANDARD 1.8. Jeżeli uzasadnienie sposobu stosowania testu czy interpretacji wyników testowych zależy od przyjętych założeń na temat procesów psychologicznych uruchamiane przez osoby badane lub przeprowadzanych przez nie operacji poznawczych, to należy podać dane teoretyczne lub dane empiryczne potwierdzające te założenie. Jeżeli twierdzenia dotyczące sposobu funkcjonowania obserwatorów czy osób oceniających wyniki zostały włączone w obszar danych walidacyjnych to również należy dostarczyć podobnych danych empirycznych.

Komentarz jeżeli istotą testu jest ocena procesu to należy wykazać, że pozycje testowe rzeczywiście dotyczą procesów psychologicznych które są brane pod uwagę.

STANDARD 1.9. Jeżeli się zakłada że wprawa lub trening nie wpływają zasadniczo na wyniki testowe to należy wykazać w jakim stopniu zachowania testowe mogą zie zmieniać wraz ze zmianą tych form oddziaływań.

STANDARD 1.10. Jeżeli się dopuszcza możliwości specyficznej interpretacji odpowiedzi na pojedyncze pozycje testowe czy niewielkie zbiory pozycji to należy wykazać, że taka interpretacja jest zasadna oraz dostarczać niezbędnych danych walidacyjnych. Jeżeli interpretacja odpowiedzi na pojedynczą pozycje testową jest możliwa ale niezalecana przez autora testu to należy przestrzec osoby stosujące tesy przed takimi interpretacjami

STANDARD 1.11. Jeżeli racjonalne uzasadnienie proponowanej interpretacji wyników testowanych zależy od założeń dotyczących związków między poszczególnymi częściami testu to należy przedstawić dane na temat wewnętrznej struktury testu.

STANDARD 1.12. Jeżeli w teście dopuszcza się interpretację wyników podtestów, interpretację różnić miedzy wynikami lub interpretację profilową to również należy przedstawić racjonalne uzasadnienie proponowanych kierunków interpretacji oraz odpowiednie dane walidacyjne, jeżeli w teście pojawiają się wyniki złożone, to należy przedstawić oraz uzasadnić sposób otrzymania poszczególnych składowych wyniku.

STANDARD 1.13. Jeżeli dane walidacyjne obejmują analizę statystyczne otrzymanych wyników, to należy na tyle dokładnie opisać warunki w jakich otrzymano te dane by osoby stosujące test mogły ocenić ich przydatność z punktu widzenia lokalnych zastosowań. Należy także zwrócić uwagę na te wyznaczniki procedury zbierania danych walidacyjnych które odbiegły od standardowych warunków w jakich test jest stosowany i które ewentualnie mogły wpłynąć na wyniki testowe.

STANDARD 1.14. Jeżeli dane walidacyjne obejmują wyniki analiz odpowiedzi udzielnych w teście oraz danych empirycznych dotyczących innych zmiennych to należy uzasadnić wybór tych dodatkowych zmiennych. Gry jest to właściwe i możliwe zależy też omówić dane dotyczące konstruktów mierzonych przez inne zmienne wraz z opisem ich parametrów technicznych. Trzeba zwrócić uwagę na wszelkie inne potencjalne źródła powiązań między zmiennymi poza tymi które występują miedzy mierzonym przez te zmienne konstruktem.

STANDARD 1.15. Jeżeli stwierdzono że określony poziom wykona testu jest dobrym predykatorem wyniku kryterialnego to należy przedstawić dane mówiące o tym jaki poziom wyników kryterialnych jest powiązany z określonym poziomem wyników testowych .

STANDARD 1.16. Jeżeli potwierdzenie trafności testu jest oparte na danych dotyczących związku wyników testowych z jedną lub więcej miarami kryterialnymi to należy przestawić informacje o adekwatności tych miar i o ich technicznych parametrów.

STANDARD 1.17. Jeżeli w celu predykcji jakiegoś wyniku lub kryterium wyniki testowe będą wykorzystywane łącznie z innymi zmiennymi ilościowymi to analiza regresji lub inna podobna technika powinny obejmować oprócz wyników testowych także te zmienne.

STANDARD 1.18. Jeżeli występują poprawki statystyczne związane z ograniczeniami zakresu czy rozcieńczeniem to należy przestawić zarówno współczynniki poprawione jak i niepoprawione zastosowanie procedury oraz wszystkie wykorzystane miary statystyczne.

STANDARD 1.19. Jeżeli zaleca się wykorzystanie testu w celu kierowania osób na określony typ terapii oraz jeżeli wyniki terapii można w uzasadniony sposób porównywać uwzględniając powszechnie przyjmowane kryteria to - gdy tylko to możliwe należy przedstawić dane dotyczące zróżnicowaniach efektów terapii

STANDARD 1.20. Jeżeli technika metaanalizy jest wykorzystywana jako źródło danych na temat siły związku miedzy testami a kryterium to zmienna testowa i zmienne kryterialne wykorzystywane w lokalnych badaniach powinny być porównywalne z tymi które były brane pod uwagę w metaanalizie. Jeżeli istotne badania lokalne dostarczają mocnych przesłanek przemawiających za tym ze inne cechy związane ze stosowaniem testu mogą wpływać na siłę związku miedzy testem a kryterium to należy wskazać stopień podobieństwa tych cech w badaniach lokalnych i badaniach metaanalitycznych. Każda istotna różnica która może wpłynąć na ograniczenia możliwości wykorzystania danych z metaanaliz na potrzeby lokalnych sytuacji powinna zostać wyraźnie opisana

Metaanaliza metoda kompleksowej analizy wielu przeprowadzanych przez różnych badaczy i na różnych próbach badań empirycznych dotyczących tego samego problemu badawczego.

STANDARD 1.21 Każdy rodzaj danych pochodzących z badań metaanalitycznych i wykorzystywanych jako potwierdzenie zamierzonego kierunku wykorzystania testu powinien zostać starannie opisany łącznie z decyzjami o charakterze metodologicznym służącymi do identyfikowania kodowania wykorzystywanych badań, poprawiania ze względu na możliwe artefakty oraz analizowania potencjalnych zmiennych moderujących. Należy jasno przestawić założenia przyjęte przy wprowadzaniu poprawek ze względu na możliwe artefakty takie jak brak rzetelności kryterium czy ograniczenie zakresu wyników oraz konsekwencje tych założeń

STANDARD 1.22. Jeżeli wyraźnie się przyjmuje ze zalecany sposób wykorzystania testu będzie prowadzić do określonych wyników to należy przestawić postawy takich oczekiwań oraz odpowiednie dane empiryczne.

STANDARD 1.23. Jeżeli zalecany sposób zastosowania testu lub interpretacji wyników testowych wynika z przyjęcia założenia ze efektem procesu testowania jako takiego będą pośrednie korzyści dodatkowe w stosunku do informacji wynikających z wyników testowych to należy wyraźnie sformułować zasady na postawie których wnioskuję się o pośrednich korzyściach. Trzeba przestawić argumenty logiczne lub teoretyczne potwierdzające te wnioski. Powinno się też przywiązywać dużą wagę do tych wyników opisywanych w literaturze naukowej które nie potwierdzają założonej interpretacji włączając w to także wyniki wskazujące na występowanie pośrednich korzyści stosowania testu innych niż wcześniej zakładane

STANDARD 1.24. Kiedy zastosowanie testu powoduje nieplanowana konsekwencje, to należy sprawdzić czy konsekwencje te nie wynikają one z wrażliwości testu na inne cechy niż te, które założenia podlegają ocenie lub też z tego że test nie reprezentuje w pełni założonego konstruktu

---