Etapy tworzenia testu:
Zdefiniowanie mierzonej właściwości i jej operacjonalizacja
Budowanie testu zaczynamy od konceptualizacji tego, co ma być przedmiotem pomiaru: definiujemy mierzoną cechę i dokonujemy jej operacjonalizacji.
Należy odpowiedzieć na dwa najważniejsze pytanie:
1. Czemu ma służyć tworzony przez nas test:
Jasno określić cel pomiaru oraz główny obszar zastosowania testu i hierarchię decyzji, jakie będą podejmowane na podstawie wyników testowych:
Cele selekcyjne (wybieramy osoby, które przyjmujemy, awansujemy):
Powinien dobrze różnicować w zakresie wysokich kompetencji.
Cele diagnostyczne - określenie indywidualnego zakresu kompetencji jednostki.
Powinien dobrze różnicować na całym kontinuum mierzonej właściwości - a więc zarówno w zakresie niskich, jak i wysokich kompetencji.
Operacjonalizacja - procedura wiązania terminów teoretycznych (odnoszących się do nieobserwowalnych właściwości zdarzeń i obiektów) z terminami obserwacyjnymi (obserwowalne właściwości i relacje).
Co należy zrobić i co należy obserwować, aby badane zachowanie można było potraktować jako wskaźniki mierzonej cechy psychologicznej.
Określenie formatu bodźca i formatu odpowiedzi - Zasady budowania pozycji testowych:
Po zdefiniowaniu mierzonej właściwości i określeniu obszaru interesujących zachowań układane są pozycje testowe.
Wyjściowy zbiór pozycji testowych to pula pozycji - powinna być duża - co najmniej dwukrotnie większa od zakładanej ostatecznej wersji:
Gwarantuje to uzyskanie odpowiedniej liczby pozycji spełniających wymagane kryteria.
Wybieranie formatu pozycji testowych:
Format otwarty - swobodne udzielanie odpowiedzi - pozycje do uzupełnienia.
Format zamknięty - wybór prawidłowej odpowiedzi (diagnostycznej) spośród podanych:
Generowanie pozycji testowych
Formułujemy dużą pulę pozycji testowych, którą poddajemy analizie językowej i treściowej.
Analiza pozycji testowych - selekcja pozycji:
1. Analiza językowo-treściowa:
Przed uruchomieniem badań pilotażowych i przeprowadzeniem analizy statystycznej.
Zazwyczaj wykonywana przez językoznawców
Analiza treściowa - czy wszystkie pozycje testowe można treściowo wywieść z teorii mierzonej cechy? Zespół ekspertów dokonuje ocen zgodności treści poszczególnych pozycji z przyjętymi wcześniej założeniami:
Czy wszystkie pozycje można traktować jako operacjonalizację mierzonej cechy?
Czy pozycje reprezentują uniwersum zachowań, ważnych z punktu widzenia tej cechy?
Ustalenie klucza odpowiedzi - jakie odpowiedzi są prawidłowe/diagnostyczne.
Uwaga na odwrócone pytania.
FORMAT kwestionariusza: wygląd, instrukcja.
Tytuł
Instrukcja: powinna krótko i treściwie zapoznawać z celem badania.
Motywacja do współpracy - uspokojenie. Dlaczego warto wypełnić?
CEL pomiaru: do czego został skonstruowany.
Jaki ma charakter: naukowy, komercyjny.
Prośba o szczere udzielanie odpowiedzi, wypełnianie wszystkich pytań.
Zapewnienie całkowitej anonimowości.
Zmniejszenie poczucia bycia ocenianym.
Brak odpowiedzi prawidłowych.
INSTRUKCJA jak wypełniać - jasne i konkretne wskazówki. PRZYKŁAD.
„Niniejszy kwestionariusz ma na celu zbadanie skłonności do refleksyjności, rozumianej jako spontaniczne zamyślanie się. Proszę o wypełnienie go kierując się przy tym jedynie własnym doświadczeniem. Osobie wypleniającej niniejszy kwestionariusz zapewnia się całkowitą anonimowość. Dla uzyskania miarodajnych wyników proszę o szczere udzielanie odpowiedzi”.
Układ:
Swobodny, przejrzysty, nieprzeładowany: nawet kosztem dwóch stron.
Warto zwrócić uwagę na wielkość czcionki - uwaga osoby starsze.
TABELARYCZNY:
Kolejność pytań:
Pytania powinny być wymieszane, aby zmniejszyć tendencyjność do odpowiadania w konkretny sposób.
Dane demograficzne: METRYCZKA
Jakie dane są nam potrzebne? Pochodna celu badania.
Warto zachęcić badanego:
Na koniec chcielibyśmy uzyskać na Pana/i temat kilka informacji, które pozwolą na porównanie oraz opracowanie uzyskanych danych dotyczących badanej przez nas skłonności do... Proszę o zaznaczenie krzyżykiem jednej z podanej odpowiedzi.
Badanie pilotażowe
Badanie pilotażowe powinno być przeprowadzone na grupie osób, dla której kwestionariusz jest przeznaczony, w porównywalnych warunkach (instrukcja, limity czasowe, atmosfera, grupowo vs. Indywidualnie):
Obliczenie wybranych wskaźników statystycznych dla wszystkich pozycji testu:
Analiza statystyczna - po badaniu pilotażowym:
Wskaźnik trudności pozycji
Odpowiednikiem w testach osobowości jest wskaźnik częstości odpowiadania w określony sposób - jak często osoby badane odpowiadają np. tak na pozycję testową.
T= liczba osób, które udzieliły odpowiedź prawidłową/N *100% inaczej wskaźnik łatwości zadania - im wyższe T, tym więcej osób udzieliło prawidłowej odpowiedzi.
Współczynnik mocy dyskryminacyjnej
Test stosowany aby uzyskać informacje o różnicach indywidualnych w zakresie mierzonego konstruktu, lub zewnętrznego kryterium, które chcemy przewidywać na podstawie wyników testowych.
Test powinien składać się z pozycji, które umożliwiają dokonanie zróżnicowania między osobami uzyskującymi niskie i wysokie wyniki na interesującym nas kontinuum.
Współczynnik mocy dyskryminacyjnej - stopień w jakim dana pozycja testowa różnicuję badaną populację w zakresie zachowanie, które dany test ma mierzyć:
Rzetelność i trafność pozycji testowych:
Każda pozycja testowa może zostać scharakteryzowana ze względu na swój wkład do współczynnika trafności i rzetelności testu.
Współczynnik trafności pozycji:
Zależy od wielkości korelacji między wynikami danej pozycji a wynikiem interesującego nas kryterium oraz SD tej pozycji (Magnusson, 1981, s. 315).
Współczynnik rzetelności pozycji:
Zależy od współczynnika korelacji między wynikami danej pozycji a ogólnym wynikiem w teście i SD tej pozycji (Magnusson, 1981, s. 315).
Szczególnie przydatny, gdy chcemy zbudować test wysoce homogeniczny (o największej zgodności wewnętrznej).
Rzetelność testu - metody badania - inne opracowanie.
Zbudowanie ostatecznej wersji testu (gdy zbyt mała liczba pozycji spełnia założone warunki --> 3).
Etap rewizji testu - najlepszą jego metodą jest walidacja krzyżowa.
Należy ponownie ocenić ostateczną wersję testu, na innej grupie, niż była ona przeprowadzona na wcześniejszych etapach.
Niezależne badanie trafności nazywane jest walidacją krzyżową:
Można prowadzić go jednocześnie z etapem selekcji pozycji.
Wszystkie pozycje testowe daje się do rozwiązania dużej grupie osób:
Połowa osób - analiza wszystkich pozycji, druga połowa - analiza ostatecznej puli pozycji (może być mniejsza grupa).
Tworzenie norm
2