Takane, Ferguson, rozdział 23

Zagadnienia statystyczne konstruowania testów

1. Średnia i wariancja pozycji testu

w testach trudności: miarą stopnia trudności testu są określane proporcje (p1,p2,…,pn):oblicza się je w ten sposób:

ile osób podało poprawna odp. w każdej spośród n pozycji (P1,P2,…Pn)podzielone przez liczbę osób N (p1=P1/N). jeśli niewiele osób w próbie podaje prawidłową odp. w danej pozycji to uznajemy ją za fakin' trudną.(np. p=0,10), a jeżeli duża proporcja osób podaje dobra odp. to wtedy jest prosta. (Np. p=0,80.). wielkość p jest średnią arytmetyczną punktów dla danej pozycji testu.

wariancja (s ²) osiąga największa wartość, gdy p=0,50. wariancja zbliża się do 0 w miarę jak p zbliża się do 1,00 lub 0.

2.Korelacja między dwiema pozycjami testu- współczynnik fi

Jest to korelacja między dychotomicznie ujętymi pozycjami testu. Stosuje się go tylko wobec tabel 2x2.najmniejsza wartość wynosi -1, największa +1 przy związku doskonale dodatnim. jednak te wartości graniczne współczynnik może przyjmować tylko wówczas, gdy obie zmienne mają proporcje pół na pół, czyli p_i = p_j = q_i= q_j= 0,50. Gdy obie zmienne maja ten sam kształt, czyli p_i=p_j i q_i=q_j, lecz są asymetryczne, czyli p_i ≠ q_{i i} p_j ≠ q_j, wówczas współczynnik fi może przyjąć wartość graniczną jedną, ale nie obie. Na największą i najmniejszą wartość graniczną współczynnika fi maja wpływ wyraźny sumy brzegowe.Jeżeli współczynnik korelacji potraktujemy jako miarę skuteczności przewidywania, to dokładne przewidzenie wartości jednej zmiennej na podstawie drugiej, zarówno w kierunku dodatnim jak i ujemnym jest możliwe tylko wówczas, gdy oba rozkłady mają ten sam kształt i są symetryczne.współczynnik fi, mimo że jest zależny od sum brzegowych, jest miarą skuteczności przewidywania. Odzwierciedla on dobrze zmniejszenie dokładności przewidywania wynikające z braku zgodności między dwoma rozkładami brzegowymi.

3. wzorce dopowiedzi

Wzorzec odp- uporządkowanie danych w tabele o n wierszach i N kolumnach. Do niej wpisujemy 1 i 0.

4. zależność między wariancją wyników etstu a właściwościami pozycji testu

Przy konstruowaniu testów sprawą dużej wagi jest poznanie zależności między wariancją wyników testu a właściwościami jego pozycji. W celu określenie tych zależności przyjmujemy, że każda pozycja testu pozostaje we wzajemnych związkach z każdą inną pozycją tego testu, przy czym charakter tych związków najlepiej określa kowariancja(trudne słowo) między pozycjami. Całkowita wariancja testu jest sumą wszystkich elementów macierzy kowariancji.

Celem każdego testu jest dokonywanie rozróżnień między osobami badanymi bądź określanie różnic indywidualnych między tymi osobami. Konstrukcja testu powinna być taka,żeby test jako całość różnicował albo wskazywał zmienność między tymi osobami.czywiście test, w którym każda osoba ma taki sam, wynik nie spełnia swojego zadania.konstruktorzy powinni więc postarać się by wyniki miały dużą wariancję w stosunku do liczby pozycji, jakie test zawiera. Dlatego niektórzy konstruktorzy testów twierdzą, że w teście powinny znajdować się tylko takie pozycje, których stopień trudności nie odbiega znacznie od 0,50 (0,30-0,70).

5. zgodność wewnętrzna

Jeżeli osoba, która otrzymuje w teście wynik X_i, podaje odp właściwe w X_i pozycjach łatwiejszych, a odp niewłaściwe w n-X_i pozycjach trudniejszych, jej odp nie zawieraja niespójności. Jeżleii wszystkie N osób baddnaych testem, otrzymuje wynik X_i w taki sposób i we wzorcu odp nie ma niezgodności , to ten wzorzec odp możemy uznac za zgodny wewnętrznie.W praktyce się takich wzorców nie spotyka. Wzorce odp w różnych testach wykazują zróżnicowaną liczbę niezgodności i w zw. Z tym zróżnicowany stopień zgodności wewnętrznej.

Wyniki testu przy wewn. zgodnym wzorcu charakteryzują sie większą zmiennością.

6. zagadnienie wyboru pozycji testu

Wstępne badanie pozycji testu: czasem przygotowywana wersja wstępna , która zawiera o wiele więcej pozycji ,niż zosatnie włączonych do końcowej wersji.Np jeżeli test ma zawierać 50 pozycji, konstruktor może zacząć od zebrania 100. Taką poczatkową [próbą bada on wstępnie próbę pobraną z populacji, do której badania jest przeznaczony. W jaki sposób decyduje które pozycje wybrać????

-może posłużyć się kryteriami zewnętrznymi, np., średnia ocen rocznych na uniwersytecie hyhyhy. Każda pozycja testu może korelować ze zmienną kryterialną i przy wyborze pozycji konstruktor może wziąć pod uwagę wsółcvzynnik korelacji. Do ostatecznej wersji testu włączy te pozycje, które są silnie skorelowanie z kryterium. Słabo skorelowanie odrzuci.

-może czasem posłużyć się grupam,i kryterialnymi, kryterium będzie wtedy np. przynależność do gr pacjentów psychotycznych i do gr osób normalnych; do gr. Osób które ukończyły studia wyższe i do gr. Osób które nie u.kończyły studiów

--- no ale w wielu przypadkach nie jest dostępne kryterium zewnetrzne- wtedy właśnie stosuje się kryterium zgodnościw wewnętrznej- wybiera się podzbiór pozycji,które wykazują mniej niezgodności we wzorcu odp niż wiele innych podzbiorów. Jak znaleźć ten właściwy zbiór pozycji?Najpowszechniej stosowaną metodą jest metoda polegająca na obliczeniu korelacji między pozycjami testu a wynikami testu jako całości. Ponieważ wyniki te są dychotomiczne, a wyniki testu jako całości możnaze względów praktycznych traktować jako ciągłe-konieczne jest posłużenie się taką postacią korelacji, która ujmuje zależność między zmienną dychotomiczną a zmienną ciągłą.

7. Korelacja punktowo-dwuseryjna

Korelacja punktowo-dwuseryjna -miara mocy dyskryminacyjnej poszczególnych pozycji testu.

Jest to miara zależności między wynikami testu (zmienną ciągłą) a wynikami poszczególnych jego pozycji (zmienną dwukategorialną- odpowiedź „tak” lub ”nie” podawana w pozycji testu). Dane uporządkowane w postaci rozkładu liczebności mają postać tabeli o R wierszach i 2 kolumnach. Korelacją tę można tez stosować w innych sytuacjach, np. zmienna ciągła mogą być wyniki testu psychologicznego, a zmienną dychotomiczna bycie M lub K, bycie psychotykiem/ zdrowym.

Jeśli osobom należącym do jednej kategorii przypiszemy 0 a osobom należącym do innej 1 i obliczymy korelację, to otrzymamy współczynnik korelacji punktowo-dwuseryjnej. Korelacja ta nie jest niezależna od proporcji osób w obu kategoriach . gdy p=g=0,50, to jej wartość największa i najmniejsza są inne niż gdyby np. p=0,20, q=0,80.wartość największa korelacji tej nigdy nie dochodzi do 1, a wartość najmniejsza do -1.Na podstawie wartości zmiennej ciągłej możemy przewidzieć dokładnie wartości zmiennej dychotomicznej.Jest to możlwie gdy oba rozkłady liczebności nie zachodzą na siebie.

9. Udział poszczególnych pozycji w wariancji ogólnej testu

Proporcję osób, które opdały właściwą odp w danej pozycji testu (p) określamy jako mairę stopnia trudności tej pozycji. Stopień trudności łącznie z mocą dyskryminacyjną stanowią dwa kryteria wyboru pozycji testu. Ponieważ dysponujemy 2 kryteriami stajemy przed dylematem, np. czy opzycja z p=0,50 i r=0,40 jest lepsza niż z p=0,50, r=0,40? Problem ten można rozwiązać łącząc stopień trudności z mocą dyskryminacyjną w 1 wskaźnik- określa on udział konkretnej pozycji w wariancji wyników testu. Pozycja która ma większy udział w ogólnej wariancji uważana jest za lepszą niż pozycja która ma ten udział mniejszy.

Udział konkretnej pozycji w wariancji całkowitej jest różnicą między średnią tych osób, które podają odpowiedź „tak” a średnią tych osób które podają odpowiedź „nie”, pomnożoną przez pq.

10. Metody inne wybioru pozycji testu

-analiza czynnikowa -czyli obliczanie wzajemnjych korelacji między pozycjami testu w sposób, który ogranicza pierwotny zbiór zmiennych, ( pozycji testu) do mniejszej liczby zmiennych zwanych czynnikami. Czynnikom tym nadaje się później nazwy i przypisuje odpowiednia interpretację.

-jeśli posiadamy kryterium zewnętrzne- wówczas wybieramy pozycje które silnie korelują z tym kryterium

-sporządzenie wykresu wartości p otrzymanych z próby, z uwzględnieniem różnych poziomów wyników testu.

---