Analiza rzetelności (SPSS) pozwala na badanie właściwości skal pomiarowych oraz tworzących je pozycji.
Rzetelność odnosi się do zgodności i dokładności pomiaru psychologicznego; miara zaufania do otrzymanego wyniku (Maloney i Ward, 1995, s.123 i nst.). Problem rzetelności dotyczy dwóch spraw:
naturalnej zmienności ludzkich wyników - tylko w przypadku stosunkowo stałych cech, zmiennych, czy wymiarów można dokonywać ilościowego opisu różnic między ludźmi. Spójność czy stałość cech jest podstawowym warunkiem leżącym u podstaw rzetelności pomiaru. Mimo, że pewien zakres zmienności wyników uznajemy za normalny, np. istnieją zmiany, które są rezultatem wzrostu i rozwoju; wskaźniki zdolności są mniej zmienne niż wskaźniki osobowości.
pośredniości pomiaru psychologicznego - czego konsekwencją jest ograniczona precyzja pomiaru i w związku z tym niemożność osiągnięcia doskonałej rzetelności. Celem jest raczej utrzymanie nierzetelności używanych narzędzi pomiarowych w możliwych do zaakceptowania granicach.
Ponadto, „jak zauważył Freeman (1962 - za: Maloney i Ward, 1995, s.125), pojęcie rzetelności ma dwie powiązane ze sobą, ale nieco różne konotacje. Pierwsza odnosi się do zgodności wewnętrznej pozycji testu i do tego, jak dokładny jest test w danym czasie. Druga dotyczy zakresu stabilności wyników w czasie (tj. przy powtórnym badaniu), a więc tego, na ile można wykorzystać test dla celów prognozowania.”
Powyższe uwagi należy uwzględnić przy ustalaniu procedur szacowania rzetelności (w niżej wymienionych procedurach 1, 2 i 3 stosuje się współczynnik korelacji Pearsona):
test-retest - porównuje się wyniki, np. dwukrotnego testowania oddzielonego ustalonym przedziałem czasu, uzyskane przez te same osoby. Główny problem dotyczy zmienności cech w czasie. W przypadku krótkiego przedziału mogą się pojawić problemy związane z wyćwiczeniem i przenoszeniem wprawy (zawyżanie oceny rzetelności); w przypadku długiego przedziału, realna zmiana poziomu badanej zmiennej, może spowodować zaniżenie oceny rzetelności.
formy równoległe - porównuje się wyniki uzyskane przez te same osoby w dwóch różnych (ale równoważnych) wersjach testu mierzących tę samą cechę (omija się tu problem zapamiętywania odpowiedzi). Ten rodzaj rzetelności należy traktować jako ostrożną miarę (reprezentuje ona dolną granicę rzetelności testu; AJ - wyniki są zazwyczaj niższe), ponieważ należy uwzględnić tutaj: wpływ zmian cechy związanych z upływem czasu, jak i pewną specyfikę wersji testu. Zakłada się, że prawdziwa rzetelność testu nie jest niższa od oszacowanej tą metodą;
rzetelność międzypołówkowa - przypomina nieco metodę wersji równoległych; dzieli się jednak pulę pytań dzieli się na dwie połówki (AJ - z możliwością randomizacji) i porównuje się zgodność odpowiedzi między tymi dwiema grupami pytań. Nie występuje tutaj problem wpływ zmian cechy związanych z upływem czasu. Zasadą jest, że im większa pula pozycji, tym bardziej stała ocena cechy, stąd zalecane jest stosowanie „poprawki na wydłużenie” poprzez zastosowanie wzoru Spearmana-Browna. Zakłada się, że prawdziwa rzetelność testu nie jest wyższa od oszacowanej tą metodą; (AJ - Model połówkowy w SPSS, 2 opcja, rtt)
rzetelność »Kudera-Richardsona« - zalecana w przypadku testów jednoczynnikowych, czyli mierzących pojedyncze cechy (AJ - odizolowane od innych cech; o niewielkich kowariancjach z rozkładami wyników innych cech).
Rzetelność (reliability) - termin określający stopień niezawodności przyrządu pomiarowego lub testu. Pomiar jest rzetelny, jeśli jest spójny.
Replikacja (zazwyczaj częściowa replikacja) jest ważną metodą ustalania rzetelności i trafności zewnętrznej wyników badań (Shaughnessy i in., 2002, s.94).
Procedura analizy rzetelności umożliwia obliczenie liczby zwykle używanych miar skali rzetelności oraz dostarcza informacji na temat związków między pojedynczymi pozycjami na skali. Współczynniki korelacji wewnątrzklasowej mogą być wykorzystane do obliczenia oszacowań rzetelności dla różnych ankieterów.
Przykład. Czy kwestionariusz mierzy zadowolenie klientów w użyteczny sposób? Wykorzystując analizę rzetelności można ustalić stopień powiązania ze sobą pozycji kwestionariusza, uzyskać ogólny wskaźnik powtarzalności lub wewnętrznej spójności skali jako całości, a także zidentyfikować pozycje problemowe, które powinny być wyłączone ze skali.
Statystyki. Statystyki opisowe dla każdej zmiennej i dla skali, statystyki podsumowujące dla wielu pozycji, korelacje oraz kowariancje między pozycjami, oceny rzetelności, tabela ANOVA, współczynniki korelacji wewnątrzklasowej, T kwadrat Hotellinga oraz test addytywności Tukeya.
W SPSS-ie dostępne są następujące modele rzetelności:
Alfa (Cronbacha). Jest to model wewnętrznej spójności, oparty na średniej korelacji między pozycjami.
Połówkowy. Ten model dzieli skalę na dwie części i analizuje korelację między nimi.
Guttmana. Ten model oblicza dolne granice Guttmana dla prawdziwej rzetelności.
Równoległy. W tym modelu przyjęto założenie, że wszystkie pozycje mają równe wariancje oraz równe wariancje błędu w replikacjach.
Ściśle równoległy. W tym modelu przyjęto założenia modelu równoległego oraz założenie równej średniej w pozycjach.
α-Cr - alfa Cronbacha - zwykła, daje informacje o rzetelności oraz o mocach dyskryminacyjnych; najlepiej ją liczyć na wynikach surowych, a nie standryzowanych, np. na „zetach” (Sienkiewicz).
Tematy pokrewne
Rzetelność a trafność:
„Rzetelność wiąże się bezpośrednio z trafnością pomiaru psychologicznego. Twierdzi się, że maksymalna wartość współczynnika trafności jest pierwiastkiem kwadratowym jego rzetelności. Dlatego jeżeli test osiąga rzetelność rzędu 0,90; 0,80 czy 0,70, maksymalna możliwa korelacja między testem i danym kryterium (tzn. trafności) jest odpowiednio rzędu 0,95 0,89 0,84. Pokazuje to, że trafność zależy od rzetelnego pomiaru, a rzetelność jest czynnikiem ograniczającym w przypadku określania trafności. Jeżeli test nie jest rzetelny, to z niczym nie będzie korelował i jest w gruncie rzeczy bezużyteczny. Jeżeli nie można mieć zaufania do zgodności i dokładności naszych narzędzi pomiaru, zupełnie nieuzasadnione są próby powiązania ich wyników z innymi zachowaniami czy pomiarami wykonania. Rzetelność jest więc koniecznym warunkiem trafności i sine qua non wszystkich pomiarów” (por. Helmstadter, 1964, s.85 - za: Maloney i Ward, 1995, s.130).
Bibliografia
Maloney, M. P., Ward, M. P. (1995). Testy psychologiczne jako metoda zbierania danych. W: W. J. Paluchowski (red.). Testowanie a ocena kliniczna. Wybrane problemy. Warszawa: Polskie Towarzystwo Psychologiczne. ss.94-141.
Shaughnessy, J. J., Zechmeister, E. B., Zechmeister, J. S. (2002). Metody badawcze w psychologii. (tłum. z j. amer. M. Rucińska). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.
(informacje z SPSS)
--
--