87167 SWScan00467

168 Formułowanie pytań

Rzetelność i trafność

Jak mówiliśmy na początku tego rozdziału, pytania traktować winniśmy jako pomiary. Każde ma do spełnienia jakieś zadanie, a zadaniem tym jest pomiar jakiejś zmiennej. Próbując ocenić, jak pojedyncze pytanie lub grupa pytań spełnia swe zadanie, skorzystamy z pojęć rzetelności i trafności. Są to pojęcia zapożyczone z teorii pomiaru i z psychometrii, gdzie od dawna stosuje się je do statystycznego konstruowania testów jako na przykład miary umiejętności i zdolności matematycznych (por. rozdział 9).

Rzetelność i trafność to terminy techniczne, które musimy od siebie odróżniać. Nie zawsze jest to łatwe, ponieważ każde jest wieloznaczne i mierzyć je można różnymi metodami statystycznymi. Tak np. trafność może dotyczyć zarówno kwestii, czy narzędzie mierzy to, co w danym momencie sądzi osoba badana (ten rodzaj trafności nazywany jest trafnością diagnostyczną— czy respondent mówi nam prawdę?), jak i prognozowania (czy rzeczywiście kupi on w przyszłym roku nowy samochód?). Ten rodzaj trafności nazywa się trafnością prognostyczną. Rozważmy teraz ogólne idee stojące za tymi dwoma pojęciami.

^£ Rzetelność? dotyczy dokładności i wiarygodności miary, czy też powtarzalności wyników-w przypadku,^gdyby pomiar był powtarzany. Trafność, natomiast powiada, czy pytanie lub twierd^nie-mierzy. ST.fco--ma mierzyć. 'Tak na przykład zakłada się, że zegar mierzy w sposób ciągły „prawdziwy czas”. Gdyby nie wskazywał rzeczywistego czasu, powiedzielibyśmy, że jest nietrafny. Gdyby czasem się spóźniał, a kiedy indziej spieszył, byłby nierzetelny. Zdarza się, że pomiar jest rzetelny, ale nietrafny: na przykład zegar, które stale się spieszy o 18 minut. Stopień rzetelności wyznacza granicę możliwej trafności. Nie może ona przekroczyć określonego punktu, jeżeli miara jest w jakimś stopniu niespójna. Kiedy stwierdzamy, że pomiar jest doskonale trafny, znaczy to, że musi być również rzetelny. Z tego rodzaju kwestiami mamy często do czynienia, kiedy konstruujemy psychologiczne testy inteligencji czy osobowości.

Doskonaląc test, możemy sprawić, że będzie on na tyle rzetelny, iż wielokrotne zastosowanie go będzie dawało bardzo zbliżone wyniki, jak jednak można się upewnić, że mierzy on właśnie to, co ma mierzyć? W zasadzie odpowiedź na to pytanie jest prosta, kiedy tylko da się uzyskać kryterium. Kryterium to niezależny pomiar tej samej zmiennej, z, którym można porównać wyniki naszego testu lub kwestionariusza. Tak na przykład, jeśli nasz test mierzy inteligencję, to powinien on odróżniać dzieci młodsze od starszych. Jeśli jest to pomiar neurotyzmu, to możemy go porównać z oceną psychiatryczną i powinien on odróżniać ludzi „normalnych” od pacjentów szpitala psychiatrycznego. Jednakże liczne, dające się pomyśleć kryteria same są mało wiarygodne i nietrafne — na przykład oceny wystawiane przez nauczycieli lub diagnozy psychiatrów. A ponadto w wielu wypadkach nie dysponujemy żadnym kryterium i „prawdziwa” odpowiedź jest nieosiągalna.

Rzetelność i trafność pytań o fakty

Rozważmy najpierw nieco łatwiejszy przypadek, kiedy jakieś kryterium jest lub może być dostępne. Najczęściej tak się sprawy mają w odniesieniu do pytań o fakty. Jeśli pytamy respondenta, „ile razy w ciągu ostatnich dwóch tygodni byłeś w teatrze?”, możliwa jest odpowiedź zgodna z prawdą i można jej dociec, jeśli tylko poświęcimy temu dość czasu i wysiłku. Wielokrotne zadawanie w podobnych przypadkach tego samego pytania powinno przynieść rzetelne wyniki.

Aby zapewnić sobie rzetelngś&odpowiedzi jy zakresie pytań o fakty, powinniśmy zaplanować cyk^pytań kontrolnych--^wewnętrznych sprawdzianów). Aby nie zanudzać respondenta, powstrzymamy się zapewne od wielokrotnego zadawania mu tego samego pytania w identyczny sposób, lecz niezależnie od zróżnicowania metody oczekujemy, że nasz respondent nie będzie rozmyślnie wprowadzał nas w błąd. Niezgodność będzie więc wskazywać na błędne sformułowanie pytań lub inne źródła błędu. W przypadku, dajmy na to, pytania o częstotliwość uczęszczania do teatru, możemy później zadać pytanie: „Powiedz, proszę, czy w ciągu ostatnich dwóch tygodni byłeś — i ile razy —w którejś z niżej wymienionych instytucji: w teatrze, w galerii artystycznej, w muzeum, w kinie, w ogrodzie zoologicznym, na wystawie?”. Innym rodzajem wewnętrznego sprawdzianu byłoby wprowadzenie pozornego pytania o zakup wytworów nieistniejącej marki albo odbiór nie-emitowanego programu radiowego. Odpowiedź twierdząca może świadczyć o zgadywaniu lub braku wystarczającej uwagi ze strony respondenta. Innym, bardziej wyszukanym sprawdzianem jest podział próby na dwie (lub więcej) równoważne części i zadanie im tego samego pytania w nieco innym sformułowaniu. (Za prawdziwą odpowiedź uznaje się z reguły średnią z odpowiedzi każdej części). Należy wszakże powiedzieć, że tego rodzaju sprawdziany są bezsilne w przypadku respondenta konsekwentnie pragnącego wprowadzić w błąd.

W związku z niektórymi sondażami można powtórnie odpytywać respondentów, jak w badaniach panelowych, jednakże ze względu na ewentualne zmiany zachowań odstęp czasu pomiędzy pierwszym a drugim sondażem nie powinien być zbyt długi.

By zapewnić sobie trafność pytań o fakty, stosuje się wiele rozmaitych metod, zwanych zazwyczaj sprawdzianami zewnętrznymi, wymagającymi drugiego, niezależnego, notabene, nie zawsze dostępnego źródła informacji.