233 (37)

233

i III. Trzej kodujący umieszczają jednostki 2, 6 i/lub 13 w kategorii II, podczas gdy trzej sklasyfikowali wszystkie lub niektóre z nich w kategorii III. Definicje tych dwu kategorii wymagają sprawdzenia i być może przeformułowania z powodu niejednoznaczności.

Tabela 6.3 ilustruje problem konsekwentnego „dysydenta”. Chociaż kodujący A i B zgadzają się w siedmiu przypadkach na osiem, kodujący B i C zgadzają się tylko dwa razy na osiem, zaś kodujący A i C zaledwie raz. Nie ulega wątpliwości, że kodujący C będzie przysparzał kłopotów. Z reguły badacz ponownie starannie wyjaśnia temu kodującemu reguły używane w kategoryzacji i sprawdza powody jego konsekwentnego odchylenia. Jeżeli problem się utrzymuje, może okazać się konieczne usunięcie tego kodującego z zespołu prowadzącego analizę.

Jeżeli wstępny test wiarygodności da zadowalające rezultaty, koduje się cały zespół danych. Po zakończeniu kodowania zaleca się, by podpróbka danych, pomiędzy 10% a 25%, została ponownie zanalizowana przez niezależnych kodujących dla obliczenia całkowitego współczynnika wiarygodności kodujących. Lacy i Riffe (1996) zauważają, że sprawdzanie wiarygodności na podstawie próbki proporcjonalnej może zawierać błąd próbkowania. Przedstawiają wzór na obliczenie wielkości próbki do badania wiarygodności kodujących, która uwzględnia ten błąd.

Wiarygodność kodujących można obliczyć kilkoma metodami. Holsti (1969) proponuje następujący wzór na ustalenie wiarygodności danych nominalnych w kategoriach procentu zgodności:

Wiarygodność = _N™_N

gdzie M to liczba decyzji o kodowaniu, co do których dwaj kodujący się zgadzają, a Nj i N_? to całkowita liczba decyzji o kodowaniu podjętych, odpowiednio, przez pierwszego i drugiego kodującego. Tak więc jeżeli dwóch kodujących ocenia podpróbkę składającą się z 50 jednostek i zgadza się w 35 przypadkach, to obliczenie wygląda następująco:

Wiarygodność =    ~ 0,70

Metoda ta jest prosta i łatwa do zastosowania, jednak jest krytykowana, gdyż nie uwzględnia pewnej liczby zgodnych decyzji, które zdarzają się zupełnie przypadkowo; liczba ta jest funkcją liczby kategorii w danej analizie. Na przykład, system złożony z dwu kategorii ma 50% wiarygodność przez czysty przypadek, system z pięciu kategorii daje 20% przypadkowej zgodności itd. Ażeby uwzględnić ten czynnik, Scott (1955) opracował wskaźnik pi, który koryguje błąd wynikający z liczby używanych kategorii, jak też z prawdopodobnej częstotliwości używania go:

Annlir.n trpśri