235 (37)

235

Teraz obliczamy pi Scotta:

235

pi Scotta =

0,80 0,288 1 - 0,288

Tej samej techniki można używać do obliczania wiarygodności, kiedy jest więcej niż dwóch kodujących. W tym wypadku ta technika statystyczna to kappa Cohena (Cohen, 1960; Fleiss, 1971), a wzór jest nieco zmodyfikowany:

,    % zgodności obserwowanej - % zgodności oczekiwanej

kappa =---TT—t~.——-_;——---_;-

N x M — % zgodności oczekiwanej

gdzie N jest ogólną liczbą przedmiotów zakodowanych, a M - liczbą kodujących.

Ocenianie wiarygodności za pomocą danych interwałowych wymaga staranności. Używanie współczynnika korelacji, r Pearsona, metody badającej relacje pomiędzy dwiema jednostkami, wymaga ostrożności. Wartości r Pearsona wahają się od +1 do -1. Jednak w ocenie wiarygodności analizy treści, jeżeli miara ta ma wysoką wartość, może to wskazywać albo że kodujący byli zgodni, albo że ich oceny były w jakiś systematyczny sposób powiązane ze sobą.

Wyobraźmy sobie, na przykład, że do oceny stopnia, w jakim danej osobie podoba się dana wiadomość lub temat, używamy skali interwałowej od 1 do 10. (Przyznanie 1 punktu oznacza stosunek bardzo pozytywny, a 10 punktów - bardzo negatywny). Załóżmy, że dwóch kodujących niezależnie ocenia te same 10 pozycji. Tabela 6.4 pokazuje dwa możliwe rezultaty. W sytuacji I kodujący są zgodni w każdym przypadku, zaś r wynosi 1,00. W sytuacji II ocena kodujących w przypadku każdej pozycji różni się o 3 pozycje na skali, a mimo to r wciąż wynosi 1,00. Nie ulega wątpliwości, że wykorzystanie tych ocen nie jest jednakowo wiarygodne w obu opisanych sytuacjach.

Krippendorf (1980) omija ten problem, przedstawiając coś, co można by nazwać „miarą wiarygodności dla wszelkich celów” - alfa, której można używać do skal nominalnych, porządkowych, interwałowych i stosunkowych oraz dla więcej niż jednego kodującego. Mimo że dość trudno ją obliczyć, alfa jest ekwiwalentem pi Scotta na poziomie nominalnym przy dwóch kodujących i stanowi krok naprzód w stosunku do r w sytuacji interwałowej.

Co widać na pierwszy rzut oka, obliczanie współczynnika wiarygodności może być żmudne. Na szczęście, ostatnio pojawiły się programy komputerowe, które sprawiają, że zadanie to stało się mniej uciążliwe. PRAM (A Program for Reliability Assessment with Multiple Coders - program do oceny wiarygodności przy wielu kodujących; można go otrzymać za darmo od Skymeg Software) oblicza pi, kappę i kilka innych powszechnie używanych współczynników wiarygodności. Zauważmy jednak, że kiedy książka niniejsza szła do druku, dostępna była jedynie wersja alfa. Wersja simstat, którą można było kupić w Provalis Research, także oblicza pi i kappę.

Annlir.n trpśri