Poziom istotności

W statystyce nie wiele możemy powiedzieć, że coś jest .... na pewno, na 100%. Statystyka bazuje na rachunku prawdopodobieństwa. Poziom istotności jest to próg, wedle którego oceniamy z jakim prawdopodobieństwem różnice, które zaobserwowaliśmy są dziełem przypadku. 

Każdy wynik testu statystycznego ma określony poziom istotności. Dla przykładu, dla danego wyniku testu t-Studenta otrzymaliśmy istotność równą 0,036 co oznacza, że dane różnice są dziełem przypadku z prawdopodobieństwem równym w przybliżeniu 3,6%. Zatem z prawdopodobienstwem 96,4% uzyskane różnice nie są dziełem przypadku, a wynikiem naszego badania, pomiaru, itd... 

W zależności od specyfiki badań, badacze określają umownie jaki poziom istotności świadczy o wynikach istotnych statystycznie. Dla badań społecznych takim umownym progiem jest 0,05. Gdy istotność dla danego wyniku jest mniejsza to wyniki są istotne statystycznie, gdy większa to nieistotne. Tak więc badacze godzą się na niepewność rzędu 5%. To znaczy, że przyjmują różnice jako znaczące, choć mają 5% niepewności co do prawdziwości tego wniosku.

Dla oznaczenia poziomu istotności stosuje się symbol p lub też symbol alfa α 

Wyniki istotne statystycznie

Gdy porównujemy ze sobą grupy pod względem pewnej zmiennej prawie zawsze wystapią różnice pomiędzy grupami w mierzonej zmiennej. Jednakże dopiero, gdy zastosujemy odpowiedni test statystyczny, uwzględniając przyjęty poziom istotności, będziemy mogli odpowiedzieć, czy zaobserowowane wyniki są istotne statystycznie. Gdy przyjmiemy poziom istotności p < 0,05 to zaobserwowane różnice, dla których p jest mniejsze niż 0,05 możemy nazwać różnicami istotnymi statystycznie. 

Inaczej mówiąc, to że występują różnice jeszcze o niczym nie świadczy. Dopiero, gdy test statystyczny wykaże, że dla przyjętego poziomu statystycznego zaobserwowane różnice pomiędzy grupami są odpowiednio duże, dopiero wtedy możemy powiedzieć, że wystepują różnice istotne statystycznie. Jeżeli test nie wykaże istotnych statystycznie różnic, to pod względem statystycznym zaobserowowane wyniki dla grup są sobie równe!

Przy weryfikowacji postawionych hipotez można popełnić błąd pierwszego bądź drugiego rodzaju.

Błąd pierwszego rodzaju

Przy testowaniu/weryfikacji hipotez możemy popełnić błąd pierwszego rodzaju. Błąd ten popełniamy wtedy, gdy na podstawie przeprowadzonej analizy statystycznej stwierdzamy, że uzyskane wyniki są istotne statystycznie a są one w rzeczywistości nieistotne statystycznie. 

Na popełnienie takiego błędu narażamy się wtedy, gdy na przykład: stosujemy nieodpowiednie testy statystyczne do weryfikacji hipotez, stosujemy dany test statystyczny, pomimo tego, że założenia nie zostały spełnione, aby wykonać dany test. 

W praktyce oznacza to, że popełniliśmy błąd w analizie i na tej podstawie wnioskujemy prawdziwość postawionej hipotezy, a w rzeczywistości nie możemy tego stwierdzić. 

Błąd drugiego rodzaju

Przy testowaniu/weryfikacji hipotez możemy popełnić błąd drugiego rodzaju. Błąd ten popełniamy wtedy, gdy na podstawie przeprowadzonej analizy statystycznej stwierdzamy, że uzyskane wyniki są nieistotne statystycznie, a są one w rzeczywistości istotne statystycznie. 

Na popełnienie takiego błędu narażamy się wtedy, gdy na przykład: stosujemy nieodpowiednie testy statystyczne do weryfikacji hipotez, stosujemy zbyt restrykcyjnie ograniczenia dla analizy wyników. 

W praktyce oznacza to, że popełnilismy błąd w analizie i na tej podstawie wnioskujemy fałszywość postawionej hipotezy, a w rzeczywistości moglibyśmy stwierdzić, że wyniki są istotne statystycznie.

Przedział ufności dla danej miary statystycznej informuje nas "na ile możemy ufać danej wartości" - jak sama nazwa wskazuje. Przedział ufności pokazuje nam że poszukiwana przez nas rzeczywista wartość mieści się w pewnym przedziale z założonym prawdopodobieństwem. Przedział ufności jest ściśle związany z teoriąestymacji w statystyce. 

Dla prostoty opisu posłużymy się tutaj przykładem średniej. Aby wyznaczyć jaki jest średni poziom danej cechy w populacji przeprowadzamy badania na pewnej próbie (na "wycinku" populacji). Badanie dostarcza nam naszego poszukiwanego wyniku średniego, średnią pewnej cechy. Na podstawie tego badania próby chcemy określić jaka jest rzeczywista średnia wartość danej cechy w całej populacji, nie tylko w próbie. Z racji, że nie przeprowadziliśmy badania na populacji (z racji np. ogromnych kosztów jego przeprowadzenia) chcemy metodami statystycznymi wyznaczyć poszukiwaną wartość na podstawie badania części populacji, tzw. próby badawczej. Wyniki naszego badania dostarczają nam średni poziom danej cechy, ale nie możemy na jego podstawie wywnioskować, że w całej populacji jest taka sama średnia wartość tej cechy. Wartość ta jest zbliżona do tej, wyliczonej z badania próby. Na ile jest ona zbliżona, nie wiadomo do końca, jednakże można wyznaczyć tzw. przedziały ufności dla poszukiwanej wartości. Na podstawie badania próby możemy wyznaczyć przedziały, w których z założonym prawdopodobieństwem (np. 95%) mieści się prawdziwa wartość poszukiwanej miary. 

Przykład: Badacz chciał sprawdzić jaki jest średni poziom inteligencji wśród polskich studentów. Przeprowadził badanie na pewnej próbie polskich studentów. W jego badaniu średni poziom inteligencji wyniósł 120. Za pomocą obliczeń statystycznych wykazał, że z 95% prawdopodobieństwem prawdziwy średni poziom inteligencji polskich studentów mieści się w granicach 112-128.

Badacz na podstawie badania (jeżeli nie bada całej populacji lecz tylko jej wycinek) nie może podać dokładnej wartości danej cechy w populacji. Aby mógł to zrobić musiałby przebadać wszystkich studentów (ale statystyka umożliwia nam wnioskowanie statystyczne na temat populacji na podstawie jedynie próby tej populacji). Badacz może natomiast z pewnym prawdopodobieństwem, np. 90%, 95%, 99% podać przedziały (nasze przedziały ufności), w których mieści się (znajduje się) poszukiwana przez badacza wartość. Jego badania wykazały, że prawdziwy poziom inteligencji polskich studentów mieści się pomiędzy 112 i 128 pkt. 

Oczywiście, założone prawdopodobieństwo może być dla nas nie wystarczające, 95% oznacza, że mamy 5% szans na pomylenie się w naszych badaniach (5% szans na to, że prawdziwa wartość średnia znajduje się poza wyznaczonym przedziałem). Jeżeli zwiększymy prawdopodobieństwo, np interesowałby nas poziom 99% to wyznaczony zakres ulegnie rozszerzeniu i na odwrót, jeżeli zmniejszymy prawdopodobieństwo, np. 90%, to zakres ulegnie zmniejszeniu. Kolejną wartością wpływającą na przedział ufności jest liczebność próby. Im nasze badanie jest przeprowadzane na większej liczbie osób, tym przedział ufności maleje. Jest to oczywiste z racji faktu, że większa liczba przebadanych osób to większa część badanej populacji, a im więcej wiemy tym mniej się mylimy (oczywiste).

W tym artykule posłużyliśmy się średnią. Jednakże przedziały ufności możemy wyznaczyć również dla innych miar, np. wariancja, odchylenie standardowe,współczynnika korelacji i innych.

Podsumowując, przedział ufności dostarcza nam zakresu (wartość od do), w którym z założonym prawdopodobieństwem znajduje się nasza poszukiwana wartość w populacji (w rzeczywistości, nie w jednostkowym badaniu próby).


Przedział ufności po odpowiednich transformacjach służy również do określania minimalnej ilości osób do badania - Kalkulator doboru próby

Tendencja statystyczna

W naukach społecznych zaczęto stosować termin: wynik na poziomie tendencji statystycznej. Takie wyniki oznaczają, że różnice nie są "do końca" istotne statystycznie, ale bliskie temu. Na ogół progiem tendencji statystycznej przyjęto próg 0,1. Istotność poniżej 0,1 a powyżej 0,05 oznacza różnice na pozimie tendencji statystycznej.

Choć nie można na ich podstawie wysuwać wniosków, to jednak takie wyniki wskazują na pewne zależności, które w innych warunkach, np. większa próba mogłyby być istotne statystycznie.