Trafność
Trafność hipotezy
Trafność badania
Trafność rezultatu Trafność decyzji badacza
Trafne
Trafny
Trafna (akceptacja
Trafna
trafnej hipotezy)
Nietrafne
??
Nietrafna – błąd A
(odrzucenie trafnej
hipotezy)
Trafne
Trafny
Trafna (odrzucenie
nietrafnej
Nietrafna
hipotezy)
Nietrafne
??
Nietrafna – błąd B
(akceptacja nietrafnej
hipotezy)
Populacja
Dobór próby
Badanie naukowe
Próba
Rezultat
badawczy
Trafność wewnętrzna
1
Eksperyment trafny wewnętrznie to taki, który pozwala wyeliminować alternatywne (do ujętych w hipotezie
badawczej) wyjaśnienia zaobserwowanej zmienności
zmiennej zależnej.
Warunek niezbędny.
Trafność wewnętrzna
1.
Czy plan i schemat eksperymentu jest adekwatny dla weryfikowanej hipotezy?
2.
Czy kontrolowane są wszystkie zmienne niezależne
uboczne i zakłócające mogące mieć wpływ na
zachowanie się osób badanych podczas eksperymentu?
Trafność zewnętrzna
•
Odnosi się do zakresu wniosków formułowanych na
podstawie wyników uzyskanych z badania
eksperymentalnego.
•
Dotyczy zakresu generalizacji (uogólniania) tych
wniosków.
2
Trafność zewnętrzna zależy od:
1.
Reprezentatywności próby względem populacji.
2.
Typowości warunków badania względem warunków
pozaeksperymentalnych.
3.
Prawidłowego odtworzenia zakresów zmiennych
w trakcie operacjonalizacji.
4.
Zachowania kontekstu historycznego, czyli odstęp
czasowy między eksperymentem a uogólnieniem
wyników nie jest zbyt duży.
Schematy klasyczny
Schemat klasyczny
E
P1
x
P2
K
P3
P4
H: Regularne uczestniczenie w grupie wsparcia
obniża poziom stresu u strażaków.
Pretest/ posttest -> kwestionariusz + badanie krwi Czas trwania: styczeń – czerwiec
Spotkania: raz w tygodniu
W analizach nie uwzględniono osób, które opuściły więcej niż 6 spotkań.
3
Eksperyment trafny wewnętrznie to taki, który pozwala wyeliminować alternatywne wyjaśnienia zaobserwowanej zmienności zmiennej zależnej.
Czynniki zakłócające trafność
wewnętrzną
Historia (zmiany zewnętrzne) – wszystkie wydarzenia zachodzące w środowisku podczas eksperymentu, które mogą wpłynąć na wystąpienie lub wielkość zmiany eksperymentalnej.
Im dłuższy okres między pretestem i posttestem lub między bodźcem a pomiarem, tym bardziej prawdopodobne, że na osoby badane zadziałają inne zmienne z kontekstu
zewnętrznego, w którym zanurzone jest prowadzone badanie.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Dojrzewanie (trend) – zmiany następujące w miarę upływu czasu bez udziału czynników zewnętrznych
• Źródłem zmian jest organizm osoby badanej (procesy biologiczne, psychologiczne).
• Naturalne procesy związane z dojrzewaniem fizjologicznym i psychologicznym osób badanych, których oddziaływanie może wzmacniać albo osłabiać działanie zmiennej niezależnej.
• Czynnik ten dotyczy szczególnie badań z udziałem dzieci i prowadzonych przez dłuższy czas.
Ma wpływ? Jak kontrolować?
4
wewnętrzną
Selekcja – stronniczy dobór osób do grup badanych może zwiększyć prawdopodobieństwo potwierdzenia hipotezy badawczej (pseudoefekt postępowania eksperymentalnego).
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Testowanie – inaczej wpływ pretestu – wykonanie pretestu może m.in. aktywizować poznawczo osoby badane, a także
zmniejszać lęk i oswajać z procedurą.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Instrumentacja – obejmuje wszystkie zmiany w procedurze badania; wszelkie zmiany narzędzi pomiarowych, procedur ich stosowania i obliczania wyników.
• Też zmiana doświadczenia osób stosujących te narzędzia oraz zmianę osób dokonujących pomiarów.
Ma wpływ? Jak kontrolować?
5
wewnętrzną
Regresja statystyczna – tendencją do podwyższania w postteście skrajnie niskich wyników i obniżania skrajnie wysokich wyników, uzyskanych przez osoby badane w preteście.
• Wyniki mają tendencję do uśredniania się bez jakiegokolwiek wpływu bodźca.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Utrata osób badanych – zmiana liczebności grup porównawczych, wynikająca np. ze zmiany miejsca
zamieszkania osoby badanej lub z odmowy dalszej współpracy z badaczem.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
• Interakcja selekcji z historią.
• Interakcja selekcji z dojrzewaniem.
• Interakcja selekcji z instrumentacją.
Ma wpływ? Jak kontrolować?
6
wewnętrzną
Przenikanie informacji związanych z postępowaniem eksperymentalnym z grupy do grupy – ma miejsce, gdy nie można fizycznie odseparować osób z grupy
eksperymentalnej i kontrolnej (dotyczy w szczególności eksperymentów terenowych).
• Osoby z grupy eksperymentalnej mogą przekazywać
osobom z grupy kontrolnej informacje o „oczekiwanym”
lub „prawidłowym” zachowaniu, o oczekiwaniach badacza.
• Mogą ulec zatarciu różnice między grupami, które miały tłumaczyć zmienność zmiennej zależnej.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Kompensujące, programowe zróżnicowanie grup
porównawczych, wyrównanie ich traktowania – jeżeli grupa eksperymentalna potraktowana została przez badacza w sposób postrzegany przez społeczność lokalną jako wyróżniający jej członków, to społeczność ta może nie zaakceptować tej „dyskryminacji” i dążyć do zniesienia różnic międzygrupowych.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
wewnętrzną
Kompensowanie mniej pożądanych warunków i spowodowanie tym rywalizacyjnych zachowań osób badanych – jeżeli postępowanie eksperymentalne postrzegane jest jako wyróżniające osoby z grupy eksperymentalnej, to może to wywołać zachowania rywalizacyjne u osób z grupy kontrolnej.
• Pokazanie, że są one równie dobre, jak osoby z grupy eksperymentalnej.
• Efektem może być zmniejszenie różnic między grupami.
• Szczególnie ważne w badaniach budzących duże
zainteresowanie społeczne.
Ma wpływ? Jak kontrolować?
7
wewnętrzną
Obrażanie się osób badanych, które znalazły się w mniej pożądanych warunkach – osoby z grupy kontrolnej mogą demonstrować swoją niechęć wobec eksperymentatora
i zachowywać się specjalnie gorzej, poniżej swoich możliwości.
Efektem może być powiększenie różnic między grupami.
Ma wpływ? Jak kontrolować?
Jeżeli kontrolujemy lub eliminujemy wpływ czynników zakłócających trafność wewnętrzną
to zwiększamy prawdopodobieństwo, że
zaobserwowana zmiana jest
efektem działania zmiennej
niezależnej głównej na zmienną
zależną.
Trafność zewnętrzna
Wnioski, sformułowane na podstawie wyników eksperymentu trafnego zewnętrznie, można uogólniać na populację.
8
E
P1
x
P2
K
P3
P4
H: Regularne uczestniczenie w grupie wsparcia
obniża poziom stresu u strażaków.
Pretest/ posttest -> kwestionariusz + badania krwi Czas trwania: styczeń – czerwiec
Spotkania: raz w tygodniu
W analizach nie uwzględniono osób, które opuściły więcej niż 6 spotkań.
Trafność zewnętrzna zależy od:
1.
Reprezentatywności próby względem populacji.
2.
Typowości warunków badania względem warunków
pozaeksperymentalnych.
3.
Prawidłowego odtworzenia zakresów zmiennych
w trakcie operacjonalizacji.
4.
Zachowania kontekstu historycznego, czyli odstęp
czasowy między eksperymentem a uogólnieniem
wyników nie jest zbyt duży.
Czynniki zakłócające trafność
zewnętrzną
Interakcja selekcji z postępowaniem eksperymentalnym –
nie respektowanie zasad randomizacji może doprowadzić do tego, że w grupie eksperymentalnej znajdą się osoby bardziej podatne na postępowanie eksperymentalne niż w populacji, o której zakładamy, że pochodzi z niej badana próba; natomiast w grupie kontrolnej osoby mniej podatne.
Ma wpływ? Jak kontrolować?
9
zewnętrzną
Interakcja warunków badania z postępowaniem
eksperymentalnym – warunki, w których przeprowadzany jest eksperyment są różne od tych, na które będą
uogólniane rezultaty.
• Badania prowadzone w uczelnianych klinikach, mogą dać inne wyniki niż badania w zwykłych szpitalach.
• Może prowadzić do zafałszowania rzeczywistej siły oddziaływania eksperymentalnego.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
zewnętrzną
Interakcja historii z postępowaniem eksperymentalnym –
badania prowadzone w czasie absorbującym osoby badane (np. przemiany polityczne, ważne zdarzenia społeczne) mogą mieć inne wyniki niż badania prowadzone w mniej absorbujących czasach.
Ma wpływ? Jak kontrolować?
Czynniki zakłócające trafność
zewnętrzną
Interakcja pretestu z postępowaniem eksperymentalnym –
pretest może zmienić zachowanie osób badanych
i w konsekwencji efekt postępowania eksperymentalnego nie będzie reprezentatywny dla całej populacji.
Ma wpływ? Jak kontrolować?
10
bodziec
Posttest
E
P1
x
P2
K
P3
P4
Pretest
Miara siły bodźca
d = (P -P ) - (P -P )
2
1
4
3
Schemat klasyczny
Zalety
Wady
• Kontroluje większość
• Trudno dobrać dwie takie
czynników zakłócających
same grupy.
trafność, z wyjątkiem interakcji
pretestu z postępowaniem
• Może wystąpić negatywny
eksperymentalnym
wpływ pretestu.
• Umożliwia porównania
wewnątrzgrupowe, czyli
określić wielkość dokonanej
zmiany.
11