Poza eksperyment …

Problem trafności

w oparciu o materiały
prof. J. Karyłowskiego oraz
prof. A. Nowaka

Hasło: mil



Teorie oraz wyniki badań podstawowych
często dostarczają wstępnej perspektywy z
której można zacząć pojmować złożoność
problemów w warunkach naturalnych



Ale czy wyniki badań prowadzonych w
laboratorium (w wysoce kontrolowanych
warunkach) mogą być uogólniane na
konkretne problemy stosowane

Eksperyment laboratoryjny



Dostarcza środków, które pozwalają na
pełną kontrolę przedmiotu badania oraz



Zapewniają trafność wnioskowania o
zależnościach przyczynowo-skutkowych



Słaby model dla problemów np. stosowanej
psychologii zdrowia



Na ile jesteśmy przygotowani na rozwiązywanie
trudności badań w środowisku naturalnym

Kontrola

klucz do dobrego badania



Trzy modele kontroli



Od fizyków – izolowanie zjawiska od innych czynników,

które mogą wpływać na wyniki badania (uproszczony

model)



Od rolnictwa – losowy przydział jednostek do grup o

różnych warunkach eksperymentalnych



Fisher – zasada randomizacji gwarantuje początkową

równoważność grup pod względem wpływu możliwych, lecz

nieistotnych dla badania czynników



Opieranie się na tej zasadzie nie zawsze zapewnia dostateczną

równoważność grupy kontrolnej i eksperymentalnej



Od nauk społecznych – nie zawsze eliminacja innych

ważnych zmiennych jest możliwa



Za pomocą procedur statystycznych można eliminować

wpływ innych zmiennych



W badaniach epidemiologicznych – choroba wieńcowa a dieta

ważne aby wyeliminować wpływ innych zmiennych ……

Czyli spotkały się w
eksperymencie:



Manipulacja



Randomizacja



Kontrola zmiennych ubocznych



Zidentyfikowane



Rzetelnie mierzone



Znany jest ich związek ze zmienną
zależną

trafność

Dbajmy o podstawy do
weryfikacji hipotez

Trafność wnioskowania
statystycznego



Możliwość wykrycia przez badacza
związków między zmiennymi



Czyli dajmy sobie szansę poprzez



Moc planu badawczego



Spełnienie założeń testów
statystycznych

Moc planu badawczego



Zdolność do wykrywania zależności pomiędzy

zmiennymi, jeżeli takie rzeczywiście istnieją



Ryzyko popełnienia błędu II rodzaju



Gdy dużo badaczy, dostęp do studentów jako osób

badanych – niedoskonałe eksperymenty mogą być

zawsze poprawione i jeszcze raz przeprowadzone

z udziałem nowych badanych



Ale w badaniach stosowanych znacznie większe

koszty powtórnego badania



Dostęp do badanych ograniczony i trudny



Opłacanie udziału w badaniu stąd…..

często jest to jedyna możliwość sprawdzenia hipotez

Co zrobić?



Stosować rzetelne narzędzia pomiaru zmiennych



nie opierać się jedynie o skale 0-1, skale o znanej

rzetelności



Nadzorować przebieg badania



instrukcje dla eksperymentatorów



Mierzyć zmienne uboczne



ich wpływ potem można przy analizie statystycznej usunąć



Zwiększać jednorodność grup badanych



grupy heterogeniczne – większa wariancja błędu, szum

zakłócający nasze oddziaływanie;



pretesty



Zwiększyć liczebność próby w badaniach terenowych



to, co może być istotnym efektem w laboratorium, przy

badaniach terenowych testy statystyczne przy niewielkich

próbach mają małe szanse wykrycia istotnych i mocnych

związków.

o trafności wewnętrznej

Trafność wewnętrzna



Stopień w jakim zebrane dane
pozwalają stwierdzić, że to zmienna
niezależna a nie inne czynniki
odpowiedzialne są za poziom zmiennej
zależnej



Na ile uzyskany efekt może być przypisany
oddziaływaniu

Filozoficzne podstawy schematu
eksperymentalnego



Kanony J S Milla



jedna z najdoskonalszych metod

wykrywania zależności pomiędzy

zmienną niezależną a innymi

elementami badanego układu



pozwalające ustalać związki

przyczynowe między występowaniem

zjawisk, umożliwiają wyciągnięcie

ogólnych prawidłowości z

jednostkowych obserwacji.

Kanon jedynej zgodności



jeżeli zjawisko A występuje
zawsze wspólnie ze zjawiskiem B
lub je poprzedza, to A jest
prawdopodobnie przyczyną B,



Stosowanie kanonu zgodności napotyka na
poważną trudność w przypadku, który Mill
nazywa “wielością przyczyn”. To znaczy,
gdy ten sam skutek może (w różnych
wypadkach) wynikać z różnych przyczyn.

Kanon jedynej różnicy



A, B, C występuje K



¬A, B, D nie występuje K



¬A, C, D nie występuje K



Stąd wynika, że A jest prawdopodobną

przyczyną zjawiska K. Możemy stwierdzić,

że owa usunięta okoliczność jest przyczyną

badanego zjawiska.



Według kanonu jedynej różnicy w różnego

rodzaju eksperymentach, w których

każdorazowo zmieniamy tylko jeden warunek,

a inne pozostają bez zmian.



W ciągu ostatnich 200 lat śnieg
cztery razy topniał w Dolinie
Muminków wcześniej niż zwykle. Za
każdym razem, gdy topniał
wcześniej, nad Doliną przelatywała
kometa. Tak więc Tatuś Muminka – w
oparciu o Kanon ……….. – stwierdził,
że przelatująca kometa jest
przyczyną tego zjawiska



Paweł i Gaweł żyli w jednym domku (na

piętrze, bo parter wynajęli Smerfom). Obaj

byli narażeni na takie same dawki promieni

X. Paweł w tajemnicy przed Gawłem

otrzymuje od Smerfów halucynogenne

smerfojagody i spożywa je w szafie. Gaweł w

nocy świeci, Paweł – nie. Na tej podstawie, w

oparciu o Kanon ……., Papa Smerf

opublikował w Nature artykuł, w którym

stwierdza, że spożywanie smerfojagód chroni

przed chorobą popromienną.

Trafność wewnętrzna



Stopień w jakim badacz wyciąga
trafne wnioski o efektach zmiennej
niezależnej



Eksperyment jest wewnętrznie
trafny, jeżeli eliminuje wszelkie
źródła wariancji artefaktualnej



Nic nie może systematycznie
różnić grup poza maniupulacją

Zagrożenia dla trafności
wewnętrznej



Związane ze schematem z powtarzanym

pomiarem



Dojrzewanie



Historia



Związane z pomiarem zmiennych



Testowanie



Zmiana narzędzia pomiaru w trakcie badania



Efekty oczekiwania badacza



Zlepienie zmiennych



Związane z doborem próby



Regresja do średniej



Selekcja oparta o ochotników



Systematyczne wypadanie z grup

o trafności teoretycznej
badania

Poziomy zmiennych zależnej i
niezależnych



Poziom teoretyczny



Definiujemy ogólne konstrukty teoretyczne oraz

relacje przyczynowo-skutkowe



Poziom operacyjny



Dobór wskaźników; miar



Trafność teoretyczna (konstruktów) - w

jakim stopniu użyte wskaźniki empiryczne

(definicje operacyjne) można uznać za

dobre zobrazowanie pojęć teoretycznych

(konstruktów).

Pomiar i manipulacja



Zmienna zależna jest zawsze
mierzona



Zmienna niezależna może być
manipulowana lub mierzona



Podstawą pomiaru lub manipulacji
jest definicja operacyjna
konstruktu teoretycznego

Definicja operacyjna



Obserwowalny sposób pomiaru
lub manipulacji



Sposób na to jak zmierzyć
pojęcie teoretyczne (konstrukt)
lub jak nim zamanipulować

Operacjonalizacja



Zmienne obserwowalne vs. zmienne latentne



Operacjonalizacja

- Z poziomu opisu

teoretycznego przechodzimy na poziom
empirii.

=> tworzenie/ dobór wskaźników do pomiaru
zmiennych.
=> określenie narzędzi pomiarowych oraz
procedur pomiaru.

Na podstawie wyników

otrzymanych z tych narzędzi będziemy
wnioskować o wartości zmiennej

.

Wskaźniki



Wskaźnikiem jest zdarzenie (własność),

którego wystąpienie pozwala wnioskować z

pewnym prawdopodobieństwem o innym

zdarzeniu/ własności (indicatum).



Wskaźnik zawsze musi być obserwowalny /

mierzalny. Zmienna (zjawisko

wskaźnikowane) może być nieobserwowalna.



Klasyfikacja wskaźników:



Empiryczne



Definicyjne



Inferencyjne

„

Narzekanie i jego konsekwencje dla

ekspresji zadowolenie i
niezadowolenia”

Autor: Iwona Babirecka
Promotor: Prof. dr hab. Bogdan

Wojciszke

Idea badania



Założenie: osoby, które mają dużą

skłonność do narzekania na skutek

częstego wyrażania niezadowolenia

tracą zdolność do wnioskowania

o doświadczanych emocjach z własnej

ekspresji mimicznej.



Strack, Martin i Stepper (1988)

wykazali, że własna ekspresja

mimiczna może być czynnikiem

wpływającym na formułowanie ocen.

hipotezy



istnieje różnica pomiędzy osobami, które

mają wysoką i niską skłonność do

narzekania w sposobie odczytywania

własnej ekspresji mimicznej;



osoby, które uzyskują niskie wartości na

skali narzekania będą bardziej podatne

na manipulację eksperymentalną

zgodnie z jej kierunkiem;



płeć jest czynnikiem wpływającym na

sposób odczytywania własnych emocji.

Schemat badania:



Zmienne niezależne:



2x2



(skłonność do narzekania: niska -
wysoka) x (ekspresja emocji sterowana
sposobem trzymania ołówka:
negatywna-pozytywna)



Zmienna zależna:



ocena śmieszności dowcipów
rysunkowych

definicje



„Narzekanie to wyrażanie
niezadowolenia, faktycznie
odczuwanego lub nie, celem
rozładowania emocji lub osiągnięcia
jakiś osobistych celów”



(Leary, Kowalski, 2001, s. 158).

Wojciszke i Baryła (2001)



wyrażanie niezadowolenia jest przejawem
akceptacji norm społecznych
obowiązujących w naszej kulturze.



1. Norma negatywności własnych stanów, na
którą składa się norma złego samopoczucia,
niezadowolenie z własnego życia, depresyjność i
występowanie efektu raju utraconego.



2. Norma negatywności świata społecznego,
gdzie decydującym elementem jest wiara w
niesprawiedliwość świata społecznego,
obwinianie innych ludzi za własne porażki oraz
ogólne przekonanie, że świat jest zły.

Metoda



Osoby badane



Zbadałam studentów pierwszego roku

psychologii Szkoły Wyższej Psychologii

Społecznej. Była to grupa 100 osób w wieku 18-

26 lat, o średniej wieku 19,83 lat (SD = 1,51).

Cztery osoby nie wypełniły precyzyjnie

wszystkich punktów dołączonego do badania

kwestionariusza, dlatego nie użyłam ich wyników

w dalszych obliczeniach statystycznych.

Ostatecznie analizowałam wyniki 96 osób,



w tym 74 kobiet i 22 mężczyzn.

Instrukcja



„ Na początku chciałabym powiedzieć o specyfice i przebiegu

naszego badania, abyś mógł /-ła zdecydować, czy chcesz

wziąć w nim udział. Ze względu na krótki czas, którym

dysponujemy nie powiem teraz o jego tematyce i celach.



Dane te zostaną przekazane w informacji zwrotnej po

zakończeniu całego projektu. Informacja będzie oparta na

wynikach całej grupy przebadanych osób i zostanie przesłana

pocztą elektroniczną, ponieważ badanie ma charakter

anonimowy. Badanie trwa około 15 min. Składa się z trzech

części. Przed każdą z nich otrzymasz krótką informację na

temat jej wykonania. Pierwsza z nich polega na obejrzeniu i

oszacowaniu śmieszności 12 obrazków przy jednoczesnym

utrzymywaniu w ustach ołówka. Druga to wypełnienie

kwestionariusza treści rozmów codziennych. Trzecia to

uzupełnienie skali opinii o świecie społecznym. Jeżeli

wyrażasz zgodę na udział w badaniu, możemy przystąpić do

jego pierwszej części.”

Jak poprawić trafność
teoretyczną



Sprawdzenie trafności operacjonalizacji
zmiennej niezależnej - Test manipulacji
eksperymentalnej i czynników zakłócających



Sprawdzenie trafności operacjonalizacji
zmiennej zależnej:



wprowadzenie innych wskaźników tego samego
konstruktu:



Wysoka korelacja z innymi wskaźnikami tych samych
konstruktów

trafność zbieżna



Brak korelacji z wskaźnikami innych konstruków
teoretycznych

trafność rozbieżna

Próba poprawienia
trafności wewnętrznej



Gdy oryginalne badanie nie było
eksperymentem



Gdy sądzimy, że oryginalne badanie
eksperymentalne było w sposób
systematyczny „zanieczyszczone”
dodatkowymi zmiennymi (pokrywanie się
zmiennych)



Zwykle wiąże się ze zmniejszeniem
trafności zewnętrznej lub/i trafności
konstruktów

o trafności zewnętrznej

W jakim stopniu
stwierdzone wyniki można
uogólnić na inne
zbiorowości, sytuacje?

Trafność zewnętrzna



Określa w jakim stopniu można
uogólnić wyniki otrzymane w
badaniu na populację



reprezentatywność próby



metody doboru próby



reprezentatywność sytuacji
badawczej



trafność narzędzi pomiaru

Losowy błąd pomiaru



Żaden pomiar nie jest idealny!
Każdy pomiar (i każdy dobór do
grup) obciążony jest błędem
losowym!



Błąd losowy nie jest
systematycznie związany ze
zmienną niezależną

Przykłady błędu losowego w
badaniu o narzekaniu



Badany nie zrozumiał pytania w kwestionariuszu



Badacz pomylił się obliczając lub wpisując wyniki



Niektórzy badani odpowiadali na pytania tak by nie
przyznać się narzekania

Systematyczny błąd
pomiaru



W systematyczny sposób
związany ze zmienną niezależną
(np. prowadzący do zawyżania
wyników w grupie
eksperymentalnej bardziej niż w
grupie kontrolnej lub odwrotnie)

Przykłady błędu systematycznego



Badani domyślali się hipotezy i starali się

pomóc badaczowi



Badacz tendencyjnie mylił się obliczając lub

wpisując wyniki zawyżając wyniki dla

nienarzekających



i….

Błąd losowy a błąd
systematyczny

Błąd losowy

Błąd systematyczny

Nieunikniony

Unikniony (zwł. w badaniach
eksperymentalnych)

Stosowanie statystycznych
testów istotności zabezpiecza
(z określonym prawd.) przed
popełnieniem błędu

pierwszego rodzaju

Stosowanie statystycznych
testów istotności nie
zabezpiecza przed
popełnieniem błędu

pierwszego rodzaju

Zwiększenie liczebności próby
zapobiega popełnieniu błędu

drugiego rodzaju

Zwiększenie liczebności próby
nie zapobiega popełnieniu

błędu drugiego rodzaju

Nie zagraża trafności
wewnętrznej

Zagraża trafności wewnętrznej

eksperyment



Dobór losowy i manipulacja
eksperymentalna



Wysoka trafność wewnętrzna



Niska trafność konstruktów



Niska trafność zewnętrzna

Preferencje



Teoretycznie zorientowane
eksperymenty laboratoryjne

1.

Trafność wewnętrzna,

2.

Trafność teoretyczna zmiennej
niezależnej i zależnej

3.

Trafność wnioskowania
statystycznego

4.

Trafność zewnętrzna

badanie korelacyjne



Brak doboru losowego do grup



Brak manipulacji
eksperymentalnej



Niska trafność wewnętrzna



Wysoka trafność konstruktów



Wysoka trafność zewnętrzna

Preferencje



Badania stosowane

1.

Trafność wewnętrzna,

1.

Chętniej z niej rezygnują na korzyść
trafności zewnętrznej

2.

Zewnętrzna trafność zmiennej zależnej

3.

Trafność wnioskowania statystycznego

4.

Zewnętrzna trafność zmiennej
niezależnej