Konceptualizacja to „proces, w toku którego określamy, co mamy na myśli używając danego terminu w badaniach” [Babbie 2003: 144], „polega na uściśleniu i udoskonaleniu abstrakcyjnych pojęć” [Babbie 2003: 153]

Operacjonalizacją nazywa się proces tworzenia „konkretnych procedur badawczych, które pozwolą na dokonanie empirycznych obserwacji odpowiadających tym pojęciom w świecie rzeczywistym” [Babbie 2003: 153], ukierunkowana jest na „pomiar”

„definicje operacyjna” - definicja danego pojęcia w kontekście jego pomiaru

Wskaźnik - podejście klasyczne Stefana Nowaka i Tadeusza Pawłowskiego

„własność A jest wskaźnikiem własności B, jeżeli własności te łączy jakiś stały związek o charakterze bezwyjątkowym lub statystycznej regularności (…) własności A i B nie musza przysługiwać temu samemu podmiotowi” [Pawłowski 1969: 175]

„takie zdarzenie (…) W, że stwierdzenie jego (…) istnienia, pojawienia się lub stopnia intensywności bądź faktycznie jest wykorzystane jako przesłanka, bądź zasadnie nadaje się na przesłankę wnioskowania, iż w określonych przypadkach z pewnością, z określonym prawdopodobieństwem lub przynajmniej wyższym niż przeciętnie wystąpiło zdarzenie (…) Z” [Nowak 1985: 165].

• Zjawisko nieobserwowalne lub trudno obserwowalne, o którym chcemy wnioskować nazywać będziemy indicatum ( na tę cechę wskazuje wskaźnik). Wskaźnikiem nazywać będziemy takie zjawisko obserwowalne którego wystąpienie pozwala z dostatecznie dużym prawdopodobieństwem stwierdzić, że zaszło również indicatum.

• Wymiar - możliwy do wyszczególnienia aspekt pojęcia do niego dobieramy wskaźniki

• Zasada wzajemnej wymienialności wskaźników

• Zalecenia doboru wskaźników

1. efektywność - skuteczność najlepszy z możliwych, trafny i rzetelny

2. ekonomiczność

Rodzaje wskaźników

Wskaźnik empiryczny np. słupek rtęci w termometrze (korelacyjne)

Wskaźnik definicyjny - np. wskaźnik poparcia społecznego, zdefiniowany i mierzony ilością oddanych głosów - zawsze trafny

Wskaźnik inferencyjny (wynik testu jako wskaźnik inteligencji). Indicatum ma tu charakter z założenia nieobserwowalny. Jest konstruktem teoretycznym, pojęciem którego istnienie może być przez innych badaczy negowane. Wskaźnik nie wprost.

pomiar cech jawnych - wskaźniki definicyjne + inferencyjne

pomiar cech ukrytych (latentnych) - wskaźniki inferencyjne + skale

Pomiar - takie przypisanie elementów matematycznych elementom empirycznym, że relacje między elementami empirycznymi były odzwierciedlone w systemie matematycznym.

Poziomy pomiaru (nominalny - coś jest nierówne, zmienna 0-1, policzenie średniej - proporcji; porządkowy - coś jest różne ale nie ma odległości, np. skala Likerta; interwałowy, ilorazowy)

• Łączenie baz (w razie konieczności)

• Przekształcanie baz (w razie konieczności)

• Etykietowanie

• Czyszczenie baz (wykrywanie i usuwanie błędów w kodowaniu)

Gromadzenie opinii i ocen w kwestionariuszach sondażowych - szacunkowe skale ocen

Skala - rezultat postępowania badawczego określającego pozycję respondentów na kontinuum mierzonej cechy ukrytej (np. postawy, czy zadowolenia)

Zarówno skala jak i indeks pozwalają na syntetyczne ujęcie wielu wskaźników za pomocą jednego wyniku.

Skala szacunkowa (rating scales) - „Każde narzędzie stosowane przez sędziego przy dokonywaniu ocen” (Reber). Za jego pomocą przechodzimy od danych jakościowych do ilościowych.

Zwiększenie obiektywności informacji

Możliwość porównań interindywidualnych

Intraindywidualnych

Narzędzie stosowane przez sędziego przy dokonywaniu ocen - ze względu na podanie kategorii z przypisanymi wartościami liczbowymi

Musi być definicja badanego zjawiska - informacja o jednorodności/różnorodności

wskaźniki

3 elementy:

• [1] sędziowie dokonujący szacunku;

• [2] zjawiska szacowane;

• [3] continuum (cecha), wzdłuż którego jednostki są umiejscawiane na podstawie szacunków.

Obrazujemy continuum przez:

• technika graficzna (skala graficzna)

• technika numeryczna (punktowa): przydzielanie punktów, np. od 0 do 100

• technika opisów słownych

Metody porządkowania

• Porównywanie parami

• Ranking

• Klasyfikowanie do uporządkowanych kategorii

Metody oceniania:

1. Liczbowe

2. Obrazkowe

3. Werbalne

Metody szacunków ilościowych:

1. Bezpośrednie oceny ilościowe (ograniczone i nieograniczone)

2. Metoda stałej sumy

Kryteria podziału skal szacunkowych

1. Sposób prezentacji skali

1. skale kategorialne

2. skale numeryczne

3. skale graficzne

2. Sposób opisu kategorii

1. z opisanymi punktami krańcowymi

2. z opisanymi wszystkimi punktami

3. Charakter skali

1. skale jednobiegunowe

2. dwubiegunowe

Kiedy skala a kiedy indeks?

Indeks - „Tworzymy przez proste zsumowanie wyników przypisanych poszczególnym wartościom” (E. Babbie)

„pozycja respondenta jest wynikiem sumowania wyników uzyskanych przez niego na skali (arbitralny charakter skali) - tzw. indeksy postaw” (A. Sagan)

Jest uproszczeniem skali - zsumowanie wyników, wskaźników.

Mierzy subiektywny konstrukt.

Skala - „przypisujemy określony wynik punktowy pewnym układom odpowiedzi” innymi słowy ustalamy ważność (wagę) poszczególnych pozycji (E. Babbie)

„pozycja respondenta jest wynikiem określonych procedur matematycznych transformujących wyniki surowe do np. wartości czynnikowych - tzw. skala postawy” (A. Sagan)

Etapy konstruowania skal

• Definicja ukrytej cechy

• Wybór procedury skalowania (model pomiarowy) np. Skala Likerta, Guttmana

• Tworzenie pozycji skali (pozycja to wskaźnik cechy ukrytej - są ekwiwalentne względem siebie)

• Ocena jednowielowymiarowości i rzetelności skali (analiza jednowymiarowości: korelacja pozycja a skala, konfirmacyjna i eksploracyjna analiza czynnikowa, analiza rzetelności: współczynnik L Cronbacha)

Wybór pozycji do skali

1. Względnie krótkie kategorie opisowe

2. Język prosty, jednoznaczny, nie ogólnikowy (nie używamy zwrotów: wszystko, zawsze, nigdy, tylko, właśnie, zaledwie, podwójnych przeczeń, żargonu, języka naukowego)

3. Opis zgodny z nazwą danej cechy (trafny)

4. Opisy dotyczą zachowań aktualnych a nie z przeszłości lub przyszłości

Etapy konstruowania indeksów

• Konceptualizacja indeksu (+ dobór pytań)

• Trafność fasadowa, jednowymiarowość, zmienność

• Badanie powiązań między pytaniami

• Wskaźniki skutkowe a przyczynowe

• Punktacja indeksu

• Walidacja indeksu

• w. wewnętrzna, zewnętrzna

Najczęstsze błędy konstrukcji:

• Błąd ujemnej lub dodatniej łagodności - dotyczy pytań wobec których istnieje prawdopodobieństwo, że respondenci będą dane pytanie oceniać ogólnie zbyt pozytywnie lub negatywnie. Błędu tego da się uniknąć przez stosowanie skal niezrównoważonych

• Błąd tendencji centralnej - umieszczanie przez respondentów oszacowań w środkowym obszarze skali. Można wówczas zwiększyć liczbę kategorii lub optycznie zwiększyć przerwy między pozycjami skali.

• Błąd bliskości - podobne oszacowania na skalach umieszczonych blisko siebie. Należy wówczas umieścić odpowiednie skale w różnych miejscach kwestionariusza

• Efekt halo - uogólnianie dodatnich lub ujemnych ocen poszczególnych cech (postaw, obiektów) na pozostałe cechy. Zastosować należy losowe rozmieszczenie skal

Zasady budowy indeksów cząstkowych

Aktualna wartość - wartość minimalna

Indeks =

Wartość max - wartość minimalna

Skala a indeks. Walidacja skal

Skala a indeks (i ich konsekwencje w badaniu rzetelności)

2 sposoby interpretacji relacji konstrukt a wskaźnik.
Wskaźniki refleksyjne (reflective indicators) - SKALA

Klasyczna teoria testu i analiza czynnikowa

Zestaw wskaźników tworzy skalę pomiarową konstruktu. Rzeczywiście istnieje zmienna ukryta, której istnienie przejawia się w konkretnych wskaźnikach

Wskaźniki formatywne (formative indicators) INDEKS

Konstrukt formowany jest (tworzony) przez kombinację zmiennych obserwowalnych np. analiza głównych składowych (gdzie składowe główne traktowane są jako liniowa kombinacja zmiennych obserwowalnych)

Wskaźniki skutkowe /wynikowe/ - wyniki konstruktu

Np. zadowolenie z zakupu skutkuje deklaracją ponownego zakupu

Korelacja między wskaźnikami musi być wysoka, dodatnia

Wskaźniki przyczynowe - przyczyna konstrunktu

Np. zawód, płeć, dochód są wskaźnikami statusu społeczno ekonomicznego

Korelacja różna

Skala ważności-zadowolenia (IPA)

• Technika wizualizacji ocen ważności (istotności) i zadowolenia z pewnych produktów, usług.

ważność pole koncentracji pole podtrzymania dobrych praktyk

pole błahostek pole przesadnej dbałości

zadowolenie

• Najważniejszą kwestią jest określenie położenia linii referencyjnych trzy możliwości:

1) podział na równe pole skrócenie skal

2) punkt przecięcia wyznaczony przez wartości średnich empirycznych

3) punkt przecięcia wyznaczony przez wartości średnich teoretycznych

• Podział na równe pole skrócenie skal

• Punkt przecięcia wyznaczony przez wartości średnich empirycznych

• Punkt przecięcia wyznaczony przez wartości średnich teoretycznych

• Ważną kwestią jest określenie rozproszenia ocen odchylenie standardowe

Skala dyfernencjału semantycznego

• Jest to n-punktowa graficzna skala szacunkowa (najczęściej 7-punktowa) z punktami końcowymi, będącymi przeciwstawnymi cechami (dwubiegunowość).

TESCO jest:

Drogie :--:--:X:--:--:--:--: Tanie

Przyjazne :--:--:--:--:X:--:--: Nieprzyjazne

Nierzetelne :--:X:--:--:--:--:--: Rzetelne

Nowoczesne :--:--:--:--:X:--:--: Staroświeckie

Walidacja skali - jednowymiarowość
Uwaga!!! Skala nie zawsze musi być jednowymiarowa (jeśli np. teoria zakłada, że ma 2 wymiary)

Analiza macierzy korelacji między pozycjami:

• Analiza korelacji pozycja a skala ( nie umożliwia oceny wpływu czynników zewnętrznych skorelowanych z ocenianym czynnikiem)

• Eksploracyjna analiza czynnikowa (wstępna i rozpoznawcza technika, gdy nie mamy modelu)

• Konfirmacyjna analiza czynnikowa (najlepsza do oceny skal:

• umożliwia oszacowanie błędów pomiarowych dla wskaźników,

• stopnia korelacji między czynnikami,

• sprawdza, czy model i teoria pasują do danych, czy to ma sens)

Walidacja skali - rzetelność (dokładność z jaką skala mierzy to co mierzy)

Oceniana zawsze po walidacji wymiarowości!!!!

• Badanie stabilności pomiarów dokonanych w 2 okresach czasu

Test - retest (ok. 2 tygodnie - miara zgodności to np. współczynnik korelacji R - Kendalla)

• Współczynnik α (Alpha) Cronbacha (uwaga!!! Jego wartość zależna jest od: korelacji między pozycjami i od liczby pozycji!!!) Jest dolną granicą rzetelności estymatora rzetelności skali. Przyjmuje wartości od 0 do 1. Już wartość 0.6 wskazuje na satysfakcjonującą rzetelność.

α = (k / k-1)(1 - Σσ_i²/ σ_t² )

k - liczba pozycji w skali

σ_t² - całkowita wariancja skali

σ_i² - wariancja pozycji i

• Alfa if item deleted

Rodzaje trafności

• t. teoretyczna,

• t. kryterialna (przewidywanie kierunku korelacji ze względu na inną cechę),

• prognostyczna

Analiza spójności wewnętrznej skali

1. Test połówkowy (split-half) - analiza korelacji między dwoma połówkami testu przy pomocy współczynnika R Pearsona

2. Analiza korelacji między poszczególnymi pozycjami skali

3. Korelacja ze skalami `alternatywnymi' (t. zbieżna - korelacja między dwoma podobnymi skalami; t. dyskryminacyjna - ujemna korelacja między skalami mierzącymi przeciwstawne cechy)

Kompleksowe podejście do walidacji skali

Dwa podejścia do konstrukcji skal:

Analiza głównych składowych (eksploracja i tworzenie skal) a Analiza czynnikowa (walidacja skal)

Co to jest wariancja i co ma wspólnego z analizą czynnikową?
Wariancja wspólna a wariancja swoista zmiennej.

Wariancja - średni kwadrat odchylenia wartości od średniej; wpływają na nią wartości skrajne

Wariancja wspólna dla dwóch zmiennych:

• Tak samo zmienia się dla obu zmiennych

• Możemy prognozować ze zmian jednej zmiennej o drugiej zmiennej

Wariancja swoista - tylko jedna zmienna, nie dzieli z inną zmienną

wariancja właściwa

Kowariancja - miara współzmienności 2 zmiennych.

Jest to miara współzmienności 2 zmiennych pozostających w związku liniowym. Pokazuje stopień w jakim dana zmienna wykazuje tendencję do liniowej współzmienności z 2 zmienną. Kowariancja zmiennej z nią samą jest jej wariancją

Cov(X,Y) = Σ[(xi - xśr)(yi - yśr)] / N - 1

Korelacja to kowariancja między zmiennymi standaryzowanymi.

unormowana

r(X,Y) = Σ[(xi - xśr)(y - yśr)] / (N - 1)SxSy

- mierzy siłę związku liniowego między 2 zmiennymi

- przyjmuje wartości od -1 do 1

- nie decyduje o przyczynowości !! a tylko o współzmienności.

Każda zmienna standaryzowana ma odchylenie standardowe =1

Średnią = 0

ANALIZA GŁÓWNYCH SKŁADOWYCH

CEL:

1.Redukuje przestrzeń danych zachowując max informacji ze zbioru wejściowego. Redukuje wszystkie zmienne obserwowalne do jednej zmiennej ukrytej.

2. Tworzy nowe zmienne (czynniki) nie skorelowane ze sobą, które następnie możemy użyć w analizie regresji. Analiza regresji - prognoza jednej zmiennej na podstawie innych zmiennych (np. o zarobkach na podstawie płci i statystyki z pracy). Możemy obliczyć pozycję na konstrukcje ukrytym

3. Pozwala na graficzną prezentację zbioru danych na płaszczyźnie

Celem naszym jest wyjaśnienie całkowitej wariancji wszystkich naszych zmiennych!!!

Kiedy używamy?

1. Brak nam teorii opisującej relacje

2. Chcemy tylko i wyłącznie eksplorować zbiór danych

3. Mamy niewielką wariancję specyficzną, szczególnie tą wynikającą z błędu

4. Gdy analizujemy dużo (mocno) skorelowanych zmiennych

5. Gdy chcemy wyliczyć nieskorelowane składowe, które następnie użyć możemy w modelu regresyjnym

6. Chcemy wyliczyć jednoznaczne wartości skal dla poszczególnych respondentów w oparciu o wymiary

Sposób konstruowania skali

Skala oparta na czynniku - powstaje w oparciu o proste zsumowanie wartości zdobytych na pozycjach skali, które uprzednio zostały wybrane w oparciu o analizę czynnikową

Skala czynnikowa (składowa) - Wyliczamy jednoznacznie wartości skal reprezentujących wymiary.

Składowa - liniowa kombinacja zmiennych

Odzwierciedla całość wariancji - wspólną i specyficzną

Reprodukcja wariancji i korelacji między zmiennymi

Czynnik - wspólna wariancja

Reprodukcja korelacji między zmiennymi

Zmienna leżąca u podstaw zmiennych obserwowalnych

KROK PO KROKU

1. Co zrobić z brakami ?

2. Obliczamy i oglądamy macierz korelacji

3. Usuwamy zmienne nieskorelowane

4. Ile czynników zostawić w analizie?

5. Czy poprawiać nasz model? (rotowanie)

Określenie liczby czynników

• Kryterium Kaisera (każda nowa zmienna ukryta powinna wyjaśniać zmienność co najmniej jednej zmiennej wejściowej - jej wariancja musi być zatem większa od 1)

• Kryterium Jolliffe (błąd losowy może zaniżyć wartość własną głównej składowej stąd 0.7 jest w sam raz)

• Wystarczającej proporcji wyjaśnionej wariancji np. 80%

• Interpretowalności

• Kryterium osypiska Cattela - odcinamy te czynniki, które nie są już ostrym zboczem, ale stanowią tzw. `osypisko'.

Rotacja czynników

VARIMAX - dążymy do ułatwienia interpretacji każdego z czynników. Dążymy do tego by niewiele zmiennych miało wysokie ładunki na jednym czynniku, a pozostałe miały na tym czynniku ładunki zerowe

QUARTIMAX - dążymy do ułatwienia interpretacji każdej ze zmiennych przy minimum istotnych czynników

EQUAMAX

DIRECT OBLIMIN

W SPSS:

Poziom istotności - jak ważne są korelacje

Zasoby zmienności wspólnej - część wariancji konkretnej zmiennej, podzielana ze wszystkimi pozostałymi zmiennymi włączonymi do analizy - w modelu ortogonalnym jest równe kwadratowi ładunków czynnikowych. Jak dobrze reprezentowana jest dana zmienna przez model o zredukowanej przez badacza liczbie wymiarów (o odrzuceniu części najmniejszych składowych) - jaki zakres wariancji zmiennej jest sprowadzalny do ukrytych czynników ujętych w modelu.

Określenie liczby czynników - tłumaczy składowe - ile składowych zostawiamy, a ile wyrzucamy - głównym kryterium wariancja

Wartość własna - zakres wariancji wyjaśnianej przez dany czynnik. Każdy kolejno czynnik wyjaśnia największą możliwą część korelacji. Stąd: procent wariancji wyjaśnianej to stosunek wartości własnej czynnika do sumy wszystkich wartości własnych

Ładunek czynnikowy - współczynnik w macierzy ładunków czynnikowych. Współczynnik regresji między zmienną a zestawem czynników wspólnych. Jednocześnie - współczynnik korelacji pomiędzy zmienną i każdym czynnikiem z osobna

KWESTIONARIUSZ

Jakość analizy nigdy nie może być lepsza od jakości zebranych danych.

Budowa narzędzia ma kluczowe znaczenie - analizę można powtórzyć, badanie - nie.

Od cze
go powinien zależeć kwestionariusz?

Etapy konstruowania kwestionariusza

1. Analiza wstępnego zestawu pytań badawczych, konceptualizacji

2. Wybór najważniejszych wskaźników

3. Analiza dostępnych informacji (dane, wcześniejsze badania + standardowo używane pytania)

4. Metody jakościowe - uzupełnienie problematyki, dopracowanie kafeterii

5. Ustalenie modułów kwestionariusza i kolejności pytań

6. Konstrukcja pierwszej wersji kwestionariusza

7. PRETEST

8. Konstrukcja poprawionej wersji kwestionariusza

9. PILOTAŻ

10. Ostateczna wersja narzędzia

Idealny kwestionariusz

Kompletny, ale nie za długi

Pytania: jasne, precyzyjne, zrozumiałe, interesujące

Przejrzysty, estetycznie wykonany

Zbudowany z myślą o: ankieterze, respondencie, koderze, analityku

Praktyczne rady dla konstruującego

1. Unikaj pytań otwartych i półotwartych (przesuwaj je na koniec kwestionariusza lub działu)

2. Jeśli jakiś termin może nie być zrozumiały zamieść jego definicję

3. Używaj języka prostego, niebranżowego

4. W pytaniach o częstość pewnych zachować unikaj sformułowań niejednoznacznych: często, czasami, rzadko. Raczej używaj przedziałów liczbowych 2-3 razy dziennie ….

5. Unikaj modyfikowania kwestionariusza jeśli powielasz swoje badania

6. Kategoria środkowa `ani tak ani nie' - powinna być umieszczana w kwestionariuszu - nie zaburza relacji między odpowiedziami

7. `nie wiem', `Nie potrafię odpowiedzieć' - zwiększają braki odpowiedzi, raczej nie umieszczamy.

8. Unikaj tematów drażliwych

narusza intymność (np. pytania o zachowania seksualne)

zagraża poczuciu własnej wartości („Ile razy był Pan(i) w teatrze w ciągu ostatniego tygodnia?”)

zagraża społecznej egzystencji badanego (pytanie czy w zakładzie istnieją jakieś konflikty efektem ujawnienie postawy oficjalnej: „w zakładzie wszystko funkcjonuje, jak należy”)

Pytania mogą być drażliwe zarówno dla badanego, jak i dla ankietera (co prowadzić może do dodatkowego fałszowania wyników)

9. Unikaj stawiania przed respondentem zbyt trudnych zadań

wielość możliwych zadań: przypominanie sobie czegoś, dokonywanie obliczeń, uświadamianie sobie pewnych faktów, dokonywanie uogólnień, formułowanie ocen, itd.

żądanie „wczucia się” w mało prawdopodobną sytuację („gdyby był Pan prezydentem...”)

Błędne założenie znawstwa („Czy RPP powinna obniżyć stopy procentowe?”)

Struktura kwestionariusza:

• Numer kwestionariusza

• Apel (cel badań + zachęta do udziału)

• Instrukcja

• Część właściwa podzielona na bloki tematyczne

• Metryczka

• Podziękowanie (oraz ewentualnie informacja zwrotna)

Instrukcja

1. Przeszkol ankieterów

2. Wpisz krótkie przypomnienia dla ankietera w treść kwestionariusza

3. Odznaczaj część czytaną przez ankietera od części tylko do jego wiadomości

4. Wytłumacz bardziej skomplikowane pytania i każde przejście

5. Zaznacz ile możliwych odpowiedzi może wybrać respondent

6. Wytłumacz pytania otwarte

7. Używaj kart przy długich kafeteriach

Kolejność pytań

1. Dziel kwestionariusz na bloki i zachowaj logikę konwersacji

2. Najpierw pytania interesujące, ważne i łatwe

3. Przy mało interesującym temacie zaczynamy od pytań szczegółowych a następnie przechodzimy do ogólnych

4. Pytania drażliwe, kłopotliwe, dotykające spraw osobistych zadaj w dalszej części kwestionariusza

5. Pytania metryczkowe wstaw na końcu kwestionariusza

6. Unikaj zbyt skomplikowanych przejść

Format kwestionariusza

• Przejrzysty, estetyczny i z miejscem na zapiski

• Jasno zaznaczone: numer pytania, treść + odpowiedzi, kod (wartość wpisywana do bazy).

• Inna czcionka do uwag dla ankietera

• Odróżniona treść pytań od odpowiedzi

• Właściwie odróżnione przejścia

• Właściwa numeracja pytań

• Odpowiednio wyróżnione kody cyfrowe do wprowadzeni do bazy

• Przy pytaniach otwartych nie zamieszczaj linii, ale raczej zostaw puste miejsce do wypełnienia

Najczęstsze błędy w kwestionariuszach

1. Zamieszczanie pytań na zasadzie `może się przydadzą'

2. Pytanie o dwie rzeczy na raz:

„Czy Pana(i) zdaniem powinien zostać wprowadzony zakaz palenia i picia alkoholu w miejscach publicznych”

„Czy sądzisz, że wskazane jest aby dzieci w szkole uczyły się niemieckiego lub hiszpańskiego?

3. Niedostosowanie pytań do respondentów

4. Sugerowanie odpowiedzi

„Proszę powiedzieć jak bardzo jest Pan(i) zadowolony(a) z osiągnięć polskich sportowców w 2006 roku?

„Czy jest Pan(i) za wejściem do UE, co przyczyni się do rozwoju polskiej gospodarki?”

5. Stosowanie pytań z niejednoznacznymi słowami np. regularnie

6. Zbyt długie pytania

7. Zbyt trudny język

8. Porządkowanie zbyt długiej listy obiektów (lepiej oceniać każdy z osobna na tej samej skali)

9. Podwójna negacja

„Zgadzasz się czy nie zgadzasz, że nie wolno zezwalać na palenie w miejscach publicznych”

10. Zadawanie pytań osobistych

11. Pytania z założeniami

„Kiedy ostatnio był(a) Pan(i) w operetce?

12. Przecenianie pamięci respondenta

„Które z poniżej wymienionych towarów kupowałeś w przeciągu ostatnich 15 tygodni”

Pretest - pierwszy test kwestionariusza

• Służy sprawdzeniu: sensowności poszczególnych pytań, logiki kwestionariusza, płynności przejść, dostosowania kwestionariusza do respondentów, jego formy itp.

• Pomaga w wyborze pytań `do zredukowania'

• Pozwala na `kontrolę' błędów w kwestionariuszu (zły numer pytania, literówki)

• Pokazuje ile mniej więcej będzie trwał wywiad kwestionariuszowy - i czy nie trwa `zbyt długo'

• Na małej próbie dobranej najczęściej celowo - od 10 kwestionariuszy wzwyż

Pilotaż - drugi test kwestionariusza

• Obowiązkowy przy każdej modyfikacji kwestionariusza. Pomaga w korekcie pytań, pozwala na oszacowanie czasu potrzebnego na przeprowadzenie badania, dopracowuje kafeterie,

• Niezbędny przy konstrukcji skal czy indeksów

• Próba 20 - 70 osób - przy dużych sondażach - tak naprawdę ok. 150 - 180 kwestionariuszy ma sens. Często ma charakter losowy - po to by zbadać `realizowalność' próby.

• Sprawdź rozkład odpowiedzi - jeśli wiele osób odpowiedziało `nie wiem' przeformułuj pytanie. Jeśli wszyscy odpowiadają podobnie pytanie nie wniesie wiele do analizy

• Zrób plan analizy danych

Plan analizy danych - trzeci test kwestionariusza

• Prezentacja założonych zależności między zmiennymi - planowanie tabel krzyżowych

• Opis podstawowych planowanych do użycia technik analitycznych

• Pokazuje przyszły przebieg naszej analizy (prezentuje logikę rozumowania badacza, która odzwierciedla się w danej konstrukcji kwestionariusza, a po zebraniu danych w odpowiedniej ich analizie).

Organizacja badań terenowych

1. Realizacja badań a harmonogram

2. Kosztorys i budżet badania

3. Rozdział obowiązków

4. Koordynator projektu

5. Redakcja listu przewodniego (a listy przypominające)

6. `Zachęty' dla respondentów

7. Organizowanie sieci ankieterów

8. Koordynator ankieterów i jego praca

Przygotowanie bazy danych

• Przygotowanie instrukcji kodowej i kodowanie

• Przygotowanie bazy danych

• Etykietowanie bazy

• Czyszczenie i weryfikacja materiału

• Transformacje zmiennych - przygotowanie zmiennych do analizy

Kodowanie - przekształcenie danych w kody liczbowe

KSIĄŻKA KODOWA: dokument stosowany w trakcie przetwarzania i analizy danych - zawiera informacje o lokalizacji poszczególnych zmiennych w bazie.

TYPY KODOWANIA:

1. Arkusze kodowe

2. Kodowanie brzegowe

3. Wprowadzanie danych przez ankieterów (CATI)

4. Użycie skanera optycznego

5. Kodowanie bezpośrednio do programu (np. SPSS)

6. Użycie prostych programów dos do wprowadzania danych

7. Użycie specjalistycznych programów do wprowadzania danych, jak np. Data Entry

• Pytań zamkniętych

• Pytań otwartych (w oparciu o własną kategoryzację post factum, w oparciu o dostępną, sprawdzoną kategoryzację np. urzędową) np. KZiS lub ISCO - 88 dla zawodów

Przygotowanie bazy danych do analizy

• Łączenie baz (w razie konieczności)

• Przekształcanie baz (w razie konieczności)

• Etykietowanie

• Czyszczenie baz (wykrywanie i usuwanie błędów w kodowaniu)

WYKŁADY 1,2,3. 06.10., 13.10., 20.10.

CO TO JEST WSAŹNIK?

Wskaźnikiem jakiegoś zjawiska/cechy obserwowalnego/nieobserwowalnego nazywamy inne względnie łatwo obserwowalne zjawisko/cechę, którego zaobserwowanie pozwala określić z wystarczająco wysokim prawdopodobieństwem o wystąpieniu badanego zjawiska/posiadaniu określonej cechy.

Performance indicator - ocena sprawności realizacji przedsięwzięć

• wskaźnik wykonania dynamika procesu

nacisk na efekty

key performance indicator - wpływ podjętych działań na sytuację przedsięwzięć/organizacji

Wskaźniki polityk społecznych - jak działania oddziałują na rozwiązanie problemu

decyzje w zakresie sposobu/zakresów działania

policy makers - decydent publiczny - alokacja zasobów

reguluje

jak oszacować efekt netto - czy to jest efekt działania

wskaźnik wykonania - przełożenie celów na mierzalne wskaźniki wykonania -> kwantyfikacja celów

powstają w procesie konceptualizacji i operacjonalizacji

• zwymiarowanie zdefiniowanych i wyeksplikowanych pojęć

problemów

• nie można brać wskaźników fasadowych, które pasują tylko semantycznie

• wskaźnik musi zostać dobrany do celu polityki społecznej

• wskaźnik musi spełniać kryteria trafności

• konsekwencje społeczne jego zastosowania nie mogą odbiegać od założonych celów

• wskaźnik jest kwestią publiczną

Wskaźnik relatywny - odnosi się do ogólnego poziomu danego społeczeństwa

np. 60% mediany dochodów

absolutny - niezależna podstawa wyliczenia

Wskaźnik to zmienna - cecha, która może przybierać różne wartości

• nie jest liczbą - liczba to jego wartość

• to zmienna obserwowalna i mierzalna

• to nie konstrukt (np. poziom zadowolenia)

Wskaźnik nie musi definiować zjawiska - może być korelatem zjawiska -

wskaźnik empiryczny - aspekt zjawiska - część definiensu (wyposażenie wskaźnik statusu)

- empiryczny korelat - wskaźnik korelacyjny zewnętrzny (wykształcenie wskaźnikiem pozycji społecznej)

wskaźnik inferencyjny - zjawisko wskaźnikowane nieobserwowalne - z zajścia wskaźnika wnioskujemy o zajściu zjawiska wskaźnikowanego (wskaźniki postaw)

Wskaźniki SMART - performance indicator

Specific Konkretne-w jasny,niewątpliwy sposób odzwierciedlające cel

Measureable Mierzalne- da się ustalić wartości - ilościowy

Agreed Upon Uzgodnione- zgoda - jednakowe rozumienie

Realistic & sensitive Realistyczne i czułe- rozsądne z pkt. widzenia zasobów, wrażliwe na zmiany

Time bound & cost effective Określone w czasie i ekonomiczne

Cele SMART

Specific Konkretne

Measureable Mierzalne

Achievable Osiągalne

Realistic Realistyczne przy istniejących zasobach

Time-bounded Określone w czasie

Wskaźniki powinny ujmować istotę problemu oraz posiadać jasną oraz normatywnie

akceptowalną interpretację

- zadaniem wskaźników nie jest podsumowanie całej rzeczywistości, ale wychwycenie esencji problemu

- odbiorca powinien by pewien, jak ocenia kierunek zmian reprezentowanych przez dany wskaźnik

- wskaźniki powinny by uznawane za sensowne przez opinię publiczną (postulowana partycypacja przy ustanawianiu wskaźników)

- powinny charakteryzować się intuicyjną trafnością

- wskaźniki powinny korespondować z konkretnymi celami polityk i programów

- wskaźniki powinny mieć postać pozwalającą na ustanawianie planowanych wartości docelowych i ocenę stopnia ich realizacji

Wskaźniki powinny być odporne na zniekształcenia i sprawdzone pod względem statystycznym

- powinny być oparte na wiarygodnych danych nie poddanych arbitralnym korektom

- jeśli dane pochodzą z sondaży, to tylko z reprezentatywnych i spełniających najwyższe standardy metodologicznie pod względem doboru próby, konstrukcji kwestionariuszy, realizacji badań, obróbki danych i analizy wyników

- należy dążyć do minimalizacji błędu badania, a zwłaszcza do unikania obciążenia wyników błędem systematycznym

- powinno się unikać wskaźników, które podlegaj silnie wpływowi nieprzewidywalnych (np. pogoda) i niewyjaśnialnych czynników

- należy zachować ostrożność wobec wskaźników, których wartość w znacznym stopniu nie zależy od polityk publicznych, lecz od czynników niezależnych, np. cyklu koniunkturalnego

Wskaźnik powinien odzwierciedlać oddziaływanie interwencji publicznych, ale nie może być łatwym przedmiotem manipulacji politycznych

- wskaźnik powinien zmieniać wartość, jeśli interwencja przynosi efekty

- wskaźniki powinny dać się powiązać z działaniami

- wskaźniki nie powinny pozwalać na manifestowanie pozornych efektów (np. proporcję podmiotów objętych świadczeniem można łatwo zwiększyć przyznając na szeroką skalę minimalne świadczenia)

Wskaźnik powinien być w zbliżony sposób mierzony i porównywalny dla państw członkowskich UE (względnie regionów), oraz w takim stopniu, jak jest to możliwe, porównywalny z międzynarodowymi standardami (np. ze standardami ONZ czy OECD)

Wskaźnik powinien być aktualny oraz umożliwiać niezbędne korekty

- podstawowe dane makroekonomiczne są na ogół dość aktualne, natomiast inne dane często nie spełniaj postulatu wystarczającej aktualności

- bardzo ważne jest zbudowanie odpowiedniego potencjału statystycznego w kraju, który będzie zdolny do dostarczania na czas właściwych informacji

- jeśli następuje zmiana w definicji celów polityk lub postęp w rozumieniu sensu zjawisk, powinno to znaleźć odzwierciedlenie w konstrukcji wskaźników

Pomiar wskaźnika nie powinien być zbyt dużym obciążeniem dla państwa, dla krajowych przedsiębiorstw, ani na obywateli - stąd potrzebna jest kreatywność w używaniu danych administracyjnych i już dostępnych danych statystycznych

Zasady dotyczące konstrukcji portfela wskaźników

- portfel wskaźników powinien być rozsądny pod względem liczby obejmowanych przez siebie wymiarów, ale powinien ujmować możliwie wszystkie kluczowe obszary problemowe danego zagadnienia społecznego

- wskaźniki powinny się wzajemnie uzupełniać, a waga każdego wskaźnika w portfelu powinna być jasno określona, pozwalając na odróżnienie wskaźników o kluczowym znaczeniu od tych, które są pomocnicze

- portfel wskaźników powinien być jak najbardziej przejrzysty, zrozumiały i dostępny dla obywateli UE, tak aby opinia publiczna była w stanie zrozumieć znaczenie wskaźników

Poziom pierwszy - wskaźniki podstawowe (primary indicators), obejmują małą grupę głównych wskaźników, które dotyczą najistotniejszych czynników;

Poziom drugi - wskaźniki pomocnicze (secondary indicators) stanowią uzupełnienie wskaźników wiodących, gdy opisują dodatkowe wymiary problemu;

Wskaźniki pierwszego jak i drugiego poziomu powinny być obliczane z uwzględnieniem dezagregacji według różnych cech (geograficznych, społeczno - demograficznych, wynikających z kryteriów horyzontalnych)

Poziom trzeci - (a third level of indicators), do tego poziomu zalicza się dodatkowe wskaźniki, które poszczególne państwa członkowskie mogą stosować w swoich Krajowych Planach Działania w celu uwzględnienia specyfiki krajowej oraz aby ułatwić właściwą interpretację wskaźników dwóch pierwszych grup. Wskaźniki trzeciej grupy nie są harmonizowane na poziomie unijnym.

Ogólna Metoda Koordynacji Programów Regionalnych?

Cztery filary OMK:

- System wskaźników

- Plany działania

- Partnerskie recenzje (ewaluacje ex-ante)

- Wspólne raporty

Koncepcja systemu wskaźników związana z Ogólną Metod Koordynacji Polityk Społecznych

może być zaadaptowana do budowy Ogólnej Metody Koordynacji Programów Rozwoju Regionalnego

Np. wskaźniki z poziomu I

- wskaźnik zagrożenia ubóstwem (wg typów aktywności ekonomicznej, typów gospodarstwa domowego, typu własności mieszkania)

- wskaźnik kwintylowego zróżnicowania dochodów (stosunek dochodów na poziomie 1kwintyla i 4kwintyla)

LOGIKA PROGRAMU

Wkład - zasoby wydatkowanie w ramach reguł

- rzeczywiste wydatki są źródłem rzeczowych wyników, pokazujących poczyniony postęp we wdrażaniu danego działania (działania są wdrażane za pomocą zasobów)

Wyniki - pierwszy skutek działań - produkt (output)

Rezultaty - zaobserwowana zmiana w stosunku do podmiotu działania (beneficjenta)

- bezpośrednie efekty, wyrażone w kategoriach wpływu (oddziaływania) na osiągnięcie ogólnych/szczegółowych celów programu

- stanowią główną podstawę dla uznania, że dana pomoc zakończyła się sukcesem/porażką

Wpływ -oddziaływanie rezultatów na otoczenie społeczeństwa i sytuację beneficjenta w aspekcie globalnym i lokalnym

Cele operacyjne - stan rzeczy w przyszłości - ten, który chcemy osiągnąć

Program - składa się z projektów

wpływ i rezultat

Projekty - definują produkty - wskaźniki i monitorowanie postępu rezultaty

Wskaźniki programu: wkład, wyniki, rezultaty i wpływ

W celu monitorowania wdrażania programu i oceny jego efektywności w stosunku do ustalonych celów, konieczne jest ustalenie zestawu wskaźników. Decyzje w tej sprawie powinny być podejmowane jeszcze przed rozpoczęciem wdrażania programu lub we wczesnej fazie jego realizacji tak, aby odpowiednie dane mogły zostać zebrane. W większości

przypadków można im przypisać poziomy celów, które ogólnie odpowiadają celom programu.

Możemy więc wyróżnić następujące poziomy wskaźników:

 wskaźniki wkładu dotyczą przyznanego budżetu na każdym poziomie pomocy. Wskaźniki finansowe są wykorzystywane do monitorowania postępów w ramach (rocznych) zobowiązań i wypłat funduszy dostępnych dla danego działania lub programu w stosunku do jego dopuszczalnych kosztów. Monitorowanie nakładu - stopnia jego wykorzystania.

 Wskaźniki wyników odnoszą się do działalności. Są one mierzalne w jednostkach fizycznych lub monetarnych (np. długość zbudowanej drogi, liczba przedsiębiorstw, które otrzymały wsparcie finansowe).

 Wskaźniki rezultatu odnoszą się do bezpośredniego efektu spowodowanego przez program. Dostarczają one informacji o zmianach np. w zachowaniu, zdolności i efektywności bezpośrednich beneficjentów. Wskaźniki te mogą być wyrażane w jednostkach fizycznych (np. skrócenie czasu podróży, liczba uczestników, którzy ukończyli szkolenie, liczba wypadków drogowych, etc.) lub finansowych (wzrost zasobów sektora prywatnego, obniżenie kosztów transportu).

 Wskaźniki wpływu odnoszą się od konsekwencji programu wykraczających poza jego bezpośrednich beneficjentów - odsunięty w czasie. Można zdefiniować dwa typy wpływu: wpływ bezpośredni, to te efekty, które występują po upływie pewnego czasu, ale bezpośrednio wiążą się z podjętymi działaniami; wpływ globalny to efekty w długim okresie, oddziałujące na szerszą populację. Badanie tego wpływu jest złożone, a określenie przejrzystych relacji przyczynowo-skutkowych często bardzo trudne.

Może być też efekt przewrotny - negatywny, nieprzewidziany.

EWALUACJA

Zagadnienia specyficzne dla ewaluacji

- Odpowiedniość (adekwatność): Do jakiego stopnia cele programu są odpowiednie do zmieniających się potrzeb i priorytetów na poziomie krajowym i ewolucyjnym?

- Efektywność: W jaki sposób zasoby (wkład) zostały przetworzone na wyniki i rezultaty?

- Skuteczność: Do jakiego stopnia program przyczynił się do osiągnięcia jego szczegółowych i ogólnych celów?

- Użyteczność: Czy program przyczynił się do zaspokojenia potrzeb grup docelowych lub społecznych?

- Trwałość: Jakie są szanse, że zmiany (lub wytworzone dobra) będą trwały po zakończeniu programu?

Ewaluacja mid-term w trakcie, jak program już trwa

ex-post

ex-ante ocena szacunkowa wpływu/oddziaływania/wyrażalności - trafność, rzetelność i spójność celów działania

WYKŁAD 4, 27.10.

ANALIZA CZYNNIKOWA

Pomiar

Rodzaje skal

Trafność - błąd trafności (błąd systematyczny); trafianie w istotę rzeczy

Rzetelność - spójność uzyskiwanych wyników (w kolejnych pomiarach)

Wariancja - miara zmienności; jak są obiekty zróżnicowane pod względem jakiejś cechy

Σ (x - x )²

s² = n-1

Rzetelność - stosunek wariancji prawdziwych wyników do wariancji całkowitej uzyskanych rzeczywistych wyników;

Najlepiej jak sp²/sc²=1, a jak jest <1 to rzetelność nie jest doskonała

Badacz dysponuje pewną liczbą wzajemnie zastępowalnych podobnych, skorelowanych wskaźników.

Cecha ukryta przejawia się w uniwersum wskaźników wtedy zjawisko można mierzyć równolegle (wskaźniki równoległe).

Jedno pytanie/wskaźnik nie jest doskonale skorelowane z przedmiotem badań

Błąd losowy - niekontrolowany czynnik

Błąd systematyczny

SKALOWANIE

W jaki sposób można konstruować w oparciu o szereg wskaźników pomiar, który jest wystarczająco rzetelny, trafny i jest syntetycznym połączeniem wskaźników

SKALA - zjawisko ukryte oddziałuje na szereg zmiennych obserwowalnych

INDEKS - pierwotny wobec skali

arytmetyczne podsumowanie pomiarów wartości

szereg obserwowalnych zmiennych mający swój udział w zaistnieniu zjawiska

wskaźniki kompozytowe

WYKŁAD 5, 10.11.

ZJAWISKO KORELACJI

Współczynnik korelacji Pearsona (w kontekście modeli regresji liniowej)

Pojawia się kiedy mierzymy związek dwóch zmiennych (ilościowych) - regresja

korelacja

MODEL REGRESJI

y = a + bixi (b nachylenie prostej)

ustalenie siły związku

współczynnik korelacji Pearsona - zależność liniowa, związek liniowy

model - idealny kształt zależności, która faktycznie nie występuje

współczynnik regresji (b) - mierzy siłę wpływu

o ile przeciętnie zmienia się wartość y przy zmianie wartości x, przy związku liniowym

współczynnik determinacji R² - w jakim stopniu wariancja zmiennej zależnej y jest określona przez model liniowy można wyliczyć wartość przewidywaną przez model

rozrzut punktów wzdłuż modelu regresji

wariancja - różnica wartości rzeczywistej, obserwowalnej i wartości przewidywanej

yi - yiˆ ≠ 0

kowariancja - sxy = Σ (x - x )(yi - y) ∑ (zix-ziy)

n-1 n-1

koncepcja standaryzacji

odchylenie standardowe

Współczynnik korelacji - współczynnik kowariancji dla obserwacji standaryzowanych, zmienia się od -1 do 1.

Stopień dopasowania liniowego a nie wpływ zmiennej x na y

r=b dla zmiennych standaryzowanych

Σ (x - x )(yi - y)

b=

Σ (x i- x )² wariancja zmiennej niezależnej

Ssx

r= b przy uwzględnieniu odchyleń standardowych

Sy

Zależna wartość od stosunku odchyleń standardowych zmiennej od rozproszenia wzdłuż modelu liniowego

Jaka część wariancji zmiennej stanowi to, co ona podziela z drugą zmienną

Stopień dopasowania modelu do modelu regresji

Im większa część wariancji zmiennej zawiera błąd, wówczas współczynnik korelacji nie może osiągnąć wartości graniczniej

KORELACJA

Zależność musi być liniowa

Poziom dopasowania modelu liniowego do danych

Przekształcenie współczynnika regresji z uwzględnieniem stosunku odchylenia standardowego między zmiennymi

WYKŁAD 6, 17.11.2006

ANALIZA GŁÓWNYCH SKŁADOWYCH. ANALIZA CZYNNIKOWA - technika dekompozycji macierzy

Zapewnienie jednowymiarowości skali

PO CO? - zmierzenie optymizmu ekonomicznego (pozytywne ocenianie sytuacji) - korelacja poziomu optymizmu własnego i kraju

2 komponenty:

Teoria zjawiska - struktura zależności między elementami modelu związki między elementami

nieobserwowalne postawy pytania o kwestie stanowiące ekspresję tych postaw (wskaźniki inferencyjne)

Teoria pomiaru - każda ze zmiennych ma swoje wskaźniki

Założenie, że dany konstrukt jest dobrze mierzony przez określone wskaźniki

Na obserwowalne korelacje wpływa jakaś cecha, którą możemy zmierzyć

Związek między zjawiskami a ich wskaźnikami

Wskaźniki formatywne - cechy, które to zjawisko wskaźnikowane kształtuje

PODEJŚCIE KONFIRMACYJNE - KONFIRMACYJNA ANALIZA CZYNNIKOWA

sprawdzenie czy układ współzmienności cech obserwowalnych „usprawiedliwia” istnienie danego modelu pomiarowego (zestaw wskaźników - kwestionariusz)

1 jest czynnik

2 jest zbiór wskaźników mierzących czynnik

3 testujemy model

EKSPLORACYJNA

Zbiór wzajemnie skorelowanych wskaźników, które są efektem oddziaływania czynnika

Dopuszczamy, że każdy czynnik jest związany z każdym wskaźnikiem

Z danym czynnikiem będzie związany ten wskaźnik, który jest z nim silnie skorelowany silna zmiana pod wpływem silnej zmiany czynnika

• ładunki czynnikowe - standaryzowany współczynnik regresji

potwierdzenie trafności konstruktowej pewna grupa wskaźników mierzy zasadniczo jeden czynnik; wskaźniki mają wysoki ładunek tylko z 1 czynnikiem; wskaźniki wyraźnie się grupują

WYKŁAD 8, 01.12.2006

Spośród wielu zmiennych chcemy wybrać te wskaźniki (inferencyjne), które najlepiej mierzą daną cechę ukrytą chcemy stworzyć skalę, która zmierzy dany czynnik

• czy pytania grupują się w zestawy, które mierzą dany czynnik wyraźne, wyodrębnione cechy, raczej nieskorelowane

ANALIZA CZYNNIKOWA - EKSPLORACYJNA

W SPSS

Analiza redukcja danych analiza czynnikowa wsadzamy pytania, które naszym zdaniem kojarzą się z daną cechą, którą chcemy mierzyć

Zmienne ilościowe - co najmniej przedziałowe

Rotacja ortogonalna - założenie: czynniki (cechy) nie są skorelowane

Wartość własna - jaka jest wariancja danej składowej >1 powinna być - kryterium Kaisera

• wariancja składowej jest większa niż pojedynczej zmiennej, reprezentuje więcej niż pojedyncza zmienna

po wyodrębnieniu - jaką część zróżnicowana danej składowej wyjaśnia dana zmienna

Wykres osypiska - Katel - ile czynników leży u podstaw korelacji między zmiennymi

Macierz rotowanych składowych -

Ładunki czynnikowe - współczynnik korelacji

Standaryzowane współczynniki regresji

Ładunek² - jaka część wariancji zmiennej jest związana z danym czynnikiem

0,5/ 0,6 - kwalifikowanie do danego czynnika

Rotacja skośna - dopuszcza korelację składowych => 3 macierze modelowe (wzoru czynników)

< 0,3 - korelacja mała

WYKŁAD 9. 8.12.2006

Skala sumowanych ocen, opartych na czynniku sumowanie wartości

W SPSS: przekształcenia oblicz wartość zmiennej

sum (zmienna1, zmienna2, ..)/ n =valid (zmienna1, zmienna2…) - liczba pozycji skali

• uśrednia wynik

mean (zmienna1, zmienna2, …)

analiza rzetelności

w SPSS: skalowanie analiza rzetelności

α Crombacha średnia wartość wszystkich wartości połówkowych α Crombacha

α Crombacha zależy od:

• poziomu skorelowania pozycji (pytania)

• liczby pozycji

• im więcej pozycji tym większa rzetelność

• korelacja - zmienność wspólna ma być jak największa

• kumulacja korelacji

• indywidualna rzetelność wskaźnika

>0,7 wystarczająca rzetelność

α if item deleted - przy wykluczeniu pozycji: w jaki sposób indywidualna pozycja składa się na rzetelność skali

w SPSS

STATYSTYKI

• pozycja testowa

• skala

• skala przy wykluczeniu pozycji

wartość własna jest monotonicznie związana z α Crombacha

im wyższa (>1) wartość własna tym wyższa α => ale to nie zależność liniowa

Alfa

Wartość własna

Eliminowanie ze skali pozycji, które nie wnoszą nic nowego, a obciążają narzędzie badawcze

Lepsze skale z mniejszą liczbą pytań

5cio punktowe skale bardziej rzetelne

Skalowanie kumulatywne - Gutmana - współczynniki odtwarzalności

WYKŁAD 10, 11, 12 05.01.2007 - 19.01.2007

RODZAJE BŁĘDÓW W SONDAŹU

• Błąd losowy

• Błędy nielosowe:

• Błąd w definicji populacji, błędy w operacie, zła próba

• Błędy pomiarowe - złe pytania, błędy w konstrukcji kwestionariusza, błędy respondenta

• Błędy braków odpowiedzi - respondenci nie są reprezentatywną próbą populacji

• Błędy w kodowaniu - błędy w kodowaniu i wprowadzaniu danych

• Błędy nielosowe trudno oszacować - konieczna większa ostrożność we wnioskowaniu

Błąd standardowy - przedział ufności - miara rozrzutu

Błąd standardowy mierzy błąd losowy próby

Rozkład z próby - rozkład statystyki z nieskończonej liczby prób

średnia wyliczona ze średnich prób

Estymator - wzór wg którego wyliczamy wartości w próbie

Udział błędu systematycznego rośnie wraz z liczebnością próby

Losowanie warstwowe - dzielę próbę wg jakichś cech i z każdej grupy losuję kogoś

• Zapewnienie reprezentacji każdej warstwy w próbie - nadreprezentacja małych warstw

• Zapewnienie niezbędnej liczebności do porównań między warstwami

• Zwiększenie precyzji oszacowań, gdy warstwy są względnie jednorodne wewnętrznie

Losowanie zespołowe - dzielę na grupy i tylko z kilku grup losuję

Losowanie wielostopniowe

• Losujemy zespoły (np. jednostki terytorialne, szkoły)

• Ewentualnie losujemy zespoły wewnątrz zespołów (np. ulice, klasy)

• Losujemy ostateczne jednostki wewnątrz zespołów (np. uczniów)

• Przykład: losujemy kwartały budynków i wybieramy do badania co k-te mieszkanie wg określonej kolejności

• Zawsze staramy się stosować warstwowanie, jeśli tylko jest to możliwe

Próba kwotowa

• Nielosowy wybór osób tak, by ze względu na wybrane cechy uzyskać strukturę próby odpowiadającą populacji

• Proporcjonalna próba kwotowa

• Nieproporcjonalna próba kwotowa

Redukcja błędu nielosowego

• Uważna definicja problemu

• Szkolenie i kontrola ankieterów

• Pilotaż narzędzia badawczego

• Wykonaj próbną analizę

• Wdrożenie procedur kodowania i czyszczenia danych

• Weryfikacja i komputerowe czyszczenie danych

• Działania na rzecz zwiększenia poziomu realizacji

• Korekta ze względu na braki realizacji (ważenie i imputacja)

KONSEKWENCJE BRAKÓW DANYCH

Zniekształcenie ocen populacji na podstawie statystyk z próby

zależy od mechanizmu generującego

losowy - zmniejsza liczebność próby ale nie ma błędu systematycznego

nielosowy

Rodzaje braków danych

• Całkowity brak danych o wylosowanej jednostce, wynikający z niepowodzenia w uzyskaniu od niej odpowiedzi na cały kwestionariusz

• Brak odpowiedzi na pojedyncze pytania kwestionariusza w przypadku osób, które zgodziły się wziąć udział w badaniu

Rodzaje mechanizmów generujących braki danych

• MCAR (Missing Completely At Random) - gdy brak danych jest całkowicie losowy;

• MAR (Missing At Random) - gdy brak danych jest losowy - w obrębie kategorii wyznaczonych przez inne cechy objęte badaniem;

• NMAR (Not Missing At Random) - nielosowe braki danych - gdy prawdopodobieństwo wystąpienia braku w przypadku danej zmiennej jest związane z poziomem tej zmiennej; zwane również nieignorowalnymi brakami danych.

Sposoby postępowania z brakami danych

• Wykluczanie obserwacji z brakami danych - analiza kompletnych obserwacji (MCAR) - nie ma problemu tylko, jeśli to jest losowe

• Zastępowanie braków danych - imputacja (MAR) - brak danych na konkretne pytania; narzucanie wartości - np. średnia arytmetyczna ze zmiennej, dominanta

• Ważenie - kompletne braki danych

Wykluczanie obserwacji

• Usuwanie obserwacjami (casewise)

• Usuwanie parami (pairwise)

Problem - dany wskaźnik nie będzie się składał z takiej samej liczby obserwacji - jak porównywać?

Zastępowanie braków danych - zalety

• Ułatwia pracę analitykowi

• Analizy są spójne, gdyż nie ma potrzeby usuwania obserwacji

• Upraszcza prezentację wyników sondażu

• Zachowuje wszystkie dostępne dane, co może pozwolić na uzyskanie bardziej precyzyjnych ocen parametrów w modelach wielowymiarowych.

Zastępowanie braków danych - wady

• Niektóre formy imputacji zniekształcają rozkład (średnią, wariancję) zmiennych poddanych imputacji i tłumią współzależności. Dotyczy to zwłaszcza mechanicznego zastępowania przez średnią.

• Imputacja prowadzi do niedoszacowania wariancji estymatorów, gdyż podstawiane wartości traktowane są przez program statystyczny tak samo jak pełnowartościowe dane - niedoszacowanie błędu standardowego - poczucie nadmiaru precyzji

• Trudno jest przekonać analityków do stosowania imputacji. Analitycy wolą nie używać „sfabrykowanych” danych.

Metody imputacji

• Podstawianie średniej

• Średnia ogólna plus błąd losowy

• Średnia grupowa (plus błąd losowy)

• „Hot deck”

• Metoda regresyjna

• Sekwencyjne metody regresyjne

• Metoda EM (expectation-maximization)

• Imputacja wielokrotna

Podstawianie średniej

• Średnia ogólna

• średnia jest zachowana

• odchylenie standardowe jest niedoszacowane

• liczebność próby jest zawyżona

• Średnia plus błąd losowy

• zachowuje średnią i zmienność

• zaniża błąd standardowy

• tłumi korelacje

• dwie metody:

• losowa reszta

• wariata z rozkładu normalnego

• Średnia grupowa (plus błąd losowy)

Hot deck („gorąca karta”)

• Odmiany:

• sekwencyjna

• hierarchiczna (losowy dobór w klasach)

• Problemy:

• wielokrotni dawcy

• problem z granicami przy sortowaniu

• słaba korelacja wewnątrz grup

• Zalety:

• prostota

• skuteczność

• dla danych jakościowych

sortujemy zbiór danych z punktu widzenia danych, co do których dysponujemy kompletami danych (np. płeć, wykształcenie) - obok siebie w zbiorze danych występują podobne osoby - zastępuję brak daną z przypadku poprzedniego

Metoda regresyjna

• Deterministyczna - w oparciu o wartości teoretyczne

• Z błędem losowym - wartości teoretyczne + losowy błąd

• Sekwencyjna

• Mamy p zmiennych y = (y1, y2, ..., yp)', w których chcemy wykonać imputację b.d. i q pomocniczych zmiennych z=(z1, z2, ..., zq).

• Zmienne należy uporządkować od tej, która wymaga najmniej imputacji, do tej, która wymaga ich najwięcej.

• Wykonaj imputację y1 na podstawie predyktorów z.

• Wykonaj imputację zmiennej y2 na podstawie zmiennych z oraz uzupełnionej zmiennej y1, itd., aż do yp.

• Wykonaj ponownie imputację każdej zmiennej yp używając wszystkich predyktorów ze zbioru z i y (uzupełnionych o imputowane wartości).

• Powtarzaj ten proces aż do ustabilizowania imputowanych wartości.

Metoda E-M expectation-maximalization - na zmianę szacuje kowariancję i korelację i imputuje zmienne

• E - expectation, w którym następuje imputacja braków danych w oparciu o regresję

• M - maximization, w którym metodą największej wiarygodności szacowana jest średnia i macierz kowariancji na postawie uzupełnionych danych .

• Etapy te powtarzane są aż do osiągnięcia zbieżności.

• Użycie metody największej wiarygodności wymaga przyjęcia założenia o rozkładzie zmiennych w populacji

Imputacja wielokrotna

• Technika, która pozwala oszacować dodatkowy przyrost wariancji estymatora spowodowany imputacją. Polega ona na wykonaniu imputacji m razy, stosując tę samą lub odmienne techniki imputacji

W SPSS:

Analiza analiza braków danych

• Jakie zmienne poddajemy analizie: jakościowe - wprowadzenie tych danych nie służy imputacji, tylko analizie - do diagnostyki braków danych

ilościowe

• STATYSTYKI - opisowe: dla zmiennych ilościowych (średnia, odchylenie, liczba obserwacji ekstremalnych)

• Braki danych dla wszystkich zmiennych

• i procent

procent niedopasowań zmiennych wskaźnikowych

• jakie będą konsekwencje usuwania pojedynczych zmiennych w przypadku porównywania parami

• jaki będzie procent braków danych jak będą dwie zmienne badane razem (zetknięte razem)

• UKŁADY - jakie są wzory braków danych

jak często występują braki w bazie

odrzucamy hipotezę jak p dwustronne jest <0,5 (alfa, KMO, etc.)

=>wtedy braki danych w jednej kategorii spowoduje systematyczne obciążenie innych zmiennych

Imputacja:

metoda regresyjna imputacji

metoda E-M

Regresja - zapisz kompletne dane- utworzenie nowego zbioru

• braki danych zostaną zastąpione przez dane oszacowane na podstawie tej metody

odchyle nie standardowe jest większe przy metodzie regresyjnej, bo tam dodajemy do szacowanej wartości losowo wybraną resztę

odtwarza się odchylenie standardowe tych przypadków, które mają kompletne dane

zachowane są informacje o odchyleniu standardowym

• TABELE: analiza- tabele specjalne - tabele użytkownika

WAŻENIE

W SPSS: dane - ważenie obserwacji

Dane z próby, które są poddane ważeniu, ale zastosowane wagi są dla całej populacji

czyli, że np. 250 osób reprezentuje 3 mln rzeczywistych

Suma wag jest równa liczebności próby - waga populacyjna - waga odwrotnością prawdopodobieństwa znalezienia się w próbie

Ważenie modyfikuje

To są estymacje uogólnione i oszacowane

• Ważenie próby jest istotnym elementem precyzyjnie realizowanych badań sondażowych. Ważenie wykonujemy (o ile wymaga tego sytuacja) z trzech podstawowych powodów, a są to:

• kompensacja skutków niejednakowego prawdopodobieństwa dostania się do próby; ważenie ze względu na źródło odrzutu z próby - wynika ze schematu losowania. Ma na celu doprowadzenie próby do takiej struktury jaką ma populacja

• kompensacja skutków nieuzyskania danych o część osób (elementów) wylosowanych do próby;

• chęć lepszego dostosowania rozkładu próby do znanego rozkładu wybranych cech w populacji.

Poststratyfikacja - zakłada, że znamy rozkład populacji

Ważenie a precyzja estymacji

• Ważenie zmniejsza błąd systematyczny

• Ważenie zwiększa błąd losowy

20

Wskaźnik 2

Wskaźnik 1

Zadowolenie ze studiowania

Wskaźnik 2

Wskaźnik 1

Zadowolenie ze studiowania

Jakie mamy fundusze?

Błędy badacza

Potencjalne źródła błędu w sondażu

Błąd nielosowy

Błędy informacji zastępczej

Błędy pomiarowe

Błędy definicji populacji/operatu

Błędy analizy danych

Błędy ankietera

Kwestionariusz

Błąd nie zw. z pom.

Losowy błąd próby

dla populacji σ² = Σ(xi - μ)² / N

dla próby s = Σ(xi - xśr)² / N - 1

Metoda

Technika zbierania materiału (wywiad osobisty, telefoniczny, ankieta pocztowa, faksowa, on line, przez e-mail, audytoryjna)

Całkowity błąd

Błędy respondenta

Kogo chcemy badać?

Błędy informacji zastępczej

Błędy pomiarowe

Błędy definicji populacji/operatu

Błędy analizy danych

Błąd pomiaru

Błędy informacji zastępczej

Błędy pomiarowe

Błędy definicji populacji/operatu

Błędy analizy danych

Ii

Co chcemy badać?

zakup

wskaźnik

wskaźnik

dochód

Postawa konsumpcyjna

Status społ-ekon

---