Projektowanie badań społeczno-
ekonomicznych
ekonomicznych
Prof.Małgorzata Rószkiewicz
mroszki@sgh.waw.pl
Konsultacje: czwartki 13.45 p.215/F
Literatura:
" Podstawowa:
" M. Rószkiewicz, Metody ilościowe w badaniach marketingowych, PWN,
Warszawa, 2002 rodziały: 3-5.
" J. Kordos, Jakość danych statystycznych, PWE, Warszawa, 1988, rozdziały:
1-4.
" V. Barnett, Elementy teorii próby, PWE, Warszawa, 1982.
" V. Barnett, Elementy teorii próby, PWE, Warszawa, 1982.
" Uzupełniająca:
" Ch. Frankfort-Nachmias, D. Nachmias, Metody badawcze w naukach
społecznych, Zysk i s-ka Wydawnictwo, Poznań, 2001, rozdziały: 4-11.
" Fieldwork jest sztuką, pod red. P.B. Sztabińskiego, Z. Sawińskiego, F.
Sztabińskiego, IFiSPAN, Warszawa, 2005, rozdziały: 6-8 i 16-25.
" E. Barbbie, Badania społeczne w praktyce, PWN, Warszawa, 2005,
rozdziały: 2-7.
Co to znaczny projektowanie badania
społecznego-ekonomicznego ?
" Wybór rodzaju badania.
" Określenie badanej zbiorowości
" Ustalenie zakresu pojęciowego, definicji i klasyfikacji badanych
cech.
" Zaprojektowanie tablic wynikowych oraz wybór metod analizy
" Zaprojektowanie tablic wynikowych oraz wybór metod analizy
wyników.
" Wybór metody zbierania danych: poziom mikro lub makro.
" Przygotowanie zaplecza technicznego i organizacyjnego
badania.
" Wybór metody kontroli realizacji badania.
" Terminarz realizacji badania.
" Wybór formy prezentacji wyników.
Kryteria klasyfikacji badań
empirycznych:
" wykorzystywane zródła informacji,
" wykorzystywane zródła informacji,
" zakres tematyczny badania,
" organizację badania,
" rodzaj informacji otrzymywanej w rezultacie
badania.
Ze względu na wykorzystywane
zródła informacji:
" badania wtórne(desk research): wykorzystujące dane
zastane
" badania pierwotne (field work): tworzące dane w wyniku
" badania pierwotne (field work): tworzące dane w wyniku
zorganizowanego pomiaru
Ze względu na zakres tematyczny
badania:
" badania syndykatowe:
tzw. badania bran\owe, tj. o stałym, powtarzany
cyklicznie obszarze badania,
" badania ró\norodne tematycznie, w których
obszar badania uzale\niony jest ka\dorazowo od
potrzeb i zainteresowań podmiotów poszukujących
informacji. Do tej grupy badań zalicza się tzw.
badania ad hoc.
Ze względu na organizację badania:
" charakter tematyki badania: monotematyczne, koncentrujące się na realizacji
jednego celu badawczego związanego z jednym ośrodkiem zainteresowanym
wynikami, wielotematyczne, realizujące wiele celów badawczych, związanych z
wieloma ośrodkami zainteresowanymi wynikami, tzw. Omnibusy,
" zasięg pomiaru: wyczerpujące, poddające badaniu wszystkie jednostki
tworzące badaną zbiorowość (spisy), fragmentaryczne, poddające badaniu
jedynie pewną grupę jednostek wybraną w jakiś sposób z całej badanej
zbiorowości (badania na próbach),
" częstotliwość pomiaru: ciągłe (monitoring), okresowe, jednorazowe,
" stabilności grupy podlegającej obserwacji w badaniach okresowych i/lub
stabilność narzędzia pomiaru: przekrojowe (cross-section), panele, trackingi
Ze względu na rodzaj informacji
(cel badania) otrzymywanej w rezultacie
badania:
" badania jakościowe:
rozpoznające indywidualne poglądy i stanowiska,
wyjaśniające kształtowania się określonych opinii,
wyjaśniające kształtowania się określonych opinii,
" badania ilościowe:
tworzące statystyczny obraz badanej rzeczywistości.
Ze względu na rodzaj informacji
(cel badania) otrzymywanej w rezultacie
badania:
Badania opisowe:
mają na celu scharakteryzowanie
Badania ilościowe,
obiektów lub sytuacji badanych
których celem jest określenie
Badania przyczynowe:
liczbowych charakterystyk
mają na celu identyfikację czynników
mają na celu identyfikację czynników
rynku. Pozwalają zbudować
rynku. Pozwalają zbudować
kształtujących zjawiska i badane procesy
statystyczny obraz
rzeczywistości.
Badania jakościowe,
których celem jest określenie
Badania eksploracyjne:
sposobów widzenia,interpretowania
mają na celu rozpoznanie zjawisk,
i wartościowania zjawisk.
procesów i badanych zdarzeń
Rodzaj poszukiwanej informacji (cel badania) wyznacza zasadę pomiaru:
Orientacje badawcze wg Pike a:
Perspektywa zewnętrzna wobec
obiektu badanego pojęcia i
Orientacja etic:
kategorie opisowe badacza. Z
podejście ilościowe
potrzeby agregacji danych
wymagana standaryzacja pomiaru
Perspektywa wewnętrzna obiektu
badanego pojęcia i kategorie opisowe
Orientacja emic:
badanego. Z faktu niepowtarzalności
podejście jakościowe
indywidualnych przypadków wymagana
indywidualizacja pomiaru
Rodzaj poszukiwanej informacji (cel badania) wyznacza metodę pomiaru:
badania terenowe
obserwacja wywiad eksperyment
obserwacja wywiad eksperyment
Obserwacja, czyli bierne
rejestrowanie rzeczywistości
Wywiad, czyli rozmowa
bezpośrednia lub za pomocą
bezpośrednia lub za pomocą
wybranego środka komunikacji
Eksperyment, czyli świadoma
ingerencja badacza w stan
rzeczywistości i rejestracja
efektów tej ingerencji
Obserwacja
Metody nieingerujące:
eksploracyjne i opisowe
Wywiad
Metody ingerujące:
eksploracyjne i dowodzące
przyczynowości
Eksperyment
13
Rodzaj poszukiwanej informacji (cel badania) wyznacza metodę analizy wyników:
Metody naukowe
Metody
Metody ilościowe
jakościowe
Metody
Metody Metody
statystyczne i
deterministyczne heurystyczne
ekonometryczne
Intuicyjne
Longitudionalne
Przekrojowe Analogowe: case study
(panelowe)
Eksperckie: Metoda delficka
Model rozważanych zależności:
Wydatki Aspiracje
Model teoretyczny
wykształcenie
na zawodowe
edukację
Zawód
Pozycja społeczno -
Oczekiwania
zwodowa
konsumpcyjne
Staż
Dochód
pracy
na głowę
Jak konkretnie mierzyć zmienne, które
Liczba
dzieci
znalazły się w modelu teoretycznym
wyrażającym koncepcję ujęcia
Stopa
rzeczywistości?
oszczędzania
15
Przykład
X4 zawód
Jak go zmierzyć, czyli o co zapytać respondenta?
a) Zawód wyuczony
b) Zawód wykonywany
Trzeba dokonać wyboru określonego systemu
klasyfikacji zawodów
X7 dochód na głowę
Jak go zmierzyć, czyli o co zapytać respondenta?
a) Dochód rozporządzalny
b) Dochód brutto
Trzeba zdefiniować pojęcie dochodu osoby badanej
16
Operacjonalizacja
stworzenie definicji operacyjnej
zmiennej by
umo\liwić jej pomiar za pomocą
określonych narzędzi pomiarowych
(urządzeń pomiarowych, pytań
(urządzeń pomiarowych, pytań
kwestionariuszowych itp.)
17
Podstawowa zasada przy konstrukcji
pytań w kwestionariuszu ankietowym:
Treść pytania kwestionariuszowego zale\y od
przewidywanej formy odpowiedzi
przewidywanej formy odpowiedzi
18
Wybór formy odpowiedzi prowadzi do
pytań otwartych lub pytań zamkniętych.
Kiedy?
trudno przewidzieć odpowiedz,
przewidywalne
du\o wariantów odpowiedzi, odpowiedzi,
poszukiwanie cytatów, konieczna ścisła kontrola
odpowiedzi,
poszukiwanie innowacji,
potrzeba standaryzacji,
poszukiwanie subiektywnych
sądów, ograniczenia czasowe,
trudne, dra\liwe pytania.
19
Pytania otwarte Pytania zamknięte
Zalety:
" łatwe,
"
"
"
" swoboda wypowiedzi,
"
"
"
" porównywalność odpowiedzi,
"
"
"
" bogactwo treści,
"
"
"
" szybkość opracowania,
"
"
"
" szczegółowość wypowiedzi,
"
"
"
" urozmaicają formularz.
"
"
"
" inspiracja.
"
"
"
Wady:
Wady:
" niekompletność,
"
"
"
" czasochłonne przygotowanie,
"
"
"
" nieporównywalność
"
"
"
" niekompletne,
"
"
"
" nieadekwatność,
"
"
"
" niedostosowane do
"
"
"
" trudność opracowania,
"
"
"
nietypowych sytuacji,
" podatne na efekt ankieterski.
"
"
"
20
SKALOWANIE
Skalowanie polega na przyporządkowaniu
(zgodnie z określonymi regułami)
wybranych symboli (cyfr) obserwowanym faktom lub wyrażanym
opiniom
Podstawowe pytanie w dziedzinie skalowania (pomiaru):
Podstawowe pytanie w dziedzinie skalowania (pomiaru):
czy wykorzystywany system liczbowy ma podobną
strukturę do struktury mierzonych pojęć
21
KLASYFIKACJA SKAL WG STEVENSA
KLASYFIKACJA SKAL WG STEVENSA
Skala Podstawa porównania Przykład Relacje i
dopuszczalne
przekształcenia
matematyczne:
Nominalna Identyfikacja Kobieta Mę\czyzna
= lub `"
Klient indywidualny klient instytucjonalny
przekształcenie
Marka A Marka B
wzajemnie
jednoznaczne
Porządkowa Pozycja w porządku Preferencje dla marek
= ; `" ; <; d" ;> ; e"
Klasa społeczna
Klasa społeczna
przekształcenie
przekształcenie
Klasa jakości
monotonicznie
rosnące
Przedziałowa Porównanie obiektów Temperatura
= ; `" ; <; d" ;> ; e"
Wynik zaliczenia testu
Przekształcenie
Postawa wobec marki
liniowe:
Świadomość reklamy
y = ax + b dla a >0
Stosunkowa Porównanie wartości Cena jednostkowa produktu
= ; `" ; <; d" ;> ; e"
Liczba nabywców
Y=ax dla a>0
Mo\liwość zakupu
Waga, odległość, pojemność
22
Skala nominalna
Pytanie rozstrzygające:
Czy zamierzacie Państwo rozszerzyć zakres środków
telekomunikacji wykorzystywanych w Państwa firmie? Tak Nie Nie
Proszę zakreślić kółkiem jeden z dwóch symboli odpowiedzi wiem
Pytanie dopełniające:
Które z ni\ej wymienionych środków telekomunikacji wykorzystujecie Państwo
w firmie?
Proszę zakreślić kółkiem jeden z dwóch symboli odpowiedzi dla ka\dego pytania
Telefon przewodowy Tak Nie
Telefon przewodowy Tak Nie
Telex Tak Nie
Telefax Tak Nie
Radiotelefon Tak Nie
Systemy przywoławcze Tak Nie
Poczta elektroniczna Tak Nie
Komertel Tak Nie
Telefon komórkowy Tak Nie
Skale porządkowe
Skala porządkowa zrównowa\ona - skala Likerta:
forma tabelaryczna:
Proszę określić Pani/Pana stosunek do nakłaniania Pani/Pana do testowania
preparatów kosmetycznych:
Proszę zakreślić kółkiem właściwy symbol odpowiedzi
bardzo nie lubię raczej nie lubię jest mi to raczej lubię bardzo lubię
(1) (2) obojętne (4) (5)
(3)
forma graficzna:
Proszę określić Pani/Pana stosunek do nakłaniania Pani/Pana do testowania preparatów
kosmetycznych:
Proszę zakreślić kółkiem właściwy symbol odpowiedzi
0 1 2 3 4 5
Bardzo Bardzo
nie lubię lubię
lub:
Proszę ocenić w skali od 1 (ocena najni\sza) do 5 (ocena najwy\sza) Ocena:
Pani/Pana stosunek do nakłaniania Pani/Pana do testowania
preparatów kosmetycznych:
Proszę w ramce obok wpisać właściwy symbol odpowiedzi
Skala porządkowa niezrównowa\ona:
Proszę określić Pani/Pana stosunek do nakłaniania Pani/Pana do
testowania preparatów kosmetycznych:
Proszę zakreślić kółkiem właściwy sym bol odpowiedzi
bardzo nie lubię jest mi to Raczej lubię lubię lubię
nie lubię obojętne lubię zdecydowan wyjątko
(1) (2) (3) (4) (5) ie wo
(6) (7)
Skala dyferencjału semantycznego:
Proszę wyrazić swoją opinię o centrum handlowym znajdującym się w
Pani/Pana sąsiedztwie, posługując się skalą od 1 do 7, zgodnie ze znaczeniami
przedstawionymi poni\ej:
Proszę zakreślić kółkiem właściwy sym bol odpowiedzi
W ąski asortyment 1 2 3 4 5 6 7 Szeroki asortym ent
towarów towarów
W ąski asortyment 1 2 3 4 5 6 7 Szeroki asortym ent
usług usług
M ały wybór marek 1 2 3 4 5 6 7 Du\y wybór marek
Niekompetentna 1 2 3 4 5 6 7 K ompetentna obsługa
Niekompetentna 1 2 3 4 5 6 7 K ompetentna obsługa
obsługa
Niewygodny dojazd 1 2 3 4 5 6 7 W ygodny dojazd
K rótki czas pracy 1 2 3 4 5 6 7 Długi czas pracy
B rak mo\liwości 1 2 3 4 5 6 7 Bogaty program opieki
opieki nad dziećmi nad dziećmi
Skala Stapela:
Proszę ocenić znajdujące się w Pani/Pana sąsiedztwie centrum handlowe,
biorąc pod uwagę poni\sze kwestie:
Proszę zakreślić kółkiem właściwy sym bol odpowiedzi
Asortyment towarów -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
Asortyment usług -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
wybór marek -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
K ompetencje obsługi -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
Dojazd -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
Czas pracy -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
Program opieki nad -5 -4 -3 -2 -1 +1 +2 +3 +4 +5
dziećmi
Liczba kategorii odpowiedzi:
" Najczęściej stosuje się skale 3,5,7 i 9 punktowe.
" Wzrost liczby kategorii skali powoduje wzrost
mocy dyskryminacyjnej człowiek posługuje się
najwyżej skalą 11 punktową
" Jako kategorii krańcowych należy użyć kategorii
" Jako kategorii krańcowych należy użyć kategorii
przedstawiających stany idealne (punkty
zakotwiczenia), które nie będą wykorzystywane
przez żadnego (lub prawie żadnego) respondenta
26
1 6 . P r osz ę p od a ć n a jb a r d z iej k or z ystn e o r a z
n a jm n iej k or z ystn e (a le jesz cz e m o\ liw e d o
Skale
z a a k cep tow a n ia ) z d a n iem P a ń stw a sta łe
op r ocen tow a n ie d la ce r tyfik a tu d e p oz ytow eg o ,
stosunkowe
z a k ła d a ją c, \ e m u si być on o n i\ sz e od
op r ocen tow a n ia lok a t ter m in ow ych :
(ilorazowe)
6 8 n a jba r d z iej k o r z ystn e , %
6 9 n a jm n iej k or z ystn e , %
1 7 . Ja k ą w ielk o ść n a d w y\ k i fin a n sow ej bylibyście
P a ń stw o sk ło n n i p r z ez n a cz yć n a z a k u p
cer tyfik a tó w d ep oz ytow yc h p r z y sta łym p o z io m ie
op r ocen tow a n ia n a ta k im p o z iom ie, k tór y jest d la
P a ń stw a :
7 0 n a jba r d z iej k o r z ystn e ....................tys. z ł
7 1 n a jm n iej k or z ystn e ....................tys. z ł
7 2 p o n i\ ej n a jm n iej
k o r z ystn eg o ,
u w z g lęd n ia ją c ten d en cję ....................tys. z ł
u w z g lęd n ia ją c ten d en cję ....................tys. z ł
z w ią z a n ą z e sp a d k iem
stó p p r o cen tow ych
1 8 . Ja k ą cz ęść śr od k ów z in n ych lo k a t
p r z e su n ęlib yście P a ń stw o z in n ych lo k a t
te r m in ow ych n a z a k u p c er tyfik a tów d e p oz ytow ych ,
z g a d z a ją c się n a n i\ sz ą r en tow n ość w z a m ia n z a
w yso k ą p łyn n ość, p r z y o p r ocen tow a n iu , k tór e
u z n a liście P a ń stw o z a :
7 3 n a jba r d z iej k o r z ystn e , %
7 4 n a jm n iej k or z ystn e , %
7 5 p o n i\ ej n a jm n iej
k o r z ystn eg o
u w z g lęd n ia ją c ten d en cję
z w ią z a n ą z e sp a d k iem , %
stó p p r o cen tow ych
Analiza struktury
Sposób analizy struktury zjawisk
zależy od rodzaju danych, które te zjawiska opisują!
Typ danych: Mierniki analizy struktury zbiorowości:
Dane nominalne Wskazniki struktury (procentowe),
dominanta
Dane porządkowe Wskazniki struktury (procentowe),
Dane porządkowe Wskazniki struktury (procentowe),
dominanta, percentyle, z których
najpopularniejszą jest mediana
Dane przedziałowe i ilorazowe Wskazniki struktury (procentowe),
dominanta, percentyle, średnia i
odchylenie standardowe
Miary współwystępowania
Sposób pomiaru współwystępowania zjawisk
zależy od rodzaju danych, które te zjawiska opisują!
Cecha Cecha niezale\ne
zale\na Dane nominalne Dane porządkowe Dane przedziałowe
lub ilorazowe
Dane nominalne Współczynnik Współczynnik
V Cramera V Cramera
Dane porządkowe Współczynnik Współczynnik
V Cramera korelacji rang
Spearmana
Dane przedziałowe Współczynnik eta Współczynniki eta Współczynnik
lub ilorazowe korelacji
29
Najpopularniejsze sposoby oceny wyników eksperymentu
w schematach prawdziwych
Skala pomiaru Pomiar niezale\ny Pomiar zale\ny
wyników
eksperymentu
(typ zmiennej zale\nej)
Nominalna ryzyko względne test McNemara,
test U dla dwóch frakcji, test Cochrana
test niezale\ności
chi-kwadrat,
Porządkowa test serii Walda test Friedmana
Porządkowa test serii Walda test Friedmana
Wolfowitza,
test Kołmogorowa
Smirnowa,
test Kruskal a Wallis a
Przedziałowa lub test U lub t dla dwóch test t,
ilorazowa średnich, analiza wariancji dla
analiza wariancji dla schematów blokowych,
doboru całkowicie analiza conjoint
losowego
30
Skale pomiarowe
Skale słabe Skale mocne
Skala
Skala
Skala
Skala
nominalna
porządkowa
Skala Skala
przedziałowa ilorazowa
Transformować mo\na jedynie skale mocniejszą
na skalę słabszą
31
Określenie cech zewnętrznych
kwestionariusza
TYTUA BADANIA
PREAMBUAA
(wyjaśnia cel i intencje badacza,
mo\e być zastąpiona listem intencyjnym)
mo\e być zastąpiona listem intencyjnym)
BLOKI PYTAC
METRYCZKA
32
Określenie cech zewnętrznych kwestionariusza
METRYCZKA - funkcje
1. Pozwala budować klasyfikacje odpowiedzi na pytania.
2. Pozwala zweryfikować adekwatność zbadanej grupy
respondentów względem zbiorowości, z której
pochodzą.
33
Jakie jest typ danych, którymi dysponujemy?
Makro
Mikro
Dane
Typ danych rozstrzyga o metodzie analizy danych!
Podsumowanie i ilustracja
Ustalenie wiedzy o całej zbiorowości
tego co wiemy o całej zbiorowości
bez mo\liwości dotarcia
do ka\dej jednostki
Opis
Wnioskowanie
i statystyczna analiza danych,
statystyczne
analiza dynamiki
Opis
i statystyczna analiza danych
Rozkład cechy statystycznej
Nazwa cechy Liczebności
statystycznej (X) lub częstości (ni lub wi)
n1
x1
n2
n2
x
x2
.
.
.
Jakie kategorie . Ile razy
.
lub wartości . lub
nk
wystąpiły xk jak często
w zbiorowości? występowały?
razem
N lub 1 bądz 100,0
wszystkie jednostki
Opis
i statystyczna analiza danych
Statystyczna analiza struktury rozkładu cechy
statystycznej
Położenie rozkładu:
jakie wartości przyjmuje cecha statystyczna?
Rozproszenie rozkładu cechy statystycznej:
czy są i na czym polegają różnice między
wartościami cechy statystycznej?
Wnioskowanie statystyczne
polega na
polega na
określeniu właściwości populacji
(typ rozkładu oraz wartości parametrów)
na podstawie próby losowej
Rzeczywista struktura Struktura sugerowana
populacji: na podstawie próby:
Płeć Liczba osób Odsetek Płeć Liczba osób Odsetek
Kobiety 12 60,0
Kobiety 110 52,9
?
Mę\czyzni 8 40,0
Mę\czyzni 98 47,1
Ogółem 20 100,0
Ogółem 208 100,0
Metody statystyczne nie dają mo\liwości ustalenia wiedzy o
populacji z całkowitą pewnością, ale sugerując postać
rozkładu populacji,
pozwalają równie\ określić jakim błędem statystycznym
obarczone jest rozwiązanie
Jedynie metody wnioskowania statystycznego dostarczają
Informacji o dokładności uzyskanej informacji o rozkładzie badanej
populacji
Konstrukcja rozkładu cechy statystycznej
na podstawie wybranego modelu prawdopodobieństwa
Liczebność teoretyczna:
Ć
n = N " p
i i
i i
czyli taka liczba przypadków, która wystąpiłaby w
zbiorowości gdyby strukturę tej zbiorowości opisywały
wartości prawdopodobieństw pi
Jakim rozkładem prawdopodobieństwa należy
posłużyć się w wyznaczaniu liczebności
teoretycznych?
" Dwumianowy? ! " Jakie p?
" Poissona? ! " Jakie = np?
" Normalny? ! " jakie m oraz ?
" Normalny? ! " jakie m oraz ?
" Chi-kwadrat? ! " Jakie ?
" ........ " .........
Wnioskowanie
Wnioskowanie
parametryczne
nieparametryczne
Obiektywną konsekwencją własności badanej populacji,
fragmentaryczności badania oraz składu wybranej do
badania grupy jest błąd losowy.
Konsekwencją subiektywnych wyborów dokonanych
przez osoby uczestniczące w badaniu i ich błędnych
przez osoby uczestniczące w badaniu i ich błędnych
decyzji jest błąd systematyczny
Wynikiem błędu losowego jest niska precyzja
wynikiem błędu systematycznego jest niska trafność
41
Niska precyzja jest wynikiem błędu losowego
Niska trafność jest wynikiem błędu systematycznego
Wysoka precyzja
Wysoka precyzja
Niska precyzja,
Niska trafność
i wysoka trafność
wysoka trafność
42
Błąd systematyczny
Błąd losowy
"
"
"
"
"
" " "
" " " " " "
" "
"
"
Niech:
x - wartość prawdziwa cechy X
x = x + d - wartość obserwowana cechy X
x - x = d - błąd losowy i/lub systematyczny
-obcią\enie systematyczne:
d `" 0
wyniki niedoszacowane lub przeszacowane
43
Błędy Błędy
Błędy w badaniach ilościowych
losowe nielosowe
Błędy w badaniach ilościowych
Zróżnicowanie
populacji
Rozmiar próby
Metoda
Metoda
estymacji
Metoda
losowania
Błędy losowe małe i du\e
"
"
"
"
" "
"
"
"
" " " " "
"
"
Gorzej!
Lepiej!
Wyniki są bardziej
Wyniki są mniej
zró\nicowane.
zró\nicowane
Zakres rozrzutu jest miarą efektywności
wnioskowania na podstawie próby.
Jest to tzw. standardowy błąd szacunku
(SE) reguły jego obliczania są znane.
45
Błąd losowy
"
"
"
Ś
"
"
"
Tn - Ś
" " " "
Tn
"
Błąd średniokowadratowy:
2 2
MSE ( T ) = E ( T - ) = D ( T )
n n n
46
Błąd sredniokowadratowy:
2 2
MSE ( T ) = E ( T - ) = D ( T )
n n n
Informuje jak daleko odbiegają oceny tn od
2
2
MSE ( T ) = E ( T - ) =
MSE ( T ) = E ( T - ) =
n n
2 2 2 2
= D ( T ) = 2 + d H" ( SE )
x
n
Z dwóch rodzajów błędów
tylko poziom
47
błędu losowego mo\e być oszacowany!
Poziom błędu standardowego z próby prostej
" Dla wartości średniej:
n S ( x ) S ( x )
SE = 1 - H"
N
n n
" Dla frakcji:
w (1 - w ) w (1 - w )
w (1 - w ) w (1 - w )
n
n
i i i i
i i i i
SE = 1 - H"
SE = 1 - H"
N n n
SE
Błąd względny:
V ( T ) =
n
T
n
Do 7,5% - estymacja precyzyjna
od 7,5 do 15% - estymacja dostateczna
powy\ej 15% - estymacja niedostateczna
Od czego zależy precyzja czyli błąd
standardowy (SE)
" Jest funkcją zróżnicowania populacji ! Z populacji
bardziej jednorodnej otrzymujemy próby dające błędy
mniejsze.
" Jest funkcją rozmiarów próby !duża próba daje błąd
mniejszy niż próba mała.
" Jest funkcją techniki losowania!dodatkowa informacja
pozwala zastosować bardziej efektywne techniki losowania
49
Błąd sredniokowadratowy:
2 2 2 2 2
MSE (T ) = E (T - ) = 2 + d = SE + d
x
n n
Tylko ten składnik MSE zale\y od wielkości próby.
Tylko ten składnik MSE zale\y od wielkości próby.
Wzrost liczebności próby nie musi i nie poprawi
dokładności badania
50
WNIOSKOWANIE Z PRÓBY NA POPULACJ
Liczebność próby a maksymalny błąd oszacowań w %
błąd (%)
10
9
8
7
6
5
4
3
Błąd
systematyczny
systematyczny
2
2
1
0
100 200 300 400 500 600 700 800 900 1000 1100 1200 1300 1400 1500 1600
wielkość próby
51
Błąd badania fragmentarycznego
Skala badania
mała
du\a
Błąd losowy
Błędy nielosowe
52
Błędy Błędy
Błędy w badaniach ilościowych
losowe nielosowe
Błędy w badaniach ilościowych
Zróżnicowanie
populacji
Rozmiar próby
Błędy pokrycia
Błędy treści
Metoda
Metoda
estymacji
Metoda
losowania
Zbiorowość
zdefiniowana
Prawda
w celu badania
Wynik badania
Badana zbiorowość
Błędy
Błędy treści
pokrycia
Błąd Błąd
struktury pomiaru
Błąd wybory Błąd analizy
Błąd Błąd
zagubienia interpretacji
Błąd
odrzucenia
Zasady doboru próby
" Określenie populacji badanej.
"
"
"
" Określenie operatu losowania (jeśli istnieje)
"
"
"
" Określenie jednostki wyboru.
"
"
"
" Ustalenie wielkości próby.
"
"
"
" Wybór metody doboru jednostek:
"
"
"
Próba celowa:
Próba celowa:
Próba losowa: Próba pseudo-losowa:
Próba losowa: Próba pseudo-losowa:
szukamy osób, które
O trafieniu jednostki do próby określamy proporcje osób,
nale\ą do grupy
decyduje niezale\ny od które wezmą udział w badaniu
docelowej
wybierającego mechanizm np. ze względu na wiek, płeć,
wybory i mo\na określić wykształcenie, miejsce
prawdopodobieństwo trafienia zamieszkania
jednostki do próby (kwotowa)
Próba ma charakter losowy, gdy przyjęte kryterium doboru
jednostek jest niezale\ne od badanych cech i gdy ka\da jednostka
zbiorowości ma ró\ne od zera p-stwo znalezienia się w próbie.
1
Operat losowania:
wykaz jednostek tworzących
badaną zbiorowość (populację)
Musi być:
- kompletny,
- aktualny,
- gwarantujący identyfikowalność jednostek.
2
Dobór celowy:
nie ma potrzeby dowodzenia reprezentatywności i
oceny precyzji
Dobór losowy:
Dobór losowy:
jest potrzeba zagwarantowania
reprezentatywności i oceny precyzji
3
Dobór celowy:
nie ma potrzeby dowodzenia reprezentatywności i
oceny precyzji
" Dobór kwotowy: gdy badane zjawiska, o których
nie ma żadnej informacji są silnie skorelowane z
cechami o znanych rozkładach (podstawa
ustalania kwot).
" Dobór typowy lub przez eliminację (warunki
" Dobór typowy lub przez eliminację (warunki
stosowania j.w.).
" Dobór przypadkowy: nie oczekuje się zgodności
jakichkolwiek struktur.
" Dobór wg kuli śniegowej : badanie
środowiskowe o znacznej homogeniczności
populacji i trudnej dostępności jednostek
4
Zagrożenia w doborze celowym
" Błędny osąd i intuicja badacza co do
prawidłowości występujących w populacji.
" Nadmierna chęć uczestnictwa w badaniach jest
podyktowana specjalnymi predyspozycjami
podyktowana specjalnymi predyspozycjami
respondentów, które nie zawsze są zgodne z
cechami populacji.
" Brak uzasadnienia wiarygodności wyników tego
typu badań i łatwo argumentować przeciw nim,
jeśli są niewygodne .
5
Cechy doboru losowego:
" W czasie losowania elementy populacji nie
przemieszczają się.
" Dostęp do każdego elementu populacji jest
jednakowy.
" Elementy populacji są dostatecznie wymieszane.
Próba ma charakter losowy, gdy przyjęte
kryterium doboru jednostek jest niezale\ne od
badanych cech i gdy ka\da jednostka
zbiorowości ma ró\ne od zera p-stwo
znalezienia się w próbie.
6
Jak losować?
Prosto!!!
Próba losowa prosta:
10097 32533 76520 13586 34673 54876 80959
37542 04805 64894 74296 24805 24037 20636
08422 68953 19645 9303 23209 02560 15953
99019 02529 09376 70715 38311 31165 88676
99019 02529 09376 70715 38311 31165 88676
12807 99970 80157 36147 64032 36653 98951
66065 74717 34072 76850 36697 36170 65813
31060 10805 45571 82406 35303 42614 86799
85269 77602 02051 65692 68665 74818 73053
63573 32135 05325 47048 90553 57548 28468
73796 45753 03529 64778 35808 34282 60935
98520 17767 14905 68607 22109 40558 60970
11805 05431 39808 27732 50725 68248 29405
83452 99634 06288 98083 13746 70078 18475
88685 40200 86507 58401 36766 67951 90364
99594 67348 87517 64969 91826 8928 93785
7
O zastosowaniu określonej metody doboru próby
decydują warunki,
w jakich będzie realizowane badanie.
1. Populacje mogą być skończone lub nieskończone.
2. Wiedza o populacji mo\e być bardzo rozległa i opierać się na
dostępnych danych lub zweryfikowanych teoriach i hipotezach lub
te\ wiedza taka mo\e w ogóle nie istnieć.
3. Skład populacji mo\e być nieustannie lub okresowo weryfikowany
w postaci spisów i innych rejestrów, lub te\ nie ma mo\liwości
utworzenia imiennej listy jednostek tworzących populację.
Jeśli jest znana wielkość populacji i istnieje
mo\liwość nawiązania kontaktu z ka\dą jednostką,
to wystarczy, by zbudować próbę losową
8
Dobór losowy:
jest potrzeba zagwarantowania reprezentatywności i
oceny precyzji
" Dobór prosty ze zwracaniem lub bez zwracania.
" Dobór warstwowy.
" Dobór zespołowy.
Losowanie
" Dobór wielostopniowy.
ograniczone
" Dobór systematyczny.
" Dobór systematyczny.
" Losowanie z jednakowymi prawdopodobieństwami
wyboru: tzw. próby samoważące się
" Losowanie z różnymi prawdopodobieństwami wyboru:
konieczność przeważenia wyników
9
Losowanie proste ze zwracaniem
lub bez (efektywniejsze)
Kiedy?
Brak jakichkolwiek informacji o populacji i populacje nie są
zbyt liczne.
Zalety: Wady:
Zalety: Wady:
" Próby wyważone " Dogodny tylko dla
automatycznie. małych populacji.
" Proste metody " Wymaga znajomości
obliczania precyzji operatu losowania.
" Aatwe!
10
Losowanie proste bez zwracania:
\2(x) N -n \2(x)
ł ł
MSE(x) = D2(x) = H"
ł ł
n N n
ł łł
2
\ (x)ł N - n \(x)
ł ł
SE = D2(x) = H"
ł
n N
n
ł łł
2
n
1
n
2
1
\ (x)= - x)
"(xi
gdzie: x = oraz
"xi
n -1
i=1
n
i=1
n liczebność próby
N liczebność populacji
Losowanie systematyczne
interwał losowania: k = N/n
Kiedy?
Brak jakichkolwiek informacji o populacji i zawsze gdy
brak operatu losowania
12
Losowanie systematyczne:
Jeśli jednostki populacji przed losowaniem zostały uporządkowane w sposób losowy, to:
\2(x) N -n \2(x)
ł ł
MSE(x) H" H"
ł ł
n N n
ł łł
\(x) N -n \(x)
SE(x) H" H"
N
n n
13
Losowanie systematyczne
interwał losowania: k = N/n
Kiedy?
Brak jakichkolwiek informacji o populacji i zawsze gdy
brak operatu losowania
Zalety: Wady:
Zalety: Wady:
" Próby wyważone " Ukryte
automatycznie. powarstwowanie
populacji
" Precyzja taka jak dla
próby prostej
" Aatwe!
14
Równość wariancyjna
18
16
14
12
10
TSS
8 WSS
8 WSS
BSS
BSS
6
4
2
0
0 1 2 3
Nr grupy
TSS = BSS +WSS
2 2 2
S (y) = S (yi ) + S (y)
i
15
15
wartości y
wartości y
Losowanie warstwowe
Kiedy?
Istnieją dodatkowe informacje o populacji i populacje są
bardzo liczne.
Zalety: Wady:
" Są bardziej efektywne, czyli
" Wymaga znajomości struktur
dostarczają bardziej precyzyjnych
populacji. Jest tym
informacji.
efektywniejsze im mniejsze
" W każdej warstwie można
jest zróżnicowanie warstw.
stosować inną technikę losowania.
" Pożądany operat losowania.
" Warstwowanie można
przeprowadzić po wylosowaniu
próby dostosowując się do
potrzeb
16
Losowanie warstwowe:
N -n
ł ł" k h
MSE(xW ) = D2(xW ) =
ł ł
"N \h2
N N n
ł łł
h=1
k
N -n
h
SE(xW ) = "
"N \h2
N N n
h=1
gdzie:
gdzie:
2
nh
n
1
1
\h2(x)=
oraz
x =
"(x - xh)
i
"x
i
n -1
n
i=1
i=1
k
n =
"n
h
k liczba warstw,
h=1
SE(xW ) d" SE(x)
17
Losowanie warstwowe
Kiedy?
Istnieją dodatkowe informacje o populacji i populacje są
bardzo liczne.
Zalety: Wady:
" Są bardziej efektywne, czyli
" Wymaga znajomości struktur
dostarczają bardziej precyzyjnych
populacji. Jest tym
informacji.
efektywniejsze im mniejsze
" W każdej warstwie można
jest zróżnicowanie warstw.
stosować inną technikę losowania.
" Pożądany operat losowania.
" Warstwowanie można
przeprowadzić po wylosowaniu
próby dostosowując się do
potrzeb
18
Techniki losowania:
Proporcjonalne, czyli z ró\nymi prawdopodobieństwami
wyboru
Kiedy?
Populacje są bardzo liczne. Istnieją zespoły o zdecydowanie
ró\nych rozmiarach
Zalety: Wady:
" Wymaga znajomości struktur
" Można stosować gdy istnieje
populacji.
operat ograniczony tylko do
zespołów.
" Korzysta się z informacji
dotyczącej przeszłości.
" Uwzględnia strukturę
populacji.
" Może wymagać przeważenia
danych
19
Losowanie zespołowe
Kiedy?
Brak jakichkolwiek informacji o jednostkach populacji lecz
istnieją informacje o podgrupach (zespołach) oraz populacje
są bardzo liczne
20
Losowanie zespołowe:
M
j
(
"x - M xZ )2
ij j
k
1 K - k 1
i=1
MSE(xZ ) = D2(xZ ) = "
"
2
k K (k -1) M
j=1
n0
k m k liczba zespołów w próbie
1
xZ = xh K liczba zespołów w populacji
""x = 1 "
hj
n k
h=1 j=1 h=1
Mj liczebność ka\dego zespołu
21
Losowanie zespołowe
Kiedy?
Brak jakichkolwiek informacji o jednostkach populacji lecz
istnieją informacje o podgrupach (zespołach) oraz populacje
są bardzo liczne
Zalety: Wady:
" Złożony schemat losowania, na
" Ograniczenie operatu tylko do
ogół dwustopniowy: zespoły i
listy zespołów.
jednostki
" Mało rozproszone terytorialnie
próby.
" Efektywny! Ale przy dużej
liczbie zespołów o małych
rozmiarach w próbie
22
Losowanie dwustopniowe:
zespołowe i w zespołach proste bez zwracania
lub systematyczne
Kiedy?
Brak jakichkolwiek informacji o jednostkach populacji lecz
istnieją informacje o podgrupach (zespołach) oraz populacje
istnieją informacje o podgrupach (zespołach) oraz populacje
są bardzo liczne
Zalety: Wady:
" Złożony schemat losowania, na
" Ograniczenie operatu tylko do
ogół dwustopniowy: zespoły i
listy zespołów.
jednostki
" Mało rozproszone terytorialnie
próby.
" Efektywny! Ale przy dużej
liczbie zespołów o małych
23
rozmiarach w próbie
Losowanie dwustopniowe: zespołowe i w zespołach proste bez zwracania:
Dla zespołów ró\nolicznych w populacji, równych liczebnościach próby (n0) w ka\dym zespole:
k
K - k K Nh(Nh - n0)
2
MSE(xZ )= D2(xZ ) = S (xh) + Sh2(x)
"
2
K "k kN n0
h=1
n0
k k
k liczba zespołów w próbie
1
xZ =
""x = 1 "x
hj h
K liczba zespołów w populacji
n k
h=1 j=1 h=1
n0 liczebność ka\dej podpróby
k
(xh - xZ )2
2
S (xh) =
to wariancja międzyzespołowa
"
k -1
h=1
n0
k
(xhj - xh)2
Sh2(x) =
to wariancja wewnątrzzespołowa
""
n - k
h=1 i=1
Zagrożenia w doborze losowym
" Ignorowanie konsekwencji wyboru techniki
losowania: Sposób pobierania próby jest
sprzę\ony ze sposobem estymacji wybranego
parametru. Dokonanie zmian w jednej ze stron
wywoływać musi zmianę w drugiej.
" Niedostosowana do rzeczywistości technika
losowania: Otaczająca rzeczywistość ma zło\oną
strukturę i dlatego są potrzebne adekwatne do
niej schematy losowania.
" Ignorowanie sprawdzania losowości wylosowanej
25
próby
sprawdzania losowości
wylosowanej próby: test serii
1. Wyznaczenie mediany dla cechy, według której losowość próby powinna być
zachowana.
2. Oznaczenie symbolami:
np. A tych jednostek, których wartości cechy są mniejsze od mediany,
symbolem B zaś wartości, które są większe od mediany.
symbolem B zaś wartości, które są większe od mediany.
W przypadku gdy jednostka posiada wartość cechy identyczną z wartością mediany,
nale\y ją pominąć.
3. Określenie liczby serii symboli A oraz B oraz liczby elementów A, tj. n1, i liczby
elementów B, tj. n2.
4. Odczytanie z tablic rozkładu serii wartości krytycznych k1 i k2, tzn. takich, które
wyznaczają przedział wartości (k/2, k1-ą/2*#, określających dopuszczalne liczby serii
obserwowane w próbie, z przyjętym ryzykiem błędu ą (na ogół 5%).
Gdy rozmiar próby przekracza 40
elementów:
Wykorzystanie zbie\ność liczby serii do rozkładu normalnego.
H0 : próba ma charakter losowy
H1 : próba nie ma charakter ulosowego
Wartość statystyki testującej określa wzór:
k - k
k - k
u =
u =
S(k)
2n1n2 (2n1n2 - n1 - n2 )
2n1n2
gdzie:
S(k) =
k = +1
(n1 + n2 )2 (n1 + n2 -1)
n1 + n2
która ma rozkład N(0, 1).
Jeśli wartość statystyki u nie przekracza wartości 1,96, to nie ma podstaw do odrzucenia hipotezy zerowej,
czyli by podwa\ać losowy charakter próby.
Techniki prowadzenia wywiadu
Ankieta pocztowa:
Zalety: Wady:
1. Niskie koszty. 1. Konieczność formułowania prostych pytań.
2. Brak wpływu ankietera na udzielane 2. Brak mo\liwości sondowania odpowiedzi.
odpowiedzi. Odpowiedzi są ostateczne.
odpowiedzi. Odpowiedzi są ostateczne.
3. Wysoki poziom anonimowości. 3. Brak kontroli nad tym, kto w rzeczywistości
4. Czas na przemyślenie odpowiedzi. udziela odpowiedzi.
5. Znaczna dostępność respondentów. 4. Niski odsetek odpowiedzi.
Techniki prowadzenia wywiadu
Ankieta bezpośrednia (face-to-face):
Zalety: Wady:
1. Mo\liwość budowania pytań zło\onych o 1. Wysokie koszty.
wy\szym stopniu trudności. 2. Wpływ ankietera na udzielane odpowiedzi.
2. Mo\liwości sondowania odpowiedzi. 3. Brak wysokiego poziomu anonimowości.
3. Mo\liwość bezpośredniego kodowania danych 4. Brak czasu na przemyślenie odpowiedzi.
(CATI).
4. Kontrola nad tym, kto w rzeczywistości
udziela odpowiedzi.
5. Wysoki odsetek odpowiedzi.
6. Mo\liwość oceny warunków zbierania
informacji.
Zasady prowadzenia wywiadu osobistego:
" Powiedz respondentowi, kim jesteś i kogo reprezentujesz.
" Powiedz respondentowi, co robisz, w sposób wzbudzający zainteresowanie.
" Powiedz respondentowi, w jak sposób został wybrany.
" Dostosuj postępowanie do sytuacji.
" Dostosuj postępowanie do sytuacji.
" Postaraj się wytworzyć atmosferę zaufania i zrozumienia.
" Nie zadawaj pytań z pamięci.
" Nie interpretuj pytań.
" Nie zmieniaj kolejności i nie omijaj pytań.
Techniki prowadzenia wywiadu
Ankieta telfoniczna (TI):
Zalety: Wady:
1. Przeciętne koszty. 1. Aatwość odmowy udziału w badaniu.
2. Krótki czas realizacji. 2. Aatwość przerwania wywiadu.
2. Krótki czas realizacji. 2. Aatwość przerwania wywiadu.
3. Du\a liczba respondentów. 3. Brak wysokiego poziomu anonimowości.
4. Wysoki odsetek odpowiedzi. 4. Brak czasu na przemyślenie odpowiedzi.
5. Mo\liwość bezpośredniego kodowania danych 5. Brak kontroli nad tym, kto w rzeczywistości
(CATI). udziela odpowiedzi.
6. Dotarcie do osób, które niechętnie uczestniczą w
badaniach pocztowych lub w wywiadach
osobistych.
7. Mo\liwość kontroli zadawania pytań i rejestracji
danych.
8. Mo\liwości sondowania odpowiedzi.
Baza danych
Definiowanie zmiennych:
1.Nazwa
2.Typ
3.Liczba znaków
3.Liczba znaków
4.Liczba miejsc po przecinku
5.Etykieta
6.Wyodrębnione kategorie
7.Braki danych
8.Szerokość kolumny
9.Wyrównanie
10.Skala pomiaru
Badanie spójności bazy danych
1. Wszystkie wartości mieszczą się w ramach ustalonych przez zasady skalowania.
2. Występuje zgodność w filtrach.
3. Rozstrzygnięta kwestia obserwacji nietypowych.
4. Występuje spójność logiczna danych.
Gdy respondent może mówić nieprawdę!
Technika odpowiedzi losowych
" Reszka odpowiadamy na
" (reszka) Zdarzyło mi się, że w trakcie
zakupów w supermarkecie
pytanie 1
zjadłam/zjadłem batonik
" Orzeł odpowiadamy na
czekoladowy i nie zapłaciłem/am za
niego
pytanie 2
" (orzeł) Brałem udział w ostatnich
wyborach parlamentarnych
wyborach parlamentarnych
Estymacja frakcji odpowiedzi pozytywnych na pytanie 1:
P(T1 *"T2) = P(T1 | O) + P(T2 | R) = P(T1)" P(O) + P(T2)" P(R)
P(T1 *"T2) - P(T2)" P(R)
P(T1) =
P(O)
Przykład: braki danych
v1 v2 v3 v4 v5 v6 v7
2.0 2.0 1.0 2.0 1.0 1.0 2.0
2.0 1.0 2.0
2.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 1.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 1.0 1.0 1.0 1.0 1.0 1.0
1.0 1.0 2.0 1.0 1.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 1.0 1.0 2.0 2.0 1.0 2.0
1.0 2.0 2.0 1.0 2.0
2.0 2.0
2.0 1.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 2.0
2.0 1.0 1.0 2.0 2.0 1.0 2.0
2.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
2.0 2.0
2.0 2.0 1.0 2.0 2.0 1.0 2.0
Przykład: braki rekordów
Liczba ludności miast według płci i wyró\nionych grup wieku oraz wskazniki struktury dla wyró\nionych grup
Liczba ludności miast według płci i Struktura ludności miast według płci i
wyró\nionych grup wieku wyró\nionych grup wieku
Grupy wieku płeć razem płeć razem
kobiety mę\czyzni kobiety mę\czyzni
58716 60901 119617 10,5% 10,9% 21,4%
15 19
112962 111769 224731 20,2% 20,0% 40,3%
20 29
111571 102246 213816 20,0% 18,3% 38,3%
30 - 39
283249 274916 558165 50,7% 49,3% 100,0%
Ogółem
Liczba respondentów według płci i wyró\nionych grup wieku oraz wskazniki struktury dla wyró\nionych grup
Liczba respondentów według płci i Struktura próby według płci i grup wieku
wyró\nionych grup wieku
Grupy wieku płeć razem płeć razem
kobiety mę\czyzni kobiety mę\czyzni
12,6% 11,5% 24,1%
15 19 104 95 199
22,2% 23,5% 45,7%
20 29 184 194 378
11,1% 19,1% 30,2%
30 39 92 158 250
45,9% 54,1% 100,0%
Ogółem 380 447 827
Metody redukcji
błędów
nielosowych
Ważenie danych
Imputacje
(poststratyfikacja)
Metody redukcji błędów nielosowych
Imputacja - braki pojedynczych odpowiedzi
dedukcyjna deterministyczna stochastyczna
wprowadzenie wartości umownych
wprowadzenie wartości umownych
średnie
cold-deck
z innych badań lub symulacji
hot-deck podobieństwo obiektów
Uwzględnienie składnika losowego w imputacji deterministycznej
90
38
Ważenie:
" Ważenie musi być stosowane jeśli próba nie jest
samoważąca się ! losowanie proste,
systematyczne, proporcjonalne
" W przypadku procedur ograniczonego doboru
losowego każda próba może być reprezentatywna dla
populacji, jeśli każdemu elementowi próby przypisze
się prawdopodobieństwo znalezienia się w próbie
39
Przyczyny ważenia danych:
" Technika losowania.
" Odmowy odpowiedzi.
" Dostosowanie do reprezentatywności ze
względu na różne cechy (poststratyfikacja)
40
Wyszukiwarka
Podobne podstrony:
CZARNY Nauki społeczne w projekcie badań dalekiej północyAnaliza danych jakościowych SPSS metody badań geografii społeczno ekonomicznej47$2218 specjalista do spraw?dan spoleczno ekonomicznychProjektowanie Badań BRiMw2metody badan spolecznych msm wyklad 1Szczepanowska DRZEWA W OTOCZENIU ULIC – PROBLEMY INŻYNIERYJNE, SPOŁECZNE, EKONOMICZNE ORAZ BEZPIECZPlan Wynikowy Geografii Społeczno Ekonomicznej poziom podstawowyPROJEKTOWANIE BADAN zadania DOBOR PROBY 2012Projekty AVT Zasilacz Amatorski cz 1więcej podobnych podstron