Metodyka badań ewaluacyjnych
18.02.2012. Pojęcie ewaluacji i jej rodzaje. Istota i cele badań ewaluacyjnych. Zawód ewaluator. Badania ewaluacyjne uwarunkowane podejściem teoretycznym. Metody, techniki i narzędzia badawcze w socjologii- jak je stosować w badaniach ewaluacyjnych?
Co to jest ewaluacja?
Ewaluacja to systematyczna i obiektywna ocena programu, tj. jego założeń, procesu realizacji, użytych instrumentów i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w jego ramach działań. Powinna dostarczyć rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz współdziałanie wszystkich partnerów zaangażowanych w realizację programu (Ekiert 2005).
Ewaluacja w rozumieniu Amerykańskiego Towarzystwa Ewaluacyjnego
„(…) proces systematycznego gromadzenia informacji na temat działania, właściwości i rezultatów programów, personelu oraz produktów, które są wykorzystywane przez specjalistów do redukowania niepewności wokół programu i poprawienia jego efektywności, a także służą podejmowaniu decyzji z uwagi na to, co owe programy, personel lub produkty robią oraz czego dotyczą” (Patton 1995).
Ewaluacja w rozumieniu badaczy społecznych:
Celem długoterminowym jest poprawa sytuacji społecznej.
„Wykorzystanie metod badań społecznych do systematycznego określania efektywności programów społecznych pod względem tego, w jaki sposób adaptują się do swojego otoczenia organizacyjnego i politycznego oraz, w jaki sposób odpowiadają na potrzeby informacyjne, których zaspokojenie oznacza w założeniu poprawę sytuacji społecznej” (Rossi, Freeman, Lipsey 2002).
Ewaluacja w rozumieniu Komisji Europejskiej „(…) określenie wartości danego działania publicznego, a więc polityki, programu lub projektu w odniesieniu do wcześniej zdefiniowanych kryteriów i w oparciu o specjalnie zebrane i zanalizowane informacje” (KE 1999).
Czy audyt, kontrola, monitorowanie to też ewaluacja?
Audyt – sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) zgodnie z obowiązującymi przepisami i standardami
Kontrola- porównanie stanu faktycznego ze stanem wymaganym
Monitorowanie- to proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów w aspektach finansowym i rzeczowym
BADANIA EWALUACYJNE: To stosowanie procedur badawczych z zakresu nauk społecznych w celu oceny:
konceptualizacji,
operacjonalizacji,
implementacji
użyteczności
ewaluowanego programu/ projektu badawczego.
Historia badań ewaluacyjnych
pomiar (techniczna rola ewaluatora)
opis (badanie słabych i mocnych stron programu)
ocena (standaryzacja efektów programu, pytania o przyczyny sukcesów/ porażek programów)
ewaluacja partycypacyjna (współpraca ewaluatorów z osobami kluczowymi dla realizacji programu)
badania nad programami szkolnymi w USA (koniec XIX w.)
początek XX w. – zarządzanie w handlu i przemyśle
do lat 60. XX w.- pomiar osiągnięć szkolnych
Lata 70. XX w. – racjonalizowanie wydatków rządu USA
Ewaluacja pozarządowych alternatyw wobec programów publicznych
Ewaluacja uwarunkowana podejściem teoretycznym:
Podejście funkcjonalistyczne
Ewaluacja ma określoną funkcję: czemuś służy
W teorii b.e. wyróżnia się 4 podstawowe ich funkcje (Ekiert 2005: 9-10):
Funkcję formatywną (doskonalącą, diagnoza obszarów wymagających poprawy)
Funkcję konkluzywną (podstaw podjęcia ważnych decyzji)
Funkcję psychologiczną (kształtowanie świadomości społecznej/ politycznej, promowanie relacji społecznych)
Funkcję administracyjną (kiedy służy sprawowaniu władzy i jest narzędziem nacisku, wspomaga decyzje strategiczne).
Podejście strukturalistyczne
Struktura społeczna jest ważniejsza niż działanie społeczne (Levi-Strauss)
struktura ma charakter uporządkowanego systemu tzn., że składa się z takich elementów, że modyfikacja jednego elementu powoduje modyfikacje pozostałych
można przewidzieć, w jaki sposób dana struktura będzie reagowała w przypadku modyfikacji któregoś z elementów
struktura należy zawsze do pewnej grupy struktur o podobnych zależnościach
skonstruowana jest w ten sposób, że jej funkcjonowanie pozwala wyjaśnić wszystkie obserwowane fakty zbiorowości, do której jest adresowana.
Podejście krytyczne
Krytyka własnego społeczeństwa
Krytyka z perspektywy grup upośledzonych społecznie
Ukształtowanie modelu służącego maksymalizacji korzyści
Wyobraźnia socjologiczna (umiejscowienie problemów mikro w makroskali) (Mills)
Kryteria ewaluacji
kryterium rzetelności
kryterium kompleksowości
kryterium systematyczności
kryterium wykonalności
kryterium przyzwoitości
kryterium użyteczności
Rodzaje ewaluacji:
ewaluacja ex-ante (przed wdrażaniem programu i ma ocenić, na ile planowany projekt/ interwencja jest ważna z punktu widzenia potrzeb oraz spójna w zakresie celów i sposobów realizacji; może badać kontekst, potencjalne trudności, diagnozować potrzeby i oczekiwania grupy docelowej)
ewaluacja mid-term (cząstkowa; w połowie trwania projektu; dokonuje pierwszej oceny realizacji programu)
ewalucja ex-post (po zakończeniu realizacji programu; nie później niż 3 lata (KE); badanie długotrwałych efektów programu)
ewaluacja on-going (ciągła; ma charakter uzupełniający względem ww.; pogłębiona ocena i analiza wyodrębnionych problemów; służy diagnozie i szukaniu rozwiązań problemów, które pojawiły się w trakcie trwania projektu)
ewaluacja zewnętrzna
ewaluacja wewnętrzna
autoewaluacja
Ewaluacja interdyscyplinarna Triangulacja w ewaluacji
Wykorzystująca zróżnicowane źródła danych (dane statystyczne, ekonometryczne, sondażowe;
Wykorzystująca zróżnicowane metody i techniki badawcze
Umożliwia kompleksowe i wszechstronne spojrzenie na problemy badawcze;
TRIANGULACJA W EWALUACJI
Zawód ewaluator:
Firmy doradcze (consultingowe)
Instytucje akademickie
Administracja publiczne
Ewaluator dużych i małych projektów
Znajomość zamówień publicznych
Manager-Ewaluator-Trener
Metodologia badań ewaluacyjnych
Jedna metoda, jedna technika, jedno narzędzie to zazwyczaj za mało, aby zrealizować badanie ewaluacyjne
Dlatego niezbędne jest stosowanie:
Kombinacji metodologicznej: wzajemne uzupełnianie się metod, technik i narzędzi, często prowadzące do→ Triangulacji metodologicznej
Badanie ewaluacyjne stwarza możliwości zastosowania wielu metod: -Triangulacja metodologiczna-
polega na różnorodności (łączeniu) technik analizy i gromadzenia informacji, pozwalając na lepsze poznanie i zrozumienie badanego obiektu; stwarza również możliwość dokonywania odniesień i porównań.
Triangulacja może być zastosowana zarówno w odniesieniu do:
gromadzenia danych (metod, technik i narzędzi zbierania danych), jak i
źródeł informacji (zbieranie danych od rożnych grup respondentów) oraz
sposobu analizy danych.
Co daje takie podejście?
Szeroko zakreślony materiał badawczy, który można wykorzystać do:
oceny i wnioskowania, a to pozwala na analizę możliwie obiektywną, uwzględniającą punkt widzenia wielu różnych grup zainteresowanych (Rudolf 2005: 8).
Podstawowe metody badań ewaluacyjnych:
1. Zbieranie danych
2. Analiza danych
3. Ocena
Sposoby zbierania danych w badaniach ewaluacyjnych:
(1) Analiza dokumentów
Różnego rodzaju dokumenty: w tym jednostek zarządzających przedsięwzięciem; raporty z audytu, raporty z monitoringu; raporty z innych badań; dokumenty administracyjne
Analiza dokumentów dostarcza wiedzy o kontekście badania ewaluacyjnego
Może stanowić etap wstępny do przygotowania badania terenowego
Zaletą jest różnorodność i dostępność dokumentacji
Stasowana solo może prowadzić do zbyt ogólnych wniosków i prezentować jednowymiarowy punkt widzenia
(2) Wywiady indywidualne (pogłębione, narracyjne)
Możliwa do zastosowania we wszystkich rodzajach i na wszystkich etapach ewaluacji
Zebranie informacji jakościowych od osób zaangażowanych w danych program: odpowiedzialnych za projektowanie, wdrażanie oraz samych beneficjentów
Ewaluator stosując w.i., ma szansę na poznanie różnych aspektów badania
Słabe strony: czasochłonność zarówno w zbieraniu danych (dostępność respondentów; analiza)
Najważniejsze: przygotowanie wystandaryzowanego kwestionariusza wywiadu lub ankiety składającego się z prostych i czytelnych pytań
Kwestionariusz wywiadu (CATI) lub ankiety może być dostarczony osobiście, pocztą tradycyjna, internetowa
Słabe strony: bark możliwości dogłębnego sięgnięcia do poruszanych problemów
Mocne strony: użyteczna do poznania rezultatów i wpływu programu (w ewaluacji ex-post i mid-term)
Przedmiot, który bada powinien być prosty i jednorodny
(3) Wywiady kwestionariuszowe, ankiety
Umożliwia zebranie w jednym miejscu różnych grup respondentów (twórców, wdrażających, beneficjentów)- płaszczyzna do konfrontacji
Użyteczna w przypadku istniejących rozbieżności pomiędzy koordynatorami, realizatorami, beneficjentami)
Może być stosowana w każdym rodzaju i na każdym etapie ewaluacji
(4) Zogniskowane wywiady grupowe
Umożliwia zebranie w jednym miejscu różnych grup respondentów (twórców, wdrażających, beneficjentów)- płaszczyzna do konfrontacji
Użyteczna w przypadku istniejących rozbieżności pomiędzy koordynatorami, realizatorami, beneficjentami)
Może być stosowana w każdym rodzaju i na każdym etapie ewaluacji
(5) Obserwacja
(6) Techniki grupowe
Używane podczas szkoleń i spotkań
Daje szansę uzyskania informacji zwrotnych
Sposoby analizy danych
Analiza danych jakościowych
Zdeterminowana pytaniami badawczymi oraz użytymi technikami i narzędziami
Wyrażona jest w formie opisu zmierzającego do poznania i zrozumienia badanych zjawisk; wyrażona w liczbach
Wnioski uogólniane są na próbce, a nie na populacji!
Niezbędne jest metodologiczne przygotowanie ewaluatora dokonującego analizy, ponieważ ma najczęściej do czynienia z materiałem słabo ustrukturalizowanym.
Można wskazywać w tej analizie na przyczynowość zjawisk.
Przykład triangulacji jakościowej RAP (Rapid Assesment Process); „metoda szybkiej oceny”
Zespołowa analiza danych
Metoda kolejnych przybliżeń
Wywiady częściowo ustrukturyzowane
(2) Analiza danych ilościowych
Zdeterminowana pytaniami badawczymi oraz użytymi technikami i narzędziami
W przypadku badania niereprezentatywnego wnioski uogólniamy na populacji badanej; w przypadku reprezentatywnego na populacji generalnej
Wykorzystywana jest do poznania rozkładów częstości danego zjawiska oraz określenia poziomu zależności, jakie występują między zmiennymi
Charakter i zakres dokonywanych analiz zależy od skali, na jakiej został dokonany pomiar
Nie można w tej analizie udowodnić przyczynowości
Sposoby oceny
Panel ekspertów
Jedna z najbardziej popularnych metod oceniania programu
Służy wykorzystaniu wiedzy ekspertów z dziedziny objętej badaniem, a nie zaangażowanych bezpośrednio w program (np. badanie Delphi)
Ograniczeniem może być subiektywizm eksperów
Benchmarking
Oznacza ocenianie efektów programu poprzez porównywanie ich z efektami podobnych programów, które zostały uznane za udane i są dobrym przykładem
Wykorzystywany w ewaluacji ex-post
Analiza SWOT
Analiza słabych i mocnych stron oraz szans i zagrożeń dotyczących danego przedsięwzięcia;
Słabe i mocne strony odnoszą się do czynników wewnętrznych; szanse i zagrożenia do czynników zewnętrznych
SWOT najczęściej stosowany w ewaluacji ex-ante w celu zidentyfikowania wskazówek do podjęcia danego działania
Analiza kosztów i korzyści (cost-benefit analysis)
Celem tej formy analizy jest stwierdzenie, w jakim stopniu realizacja programu jest pożądana z punktu wiedzenia danej społeczności
Analizuje pozytywne i negatywne efekty programu (także te potencjalne), przypisując im wartość finansową z perspektywy różnych grup interesu
Wynikiem zastosowania tej metody jest odniesienie do budżetu
Analiza kosztów i efektywności (cost-effectivness analysis)
Modele ekonometryczne
Służą do opisu i symulowania mechanizmów działania (najczęściej mechanizmów rozwojowych)
Modele mikroekonomiczne są przeznaczone do badania zachowań gospodarstw domowych i przedsiębiorstw w specyficznych sektorach
Modele makroekonomiczne pozwalają na oszacowanie wpływu pomocy na funkcjonowanie całej gospodarki
Są wykorzystywane przy ewaluacji ex-post i ex-ante dużych programów obejmujących swym zasięgiem cały region lub kraj.
03.03.2012. Szczegółowe techniki wykorzystywane w badaniach ewaluacyjnych, np. ankieta internetowa, badanie Delhi, badanie fokusowe, wywiad ekspercki.
ANKIETA INTERNETOWA
Punkt wyjścia- tradycyjna ankieta pocztowa
Kiedy zastosować ankietę internetową?
Typy badań internetowych
Możliwości i ograniczenia CAWI
Dotarcie do respondentów
Ankieta pocztowa
Istota ankiety pocztowej
Dobór próby
Jak skłonić respondenta do odpowiedzi na ankietę?
Zarządzanie badaniem przy pomocy ankiety pocztowej
Przygotowanie danych do analiz
Raport
Badana populacja jest rozproszona geograficznie
Budżet badania jest ograniczony
Badacz chce dać czas do namysłu swoim respondentom
Zapewnienie poczucia prywatności
Ograniczony pod względem liczebności zespół badawczy
Ograniczenia techniki:
„Klasyczne” błędne badania przy użyciu ankiety pocztowej:
Badanie prezydenckie „Literary Digest” z 1936 r.
Badania dr Sheri Hite nad zachowaniami seksualnymi kobiet
Etapy badania:
Sformułowanie celów badawczych
Dwutorowo: (1) konstrukcja ankiety; (2) dobór próby
Pretest narzędzia
Rozesłanie ankiet
Monitoring ankiet zwrotnych (przypomnienia)
Analiza danych
Interpretacja danych
Raport
Dobór próby:
Operat losowania
Aktualność list
Listy niekompletne
Losowanie osób a losowanie adresów
Celowy
Losowy
Losowo-warstwowy
Kwotowy
List przewodni
Koperta zwrotna
Poufność i anonimowość
Listy przypominające
Zrozumienie instrukcji zawartych w ankiecie
Zachęcenie respondenta do odpowiedzi na ankietę (zachęty materialne i niematerialne; nagrody pieniężne)
Zapowiedź nadesłania ankiety
Sposób opłacenia przesyłki zwrotnej
Należy odróżnić badania Internetu od badań realizowanych przez Internet.
W przypadku badań Internetu przedmiotem badania jest sam Internet jako medium (najczęściej bada się wzorce korzystania z Internetu, np. badanie Megapanel PBI/Gemius czy gemiusTraffic). Badanie to może być realizowane zarówno za pomocą „tradycyjnych” technik (wywiady pogłębione, zogniskowane wywiady grupowe) lub z wykorzystaniem Internetu (ankieta internetowa).
Badania realizowane przez Internet to badania, w których Internet traktowany jest jako narzędzie, a nie przedmiot badania. Przedmiot badania stanowią te same zagadnienia co w badaniach „tradycyjnych”, inny jest natomiast sposób pozyskiwania/zbierania danych.
Czyli podsumowując, interesować nas będzie nie to, jak badamy Internet, lecz to, w jaki sposób, wykorzystując Internet, można realizować projekty badawcze.
W obrębie badań realizowanych przez Internet skupimy się na technice ankiety internetowej.
Wyróżnia się dwa podstawowe rodzaje badań realizowanych techniką ankiety internetowej: badania realizowane na stronach www oraz e-mailing.
Badania realizowane na stronach www to badania polegające na wyświetleniu (bądź zamieszczeniu) kwestionariusza ankiety na jednej bądź kilku stronach internetowych.
Badania typu e-mailing polegają natomiast na przesłaniu na skrzynkę e-mail internauty kwestionariusza ankiety bądź linku do tegoż kwestionariusza.
„Rozrywkowe sondy” – krótkie sondy, zazwyczaj umieszczone statycznie na jednej stronie www, w przypadku których brak jest kontroli nad tym, kto wypełnia kwestionariusz (zasada samorekrutacji, nieoparte na prawdopodobieństwie).
„Badania ogólnointernetowe” – badania realizowane na wielu stronach internetowych. Zaproszenia do udziału w badaniu, w formie okna pop-up lub automatycznie otwierającej się podstrony, wyświetlane są co n-temu użytkownikowi definiowanemu za pomocą identyfikatora cookie. Mechanizm „cookies” zabezpiecza przed wielokrotnym braniem udziału w badaniu przez osobę posługującą się tą samą przeglądarką internetową. Losowanie internautów do udziału w badaniu na wielu stronach internetowych możliwe jest dzięki wykorzystaniu techniki ad-serwerowej (badania oparte na prawdopodobieństwie).
Wskaźnik „użytkownik (cookie)” - ograniczenia
Cookie – ciąg znaków przesyłany przez serwer do przeglądarki podczas wyświetlenia (odsłony) strony. Ciąg ten jest odsyłany do serwera za każdym razem, gdy przeglądarka wyświetla odpowiednią stronę. Dzięki cookie serwer potrafi rozpoznać tego samego użytkownika podczas kolejnych odwiedzin na stronie. Przyjmuje się założenie, że jeden internauta posługuje się tylko jedną przeglądarką internetową posiadającą tylko jedno cookie.
Problem kasowalności cookies – pewna liczba internautów co pewien czas świadomie bądź przypadkowo kasuje zarejestrowane na swoich komputerach cookie, przez co widziana jest przez ad-serwery jako kilku różnych użytkowników.
Współkorzystanie wielu użytkowników z tego samego komputera (z tego samego cookie) – zliczanie kliku osób jako jedno cookie (np. kawiarenki internetowe).
Korzystanie z internetu przez tych samych użytkowników w wielu miejscach (korzystanie z wielu komputerów/przeglądarek/cookies) – zliczanie tej samej osoby jako kilku różnych użytkowników.
E-mailing
Lista (baza) adresów e-mail – znane są adresy e-mail wszystkich osób tworzących badaną populację. Badanie może mieć charakter wyczerpujący lub niepełny (badanie oparte na próbie wylosowanej z tejże bazy). Zaproszenia do badania są wysyłane pocztą elektroniczną i zawierają link do strony, na której umieszczony jest kwestionariusz ankiety. Dostęp do kwestionariusza kontrolowany jest na dwa sposoby. Pierwszy stanowi podanie w e-mailu unikalnego loginu i hasła. Drugi to wygenerowanie dla każdego respondenta uniklalnego linku URL o trudno zapamiętywalnej nazwie. Ma to zabezpieczyć przed wielokrotnym wypełnieniem kwestionariusza przez tego samego respondenta lub przed dostępem osób spoza próby.
Innym wariantem tego badania jest przekazanie respondentom za pomocą poczty lub zleceniodawcy badania (zazwyczaj na piśmie) adresu strony, stworzonej specjalnie na potrzeby badania, wraz z unikalnym loginem
i hasłem.
To potencjalne źródło wykorzystania Internetu w badaniach ewaluacyjnych.
Panel badawczy jako źródło adresów e-mail:
Panel internetowy „chętnych” – rekrutacja do panelu odbywa się wśród internautów. Są to „ochotnicy”, zatem panel powstaje na drodze samoselekcji. Użytkownicy sieci mogą rejestrować się na specjalnej stronie, wyrażając tym samym zgodę na regularny udział w badaniach. Podczas rejestracji od panelistów zbierane są dane społeczno-demograficzne. Powstaje w ten sposób grupa o znanej strukturze, z której można dokonywać losowania próby. Niezależnie jednak od metody losowania jednostek do poszczególnych badań sam panel utworzony został metodą nieopartą na prawdopodobieństwie (np. E-Panel ARC Rynek i Opinia).
Panel internetowy utworzony przez prerekrutację – to próba skorygowania nielosowego doboru, jaki ma miejsce w przypadku panelu „chętnych”. Panel nie jest tworzony przez ochotników, lecz w wyniku prerekrutacji prowadzonej poza Internetem, najczęściej z wykorzystaniem wywiadów indywidualnych. Podstawowym celem jest zatem utworzenie losowej próby użytkowników Internetu. W „tradycyjnych” wywiadach zbiera się podstawowe dane o respondentach oraz identyfikuje tych, którzy mają dostęp do Internetu. Odpowiedni respondenci są rekrutowani do panelu przez wysłanie zaproszenia pocztą e-mail (adres uzyskany podczas prerekrutacji). Tym, którzy wyrażą zgodę, przydzielany jest osobisty numer identyfikacyjny i hasło zabezpieczające przez dostępem osób niepożądanych.
Zalety badań internetowych
KRÓTKI CZAS REALIZACJI BADANIA
Ważną zaletą badań przeprowadzanych za pośrednictwem Internetu jest czas ich realizacji. Wysyłany on-line kwestionariusz trafia błyskawicznie do respondentów, a odpowiedzi w czasie rzeczywistym przekazywane są do bazy danych. Dzięki temu odpowiednie oprogramowanie zlicza wyniki i na bieżąco jest w stanie generować statystyki.
W przypadku e-mailingu obserwowana jest następująca zależność: spośród wszystkich wypełnionych kwestionariuszy 50% to kwestionariusze wypełnione w czasie pierwszych 24 h od wysyłki mailingu.
Bezpośredni zapis odpowiedzi w bazie danych pozwala jednocześnie na wyeliminowanie błędów związanych z kodowaniem odpowiedzi czy pomyłkami ankietera.
MOŻLIWOŚĆ WYKORZYSTANIA MULTIMEDIÓW
Prawdopodobnie największą zaletą ankiety internetowej w porównaniu z innymi technikami badawczymi jest jej multimedialność. Badanie opinii i preferencji respondentów nie musi ograniczać się do zbierania odpowiedzi na pytania kwestionariusza. Internet stwarza możliwość zastosowania narzędzi interaktywnych, angażujących respondenta emocjonalnie poprzez wykorzystanie:
dźwięku,
obrazu,
animacji,
filmów video itd.
ELIMINACJA „EFEKTU ANKIETERA”
Brak kontaktu ankietera z badanym ma nie tylko znaczący wpływ na czas realizacji badania, ale pozwala dodatkowo uniknąć tzw. "efektu ankietera". O ile zwykły fakt nieuczciwości ankietera w procesie badawczym do pewnego stopnia jest możliwy do wykrycia i skorygowania, to nieuświadomiony wpływ ankietera na odpowiedzi udzielane przez respondenta nie jest możliwy do wyeliminowania i przyczynia się do znacznego obniżenia rzetelności uzyskanych wyników – zwłaszcza w badaniach realizowanych techniką wywiadu bezpośredniego (tzw. face to face).
Niektórzy autorzy wskazują na przewagę badań realizowanych przez Internet, jeżeli chodzi o ich rzetelność. Można tu przytoczyć wyniki eksperymentu, w którym badano wspomaganą świadomość marki, zadając to samo pytanie w wywiadach CATI (Computer Assisted Telephone Interviewing)*, wywiadach bezpośrednich, ankiecie pocztowej oraz w ankiecie internetowej (w dwóch niezależnych pomiarach
Niższe koszty badania: dzięki wyeliminowaniu roli ankietera i procedur związanych z jego pracą oraz z obróbką danych, badania prowadzone on-line wymagają dużo niższych nakładów finansowych w porównaniu z badaniami prowadzonymi z wykorzystaniem tradycyjnych technik.
Międzynarodowy zakres przedsięwzięcia badawczego: brak przeszkód
w postaci granic czy barier językowych, dostęp do respondentów na całym świecie.
Badania przez Internet - ograniczenia:
REPREZENTATYWNOŚĆ
Najistotniejszym ograniczeniem badań realizowanych z wykorzystaniem Internetu jest ich zasięg.
W żadnym europejskim kraju udział użytkowników Internetu w całej populacji generalnej nie jest na tyle wysoki, aby przyjmując obowiązujące wymogi metodologii badań społecznych, można było mówić o możliwości realizacji badań on-line reprezentatywnych dla tejże populacji. Przyjmuje się, że w niektórych przypadkach badania internetowe mogą być uznane za reprezentatywne jedynie dla populacji użytkowników Internetu, oraz – z pewnymi zastrzeżeniami – dla grup, w których użytkownicy Internetu stanowią zdecydowaną większość. W polskich warunkach są to na przykład uczniowie i studenci, pracownicy posiadający wyższe wykształcenie czy przedsiębiorcy pochodzący z dużych miast.
Taki stan rzeczy wymusza najczęściej stosowanie celowego bądź kwotowego doboru próby.
LOSOWY DOBÓR PRÓBY
Podstawowym wymogiem reprezentatywności badania jest losowy dobór próby.
W badaniach on-line wymóg ten może być spełniony, chociaż losowanie próby odbywa się zwykle w sposób odbiegający od klasycznego schematu, a głównym tego powodem jest brak operatu losowania próby (nie istnieje wykaz wszystkich użytkowników Internetu).
W większości badań realizowanych on-line respondenci dobierani są poprzez losowanie systematyczne wśród użytkowników witryn internetowych. Jest to więc procedura przypominająca prosty dobór losowy w „tradycyjnych” badaniach. Podstawową różnicą jest tutaj zawężenie operatu losowania do osób obecnych w Internecie w momencie realizacji badania – losowanie próby odbywa się równocześnie z wyświetleniem co n-temu respondentowi okna pop-up będącego zaproszeniem do udziału w badaniu. Nie wszyscy członkowie badanej populacji mają zatem jednakową szansę zostania jednostką wylosowaną do badania (tzw. błąd pokrycia).
ODMOWA UDZIAŁU W BADANIU
Pomimo zastosowania losowego doboru próby w badaniach on-line, podobnie jak w przypadku “tradycyjnych” technik realizacji badań, mamy do czynienia z błędami pomiaru związanymi z brakiem odpowiedzi. Innymi słowy, niektóre kategorie respondentów chętniej biorą udział w badaniach on-line niż pozostałe (tzw. błąd braku odpowiedzi).
Regułą jest, że w zrealizowanych badaniach on-line nadreprezentację
w stosunku do populacji internautów stanowią kobiety, osoby młodsze oraz tzw. hard-users (częściej korzystający z Internetu, spędzający tam więcej czasu, mający dłuższy staż w użytkowaniu tego medium).
W celu ograniczenia wpływu takich obciążeń próby na wyniki badania stosowane są procedury ważenia wykorzystujące aktualne dane o strukturze badanej populacji pochodzące z badań prowadzonych „tradycyjnymi” technikami.
Innym rozwiązaniem, pozwalającym uniknąć przynajmniej części opisanych wyżej ograniczeń, jest tworzenie panelu badawczego.
Ograniczenia prawne wynikające z Ustawy o Ochronie Danych Osobowych oraz z Ustawy o Świadczeniu Usług Drogą Elektroniczną.
Brak kontroli nad respondentem i nad przebiegiem badania (sytuacją badawczą).
Brak możliwości zweryfikowania prawdomówności respondenta.
W przypadku mailingu niebezpieczeństwo uznania przesłanej wiadomości za spam i zignorowania jej.
W przypadku ankiety typu pop-up niebezpieczeństwo zignorowania jej na skutek „szumu informacyjnego” panującego w sieci oraz coraz większej liczby reklam, do których zaliczane są również wspomniane ankiety.
Podsumowując, coraz trudniej jest dotrzeć do respondenta z jakąkolwiek formą rekrutacyjną i zwerbować go do badania. W takim środowisku coraz trudniej jest też budować zaufanie respondenta do badacza.
BADANIE DELPHI
Metoda delficka w tradycyjnym ujęciu stanowi płaszczyznę do efektywnego porozumienia się grupy ekspertów, pozostających anonimowymi na każdym etapie badania, w celu osiągnięcia kompromisów w spornych kwestiach i zaproponowania rozwiązań skomplikowanego, wieloaspektowego problemu (Lindstone i Turoff 2002).
Ideą badania delfickiego jest osiągnięcie konsensusu explicite pomiędzy ekspertami biorącymi udział w badaniu. Dynamika badania pozwala na anonimowe modyfikowanie sądów i odnoszenie się do opinii innych ekspertów (Linston i Turoff 2002).
Metodologia badania jest mozaiką metod, technik i narzędzi badawczych badawczych. Opiera się na dynamicznym kwestionariuszu wywiadu, który pozwala na kontrolę opinii badanych w toku trwania badania. Ma doprowadzić do stworzenia optymalnego scenariusza rozwiązań podjętych w badaniu problemów (Drbohlav 1996; 2005).
Historia metody Delphi
Rozwinięta w latach 1940. do celów militarnych;
Zastosowana po raz pierwszy w latach 1950. w odniesieniu do wyzwań lotnictwa amerykańskiego; najczęściej była wykorzystywana do konstruowania prognoz w: przemyśle, ochronie środowiska, transporcie, biznesie, ochronie zdrowia i edukacji.
W badaniach migracyjnych zastosowano metodę Delphi w następujących projektach: Drbohlav (1992) – migracje ze Wschodu na Zachów w latach 1993-1998, 70 ekspertów z Europy Wschodniej i Zachodniej; Drbohlav (2003) – powtórzone badanie na 15 czeskich ekspertach; dwie rundy kwestionariusza; IOM (1998) – prognoza napływu do starej UE po rozszerzeniu; Bauer, Zimmermann (1999) - prognoza napływu do starej UE po rozszerzeniu o dziesięć krajów Europy Środkowo-Wschodniej; Drbohlav, Cermak, Cermakova, Dzurova, Janska, Lachmanova (2005/2006) nieregularni migranci w Republice Czeskiej (projekt Uniwersytetu Karola w Pradze na zlecenie MPiSS, pt. International Migration and Migrants´ Illegal/Irregular Activities: The Czech Republic in a broader European Context’).
Typy badania Delphi
Struktura zagadnień
Z założenia struktura zagadnień, prezentowanych w badaniu delfickim, powinna odnosić się do trzech płaszczyzn (Lindstone, Turoff 2002):
diagnozy obecnej sytuacji i charakterystyki sytuacji pożądanej (ang. scientific breaktrough);
kontrowersji wokół stosowanych i planowanych rozwiązań (ang. controversies);
modeli polityki jako wypadkowych wszystkich trzech płaszczyzn zagadnień (ang. policy scenarios);
lub bardziej szczegółowo do (Gordon 1995):
prognoz zdarzenia się określonych rozwiązań (ang. forecasts on the occurrence of future developments);
zagadnień odnoszących się do tego, co zdaniem eksperta powinno nastąpić, jakie rozwiązania powinny zostać zastosowane (ang. desirability of some future state);
sposobów i metod implementacji zaproponowanych rozwiązań oraz metod unikania błędów (ang. the means for achieving or avoiding a future state).
Procedura badania delfickiego
RUNDA I: Diagnoza sytuacji; identyfikacja spornych zagadnień
RUNDA II: Poszukiwanie kompromisu
RUNDA III: Prezentacja kompromisowych rozwiązań w formie scenariuszy
Dobór próby do badania
Osoby do badania są najczęściej dobierane metodą doboru eksperckiego (tzw. metodą sędziów kompetentnych - ang. judgement sampling). Metoda ta polega na skonstruowaniu próby, poprzez wyszukanie osób posiadających dużą wiedzę merytoryczną i praktyczną, leżącą w sferze zainteresowań badacza. Ankiety przeprowadzone z takimi osobami, w ramach metody badania delfickiego, pozwoliły uchwycić unikalne sformułowania dotyczące przewidywanych kierunków zmian.
Konstrukcja narzędzia badawczego
W konstrukcji narzędzia badawczego, będącego najczęściej w badaniu Delphi ankietą (może być również wykorzystywany scenariusz wywiadu pogłębionego lub zogniskowanego wywiadu grupowego), pytania mogą być skonstruowane wg określonych formuł (Gordon 1994):
(1) Swobodnego zapisu odpowiedzi na pytania otwarte (ang. free text search);
(2) Doboru zagadnień wg uznania eksperta i odpowiedzi na wybrane pytania/zagadnienia (ang. narrowing universe);
(3) Pomiaru określonych zagadnień (ang. past performance scoring);
(4) Pogłębienia zagadnień (ang. tree approach).
ZOGNISKOWANY WYWIAD GRUPOWY (tzw. FGI, fokus)
Kiedy zastosować zogniskowane wywiady grupowe?
Umożliwia zebranie w jednym miejscu różnych grup respondentów (twórców, wdrażających, beneficjentów)- płaszczyzna do konfrontacji
Użyteczna w przypadku istniejących rozbieżności pomiędzy koordynatorami, realizatorami, beneficjentami)
Może być stosowana w każdym rodzaju i na każdym etapie ewaluacji
IDI
Sytuacja 1:1
Mniej informacji w dłuższym czasie
Węższy obraz wyników
Brak dyskusji (interakacji) pomiędzy uczestnikami badania
FGI
Sytuacja 1:7
Więcej informacji w krótszym czasie
Szerszy obraz wyników
Dyskusja (interakacja) między uczestnikami badania
ZALETY
dynamika grupy
pozytywny wpływ moderatora
informacje od większej liczby osób w danym czasie
więcej możliwości interpretacji
OGRANICZENIA
możliwość wystąpienia negatywnego wpływu na siebie uczestników
negatywny wpływ moderatora (hamowanie dyskusji; uzyskiwanie nieobiektywnych informacji; własne wartościujące wypowiedzi)
informacje bardziej powierzchowne niż w FDI
ryzyko nadinterpretacji
Źródła danych z FGI
Pamięć moderatora i obserwatora
Notatki obserwatora
Kasety wideo
Nagranie na dyktafon
Transkrypcje