Problem błędu odpowiedzi w badaniach internetowych
Wstęp
Internet to:
- współczesna metaplatforma interaktywnej wymiany informacji
- nowoczesne medium
- nowa płaszczyzna uspołeczniania
- zjawisko złożone, nie należy mówić o nim jednokierunkowo
Użycie Internetu w badaniach społecznych staje się powszechne. Jednak metoda ta nie jest tak rozwinięta, jak w innych technikach przeznaczonych do badań społecznych, np.:
- PAPI (Paper and Pencil Interview)
- CATI (Komputer Assisted Telephone Interviewing)
- CAPI (Komputer Assisted Personal Interviewing)
Z jednej strony to całkiem normalne, ze względu na krótki, w porównaniu do wyżej wymienionych, okres rozwoju badań internetowych. Z drugiej strony wskazuje to konieczność wyznaczenia wielu standardów metodologicznych, a także przyjrzenia się zagadnieniom, mogącym wpływać na jakość prowadzonych w ten sposób badań.
Błąd braku odpowiedzi w badaniach typu surveyowego
Klasyfikacja typów błędów wg Grovers`a (1989):
błąd związany z losowaniem próby (sampling error) wynika z faktu, że przebadana jest jedynie część populacji, nie jej całość
błąd pokrycia (coverage error) związany jest z faktem, iż nie wszyscy członkowie badanej populacji mają równą szansę zostania jednostką wylosowaną do badania; w przypadku badań internetowych jest to główny powód, dla którego badania te nie mogą zostać uznane za reprezentatywne dla populacji ogólnospołecznych, gdyż warunkiem jest posiadanie dostępu do sieci i wyklucza to zbyt dużą liczbę jednostek; inny przykład tego błędu: gdy badanie ma zostać przeprowadzone na użytkownikach posiadających adres e-mail, co również wyklucza niektórych członków populacji internautów
błąd związany z pomiarem (measurement error) to dość pojemna kategoria, obejmuje sytuacje, w których w wyniku nieodpowiedniej konstrukcji kwestionariusza bądź niewłaściwej prezentacji pytań uzyskuje się nieprecyzyjne odpowiedzi, niemożliwe do zinterpretowania i porównania z innymi odpowiedziami
błąd braku odpowiedzi (non-response error) wynika z faktu, że nie wszystkie jednostki chcą lub mogą uczestniczyć w badaniu
2 rodzaje tego błędu:
a) kiedy respondent nie odpowiada na cały kwestionariusz (unit non-response)
b) kiedy respondent nie udziela odpowiedzi na poszczególne pytania (item non-response)
2 podstawowe grupy sposobów radzenia sobie z błędem braku odpowiedzi:
a) dotycząca tych metod, które dążą do korygowania już zaistniałego błędu braku odpowiedzi
b) odnosząca się do takiej konstrukcji i kontroli przebiegu procesu badawczego, aby minimalizować wystąpienie tego błędu
Typy badań internetowych
Terminologia:
„badania internetowe” - ankieta umieszczona jest na stronie WWW, niezależnie od tego, czy rekrutacja do badania odbywa się tradycyjnymi metodami, za pomocą e-mail czy bezpośrednio przy użyciu elementów umieszczonych na stronie WWW
„badania e-mailowe” - ankieta rozsyłana pocztą elektroniczną i odsyłana tą samą drogą
Typologia badań wg Micka Coupera (2000)
Wyróżnił 3 rodzaje sondaży internetowych nieopartych na prawdopodobieństwie:
1) sondaże „rozrywkowe” krótkie sondy, w których praktycznie nie istnieje kontrola nad tym, kto odpowiada
2) sondaże „otwarte” rozbudowana forma „rozrywkowego”, również opartą na samodoborze respondentów
3) panele internetowe „chętnych” poszczególni użytkownicy sieci mogą zarejestrować się na stronie, tym samym zgadzając się na udział w badaniach internetowych/e-mailowych. Wejście na taką stronę - poprzez różnego typu reklamy, np. bandery lub z własnej aktywności internauty. Podczas rejestracji zbierane są dane, głównie społeczno-demograficzne. Dzięki temu powstaje panel o znanej strukturze, z którego można dokonywać losowania próby. Uczestnictwo respondenta - tylko za zaproszeniem i jest kontrolowane przez osobiste hasło dostępu. Przykład: E-Panel prowadzony przez firmę ARC Rynek i Opinia (Polska)
Wyróżnił badania oparte na prawdopodobieństwie; cechy:
- umieszczane na różnych stronach internetowych
- zaproszenie: w formie pop-up lub automatycznie otwierającej się podstrony (wyświetlane co n-tej osobie = losowość)
- mechanizm cookies (zabezpiecza przed wielokrotnym wzięciem udziału z jednego komputera)
- technika najczęściej wykorzystywana do badania danej witryny (wg Coupera), obecnie nie jest to do końca prawdą
Badania oparte na próbie wylosowanej ze znanej listy-bazy
- populacja = określona grupa ludzi mających dostęp do poczty elektronicznej
- operat losowania opiera się na znanej liście adresów e-mail
- zaproszenia: wysyłane pocztą, zawierają link do strony z kwestionariuszem
- dostęp do kwestionariusza kontrolowany na 2 sposoby, ma to zabezpieczyć przed wielokrotnym wypełnianiem przez jednego użytkownika oraz przed dostępem osób spoza próby:
a) podanie w e-mailu unikalnego loginu i hasła
b) wygenerowanie dla każdego ankietowanego unikalnego linka URL o nieoczywistej nazwie
Trudności w tej technice: istniejące bazy odnoszą się do wąskiej populacji. Obecnie jednak jest ok, co otwiera nowe możliwości w badaniach tego typu ;P
Badania mieszane z opcją wyboru metody wypełnienia kwestionariusza
- kwestionariusz online może wypełnić każdy
- próby dobrane klasycznymi metodami w sposób losowy
- wykorzystywane zazwyczaj w dużych projektach badawczych, gdzie nacisk kładziony jest na minimalizację obciążenia respondenta przy jednoczesnej redukcji kosztów
Panele użytkowników Internetu utworzone przez prerekrutację
- tworzony w wyniku prerekrutacji prowadzonej poza Internetem
- podstawowy cel: utworzenie losowej próby użytkowników Internetu
Reszta tak samo jak w panelach „chętnych”.
Próby losowe z całej populacji
- reprezentatywna próba ogólnospołeczna, utworzona tradycyjnymi metodami losowania
- zapewnia dostęp do Internetu wszystkim wylosowanym respondentom
- wysokie koszty i duże zaawansowanie logistyczne,
- próby takie na razie tylko w USA
Determinanty udziału w badaniu internetowym
Teoria wymiany społecznej (Dillman):
Motywacją jednostki do podejmowania określonych działań jest spodziewany zysk społeczny, jakiego doświadczy ona od innych.
3 elementy ważne do podjęcia konkretnego działania:
1) społeczne nagrody - zyski spodziewane w zamian za konkretne działanie
2) koszty - to, co jednostka musi „poświęcić” dla otrzymania nagrody
3) zaufanie - czynnik pozwalający jednostce wierzyć, że w pewnej perspektywie nagrody przewyższają koszty
To musi być zapewnione, żeby skłonić jednostkę do wzięcia udziału w badaniu
Inna koncepcja (autor nie podaje nazwy)
Grupy czynników, decydujących o uczestnictwie:
środowisko społeczne i technologiczne
charakterystyka respondenta
konstrukcja samego badania
Charakterystyki, które stanowią o specyfice badań internetowych
Środowisko technologiczne - co wpływa na stopień realizacji próby w badaniach internetowych
Czynniki: sieci telekomunikacyjne, ogólna jakość łączy w danym kraju, odsetek ludzi, którzy używają szybkich połączeń w dostępie do Internetu.
Ważna absorpcja Internetu, jako medium w społeczeństwie.
Wykorzystanie technologii w społeczeństwie = funkcja dostępu do technologii, jak i dostępu do edukacji dotyczącej jej wykorzystania. Przykład: dostęp do Internetu w szkołach.
Duża rola regulacji prawnych - mogą dotyczyć prywatności użytkowników sieci lub np. potencjalnych utrudnień w dostarczaniu gratyfikacji czy nagród uczestnikom badania.
Mówiąc prościej ;) Badania pokazują np., że ludzie ostrożniej posługują się swoimi danymi w internecie, jeśli zasady ich wykorzystania i ochrony nie są jasno i przejrzyście określone.
Innym elementem, który wpływa jest kultura zachowań w sieci i nakładające się na nią procesy związane m.in. z komercjalizacją internetu.
- charakterystyczna chęć szybkiego zdobywania pożądanych informacji, na co nakłada się
- wzrost „szumu informacyjnego”, który jest spowodowany
- wzrostem aktywności reklamowej (pocztą e-mail - spam, jak i na stronach WWW - IRYTUJĄCE!), co stwarza
- trudność dla badacza, bo ciężko zwerbować do badania
+ inne utrudnienie: niezwykle dynamiczny rozwój samego medium
Charakterystyka respondenta, 4 wymiary
Charakterystyka społeczno-demograficzna (wiek, płeć, poziom wykształcenia, dochodu)
Charakterystyka pod względem korzystania respondentów z sieci (grupa cech związana z wzorami użytkowania internetu wykazuje kluczowy wpływ na uczestnictwo w badanach internetowych; respondenci internetowi korzystają z sieci częściej i dłużej niż przeciętny internauta, mają też większy staż)
Postawy i inne predyspozycje psychologiczne (podstawowy czynnik: ogólne nastawienie respondenta ma duży wpływ na odpowiedzi; istnieją kategorie respondentów, którzy mimo odmowy udziału w badaniu w dalszym ciągu mogą wykazywać chęć uczestnictwa w nim, np. młodzi pracujący mężczyźni; ankiety wypełniane samodzielnie przez internet jeszcze kilka lat temu były atrakcyjne, teraz już przestają. Istotne jest również, czy badany uważa tematykę badania za ważną.
Wyposażenie techniczne respondenta (nieprawidłowa konstrukcja badania może spowodować, że dla niektórych respondentów o nieodpowiedniej konfiguracji sprzętowej uczestnictwo będzie utrudnione, co może prowadzić do spadku odsetka odpowiedzi; istotne również przeglądarki - np. Firefox ma zabezpieczenia, które blokują)
Ostatni element, wpływający na uczestnictwo w badaniu internetowym, jest jego konstrukcja rozumiana jako zaplanowanie wszystkich kwestii związanych z przebiegiem procesu badawczego. Powinna prowadzić do minimalizacji błędów badania:
- czynniki związane z rekrutacją pytanie: jaką formę rekrutacji należy zastosować? Np. banner, billboard, formy layerowe…
- wybór zaawansowania graficznego zaproszenia do badania
- wielkość formy rekrutacyjnej
- czas wysyłki różnych form rekrutacyjnych
- pora dnia
Zawartość formy rekrutacyjnej:
- styl formalny bądź nieformalny
- adres, z którego wysyłane jest zaproszenie (prywatny bądź instytucjonalny budowa zaufania)
- umieszczenie stopki informacyjnej dokładnie o badaniu budowa zaufania i nagradzanie respondenta (dowartościowanie)
- umieszczenie zdjęcia badacza budowa zaufania, chociaż nie jest to wystarczająco uargumentowane
- wyraźnie zaznaczenie, że wypełnienie ankiety nie potrwa długo (zachęta)
- personalizacja listu zwiększenie społecznej nagrody dla respondenta, czyli wpływ na pozytywne odpowiedzi też; jednak wielu internautów chce aminowości, więc efekt może być wręcz odwrotny
- zapewnienie o anonimowości
- informacja, że respondent jest osobą wyjątkową, dobraną specjalnie do badania, a samo badanie jest rzeczą niezwykle ważną
- informacja o tym, że inni już wypełnili kwestionariusz (silny czynnik pobudzający do działania)
Czynniki motywacji do uczestnictwa:
- powtórne kontakty, czyli przypomnienia (należy określić formę, zawartość, częstotliwość wysyłania i ilość)
- nagrody dla respondentów (pytania: jakie formy nagrody najskuteczniejsze? Jakie nagrody stosować, aby nie wypaczać próby? Ważne również przeanalizowanie uregulowań prawnych i etycznych w sieci)
- autorytet instytucji badawczej
Czynniki, które ułatwiają respondentowi udział w badaniu:
Są to czynniki optymalizacyjne. Zaliczają się do nich przede wszystkim elementy konstrukcji samego kwestionariusza:
- stosowanie „one page” versus „screen by screen”
- zaawansowana grafika bądź klasyczny wygląd
- wskaźnik zaawansowania wypełniania kwestionariusza (określa ilość czasu, jaką respondent musi poświęcić na przeprowadzenie badania)
- zastosowanie pytań otwartych (dokładniejsze odpowiedzi)
- stosowanie ekranu wstępnego (rola motywująca oraz instruująca)
- instrukcje wypełniania kwestionariusza - na początku czy przy każdym pytaniu? Należy umożliwić kontynuowanie respondentom, nawet gdy odpowiedzieli niezgodnie z instrukcją
- możliwość przejścia do kolejnych pytań bez odpowiedzi na poprzednie, czy „zmuszanie” do odpowiadania po kolei?
- długość kwestionariusza
- długość okresu zbierania danych (zbyt krótki: utrudnia wzięcie udziału w badaniu; wyznaczenie terminu: poczucie ekskluzywności, wzmaga chęć wzięcia udziału zanim będzie za późno)