BŁĘDY POPEŁNIANE W TRAKCIE BADAŃ

W całym procesie badania popełnia się różne błędy — nie ma badania idealnego, bez błędów. Kontrola i minimalizacja błędów należą do najważniejszych zadań ba­dacza, jeszcze na etapie projektowania badania. Natomiast każdy decydent stara się ocenić jakość otrzymanej z badania informacji.

Użytkownik rezultatów badania powinien być pewien, że wyniki trafnie od­zwierciedlają badany problem. Skoro jednak nie ma wyników idealnych (bezbłęd­nych), to obowiązkiem badacza jest także określić stopień dokładności wyników badania, rodzaje i wielkość błędów oraz relacje między nimi a stosowaną metodą badania.

W literaturze mówi się najczęściej o dwu grupach błędów:

• błędach doboru próby

• pozostałych błędach.

Na poniższym rysunku przedstawiono podstawo­wą klasyfikację błędów, jakie popełnia się w badaniach marketingowych.

Błędy w badaniach marketingowych
Błędy doboru próby

Pozostałe błędy badania

- błędy występowania niewłaściwej populacji generalnej

- błędy występowania niewłaściwego wykazu populacji badanej

- błędy losowego doboru próby

- błędy nielosowego doboru próby

- błędy niewłaściwego stosowania próby

- błędy problemu badawczego

- błędy pomiaru

- błędy zbierania danych

- błędy redukcji danych

- błędy analizy i interpretacji danych

- błędy prezentacji i oceny wyników badania

Każdy z wymienionych rodzajów błędów powstaje na skutek różnicy między wynikiem prawdziwym (lub oczekiwanym) a rezultatem osiągniętym po przeprowadzeniu konkretnego działania badawczego. Powszechnie przyjęto, że wynik prawdziwy otrzymuje się w wyniku skrupulatnie i dokładnie zaprojektowanego ba­dania. Oznacza to, że należy określić z góry, czyli jeszcze przed rozpoczęciem zbie­rania danych, takie elementy, jak: problem badawczy, minimalna i reprezentatywna próba, kwestionariusz lub inny instrument pomiarowy, instrukcje, program redukcji i analizy danych itp. Wynik prawdziwy jest to zatem rezultat bardzo dobrze zapro­jektowanego badania; wynik prawdziwy jest idealnym wynikiem określonego badania, które przeprowadzono w absolutnej zgodzie z uprzednio przyjętym projek­tem badania.

Często spotykamy publikowane lub nie publikowane, różniące się rezultaty badań na ten sam temat, otrzymane w tym samym czasie i w tym samym miejscu przez co najmniej dwie różne instytucje badawcze. Bez uprzedniego zapoznania się z projektami tych badań trudno jest ocenić, które wyniki są dokładniejsze, czyli bardziej prawdziwe. Sytuację taką ilustruje poniższy przykład 3, przedstawiający rezultaty dwóch z licznej serii przedwyborczych sondaży opinii publicznej, przeprowadzo­nych w Polsce w 1998 roku.

PRZYKŁAD 3

CBOS orazPBS

Centrum Badania Opinii Społecznej (CBOS) z Warszawy przeprowadziło w lipcu 1998 roku badanie (sondaż) popularności partii politycznych w Polsce. W tym samym czasie identyczne badanie przeprowadziła sopocka Pracownia Ba­dań Społecznych (PBS). Oba badania były przeprowadzone na podstawie loso­wych prób reprezentujących dorosłą ludność kraju. Zarówno CBOS, jak i PBS należą do czołowych ośrodków badania opinii publicznej w Polsce. Zestawienie opu­blikowanych w codziennej prasie polskiej rezultatów tych badań wykazuje znaczne różnice. Nie znając wyniku prawdziwego, nie możemy powiedzieć, który rezultat jest obarczony większym błędem lub, być może, jest całkowicie bezbłędny. Wyniki badań pokrywają się tylko w jednym przypadku (ROP — po 3%). W przypadku ugrupowań największych (AWS i SLD) różnice te są bardzo duże.

W najszerszym znaczeniu (także potocznym) błąd lub pomyłka zdarza się podczas wykonywania różnych czynności badawczych niezgodnie z przyjętym projektem badania, np. podczas zbierania danych, konstruowania kwestionariusza, in­terpretowania danych, prezentacji. W węższym znaczeniu błąd jest różnicą między osiągniętym rezultatem a wynikiem prawdziwym. Błąd ten może być wynikiem za­równo konkretnej czynności, jak i całego procesu badania.

Wielu niedoświadczonych badaczy nie odróżnia błędów wynikających z wad­liwego doboru próby od wszystkich pozostałych błędów. Dalej zostaną więc opisa­ne wszystkie rodzaje błędów występujące w badaniach marketingowych w kolejno­ści zgodnej z etapami badania.

W węższym znaczeniu błędem w badaniach marketingowych nazywamy różnicę między wartością otrzymaną w rezultacie określonej czynności badawczej a wartością prawdziwą lub wartością oczekiwaną przez badacza.

RODZAJE BŁĘDÓW

1. Błędydoboru próby. Jest to najszersza kategoria błędów, ponieważ powstają one w całym procesie doboru próby. Oto poszczególne rodzaje tych błędów:

• błędy wytypowania niewłaściwej populacji generalnej, wynikające z różni­cy między populacją, która koniecznie powinna dać potrzebne dane, a po­pulacją szukaną przez badacza;

• błędy wytypowania niewłaściwego wykazu populacji badanej, wynikające z różnicy między populacją zdefiniowaną przez badacza a używaną przez niego listą badanych jednostek;

• błędy losowego doboru próby, wynikające z różnicy między próbą reprezen­tatywną a próbą otrzymaną w wyniku zastosowanej metody losowania;

• błędy nielosowego doboru próby, wynikające z różnicy między próbą repre­zentatywną a próbą otrzymaną w wyniku zastosowania metody doboru nielosowego;

• błędy niewłaściwego stosowania próby, wynikające z różnicy między próbą dobraną a próbą rzeczywiście stosowaną (pobraną w terenie i poddaną po­miarom).

Przykładem drugiego rodzaju błędu może być zastosowanie książki telefonicz­nej jako wykazu populacji mieszkańców miast polskich. Wykaz ten bowiem nie obejmuje całej badanej populacji i dobrana na jego podstawie próba losowa nie bę­dzie próbą reprezentatywną (na 100 mieszkańców w Polsce przypada około 25 apa­ratów telefonicznych). Ponadto nie wszyscy posiadacze aparatów telefonicznych znajdują się na tej liście.

• Błędy problemu badawczego.

Błędy te wynikają z różnicy między danymi niezbędnymi do rozwiązania określonego problemu decyzyjnego a poszukiwanymi przez badacza danymi opisanymi w problemie badawczym. Załóżmy, że decydent trafnie określi problem decyzyjny, którym jest znalezienie sposobów zahamowania spadku sprzedaży w sklepie wolnocłowym na przejściu granicznym.

Badacz, w ce­lu rozwiązania problemu decyzyjnego, postanawia poznać opinie klientów o cenach sprzedawanych towarów. Określony tak problem badawczy może kryć błąd spowo­dowany tym, że ceny nie muszą być jedynym i najważniejszym czynnikiem hamu­jącym sprzedaż. Aby uniknąć tego błędu, należy najpierw dokładnie obliczyć nie­zbędne informacje potrzebne do podjęcia decyzji. Będą to na pewno informacje mówiące o przyczynach zaobserwowanego spadku. Prawidłowo sformułowany pro­blem badawczy powinien więc brzmieć: „Przyczyny spadku sprzedaży w sklepie wolnocłowy”

• Błędy pomiaru

Błędy pomiaru wynikają z różnicy między wynikiem osiąg­niętym w danym pomiarze a wynikiem poszukiwanym przez badacza. Jest to obszerna grupa błędów. Sam pomiar może dać wyniki inne niż oczekiwane. Np. przy pomiarze metodą ankiety pocztowej respondent może udzielić nieprawdziwej odpowiedzi na zadane w kwestionariuszu ankietowym pytanie o wysokość jego dochodów. Źródłem tego błędu może być wadliwe zaprojektowanie instrumentu pomiarowego, jakim w tym przypadku jest kwestionariusz ankietowy. Do błę­dów pomiaru zalicza się również błędy popełniane w pomiarach prowadzonych me­todami eksperymentu. Błąd eksperymentu powstaje wówczas, gdy mierzony jest efekt samej sytuacji eksperymentalnej, a nie tylko efekt zmiennej niezależnej.

• Błędy zbierania danych.

Jeżeli po zastosowaniu metody ankiety pocztowej na pytania kwestionariusza odpowiedziało tylko 40% respondentów z uprzednio do­branej próby, to błąd wynosi aż 60% i jest zwany błędem braku odpowiedzi, i mieści się w grupie błędów zbierania danych. Przyczyną tego błędu mogą być wadliwe przygotowanie badania (w tym wadliwy kwestionariusz) oraz zła organizacja badania.

• Błędy redukcji danych.

Błędy redukcji danych wynikają z różnicy między wy­nikami otrzymanymi w rezultacie stosowanych metod redukcji a wynikami oczeki­wanymi przez badacza. Błędy te powstają głównie na skutek niestarannego przygo­towania danych surowych, otrzymanych z pomiarów, do dalszej analizy ilościowej lub jakościowej. Na przykład odpowiedzi respondentów w kwestionariuszach mogą być uprzednio niewłaściwie wyskalowane i zakodowane. Błąd może powstać także w trakcie redakcji wypełnionych kwestionariuszy. Zastosowanie programów kom­puterowych może wyeliminować tylko niektóre błędy.

• Błędy analizy i interpretacji danych.

Błędy analizy wynikają z różnicy mię­dzy danymi otrzymanymi w wyniku zastosowanych metod analizy a danymi poszu­kiwanymi przez badacza. Źródłami błędu mogą być: zastosowanie nieodpowied­nich metod analizy albo też proste pomyłki, np. dodanie innej cyfry. Często spoty­kanymi błędami w tej kategorii są błędy interpretacyjne; analitycy przetwarzający dane rozumieją je stronniczo w celu wsparcia lub wykazania słuszności uprzednio postawionych celów i tez. Błędna interpretacja może być dokonana świadomie lub podświadomie, np. z powodu niezrozumienia wyników analizy statystycznej lub ekonometrycznej.

• Błędy prezentacji i oceny wyników badania.

Błędy prezentacji wynikają z różnicy między wynikami badania przekazanymi przez badacza (prezentera) a in­formacją odebraną przez użytkownika (decydenta). Źródłem błędu jest zwykle nieumiejętne zaplanowanie i przeprowadzenie prezentacji. Rezultatem tego błędu jest niezrozumienie wyników badania lub ich błędna interpretacja przez decydenta albo innego użytkownika. Błąd może się także wkraść do oceny przeprowadzonego ba­dania po jego zakończeniu.

V. PRZYKŁADY BŁĘDÓW

Suma błędów doboru próby oraz wszystkich pozostałych błędów daje łączny błąd badania. W przykładzie 4 opisano rzeczywiste postępowanie w tym zakresie specjalisty ds. marketingu w dużej amerykańskiej firmie produkującej komputery osobiste. Natomiast rysunek zamieszczony na następnej stronie ilustruje oparty na danych z przykładu 4 sposób obliczania łącznego błędu badania. Dla ułatwienia obliczenia tego błędu jest on podany na rysunku jako arytmetyczna suma podstawowych błędów składowych, które dają łączny błąd badania -33%.

PRZYKŁAD 4

DUŻY PRODUCENT KOMPUTERÓW ZE STANÓW ZJEDNOCZONYCH

Specjalista ds. marketingu w zakresie komputerów osobistych zakupił, w celu oszacowania liczby tych komputerów przypadających na jedno przedsiębiorstwo w Stanach Zjednoczonych, raport z wywiadów telefonicznych okresowo prowadzo­nych przez pewną firmę badawczą. Raport sugerował (z błędem ±2%), że w przed­siębiorstwach było zainstalowanych 14 mln komputerów. Specjalista ds. marketingu przyjął ten szacunek ostrożnie, ponieważ wiedział z doświadczenia, że błąd jest w rzeczywistości dużo większy. Współpracując z analitykami i kolegami oraz wyko­rzystując swoje doświadczenie, dokonał własnych szacunków przez dotarcie do wszystkich źródeł błędu. Pierwszym źródłem był brak odpowiedzi, oszacowany na 10%. Dużo przedsiębiorstwa były źródłem większego błędu niż średnie. Drugim źró­dłem była lista badanej populacji, która obejmowała małe przedsiębiorstwa w mniej­szej proporcji niż rzeczywista, co dawało błąd -5%. Otrzymano w sumie błąd, zwa­ny błędem braku reprezentatywności, czyli 5%. Okazało się też, że respondenci podczas prowadzonych z nimi wywiadów telefonicznych mieli tendencję do zaniża­nia liczby komputerów, co zakwalifikowano do błędów pomiaru. Błąd ten jest zazwy­czaj poważnym problemem w badaniach populacji przedsiębiorstw. Po różnych dodatkowych rozważaniach specjalista ds. marketingu oszaco­wał błąd pomiaru aż na -30%, co dało w sumie błąd -25%. Studia statystyk j branżowych oraz innych niezależnych źródeł pozwoliły dodatkowo stwierdzić, że firma ma badawcza nie doszacowała pewnej liczby przedsiębiorstw, co dato błąd -8%.

W rezultacie łączny błąd badania wyniósł -33%.

Łączny błąd badania składa się więc z:

1) błędu losowego doboru próby (bez odchylenia);

2) błędu braku odpowiedzi (odchylenie +10%);

3) błędu niewłaściwego stosowania próby (+10%), który jest sumą dwóch pierwszych błędów;

4) błędu wytypowania niewłaściwego wykazu populacji badanej (-5%);

5) błędu doboru próby (niepełna reprezentatywność), który jest sumą błędów trzeciego i czwartego (odchylenie +5%);

6) błędu pomiaru (odchylenie -30%);

1. błędu zbierania danych (-25%), który jest sumą błędu piątego i szóstego;

2. błędu oszacowania populacji badanej (-8%).

Dla decydentów ważną informacją jest także wielkość wszystkich rodzajów błędów składających się na łączny błąd badania. Niestety większość dostępnych ra­portów ogranicza się do określenia błędu wynikającego z losowego doboru próby. Jest to jednak tylko jeden z wielu błędów przyczyniających śle do znacznego obniżenia jakości informacji. W przeciwieństwie do błędu doboru próby innych błędów nie da się zredukować po prostu przez zwiększenie liczebności próby. Nie jest rów­nież możliwe ich dokładne określenie, a przecież nawet przybliżone oszacowanie tych błędów umożliwia dokładniejszą ocenę przeprowadzonego badania i otrzyma­nej w jego rezultacie informacji przeznaczonej dla decydentów.

VI. SPOSOBY REDUKCJI BŁĘDÓW

Maksymalizacja dokładności informacji wymaga redukcji błędów popełnianych w badaniach, z których tę informację się uzyskuje. W związku z tym w praktyce do problemu redukcji błędów stosuje się trzy podstawowe podejścia:

• redukcję po­szczególnych rodzajów błędów,

• redukcję całkowitego błędu badania

• redukcję przez pomiar lub oszacowanie pozostałych błędów.

Redukcja poszczególnych rodzajów błędów.

Na redukcję poszczególnych ro­dzajów błędów należy zwrócić uwagę już podczas projektowania badania. Rozważ­my dla przykładu błąd doboru próby. Prawdopodobieństwo i znaczenie tego błędu mogą być zmniejszone przez zwiększenie wielkości próby, co równocześnie prowa­dzi do zwiększenia kosztów badania. Możliwa jest jednak redukcja tego błędu (a także wielkości próby) przez zmianę metody doboru próby, np. z losowania pro­stego na losowanie systematyczne lub na dobór kwotowy.

Redukcja całkowitego błędu badania.

Posłużmy się przykładem ankiety pocz­towej jako jednej z najpopularniejszych metod zbierania danych. Jest to metoda, któ­rą charakteryzuje duży błąd braku odpowiedzi. W celu jego redukcji stosuje się m.in. metody przypominania, np. przez ponowne wysyłanie tych samych kwestionariuszy. Jeżeli po ich pierwszej wysyłce otrzymamy np. 35% odpowiedzi, to po dwóch na­stępnych procent ten może wzrosnąć do 60. Pozostałe 40% respondentów na ogół znacznie się różni od tych, którzy udzielili odpowiedzi. Owe 40% traktuje się jako błąd braku odpowiedzi. Jednym z możliwych rozwiązań redukujących ten błąd może być zwiększenie wydatków na dodatkowe wysyłki kwestionariuszy. Postępowanie takie jest jednak nieefektywne, ponieważ po pierwsze daje zwykle niewielki już wzrost odpowiedzi, a po drugie dodatkowe fundusze nie zawsze są dostępne. Innym rozwiązaniem może być zamiana błędu doboru próby na błąd braku odpowiedzi. Osiąga się to przez redukcję liczebności próby, co jednocześnie powoduje wzrost jej błędu. Uzyskane w ten sposób fundusze mogą być wydane na dodatkową wysyłkę kwestionariuszy lub dodatkowe wywiady telefoniczne redukujące błąd braku odpo­wiedzi. Postępowanie takie przyczynia się do redukcji całkowitego błędu badania.

Redukcja przez pomiar lub oszacowanie pozostałych błędów.

Zazwyczaj w badaniach nie określa się wszystkich rodzajów błędów. Statystycy ograniczają się zwykle do obliczenia błędów związanych z losowym doborem próby. Inne źródła błędów po prostu się pomija. W praktyce badań marketingowych istnieje w in­teresie użytkowników informacji, konieczność możliwie dokładnego określenia wszystkich źródeł błędów i ich oszacowania. Dlatego jednym z podstawowych celów projektowania badań marketingowych jest minimalizacja całkowitego błędu badania przy jednoczesnym uwzględnieniu budżetu tego badania. Można to osiągnąć drogą profilaktyki omówionych błędów już na etapie projektowania badania.

---