Sułek „O rzetelności i nierzetelności badań sondażowych w Polsce socjalizmu realnego” [ w „Ogród metodologii socjologicznej” ]
Swoją analizę autor ogranicza do badań opinii politycznych, ponieważ w nich właśnie problem rzetelności i nierzetelności danych sondażowych widoczny jest najwyraźniej. Ponadto skupia się w swoich rozważaniach jedynie na samym zbieraniu danych, pomijając problem rzetelności na etapie opracowania, interpretacji i prezentacji danych.
Rozważania podstawowe:
Pomiar jest rzetelny, gdy jego wyniki obciążone są tylko niewielkim błędem, są dokładne. Wyniki pomiaru zależą nie tylko od wartości mierzonej zmiennej, ale także od czynników ubocznych, dzielących się na czynniki losowe i systematyczne. Są one źródłem błędu pomiaru, czyli obniżają jego rzetelność. W masowych badaniach sondażowych czynniki losowe pomija się, natomiast czynników systematycznych pomijać nie wolno. Są dwa rodzaje tych systematycznych czynników:
wpływ badacza (osoby fizycznej lub ośrodka badawczego) i zleceniodawcy badań: Na uzyskiwane wyniki wpływ mają oczekiwania tych podmiotów, ich wartości i interesy oraz ich usytuowanie w społeczeństwie. Z reguły wpływ ten jest niezamierzony, bezwiedny.
wpływ wartości i opinii dominujących w społeczeństwie: czyni on odpowiedzi badanych konformistycznymi wobec standardów oficjalnych i społecznych.
Podstawowe założenie pracy głosi, że zarówno badanie ankietowe, jak i sam wywiad są procesami społecznymi, przebiegającymi w szerszym kontekście społeczno - historycznym. Badanie ankietowe opiera się na komunikacji badacza z badanym. Obie strony uczestniczą w złożonej sytuacji społecznej oraz występują w rolach nie tylko badacza i badanego, ale również angażują w badanie swe osobowości i interesy. Odpowiedzi badanego na treść pytań stają się obciążone wpływem badacza, osobowości badanego, różnych składników sytuacji psychospołecznej badania i kontekstu globalnego.
Stronniczy wpływ badaczy i zleceniodawców badań na wyniki sondaży:
Autor dzieli dla potrzeb pracy ośrodki prowadzące w Polsce sondaże opinii politycznych na takie, które są agendami władzy i na takie, które są od organów władzy względnie niezależne (placówki akademickie).
Autor formułuje hipotezę, głoszącą że wyniki uzyskiwane przez ośrodki - agendy władzy są bliższe jej oczekiwaniom i bardziej dla niej wygodne niż wyniki otrzymywane przez ośrodki względnie od władzy niezależne.
Empiryczny test hipotezy:
Za hipotezą o stronniczym wpływie ośrodka badawczego na wyniki jego badań przemawiają wstępnie dwie okoliczności:
ośrodki - agendy władzy działają w warunkach odgórnego zainteresowania władzy w wynikach dla niej korzystnych, natomiast ośrodki od władzy względnie niezależne z zainteresowaniem takim spotykają się w znacznie mniejszym stopniu.
sami badacze posiadają własne postawy polityczne, które nie są bez znaczenia dla wyników badań: część badaczy z ośrodków - agend władzy jest nastawiona prosystemowo, a wśród badaczy z ośrodków niezależnych częściej spotyka się nastawienie opozycyjne.
Natomiast przeciwko hipotezie świadczy mocno fakt, że badacze kierują się p.w. zasadami swojego rzemiosła i swoim interesem zawodowym, który nakazuje im dbać o rzetelność badań bez względu na oczekiwania zleceniodawców czy też zgodność wyników z ich własnymi nastawieniami politycznymi.
W celu sprawdzenia sformułowanej hipotezy autor porównuje wyniki sondaży CBOS-u z wynikami serii badań „Sprawy Polaków”, prowadzonych pod kierunkiem W. Adamskiego przez IFiS PAN i Uniwersytet Warszawski ( dalszego ciągu wywodów Sułka nie przytaczam, bo wymagałoby to przenoszenia dość „bogatych” tabelek, a myślę, że istotą tego tekstu jest zrozumienie pewnych mechanizmów, a nie zapoznawanie się z wynikami, które i tak już dawno straciły aktualność.)
Porównanie wyników badań IFiS i UW z wynikami sondaży CBOS wykazało, że
Między szczegółowymi wynikami badań obu ośrodków pojawiły się wyraźne różnice o charakterze zgodnym z hipotezą o stronniczym wpływie ośrodka na wyniki ( mówiąc dokładnie różnice te stwierdzono tylko w sprawach drażliwych politycznie ). Ośrodek będący agendą władzy uzyskał wyniki bardziej korzystne dla władzy niż ośrodek względnie niezależny.
Między ogólnymi obrazami badanych zjawisk, wyłaniającymi się z danych obu porównywanych ośrodków istnieje zasadnicze podobieństwo. Polityczne powiązania ośrodków i sympatie badaczy, choć nieobojętne dla wyników badań, okazują się tylko modyfikatorem tych obrazów.
Podsumowując, surowe wyniki sondaży opinii politycznych w Polsce są obciążone zauważalna stronniczością, ale stronniczość na większą skalę im nie grozi.
Badacze mogą powodować stronniczość danych sondażowych poprzez wpływ na badanych za pośrednictwem „zmiennych pośredniczących”: ankieterów, kwestionariuszy, doboru próby lub społecznej sytuacji wywiadu.
Stronniczy dobór i wpływ ankieterów:
Ankieterzy wywierają samodzielny wpływ na wyniki sondażu przez selekcję respondentów, aranżację wywiadu, zwłaszcza zaś przez sposób zadawania pytań i zapisu odpowiedzi.
Efekt ankieterski polega w szczególności na uzgadnianiu odpowiedzi z własnymi wyobrażeniami o respondentach i z oczekiwaniami w stosunku do nich.
Zatem możliwość stronniczego wpływu badaczy na badanych za pośrednictwem ankieterów pojawia się, gdy wyobrażenia i oczekiwania ankieterów wiążą się z nastawieniami badaczy lub zleceniodawców badań.
Okoliczności sprzyjające temu zjawisku:
istnienie korelacji między charakterem ośrodka badawczego a cechami społecznymi i postawami politycznymi ankieterów: istotną część instruktorów i ankieterów CBOS stanowią ludzie wmontowani w system ( np. w 1986 r. 34% ankieterów należało do PZPR); natomiast istotną część ankieterów IFiS stanowią ludzie z peryferii systemu. Nasuwa się w związku z tym hipoteza, że postawy polityczne ankieterów są zmienną pośredniczącą we wpływie ośrodka badawczego na uzyskiwane wyniki: w badaniach ośrodka rządowego efekt ankieterski sprzyja odpowiedziom korzystnym dla władzy, a w badaniach instytutów akademickich - odpowiedziom dla władzy niekorzystnym.
Wiara ankieterów w trafność sprawdzonych hipotez: hipoteza, w którą badacz wierzy, działa jak samospełniająca się przepowiednia, ponieważ badacz ucieka się wówczas do mechanizmów podnoszących stopień jej konfirmacji. Zatem badacz, chcąc zadbać o rzetelność swych wyników, powinien unikać zaznajamiania ankieterów ze swoimi hipotezami, a zwłaszcza tych ankieterów, którzy chętnie się z badaczem identyfikują.
Stronniczy wpływ kwestionariusza:
Odpowiedzi badanych zależą nie tylko od ich opinii, ale również od pytań, za pomocą których chce się je ustalić. To, co wydaje się tylko reakcją na treść pytania, jest często także reakcją na jego formę, sposób zredagowania i miejsce w kwestionariuszu.
W kwestionariuszach ankietowych dominują pytania zamknięte. Zadane są one w określonym języku i tylko w takim języku badany może na nie odpowiedzieć. Sugerują one ze swej istoty nie tyle jakieś konkretne odpowiedzi, lecz sposób opisu rzeczywistości wyrażony przez samego badacza, przez jego naukową wiarę lub społeczną ideologię.
Pytanie ankietowe zawsze zawiera jakieś założenie o świecie, a tym samym zachęca do udzielania odpowiedzi zgodnych z tym założeniem, a zniechęca do niezgodnych. Jeśli założenie to jest zbyt restryktywne, tzn. zawiera w sobie silne stereotypowe lub ideologiczne założenia badacza o świecie, to pytanie takie dostarcza pseudoargumentów na rzecz trafności tego założenia.
Przykład takiego „perswazyjnego” pytania: „Przypomina Pan sobie zapewne jesień '81: strajki, demonstracje, ostre podziały społeczeństwa itp. Kto zdaniem Pana głównie przyczynił się do takiego rozwoju sytuacji?” - pytanie to, przypominając badanemu głównie akcji strony solidarnościowej, skłania do obwiniania opozycji i jej przywódców.
Dobór i realizacja próby źródłem stronniczości wyników:
Próbę można dobrać i/lub zrealizować tak, że wśród respondentów znajdzie się nieproporcjonalnie dużo osób o cechach sprzyjających udzielaniu odpowiedzi zgodnych z oczekiwaniami i interesami badacza. Sytuacje sprzyjające spełnianiu się tej możliwości w badaniach sondażowych w Polsce:
w wielu badaniach sondażowych podjętych z myślą o uogólnianiu wyników na całe społeczeństwo lub na jakiś jego segment ( np. robotników, studentów, mieszkańców miast ) nie pobiera się próby ogólnopolskiej, lecz próbę lokalną. Wówczas badacz pobiera próbę ze zbiorowości najłatwiej mu dostępnej ( pobliskiej fabryki, własnej uczelni, miasta). Jednak zbiorowości te są już mu wcześniej znane i na podstawie tej uprzedniej znajomości badacz formułuje hipotezy dotyczące zbiorowości szerszych. Tak więc próba dobierana jest w sposób sprzyjający potwierdzeniu hipotez. To zagrożenie nie pojawia się natomiast w badaniach monograficznych i w badaniach prowadzonych na próbach reprezentacyjnych.
wiele sondaży prowadzi się na próbach udziałowych. Wówczas samemu ankieterowi zleca się dobór respondentów wg określonych wytycznych (parametrów). Jeżeli badacz jest członkiem badanej zbiorowości, to będzie szukał respondentów częściej wśród osób łatwiej mu dostępnych - znajomych, kolegów z pracy, mieszkających w pobliżu itd. Zatem preferuje on osoby w jakiś sposób do siebie podobne, o zbliżonym położeniu społecznym i poglądzie na świat. ( np. w badaniu opartym na próbie udziałowej przeprowadzonym przez CBOS, którego ankieterzy byli w trzeciej części członkami PZPR, okazało się, że 11,9% badanych należało do PZPR; natomiast w badaniu „Polacy `88” ( IFiS ), przeprowadzonym na próbie losowej, członkami PZPR okazało się jedynie 7,2% badanych ).
zjawisko odmów wywiadu i odmów odpowiedzi na niektóre pytania: wiadomo (skądinąd z samych badań socjologicznych), że w Polsce wielu ludzi traktuje socjologię i badania ankietowe jako instytucje państwowe, a ankietera uważa za funkcjonariusza państwowego. W zgodzie na wywiad lub w odmowie może się więc wyrażać stosunek obywateli do państwa. Powstaje tu swoisty paradoks: alienacja państwa może sprzyjać wzrostowi poparcia dla państwa w wynikach „państwowych” sondaży, ponieważ ci, którzy władzy się boją i którzy jej nie wierzą, częściej milczą.
Stronniczości wyników sondaży może również sprzyjać opisany przez Elizabeth Noelle-Neumann mechanizm spirali milczenia: sondaże ujawniają często, że grupa ludzi o danych poglądach znajduje się w mniejszości. Świadomość bycia w mniejszości zniechęca ludzi do wyrażania publicznego swoich poglądów, w tym także w badaniach sondażowych. Będący w mniejszości będą się więc często powstrzymywać od udzielania odpowiedzi niepopularnych lub wręcz odmawiać udziału w badaniach. W ten sposób w wynikach następnych sondaży przewaga większości nad mniejszością wzrośnie.
Konformizujący wpływ wartości i opinii dominujących w społeczeństwie na wyniki sondaży:
Istnieją publiczne i prywatne role społeczne, czerpiące z odpowiadających im publicznej oraz prywatnej sfery wartości ( „dymorfizm wartości” ). Ludzie na ogół dobrze znają te role i potrafią funkcjonować w obu sferach, często za cenę dyskomfortu psychicznego. Ta schizofrenia społeczna, rozdarcie rzeczywistości na sferę prywatną i publiczną, w szczególnym stopniu dotyczy życia politycznego, a ponieważ wywiad jest sytuacją publiczną, to badani ulegają tendencji do występowania w nim w rolach publicznych, oficjalnych. W konsekwencji wykazują skłonność do ukrywania wartości i poglądów prywatnych, a deklarowania - oficjalnych.
Zatem istnieje zjawisko konformizującego wpływu dominujących wartości i opinii oficjalnych na odpowiedzi badanych. Jednak to nie sama treść tych opinii sprawia, że badani dostosowują do nich swe odpowiedzi. Opinie te mają zaplecze w szerszym kontekście społecznym i wsparcie w instytucjonalnym systemie kar i nagród, więc różne elementy tego kontekstu warunkują ich wpływ na odpowiedzi; wpływ ten jest warunkowany również przez charakter samego ośrodka badawczego.
Wpływ stopnia pluralizmu i możliwości ekspresji:
Można przypuszczać, że w latach 1980 - 1981 w okresie Solidarności zaczął zanikać ścisły podział na opinie prywatne i oficjalne, a w konsekwencji prowadzone wówczas sondaże postaw politycznych, nawet dotyczące kwestii bardzo drażliwych, dostarczały wyników wysoce rzetelnych. Stan wojenny przez radykalne ograniczenie pluralizmu w życiu publicznym i równie radykalne zmniejszenie możliwości publicznej ekspresji ponownie umocnił podział opinii na oficjalne i prywatne, i tym samym musiał zmniejszyć rzetelność wyników ówczesnych sondaży opinii politycznych. W miarę oddalania się od stanu wojennego poziom lęku przed udzielaniem odpowiedzi sprzecznych z poglądami oficjalnymi obniżył się znacznie.
Problem zasięgu i siły tendencji do dostosowywania odpowiedzi ankietowych do poglądów oficjalnych jest daleki od jasności. Można tylko przypuszczać, że tendencja ta zależy od kategorii badanych i dziedziny badań. Silniejsza jest wśród ludzi mniej obytych w sytuacjach politycznych, czyli kobiet, osób starszych, mniej wykształconych, mieszkańców wsi itd. Słaba jest w badaniu opinii o sprawach będących przedmiotem otwartych dyskusji i rozbieżnych ocen w środkach masowego przekazu, a silniejsza gdy bada się opinię o sprawach będących politycznym tabu. Dlatego właśnie opinie o gospodarce i polityce gospodarczej są bardziej rzetelne niż opinie o polityce po prostu.
Możliwość wyrażania w sondażach własnych opinii, odbiegających od poglądów oficjalnych, zależy nie tylko od poczucia swobody ekspresji. Najpierw zależy od samych możliwości wyrażenia takich opinii w języku badanych. Monopol władzy komunistycznej na język publiczny umożliwiał jej upowszechnianie własnej ideologii, a ludziom uniemożliwiał sformułowanie alternatywnych ocen i interpretacji - w języku oficjalnym ich wyrazić po prostu nie można. W Polsce na przełamanie monopolu językowego wpłynęła społeczna nauka Kościoła, Solidarność i opozycja. Zwiększyły się więc znacznie możliwości formułowania i wyrażania w sondażach poglądów politycznych innych niż głoszone oficjalnie.
Wpływ stopnia akulturacji badań sondażowych:
Proces akulturacji badań ankietowych polega na upowszechnianiu się w społeczeństwie idei badań sondażowych i krystalizowaniu się układu ról „ankieter - respondent”.
Ludzie powstrzymują się od wyrażania poglądów prywatnych a deklarują oficjalne zwłaszcza wtedy, gdy nie oswoili się jeszcze z badaniami sondażowymi, a sama sytuacja wywiadu jest dla nich nieokreślona, niejasna albo wydaje się czymś innym niż jest naprawdę - urzędową kontrolą, quasi - policyjnym wypytywaniem, zbieraniem informacji dla prasy itp. W takich też sytuacjach badani skłonni są do rytualizacji swych językowych interakcji z partnerami. Zamiast więc mówić „swoim” językiem, używają wysoce skonwencjonalizowanych słów, wyrażeń i wzorów stylistycznych wziętych z dobrze im znanego, lecz kontrolowanego przez władzę, kontekstu komunikacyjnego - z oficjalnych przekazów masowych.
Wpływ charakteru ośrodka badawczego:
Ponieważ charakter placówki badawczej ma wpływ na psychospołeczną sytuacje wywiadu, to popycha badanego ku różnym rolom - publicznym lub prywatnym. Wpływ ten dokonuje się przynajmniej trzema kanałami: przez rodzaj próby, miejsce wywiadu, i społeczny obraz samego ośrodka badawczego.
rodzaj prób ma znaczenie dla wiary badanych w anonimowość badań, a ta z kolei - dla konwencji, w której badani będą udzielać odpowiedzi. W sondażach opartych na próbach losowych, np. adresowych, respondenci znani są ankieterowi z imienia i nazwiska, i dobrze o tym wiedzą. Mogą więc tylko zaufać ankieterowi i jego instytucji, że zostali wybrani przypadkowo, że nikt poza badaczami nie będzie miał wglądu do wyników bada, że nie zostaną one wykorzystane w celach innych niż naukowe itp. W sondażach na próbach udziałowych istnieje natomiast znacznie większa szansa ścisłej anonimowości wywiadów i odpowiedzi, choć wtedy, gdy wywiady prowadzone są przez ankieterów terenowych, szansa ta jest istotnie pomniejszona przez ich tendencje do szukania respondentów wśród osób sobie znanych.
miejsce wywiadu wpływa na odpowiedzi badanego w ten sposób, że sprzyja przyjmowaniu przez niego jednych ról społecznych, np. oficjalnych i unikaniu drugich, np. prywatnych.
wpływ jaki na odpowiedzi badanych w sondażach wywiera image - społeczny obraz ośrodka badawczego. W tym przypadku to sami respondenci różnicują swe zachowanie stosownie do profilu ośrodka. Aby efekt ten zaistniał placówka badawcza musi być powszechnie znana, a ankieterzy nie mogą unikać jej wyraźnego określenia. W społeczeństwie istnieją różne, choć z pewnością mgliste wyobrażenia o ośrodkach badawczych lub nawet tylko o ich instytucjonalnym i politycznym zapleczu. Ośrodki te kojarzone są z różnymi systemami wartości publicznych. W konsekwencji, wyobrażenia takie wpływają stronniczo na wyniki badań sondażowych.