FORMULARZ 6.3

Informacje dotyczące metod zbierania
danych

Wstęp

Istnieją cztery główne metody zbierania danych:

• kwestionariusze do samodzielnego wypełnienia,

• wywiady,

• obserwacje,

• badania źródłowe.

Każda z tych metod ma swoje wady i zalety, które powinny być wzięte pod uwagę podczas wyboru metody zbierania danych na potrzeby konkretnej oceny. Przedstawimy krótką charakterystykę każdej z wymienionych metod, a następnie omówimy proces projektowania narzędzi do zbierania danych.

Kwestionariusze do samodzielnego wypełnienia

Zalety	Wady	Wskazówki
• Niezbyt kosztowna metoda zbierania danych. • Proces zbierania danych zwykle nie trwa długo. • Nie wymaga poświęcenia dużej ilości czasu przez osoby uczestniczące w badaniu. • Nie ma oddziaływania obserwatora (ankietera) na respondentów. • Jeżeli kwestionariusze zostały starannie przygotowane, dostarczają informacji, których analiza jest stosunkowo łatwa.	• Wskaźnik odpowiedzi może być niski, co może doprowadzić do uzyskania wyników obciążonych błędem, na przykład wypełnione kwestionariusze odeślą jedynie ci respondenci, którzy mają w tym jakiś własny interes. • Metoda nie jest właściwa przy zbieraniu informacji szczegółowych. • Metoda nie zawsze jest odpowiednia dla populacji, która ma być objęta badaniem. Na przykład osoby, które rzadko mają do czynienia z formularzami, lub te, dla których praca o charakterze biurowym nie jest częścią zwykłych obowiązków zawodowych, mogą uznać wypełnianie formularzy za trudne lub zniechęcające. • Metoda wymaga bardzo starannego przygotowania, aby uzyskane wyniki były jasne i jednoznaczne.	• Sprawdzaj, czy kwestionariusze wracają od respondentów, i zachęcaj do zwrotu wypełnionych kwestionariuszy poprzez: - monitorowanie i okazywanie zainteresowania ich losem, - zachęcanie, na przykład poprzez uczestnictwo w zbieraniu kwestionariuszy od respondentów. • Zadbaj o to, aby kwestio-nariusze były krótkie i łatwe do wypełnienia, co zwykle oznacza, że muszą być wysoce ustrukturyzowane, czyli głównie zawierać pytania, na które respondent udziela odpowiedzi, stawiając znak w miejscu przeznaczonym do tego celu. Zaledwie kilka pytań można sformułować tak, by wymagały swobodnego wyrażenia opinii. • Rozważ możliwości wykorzystania poczty elektronicznej, kwestionariuszy w formie zapisanej na dysku itd., aby ułatwić ich wypełnianie i zwrot.

Badanie przy użyciu kwestionariuszy jest bardzo popularną i często stosowaną formą zbierania danych. Decydując się na nią, oceniający rezygnują z uzyskania bardzo szczegółowych informacji na rzecz ich szerokiego zakresu lub ograniczenia kosztów badania.

Wywiady

Istnieją trzy techniki przeprowadzania wywiadów, które można zastosować do zbierania danych:

• tradycyjny wywiad indywidualny (osobisty) w formie bezpośredniej rozmowy dwóch osób,

• wywiad telefoniczny,

• wywiad grupowy.

Wywiad indywidualny (osobisty)

Zalety	Wady	Wskazówki
• Metoda zapewnia uzyskanie odpowiedzi. • Umożliwia uzyskanie odpowiedzi na określone pytania i poruszenie kwestii wymagających wyjaśnienia i szczegółowej analizy. • Umożliwia kompleksowe zgłębienie pewnych zagadnień i zwykle pozwala uzyskać bardziej szczegółowe informacje. • Chociaż w wypadku tej metody ważne jest zaplanowanie i skonstruowanie wywiadu, zwykle jest to proces łatwiejszy niż za-projektowanie kwestionariuszy do samodzielnego wypełnienia.	• Metoda jest stosunkowo kosztowna. • Wywiady muszą być przeprowadzone przez doświadczonych ankieterów. • Ankieter może wpływać na wyniki wywiadu, na przykład przez wyraźną lub ukrytą sugestię może naprowadzić rozmówcę na odpowiedź, jakiej oczekiwał. • Przeprowadzenie analizy może być trudne, ponieważ stosując tę metodę, uzyskuje się zazwyczaj dane jakościowe.	• Upewnij się, że respondenci dokładnie wiedzą, jaki jest cel wywiadu. • Zadbaj, by ankieterzy zostali przeszkoleni w zakresie efektywnych technik uzyskiwania informacji drogą wywiadu, oraz poinformuj o celu, któremu mają służyć informacje zebrane drogą wywiadu. • Przygotuj w formie pisemnej kilka ustrukturyzowanych pytań wraz z pewną liczbą możliwych odpowiedzi. • Przygotuj również kilka częściowo ustrukturyzowanych pytań, czyli takich, w których ankieter sam dokonuje klasyfikacji odpowiedzi.

Wywiady telefoniczne są znacznie tańsze niż wywiady osobiste, jednakże jest to narzędzie mniej dokładne i gorsza jest jakość przeprowadzonego w ten sposób badania, a zakres zagadnień, do których można je stosować - ograniczony. Bardzo często wywiady przeprowadzane przez telefon są wysoce ustrukturyzowane: forma odpowiedzi na zadawane pytania - wybór jednej z gotowych odpowiedzi - jest zbliżona do stosowanej w kwestionariuszach do samodzielnego wypełnienia.

Wywiady grupowe sprawdzają się doskonale wtedy, gdy należy przedstawić problemy

i następnie je przedyskutować. Zaletą tych wywiadów jest to, że dostarczają istotnych informacji jakościowych na temat doświadczeń związanych ze szkoleniem i są szczególnie przydatne przy wyjaśnianiu złożonych problemów i ustalaniu powodów, dla których szkolenie uznaje się za efektywne lub nieefektywne. Odmianą wywiadu grupowego są grupy tematyczne. Wadą tej formy wywiadu jest możliwość poprowadzenia całej grupy w pewnym określonym kierunku przez jednego lub dwóch uczestników o zdecydowanych poglądach.

Wywiady mogą mieć rozmaitą formę - od nieustrukturyzowanych do wysoce ustrukturyzowanych. Na jednym krańcu spektrum mieści się wywiad prosty nieustrukturyzowany. Posługując się tą techniką, ankieter zwraca się do respondentów na przykład w następujący sposób: „Proszę mi opowiedzieć o przebiegu szkolenia”. Wywiad będzie polegał na pokierowaniu rozmową i skupieniu się na pewnych elementach wyłaniających się w czasie jej trwania. Ponieważ w tym wypadku przebieg rozmowy nie został wcześniej zaplanowany, reakcje będą następowały w miarę, jak pojawiają się informacje.

W środku spektrum znajdują się wywiady, przed których przeprowadzeniem wyznaczono zakres pytań. Można opracować kilka szczegółowych pytań i określić granice swobody przy zbieraniu odpowiedzi i zdobywaniu informacji uzupełniających.

Na drugim krańcu spektrum znajdują się wywiady wysoce ustrukturyzowane, występujące w dwóch formach:

• Wywiady zbudowane na takiej zasadzie jak kwestionariusze do samodzielnego wypełnienia. Obejmują szczegółowe pytania i zakodowane lub ustrukturyzowane odpowiedzi. Udzielając odpowiedzi, należy na przykład wybrać liczbę ze skali albo jeden z wariantów. Pytania otwarte są w tym wypadku precyzyjnie sformułowane.

• Wywiady polegające na specyficznym i ściśle określonym podejściu do ich przeprowadzenia. Są to na przykład wywiady przeprowadzane metodą wydarzeń krytycznych albo wywiady z zastosowaniem siatki konstruktów Kelly'ego. Tego rodzaju wywiady wykorzystuje się najczęściej w procesie rozpoznania i analizy potrzeb szkoleniowych, ale mogą być również stosowane przy dokonywaniu oceny.

Obserwacje

Zalety	Wady	Wskazówki
• Metoda pozwala ocenić bezpośrednio umiejętności lub zachowania. • Jest to najlepszy sposób oceny, gdy jej przedmiotem są umiejętności praktyczne.	• Metoda może być kosztowna, ponieważ obserwacje przeprowadza się w układzie 1:1, czyli takim, w którym jedną osobę obserwuje jeden obserwator, a w wypadku obserwacji niektórych umiejętności w układzie 2:1. • Metoda może być czasochłonna. • Na wyniki badania tą metodą może mieć wpływ efekt Hawthorne'a - na zachowanie ludzi wpływa sama świadomość, że są obserwowani. • Jeżeli jest stosowana w miejscu pracy, może mieć destrukcyjny wpływ na przebieg pracy.	• Korzystaj z bardzo starannie przygotowanych arkuszy obserwacji. • Zadbaj, by obserwatorzy zostali odpowiednio przeszkoleni w zakresie techniki obserwacji i uzyskali szczegółowe wyjaśnienia na temat konkretnego badania tą metodą.

Obserwacja to niezwykle ważna metoda zbierania danych w procesie oceny efektywności szkoleń, ponieważ ich programy bardzo często są ukierunkowane na rozwój umiejętności
i zmiany w zachowaniu.

Badania źródłowe

Badania źródłowe polegają na wykorzystaniu danych, które zostały zebrane w innych celach, i dlatego tę metodę nazywa się też badaniem wtórnym. Jest to ważna metoda zbierania informacji, gdy ocenę przeprowadza się na poziomie wyników i trzeba zbadać zmiany zachodzące w wynikach osiąganych przez organizację i sprawdzić efekty pracy jednostek
i zespołów (produktywność, wielkość sprzedaży itd.). Stosuje się ją też wtedy, gdy chodzi
o wykorzystanie wyników uzyskanych w drodze wywiadów oceniających do kontroli efektów kształcenia, planów projektów w celu kontroli skuteczności programów dotyczących planowania projektów itd. Badania źródłowe wykorzystuje się również przy porównywaniu dwóch organizacji, przy rozważaniu skutków rezygnacji ze szkolenia na takie czynniki jak efekty ekonomiczne itd. Jednym ze źródeł informacji wykorzystywanych w tej metodzie jest też dokumentacja ocen przeprowadzonych w przeszłości w organizacji oraz w innych organizacjach. Na przykład w kwaterze głównej brytyjskiej policji prowadzi się centralny rejestr dokumentacji ocen dokonanych przez jej jednostki z różnych hrabstw.

Zalety	Wady	Wskazówki
• Z tą metodą zwykle nie wiążą się większe nakłady, ponieważ dane zostały już zebrane lub będą zebrane do innych ważnych celów. • Zazwyczaj istnieje możliwość szybkiego zebrania danych.	• Zgromadzone dane często nie mają formy dokładnie odpowiadającej nowym wymaganiom. Ważne jest więc, aby zdawać sobie sprawę z tych ograniczeń i właściwie ocenić, czy dane dotyczą wszystkich pracowników czy tylko określonych grup oraz na ile są trafne i rzetelne. • Dane pochodzące ze źródeł wtórnych mogą być już nieaktualne. • Może być utrudniony dostęp do danych z powodu ich poufności lub ze względu na sposób ich przechowywania w komputerze itp.	• Tak jak w wypadku każdej metody zbierania danych ważne jest, by zaplanować, w jaki sposób dane mają być gromadzone. Przy tej metodzie, ponieważ zazwyczaj nie wymaga ona projektowania specjalnych narzędzi, takich jak kwestionariusze, można łatwo ulec pokusie i pominąć etap planowania, przechodząc od razu do analizy posiadanych materiałów. Może to przyczynić się do znacznej straty czasu, a nawet gorzej - doprowadzić do zebrania niewłaściwych danych. A zatem zaplanuj i zaprojektuj badania źródłowe w taki sam sposób jak każde inne, bardziej formalne badania.

Projektowanie narzędzi do zbierania danych

Kwestionariusze wykorzystuje się w zasadzie we wszystkich metodach zbierania danych, przy czym zawsze należy je dostosować do charakteru danej metody:

• Kwestionariusze do samodzielnego wypełnienia przez respondentów muszą być opracowane w taki sposób, by nie wymagały dodatkowych wyjaśnień ankietera (obserwatora). Takie kwestionariusze są zazwyczaj wysoce ustrukturyzowane.

• Kwestionariusze używane podczas wywiadu mogą mieć różne formy i oscylują od niemal równie ustrukturyzowanych jak przeznaczone do samodzielnego wypełnienia, do takich, które określają jedynie główne obszary lub podstawowe zagadnienia wchodzące w zakres badania.

• Metoda obserwacji wymaga zastosowania arkuszy do obserwacji umiejętności i zachowań będących przedmiotem badania. Arkusze mogą zawierać różnego typu pytania, począwszy od prostych - wymagających odpowiedzi twierdzącej lub przeczącej, gdy chodzi o stwierdzenie, czy określone zachowanie lub umiejętność zostały zauważone - poprzez bardziej rozbudowane - dotyczące określenia częstotliwości wykorzystywania danej umiejętności lub przejawiania konkretnych zachowań - do poleceń oceny poziomu zaobserwowanych umiejętności lub zachowań i wyrażenia uwag.

• Badania źródłowe wymagają przygotowania planu - może to być plan, który jedynie w ogólnym zarysie określa zagadnienia będące ich przedmiotem, albo taki, w którym zostanie określona szczegółowa forma zapisu odpowiednich danych.

Bardzo ważne jest właściwe zaprojektowanie kwestionariuszy. Kwestionariusze przeznaczone do wykorzystania jako formalne narzędzia do badania powinny być tworzone w procesie, na który składają się następujące etapy:

• opracowanie projektu kwestionariusza,

• przeprowadzenie wstępnego testu, czyli nieoficjalnego badania z wykorzystaniem projektu kwestionariusza do samodzielnego wypełnienia lub kwestionariusza wywiadu na niewielkiej grupie możliwie jak najbardziej zbliżonej do populacji docelowej,

• przeprowadzenie badania pilotażowego na próbie populacji docelowej,

• wprowadzenie zmian do kwestionariusza, jeśli okażą się niezbędne,

• przeprowadzenie badania właściwego.

Formularz 6.4 jest krótkim wprowadzeniem do projektowania kwestionariuszy. Zawiera przykłady pytań, jakie mogą się w nich znaleźć, i kilka użytecznych wskazówek ukierunkowanych szczególnie na właściwe opracowanie kwestionariuszy do samodzielnego wypełnienia przez respondentów. W formularzu znajdują się również odniesienia do literatury, z którą warto się zapoznać.

© Copyright by Frances and Roland Bee 2000. Authorised translation from the English language edition published by arrangement with the Chartered Institute of Personnel and Development

© Copyright for the Polish edition by Oficyna Ekonomiczna, Oddział Polskich Wydawnictw Profesjonalnych Sp. z o.o. 2004

---