FORMULARZ 6.6

Informacje dotyczące trafności, rzetelności i obiektywizmu

Trafność

Istnieją dwa podstawowe aspekty, które należy rozważyć przy każdym badaniu mającym na celu ocenę. Są to:

• trafność wewnętrzna (obejmującą trafność konstrukcji, treści i trafność fasadową),

• trafność zewnętrzna.

Trafność wewnętrzna określa, w jakim stopniu pomiar parametrów, które chciało się zmierzyć w toku badania, jest dobry. Termin ten zazwyczaj odnosi się do zagadnień związanych ze zbieraniem danych, a zwłaszcza tych, które dotyczą rozstrzygnięcia, czy dany instrument, na przykład kwestionariusz, faktycznie pozwala mierzyć to, co ma być przedmiotem pomiaru. Mówiąc prościej: jeżeli mierzy się czyjś wzrost, zazwyczaj polega się na trafności skali umieszczonej na przymiarze. Mogą oczywiście przy tym wyniknąć inne kwestie mające wpływ na dokładność pomiaru, jak choćby taka, czy osoba, której wzrost się mierzy, zdjęła buty. W wypadku kwestionariusza trzeba przede wszystkim zwrócić uwagę na to, czy pytania są sformułowane w taki sposób, by na podstawie odpowiedzi można było uzyskać potrzebne informacje. Czy test sprawdzający wiedzę pozwala skutecznie zmierzyć wiedzę nabytą podczas szkolenia? Czy test sprawdzający umiejętności uwzględnia wszystkie zasadnicze etapy wykonania danego zadania i czy przyjęto właściwe skale pomiaru? Czy w wypadku pomiaru efektów pracy przyjęto właściwe wskaźniki?

Zagadnienie trafności staje się bardzo ważne, kiedy dochodzi do pomiaru czynników abstrakcyjnych, takich jak osobowość czy postawy. Typowym przykładem są tu testy osobowości zawodowej takie jak OPQ™ lub 16PF™. Rodzi się pytanie, czy te instrumenty są trafnymi miernikami osobowości. (Ich autorzy starają się udowodnić, że tak jest w istocie). W jaki zatem sposób zmierzyć efektywność osoby uczącej się w miejscu pracy? Można to zrobić bez trudu, mierząc osiągnięty poziom produkcji lub wielkości sprzedaży. Warto zapoznać się z kilkoma przykładami pomiarów efektów szkolenia, przedstawionymi na następnej stronie.

Rodzaj SZKOLENIA	PRZEDMIOT POMIARU	MOŻLIWE MIERNIKI I SPOSOBY POMIARU
Umiejętność prezentacji	Zdolność osoby uczącej się do przedstawienia prezentacji na forum grupy	1. Obserwator wykorzystujący arkusz obserwacyjny z listą zachowań. 2. Arkusze do notowania reakcji słuchaczy. 3. Ocena własna - reakcje prowadzącego prezentację.
Zarządzanie przez efekty	Zdolność kierownika do przeprowadzenia wywiadu dla celów zarządzania przez efekty	1. Obserwator wykorzystujący arkusz obserwacyjny z listą zachowań. 2. Reakcje osób, z którymi zostały przeprowadzone wywiady. 3. Ocena własna - reakcje ankietera. 4. Monitorowanie form zarządzania przez efekty. 5. Monitorowanie efektów pracy osób, z którymi zostały przeprowadzone wywiady.
Umiejętności dydaktyczne	Zdolność nauczyciela do prowadzenia zajęć dydaktycznych w klasie	1. Obserwator wykorzystujący arkusz obserwacyjny z listą zachowań. 2. Reakcje uczniów. 3. Ocena własna - reakcje nauczyciela. 4. Wynik egzaminu państwowego. 5. Ocena programu nauczania, materiałów itd.

Wszystkie zaprezentowane powyżej mierniki wnoszą nowe informacje i często stosuje się kilka z nich jednocześnie, by przyjrzeć się danej informacji pod różnym kątem. Testowanie narzędzi i wykorzystanie różnych technik pomiaru tych samych cech jest pomocne przy budowaniu wewnętrznej trafności badania.

Oczywiście lista zachowań w arkuszu obserwacji, lista pytań służących do dokonania samooceny itd. będą miały wpływ na ogólną trafność przyjętego miernika, którą określa się mianem trafności konstrukcji. Jeśli sprawdza się stan wiedzy lub stopień zrozumienia określonego zagadnienia, ważne jest, aby pytania dotyczyły treści szkolenia, właściwego poziomu i właściwych proporcji programu. Często mówi się w tym wypadku o trafności treści.

Jeszcze jeden ważny rodzaj trafności jest znany pod nazwą trafności fasadowej. Najprościej rzecz ujmując, odnosi się ona do określenia, czy przyjęte mierniki - pytania zawarte
w kwestionariuszu lub teście - mają sens lub wydają się właściwe osobom zaangażowanym w badania. O ile oceniający może odgrywać pierwszoplanową rolę przy określaniu dwóch pierwszych rodzajów trafności, o tyle trafność fasadową najlepiej mogą ocenić członkowie głównych grup interesów. Wobec tego członków tych grup trzeba zaangażować w proces doboru odpowiednich mierników, opracowywanie kwestionariuszy itd. Trafność fasadowa jest czynnikiem nadającym wiarygodność ostatecznym rezultatom i zapewniającym komfort psychiczny głównym grupom interesów. Uczestnicy - to znaczy osoby oceniane i te, które dokonują oceny - będą rzecz jasna mieli własny pogląd na trafność fasadową. Dlatego też jest bardzo ważne, by przeprowadzić kontrolę wszystkich wykorzystywanych instrumentów (zob. formularz 6.7).

Trafność zewnętrzna badania określa zakres, w jakim wnioski wyciągnięte na podstawie tego badania mogą znaleźć zastosowanie poza grupą, która była nim objęta. Jeżeli podczas badania dokonano pomiarów efektywności określonego programu szkoleniowego, wykorzystując grupę 50 osób z całego grona liczącego na przykład 200 osób, które były objęte programem, to czy wyniki ostateczne mogą odnosić się do całej grupy 200 słuchaczy? Jest to pytanie dotyczące badania reprezentacyjnego i można na nie odpowiedzieć twierdząco, jednak z zastrzeżeniem, że próba składająca się z 50 uczestników została dobrana we właściwy sposób (tzn. wytypowane osoby są reprezentatywne dla całej grupy). Należy również zaznaczyć, że wszelkie wyniki w odniesieniu do całej populacji są jedynie wartościami szacunkowymi i faktyczne dane obejmujące całą populację mieszczą się w pewnym przedziale pokrywającym te wartości szacunkowe.

Przykładowo, jeżeli program szkolenia został oceniony jako skuteczny w pewnej części organizacji, czy można wysnuć na tej podstawie ogólny wniosek i stwierdzić, że będzie skuteczny w odniesieniu do całego przedsiębiorstwa? Naszym zdaniem, wszystko zależy od tego, jak wyrównany jest ogólny poziom wiedzy i umiejętności pracowników, jakie mają doświadczenie w pracy w organizacji itd. A jeśli wykaże się, że jeden, drugi, trzeci program był skuteczny, czy to oznacza, że wszystkie takie będą? To z kolei zależy od wielu czynników. Warto pamiętać o tych kwestiach, gdyż bardzo często się zdarza, że chciałoby się wykorzystać wyniki badań prowadzonych w związku z oceną w celach wykraczających poza pierwotny zakres ich zastosowania. Najważniejszy wniosek z powyższych rozważań jest następujący: należy być niezwykle ostrożnym, jeśli chce się to zrobić, i przed poczynieniem jakichkolwiek kroków przyjąć bardzo precyzyjne założenia.

Rzetelność

Kolejnym zagadnieniem, które należy przeanalizować, jest rzetelność. Rzetelność badań prowadzonych w toku oceny wyznacza zakres, w jakim można byłoby uzyskać wyniki powtarzalne, gdyby badanie zostało przeprowadzone ponownie. Ma ścisły związek ze spójnością. Mehrans i Lehmann definiują rzetelność jako „stopień zgodności między dwoma pomiarami tej samej cechy, wykonanymi za pomocą danego miernika”. Takim miernikiem może być arkusz obserwacji zachowań danej osoby uczącej się wypełniony przez dwóch różnych obserwatorów albo taki sam test czy inny instrument zastosowany względem tego samego uczestnika szkolenia przy różnych okazjach. Oczywistym sposobem postępowania w opisanych tu sytuacjach jest powtórzenie testów zawierających takie same pytania jak przy pierwszym badaniu, lecz sformułowane w inny sposób, lub dokonanie obserwacji z wykorzystaniem takich samych arkuszy, lecz prowadzonych przez różnych obserwatorów itd.

Obiektywizm

Jeszcze innym ważnym zagadnieniem związanym z procesem oceny jest obiektywizm. Interesuje ono szczególnie naukowców zajmujących się problemami oceny, którzy traktują analizowany obiekt z pewnym dystansem, chcąc zachować neutralność. W przeszłości często formułowano poglądy subiektywne, stronnicze i nierzetelne, u których podstaw częściej leżały opinie i wrażenia niż fakty. Naukowy paradygmat i koncepcja obiektywizmu zakładają istnienie tylko jednej rzeczywistości. Jednakże osoby działające w kręgu paradygmatu jakościowego są przeświadczone o tym, że istnieje wiele rzeczywistości - każdy z nas postrzega wiele spraw inaczej, mamy inne mapy postrzegania otaczającego świata, różne rodzaje filtrów. Osoby dokonujące oceny starają się postępować zupełnie inaczej niż naukowcy - są przekonane, że niezbędne jest zbliżenie się do sedna zagadnienia i zbudowanie jak najlepszych relacji z tymi, którzy są zaangażowani w badanie, w celu pełnego zrozumienia zjawisk zachodzących w programie, określenia wpływu, jaki wywiera na uczestników itd. Wynika stąd oczywisty problem związany z tym, jak zachować proporcje, mając do wyboru z jednej strony paradygmat naukowy, zbyt drobiazgowy lub zbyt wnikliwy, mogący stanowić zagrożenie dla obiektywizmu, z drugiej zaś - paradygmat jakościowy, polegający na zachowaniu dystansu, który może prowadzić do zbyt mało wnikliwego badania i ograniczonego zrozumienia istotnych zagadnień.

Choć trudno jednoznacznie rozstrzygnąć ten problem, trzeba mieć świadomość jego istnienia, by w regularnych odstępach czasu dokonywać retrospektywnego przeglądu mającego na celu określenie własnego stanowiska względem nadmiernej drobiazgowości i przesadnego dystansu. Niektórzy posługują się określeniem „przegląd z lotu ptaka”. Rzecz polega na tym, że osoba dokonująca oceny zdecydowanie wycofuje się poza krąg wydarzeń, by z perspektywy popatrzeć na to, co się dzieje. Naczelną zasadą naszego podejścia jest uczciwe i skrupulatne rozważenie różnorodności subiektywnego odbierania rzeczywistości przez osoby zaangażowane w dane przedsięwzięcie. Odnosi się to zarówno do zdarzeń zachodzących na zewnątrz, jak i wewnątrz procesu oceny. Zagadnienia mieszczące się na zewnątrz procesu oceny to przybliżenie i zrozumienie sposobu postrzegania świata przez grupy interesów poprzez określenie ich potrzeb w zakresie informacji i znalezienia odpowiedzi na pytanie, w jaki sposób mogą te informacje interpretować i wykorzystać. Sfera wewnętrzna procesu oceny to konieczność wzięcia pod uwagę różnorodności subiektywnego odbierania rzeczywistości przez osoby zainteresowane programem szkolenia, czyli jego uczestników, ich przełożonych, trenerów itd.

© Copyright by Frances and Roland Bee 2000. Authorised translation from the English language edition published by arrangement with the Chartered Institute of Personnel and Development

© Copyright for the Polish edition by Oficyna Ekonomiczna, Oddział Polskich Wydawnictw Profesjonalnych Sp. z o.o. 2004

---