Badania ewaluacyjne
Badania ewaluacyjne nazywane również ewaluacją programu odnoszą się w większym stopniu do celu badań niż do użycia specyficznej metody. Celem tym jest ocena (ewaluacja) wpływu podejmowanych działań (interwencji) społecznych, takich jak nowe metody nauczania, innowacje w zasadach zwolnień warunkowych oraz wiele innych. Do badań ewaluacyjnych mogą być wykorzystane różne metody - między innymi sondaże, eksperymenty. Ewaluacja jest formą badań stosowanych, których zakładanym celem jest wywieranie zakładanego wpływu na otaczającą nas rzeczywistość. Jednak oczywiste wyniki wypływające z badań ewaluacyjnych niekoniecznie wpływają na rzeczywistość. Czasami mogą stać się przyczyna debaty ideologicznej a nie naukowej. Mogą zostać kategorycznie odrzucone ze względów politycznych lub innych.
Badania ewaluacyjne sa stosowane zawsze, gdy ma miejsce lub jest planowana jakaś interwencja społ. Interwencja społeczna jest działaniem podejmowanym w określonym kontekście społecznym w celu osiągnięcia pewnego zakładanego skutku. Badania ewaluacyjne są procesem ustalania, czy dana interwencja społeczna osiągnęła zakładany skutek. Pytania charakterystyczne dla badań ewaluacyjnych maja duże znaczenie praktyczne: przedmiotem ich zainteresowania są miejsca pracy, programy, inwestycje, jak również przekonania i wartości.
Często pojawiającą się trudnością w badaniach ewaluacyjnych jest: mierzenie tego co „niemierzalne”. W badaniach ewaluacyjnych chodzi o określenie, czy coś istnieje, czy nie, czy coś się zdarzyło, czy nie. Aby móc przeprowadzić takie badania, musimy być w stanie operacjonalizować, obserwować i rozpoznawać zaistnienie tego co jest przedmiotem naszych badań., lub jego brak. Oficjalne cele interwencji są często kluczem do zaprojektowania ewaluacji, chociaż nie zawsze okazuja się wystarczające. Przygotowując ewaluację , badacze muszą zwracać szczególną uwagę na kwestię pomiaru.
Typy pomiarów:
określenie wyników,
Dla ewaluatorów kluczową zmienną jest ta, która mierzy wynik czyli zmienna reakcji. Zasadnicza sprawą jest uprzednie uzgodnienie definicji. W niektórych przypadkach może się okazać, że definicje problemu i wystarczającego rozwiązania są określone prawnie i poprzez przepisy danej instytucji; jeśli tak to trzeba być świadomym istnienia takich określeń i zastosowania się do nich. Ale niezależnie od uzgodnionych definicji, trzeba także osiągnąć porozumienie co do sposobu przeprowadzenia pomiarów. Ze względu tego, że istnieją różne metody, trzeba mieć pewność, że wszystkie zainteresowane strony rozumieja i akceptuja metodę.
mierzenie tła eksperymentu,
Mierzenie zmiennych zależnych, bezpośrednio związanych z programem to dopiero początek. Ważne jest mierzenie tych aspektów kontekstu eksperymentu, o których badacze sądzą, iż mogą mieć wpływ na ten eksperyment. Niektóre zmienne, choć zewnętrzne w stosunku do samego eksperymentu, mogą na niego wpływać.
określenie interwencji,
Przed dokonaniem pomiarów odnoszących się do wyników programu, badacz musi także dokonać pomiaru interwencji programu - bodźca eksperymentalnego. Po części pomiar będzie polegał na przypisaniu poszczególnych osób do grupy kontrolnej i eksperymentalnej jeśli taki jest schemat badawczy. Przypisanie jednostki do grupy eksperymentalnej jest tym samym, co wystawienie jej na oddziaływanie bodźca , przypisanie zaś do grupy kontrolnej oznacza brak bodźca.
określenie populacji,
Przy ewaluacji jakiejś interwencji ważne jest zdefiniowanie populacji potencjalnych beneficjentów, dla których przeznaczony jest dany program. Idealnie jest gdy oni wszyscy lub ich próba zostanie później przypisana do grup eksperymentalnej i kontrolnej, zgodnie ze schematem badawczym. Zdefiniowanie populacji może samo w sobie wymagać określenia pomiarów. Poza zdef. odpowiedniej populacji badacz powinien zatem dokonać dość dokładnego pomiaru zmiennych, uwzględnionych w def.
nowe mierniki a mierniki już istniejące
Badacz musi nieustannie wybierać między tworzeniem nowych miar a wykorzystaniem mierników już opracowanych przez innych badaczy. Jeśli badania dotyczą czegoś, co nigdy wcześniej nie było mierzone, wybór jest prosty. Jeśli dotyczą czegoś, co inni próbowali już zmierzyć, badacz powinien oszacować względną wartość już istniejących narzędzi pomiarowych pod kątem własnej sytuacji badawczej oraz celu swoich badań. Stworzenie pomiarów specjalnie dla danych badań może być bardziej adekwatne i trafne niż wykorzystanie miar już istniejących. Stworzenie dobrych miar wymaga czasu i energii. Miary z długa historia ich stosowania mają zwykle znany stopień trafności i rzetelności, natomiast nowo tworzone miary będą wymagały przetestowania lub będą używane ze zanczną niepewnością.
operacjonalizcja sukcesu lub porazki
Potencjalnie jednym z najbardziej uciążliwych aspektów badań ewaluacyjnych jest ustalenie, czy badany program odniósł sukces, czy porażkę. Dylemat ten w oczywisty sposób stał się podstawą analizy kosztów i korzyści. Ostatecznie kryteria sukcesu i porażki są często przedmiotem uzgodnień. Osoby odpowiedzialne za program mogą umówić się zawczasu, jaki konkretny wynik będą uznawać za wskaźnik sukcesu danego programu.
Typy schematów badań ewaluacyjnych:
schematy eksperymentalne- polegają na losowym przypisaniu populacji do grup eksperymentalnych i kontrolnych, następnie należy ustalić czas trwania eksperymentu. Gdy już badanie zostanie zaprojektowane pozostaje je już tylko uruchomić. Badania zostają uruchomione, obserwacje są przeprowadzone i spisane, dane przygotowane do analizy. Kiedy badania zakończą się, możemy określić czy wyniki tych badań prowadzą do zamierzonych czy być może niezamierzonych rezultatów.
Schematy quasi-eksperymentalne. Quasi-eksperymenty różnią się od prawdziwych eksperymentów przede wszystkim brakiem losowego przypisania badanych do grup eksperymentalnej i kontrolnej.
- schematy z uwzględnieniem szeregów czasowych - badania, które zakładają dokonywanie pomiaru w czasie, jest związany tylko z grupą eksperymentalną
- nierównoważne grupy kontrolne- czasami, kiedy badacze nie maja możliwości utworzenia grup kontrolnej i eksperymentalnej poprzez losowy przydział ze wspólnej próby, mogą znaleźć jakąś istniejąca grupę kontrolną, która wydaje się podobna do grupy eksperymentalnej.
- schematy z uwzględnieniem wielu szeregów czasowych - są ulepszona wersją schematu nierównoważnej grupy kontrolnej.
3) ewaluacja jakościowa - czasami nawet ustrukturyzowana ewaluacja ilościowa może przynieść nieoczekiwane wyniki jakościowe. Jednak najskuteczniejsze badania ewaluacyjne to takie, które łączą elementy jakościowe i ilościowe. Przydatne są zarówno porównania statystyczne, jak i pogłębione wyjaśnienia procesów, prowadzących do zaobserwowanych wyników - albo też uniemożliwiających wystąpienie oczekiwanych wyników.
Problemy logistyczne;
Logistyka- nakłanianie badanych, by robili to, czego od nich oczekujemy, do sprawdzenia, by narzędzia badawcze zostały rozdane i zwrócone z powrotem oraz do innych zadań.
Specyficzne problemy logistyczne i etyczne badań ewaluacyjnych wyrastają z faktu, iż badania te realizowane są w kontekście realnego życia. Chociaż w badaniach ewaluacyjnych przyjmuje się model eksperymentu, sugerujący kontrolę badacza nad wydarzeniami, ewaluacja zachodzi w toku życia codziennego, często nie dającego się kontrolować.
Istnieją trzy ważne powody, dla których wnioski z wyników badań ewaluacyjnych nie zawsze są uwzględniane w praktyce:
1)wnioski te nie zawsze są prezentowane w sposób zrozumiały dla nie-badaczy
2)wyniki badań ewaluacyjnych niekiedy przeczą głęboko zakorzenionym przekonaniom
3)interes osób zaangażowanych w realizację programu
Wskaźniki społeczne - zagregowane statystyki, odzwierciedlające kondycję społeczeństwa lub jakichś grup społecznych. Umożliwiają zrozumienie szerszych procesów społecznych. Badacze wykorzystują wskaźniki społeczne do monitorowania różnych aspektów życia społecznego w podobny sposób, jak ekonomiści korzystają z interesów, np. PNB na jednego mieszkańca jako wskaźnik rozwoju gospodarczego danego kraju.
Modele stworzone w symulacjach komputerowych dają badaczom szansę studiowania możliwych rezultatów interwencji społecznych bez ryzyka ponoszenia ich konsekwencji w realnym zyciu.