R.15 Testowanie na potrzeby ewaluacji oraz polityki społecznej
1. Podstawy
- testy są powszechnie stosowane do ewaluacji różnych programów oraz ewaluacji polityki społecznej
Ewaluacja programu obejmuje zbiór procedur, które stosuje się by ocenić: potrzeby uruchomienia takiego programu, sposób jego implementacji, skutecznoœć oraz wartoœci
Badania w obszarze polityki społecznej (są szersze) dotyczą: oceny planów, reguł, procedur, które wykorzystuje się do osiągnięcia celów społecznych
Wyniki testowe stanowią często ważne Ÿródło informacji przyczyniające się do uruchomienia, kontynuowania, modyfikowania, zakończenia, rozszerzenia okreœlonego programu czy polityki
- interpretacja wyników testowych w programach ewaluacyjnych i w badaniach polityki społecznej obejmuje bardzo często złożoną analizę wielu zmiennych. Ważne jest by osoby objęte badaniem spełniały co najmniej minimalne kryteria wymagane przez program czy politykę (by interpretacja tych wyników nie prowadziła do błędnych wniosków). Przy interpretacji wyników warto korzystać z dodatkowych Ÿródeł (nie tylko z wyniku testowego), np. odwołanie się do historii życia badanego, pochodzenia, stopnia zaangażowania w wykonanie testu
- rzadko zdarza się by test był konstruowane specjalnie na potrzeby ewaluacji programu czy polityki społecznej; dlatego każdy test powinien zostać oceniony pod względem jego spójnoœci z celami programu lub polityki społecznej. Zdarza się także, że testy mogą zostać przystosowane do wykorzystania ich w takim programie
- wybierając/tworząc test lub wykorzystując dostępne już dane należy zwrócić dużą uwagę na: cele testowania, związek testu z badanym rodzajem interwencji, wiarygodnoœć testu dla zainteresowanych stron oraz koszty badania tym testem
2. Ewaluacja programu
- w programach ewaluacyjnych testy można wykorzystać do zbierania informacji o stanie klienta przed/w trakcie/ i po interwencji oraz do gromadzenia danych o porównywanych grupach
- celem programów ewaluacyjnych jest opis funkcjonowania grupy czy wpływ programu na grupę
- w programach ewaluacyjnych testy wykorzystywane są w takich obszarach jak: pomoc społeczna, edukacja, usługi zdrowotne, wojsko, treningi w zakresie poszukiwania pracy
- program może obejmować interwencję o zasięgu krajowym, lokalnym, a także o zasięgu bardzo małym (mającym charakter eksperymentalny)
- w wielu przypadkach zleceniodawcą ewaluacji jest rząd lub organizacja finansująca dany program (przykładowe programy, których wyniki testowe mogą być wykorzystywane jako jedno ze Ÿródeł danych ewaluacyjnych to : usługi psychoterapeutyczne, programy szkolenia wojskowego, poœrednictwo pracy, programy szkolne, itp.)
- wyniki testowe (wraz z pozostałymi informacjami) mogą być wykorzystywane np. do porównywania alternatywnych form interwencji (np. różne formy psychoterapii, różne programy nauki czytania)
3. Wykorzystanie testów do osiągnięcia celów polityki społecznej
- testy w polityce odwołują się do planów/zasad/procedur/programów stworzonych po to, by osiągnąć okreœlone cele w okreœlonym obszarze
- w ramach programów uruchamia się konkretne usługi lub interwencje, natomiast w ramach polityki społecznej można osiągnąć cele złożone: poœrednio i bezpoœrednio (np. uruchomienie okreœlonego programu, organizowanie kursów przyczyniających się do poprawy funkcjonowania w zawodach związanych z ochroną zdrowia
- w badaniach dotyczących polityki społecznej często wykorzystuje się więcej niż jeden test, po to, by otrzymać bardziej adekwatny obraz zakresu jej oddziaływania
STANDARDY
Jeœli test wykorzystywany jest do wielu celów należy przedstawić dane o odpowiednich właœciwoœciach tego testu z punktu widzenia każdego celu.
Należy dostarczyć dane, które œwiadczą o możliwoœci wykorzystywania danego test do ewaluacji czy na potrzeby polityki społecznej; powinny one wskazywać czy test jest dostosowany do badanego celu.
Wykorzystując wyniki wskazujące na zmianę lub przyrost należy podać precyzyjną definicję takich wyników i przedstawić ich właœciwoœci techniczne.
W badaniach dotyczących ewaluacji programu czy na potrzeby polityki społecznej należy uzupełnić wyniki testowe informacjami pochodzącymi z innych Ÿródeł (np. kryteria doboru klientów, usługi, otoczenie Ÿródła finansowania).
Agencje wykorzystujące test do ewaluacji programów czy polityki społecznej powinny precyzyjnie opisać populację do której skierowany jest dany program/polityka i przedstawić w jakim zakresie badana próba jest reprezentatywna dla danej populacji.
Gdy do ewaluacji programu lub do opisu populacji wykorzystuje się procedurę doboru macierzowego, to należy podać reguły dobierania pozycji testowych i osób badanych.
Jeœli badanie testami w obszarze edukacji jest zalecane przez szkołę/okręg/ czy inne władze to należy precyzyjnie opisać przewidywany sposób wykorzystywania wyników testowych. Na osobach zalecających wykorzystywanie testów spoczywa odpowiedzialnoœć za identyfikowanie i monitorowanie ich wpływu oraz minimalizowanie ich ewentualnych negatywnych konsekwencji.
Jeżeli zakłada się, że na skutek wykorzystania zaleconego testu uzyska się specyficzne wyniki, to należy przedstawić podstawy takich oczekiwań i ich uzasadnienie.
Należy dbać o spójnoœć wyników testowych, eliminując takie działania, które mogą przyczynić się do zawyżania wyników bez towarzyszącej poprawy funkcjonowania w obszarze, który test mierzy.
Osoby, które z urzędu mają prawo poznać wyniki oceny (osoby badane, ich rodzice/opiekunowie, pracownicy np. nauczyciele) powinny być poinformowane o: cele badania, procedurze badania, sposobie obliczania wyników, jak długo będą przechowywane raporty z badan oraz komu i pod jakimi warunkami będą one udostępniane.
Kiedy wyniki testu są udostępniane opinii publicznej/osobom odpowiedzialnym za politykę społeczną , to osoby odpowiadające za podanie tych informacji powinny dostarczyć i wyjaœnić dodatkowe dane minimalizujące błędną interpretacje otrzymanych wyników.
Raportom dotyczącym różnic między œrednimi wynikami grupowymi powinny towarzyszyć odpowiednie informacje o charakterze kontekstualnym, pozwalające na właœciwą interpretację tych różnic. Jeżeli takie informacje nie są dostępne należy przestrzec użytkowników przed nieprawidłowymi interpretacjami.
Osoby legitymizujące badanie testami powinny mieć pewnoœć co do tego, że osoby interpretujące wyniki badań testowych (i na tej podstawie podejmujące decyzje dotyczące szkół czy programów) są odpowiednio wykwalifikowane.