Ewaluacja

1. Omów fazy (generacje I, II, III, IV) ewaluacji.

FAZA I

-ewaluacja = pomiar

-ewaluator = technokrata

-początek USA, autorzy: Tyler, Guba, Lincoln

-studia ewaluacyjne w kategoriach działania specjalisty

Cechy:

- dominowało podejście zopercjonalizowanych zadań dydaktycznych (narzędzia pomiarowe-test uczniów)

- presja na działanie nauczyciela

- podstawa ewaluacji to typowa dla kapitalizmu cecha kulturowa – mierzenia produktywności, efektywności

- perspektywa rynkowa w edukacji

- biurokratyzm i kontrola

FAZA II

Ewaluacja to część programu społecznego (interwencji społecznej)

- pomiar to jeden z narzędzi ewaluacji

- początki Wielka Brytania

Podmioty zainteresowane efektami procesu kształcenia w uczelni wyższej: beneficjenci bezpośredni i pośredni (partnerzy, uczestnicy rynku pracy)

Późniejszy okres II fazy – USA

Cel: doskonalenie programów nauczania

Główne zadania: sprawdzenie efektów działania

Wymogi ewaluacji: decentralizacja, działalność lokalna, systematyczność obserwacji realizacji programu w tym badania postaw uczniów wobec danego programu.

FAZA III

ewaluacja = całościowa ocena programu

ewaluator = funkcja sędziego (obok funkcji: technicznych, opisowych i wyjaśniających)

twórcy – R. Stake, M. Parlett, D. Hamilton, M. Sceriven

Cechy:

- główne zadanie: opis i interpretacja

- pomiar to warunek nie cel

- cele: - kompleksowe wyjaśnienie różnych kwestii

- klasyfikowanie procesu edukacji

- identyfikowanie procedur

- ewaluacja innowacji w kontekście

Cele zależą od kontekstu programu.

- stosowanie ewaluacji nieformalnej (działania bez kryteriów) i formalnej (precyzyjne kryteria)

- zbyt późne ujawnienie wyników – problem ewaluacji

WADY TRZECH FAZ (GENERACJI):

1. Zbyt menadżerskie podejście

2. Brak pluralizmu wartości (jedynie słuszne podejście)

3. Dominacja pozytywistycznego paradygmatu badań

W REZULTACJE 4 FAZA EWALUACJI:

Wg Guba i Lincoln:

- podstawa określająca rodzaj zbieranych informacji to: potrzeby i rezultaty, założone prze wszystkie strony zainteresowane jakością programów.

Istota ewaluacji – przejście :

-od pozytywistycznego (konwencjonalnego) do konstruktywistycznego (nowoczesnego) paradygmatu ewaluacji

-przypomnienie 3 tradycji teoretycznych ewaluacji

W IV fazie – zmiana roli ewaluatora:

1. kontroler -------------------------------------- współpracownik

2. bierny obserwator ----------------------------- aktywny w podwyższaniu jakości programu

3. badacz ------------------------------------------ uczący się i nauczyciel

4. sędzia ------------------------------------------ mediator

5. raportujący Wyniki i oceniający ----------- pośrednik w wymianie informacji

Korzyści zmiany roli ewaluatora:

- demokratyzacja ról

- możliwość uczenia się

- proces ew. – jako wspólne zadanie dla ewaluowanej społeczności

1. Wymień zasadnicze funkcje ewaluacji (przydatność, przyzwoitość, rzetelność, wykonalność).

Przydatność (utility) ewaluacji oznacza, że badania dostarczają informacji istotnych dla programu, są przeprowadzane w czasie pozwalającym na zrobienie użytku z jej wyników

i mają wpływ na obiekt ewaluacji. Oznacza to, że ewaluacja ma przynieść praktyczne informacje właściwym odbiorcom. By badanie było przydatne powinien zostać spełniony

szereg warunków szczegółowych: m.in. wiarygodność ewaluatora, określenie zakresu badania

i selekcja informacji, dokonanie interpretacji kryteriów oceny programu, przejrzystość raportu

oraz określenie zasad udostępniania.

Cecha wykonalności (feasibility), drugiego ze wspomnianych standardów jakości ewaluacji,

wiąże się ze stosunkiem wartości efektów ewaluacji do poniesionych w związku z nią

nakładów. Wykonalność badania związana jest m.in. z dostępnością danych niezbędnych do

przeprowadzenia badania, wykonalnością założonych w projekcie ewaluacji procedur

i z uwarunkowaniami politycznymi.

Ewaluacja jest przyzwoita (propriety), kiedy zapewnia poszanowanie praw osób

zaangażowanych w program i zarazem biorących udział w badaniu. Warunkami spełnienia

kryterium przyzwoitości są m.in.: formalny charakter zobowiązań podjętych przez

ewaluatorów, panowanie nad potencjalnymi konfliktami interesów grup zainteresowanych

wynikami badania, jasne określenie warunków dostępności wyników badania, wyważony

sposób raportowania obejmujący mocne i słabe strony przedmiotu analizy, ale także -

przedstawianie szczegółowych sprawozdań z wydatków dokonywanych na poczet prowadzenia badania.

Dotrzymywanie standardu rzetelności (accuracy) oznacza dbałość o prawdziwość wyników

ewaluacji. Szczegółowe zagadnienia poruszane w badaniu faktycznie powinny odpowiadać

kluczowym kwestiom wyróżnionym w fazie planowania a otrzymane informacje powinny

być adekwatne do zgłoszonych przez zamawiających potrzeb. Realizacja kryterium

rzetelności zakłada również dokładną identyfikację obiektu badania, dokonanie analizy

kontekstu realizacji programu, jasne sformułowanie celów badania i procedur, które mają być

tam zastosowane, zapewnienie wiarygodnych źródeł informacji, dokonywanie pomiaru w sposób metodologicznie uprawniony oraz tak by był on godny zaufania i niezawodny, systematyczne kontrolowanie procesu zbierania danych, formułowanie jedynie całkowicie

usprawiedliwionych - uprawnionych wniosków oraz obiektywne raportowanie.

formatywna – celem ewaluacji śledzenia przebiegu i realizacji programu, ewaluacja dokonywana w czasie realizacji programu, może prowadzić do zmiany programu w czasie jego trwania

konkluzywna – podejmowana zazwyczaj po zakończeniu programu, ocenia, wskazuje, który program jest najbardziej skuteczny. Może również być przeprowadzona przed rozpoczęciem programu

psychologiczna, społeczno-polityczna – szukamy kontekstu uzasadniającego użyteczność programu.

administracyjna – odnosi się do potrzeby zarządzania, ewaluacja umożliwia podejmowanie decyzji.

1. Podaj definicję podstawowych kryteriów ewaluacji: trafność, skuteczność, użyteczność, trwałość, efektywność.

Trafność- odnosi się do adekwatności celów i zastosowanych narzędzi programu w stosunku do problemów i kwestii społeczno-ekonomicznych, które program miał rozwiązać na danym terytorium; W jakim stopniu cele interwencji odpowiadają potrzebom danej społeczności? Czy istnieją alternatywne w stosunku do projektu sposoby zaspokojenia potrzeb potencjalnych beneficjentów – jeśli tak, to jakie? Ewaluacja ex-ante, mild-term, on-going

Skuteczność- Bada stopień realizacji zakładanych celów, skuteczność użytych narzędzi oraz wpływ czynników zewnętrznych na końcowe efekty; Na ile zakładane cele zostały osiągnięte? Które z użytych instrumentów są najbardziej skuteczne? Czy można by osiągnąć lepsze efekty przy użyciu innych narzędzi – jeśli tak to jakich? Ewaluacja ex-ante, mild-term, on-going

Efektywność- Bada relacje między nakładami, kosztami, zasobami (finansowymi, ludzkimi, administracyjnymi) a osiągniętymi efektami danej interwencji; Na ile możliwe było osiągnięcie zakładanych celów niższym kosztem? Na ile możliwe było osiągnięcie lepszych lub takich samych efektów przy użyciu mniejszych zasobów? Ewaluacja ex-ante, mild-term, on-going, ex-post

Użyteczność- Jest swoistym powtórzeniem kryterium trafności. Stawia bowiem analogiczne pytania, ale w innym momencie czasowym (w trakcie lub po zakończeniu realizacji programu); Na ile interwencja spełnia oczekiwania adresatów – np. miejscowej ludności? Na ile projekt rozwiązał problemy, które miał rozwiązać? Na ile zakładane i nieoczekiwane efekty projektu były satysfakcjonujące dla beneficjentów? Ewaluacja on-going (częściowo), ex-post

Trwałość- Obejmuje pytania o ciągłość efektów (przede wszystkim pozytywnych) danej interwencji w perspektywie średnio- i długookresowej; Do jakiego stopnia pozytywne skutki programu były odczuwalne po jego zakończeniu? W jakim stopniu efekty będą odczuwalne również po przerwaniu finansowania z programu? Ewaluacja ex-post

1. Omów znaczenie ewaluacji - pomoc w dokonywaniu wyboru (3 sytuacje: samodzielna ewaluacja, pomoc ewaluatora, publiczny charakter ewaluacji) (W, M).

Ad1. Jednostka dokonuje własnej ewaluacji (oceny) kierując się satysfakcją.

Załóżmy, że Kowalski dojeżdża codziennie 6km do pracy. Tę potrzebę może zaspokoić kilka produktów: rower, motocykl, samochód, taksówka i autobus. Te możliwości składają się na zbiór alternatywnych produktów. Przyjmij, że Kowalski chciałby też zaspokoić kilka dodatkowych potrzeby, a mianowicie: szybkości, bezpieczeństwa, nieuciążliwości i oszczędności( zbiór potrzeb). Każdy produkt ma inną zdolność zaspokajania różnych potrzeb. Rower jest wolniejszy, mniej bezpieczny i wymaga większego wysiłku niż samochód, lecz jest przy tym bardziej oszczędny. Kowalski musi zdecydować, który produkt dostarczy mu większą sumę zadowolenia. Kluczowe- wartości dla klienta( szacuje on zdolność poszczególnych produktów do zaspokajania jego zbioru potrzeb: mógłby uporządkować produkty od najpełniej zaspokajającego potrzeby do najmniej). Moglibyśmy prosić Kowalskiego o charakterystykę idealnego produktu( Kowalski dostałby się do pracy w ułamku sekundy, w sposób absolutnie bezpieczny, bez wysiłku, nie ponosząc przy tym żadnych kosztów).

Proces ewaluacji- etapy:

1. Określenie potrzeb, zbioru potrzeb.

2. Wskazanie zbioru alternatywnych produktów.

3. Kluczowe pojęcie wartości: jest dokładną oceną ogólnej zdolności produktu do zaspokajania potrzeb.

4. Charakterystyka idealnego produktu(wartość produktu zależy od tego, w jakim stopniu zbliży się do idealnego produktu).

5. Ustalenie relacji- wartości produktu a cena.

6. Jednostka wybierze ten produkt(sytuację), który posiada największą wartość w stosunku do ceny.

Ad. 2 Wiele możliwości wyboru, jednostka musi skorzystać z pomocy.

Zasady postępowania ewaluatora:

1. Zasada przydatności(wybór kryteriów oceny- standards)

2. Konieczność poznania potrzeb klienta i jego preferencji

3. Konieczność wyboru zestawu(np. produktów, usług) do oceny

4. Szeregowanie obiektów wg kryteriów

5. Sporządzenie raportu.

Decyzja odbiorcy- to proces wyboru, składniki:

1. Ocena efektów ewaluacji

2. Weryfikacja procedur

3. Ocena wiarygodności i rzetelności ewaluatora

4. Akceptacja lub odrzucenie wyników ewaluacji

5. Ewaluacja- to proces społeczny

6. Budowanie więzi ewaluator- odbiorca

Przykład.

Prowadząc badania muszą niekiedy być detektywami, którzy odsłonią możliwości w ramach każdej sytuacji decyzyjnej. Jednak, gdy istotna informacja pozostaje w ukryciu(np. kierownictwo firmy), nawet najbardziej rozbudowane procedury badawcze nie pozwolą rozwiązać problemu. Przekonali się o tym prowadzący badanie w X. Jan Kowalski, prezes firmy X, był kiedyś przekonywany przez prowadzących badania dla jego firmy, by zrewidował jedną ze swych ważniejszych strategii działania. Prowadzący badanie wykorzystali formalny model decyzyjny, prezes zgodził się z wynikami, ich wartościami i prawdopodobieństwem, i wybrał regułę podjęcia decyzji, którą uznał za najbardziej właściwą. Następnie komputer dokonał obliczeń i podął, który wariant decyzyjny należy wybrać zgodnie z tą regułą. Pan Nowak nie zgodził się z tym. Zauważył, żę inny wariant był bezwarunkowo jedynym prawidłowym, i to ten, którego wyboru i wdrożenia dokonano w samej firmie. „Jak to?”- pytali prowadzący badania. „ Zaakceptował Pan wartości i prawdopodobieństwa, i sam wybrał regułę decyzji. Reszta to tylko praca komputera”. „ W porządku- odparł Nowak- ale zapomnieliście mnie zapytać o kilka istotnych spraw, znacznie ważniejszych z punktu widzenia interesów firmy”.

Ad 3. Publiczny charakter ewaluacji.

Problemy:

1. Ustalenie- kim jest odbiorca oceny(typ odbiorcy decyduje o ewaluacji)

2. Ewaluacja wpływa nawet na ogół społeczeństwa.

3. Ewaluacja jest zasadniczą i nierozerwalną częścią sytuacji społecznej.

4. Publiczny charakter tej sytuacji narzuca pewne ograniczenia ewaluacji.

1. Opisz trzy główne cechy studiów ewaluacyjnych (nastawienie na konkret, uwikłanie polityczne, perswazyjność) (W, M).

Ewaluacja nastawiona na konkret:

1. Konkretyzacja- to zmiana w myśleniu

2. Koncentracja na konkretnych projektach czy obiektach (np. szkoła, region)

3. „obrazowanie” procesu zmian

4. Dominujące podejście- studium przypadków(historie)

5. Zwracanie uwagi- na kontekst wdrażania innowacji(gł. Edukacja)

Wskazówki teoretyczne i metodologiczne:

1. Podstawa zmian w konceptualizacji studiów ewaluacji- określenie kategorii celu przez Stake’a

2. Cronbach- studia opisowe

3. Użyteczność studium przypadku

4. Analizy ewaluacyjne- konieczność zachowania konkretności

5. Granice m. klasycznymi badaniami akademickimi(wiedza formalna) a studiami ew. (wiedza praktyczna)

6. Wspieranie konkretnych(miejsce, czas) projektów zmian, programów edukacyjnych bądź kierunków polityki oświatowej.

Polityczne uwikłanie ewaluacji

Znaczenie (wyjaśnienie) politycznego uwikłania ewaluacji:

1. Wyniki ewaluacji nie są ostatecznym werdyktem, a zwłaszcza- absolutnie obiektywnym

2. Wyniki zawsze opierają się na jakiś przeświadczeniach

3. Wyniki są w jakimś stopniu stronnicze

4. Komponentem ewaluacji sa poglądy i opinie społeczne

5. Wykazują one zmienność (zmienność kontekstów politycznych i opinii)

6. Wyniki ewaluacji są uwikłanie w spory ideologiczne.

W rezultacie:

1. Ewaluacja- aspekty polityczne

2. Teoria studiów ewaluacji musi być teorią interakcji politycznych

3. Akceptacja wyników zależy od tego czy wspiera, czy zagraża odbiorcom

4. Ewaluacje są integralnym składnikiem procesu politycznego a społeczeństwie.

Ewaluacja to: „ racjonalne przedsięwzięcie realizowane w kontekście politycznym”.

Względy polityczne- interwencja w procedury ewaluacji(3 sposoby):

1. Przedmioty studiów ewaluacji to politycznie wykreowane elementy rzeczywistości.

2. Studia ewaluacji są prowadzone- by wyniki zostały włączone w mechanizmy podejmowania decyzji.

3. Wyniki ewaluacji maja polityczną doniosłość- zawierają opinie o charakterze politycznym.

Pierwszeństwo polityczne charaktery ewaluacji(MacDonald- lata 70.XX w.) ponieważ ewaluatorzy:

1. Żyją w realnym świecie politycznych sporów

2. Zmieniają zastane stosunki władzy

3. Gromadzą informacje, funkcjonujące jako zasoby w promowaniu interesów i wartości

4. Nie mogą uniknąć zajęcia stanowiska politycznego, wyrażenie postawy

5. Badacz akademicki- neutralność polityczna poglądów, badań

6. Ewaluator jest uwikłany w działania(decyzje)

MacDonald:

1. Przewidywał załamanie się wzorca bezstronnego badacza społecznego

2. Wiązał to ze wzrostem technokratycznego centryzmu

3. Usiłował prowadzić model „demokratycznej ewaluacji”/ powszechny dostęp do wyników/

Współcześnie te przewidywania wdają się trafne, ponieważ:

1. Prawie wszystkie badania społeczne są finansowane ze środków publicznych

2. Poprzestają na dość ściśle ograniczonych definicjach problemów, których dotyczą.

Ewaluacja jako perswazja:

Wg House’a (80.)- studia oceniające maja charakter perswazyjny, ponieważ racje ewaluatorów (w stosunku do badań naukowych) są: mniej pewne, bardziej cząstkowe i osobiste, ale.. bardziej praktyczne.

Kryteria oceny wartości wyników:

1. Przydatność:

1. przydatność w praktyce- definicyjna cecha ewaluacji.

2. Ignorowanie kryterium przydatności praktycznej- wyniki mogą być uznane za nieistotne i bezużyteczne

1. Kompletność

2. Wiarygodność

1. Przedstaw podejścia (modele) ewaluacji (analiza systemowa, zoperacjonalizowane działania, zorientowane na podjęcie decyzji, goal free, krytyka artystyczna, inspekcja kwalifikacji, quasi-sądowe, studium przypadku) (W, M).

Modele(podejścia) w ewaluacji

Modele- typy strukturalne(projekty, wzory, podejścia)

Podstawowe modele- założenia.

1. Maja swoich uznanych propagatorów w tym praktyków

2. Artykułowana jest ich racjonalność

3. Są omawiane w literaturze

4. Są to idealizacje podejść do ewaluacji

5. Każda ewaluacja jest wypadkową wielu okoliczności

6. Poszczególne ewaluacje mogą przybierać odmienne formy i przebieg, nawet jeśli są oparte na tym samym typie

Analiza systemowa

Założenia:

1. Zdefiniowanie mierników wyniku (out-put)

2. Odniesienie różnic w programach do zmian wskaźników (wyniki testów)

3. Ilościowy charakter danych, zastosowanie technik statystycznych (w tym analiz korelacyjnych)

4. Stosowanie eksperymentów (większe znaczenie kontrolowanej zmiany niż zmiany naturalnej).

Kluczowe pytania (kwestie):

Sposób definiowania problemów społ. (jak?)

Kto i w jakim stopniu skorzysta?

Co przyniosłoby najwięcej korzyści?

Porównanie korzyści różnych podejść?

Efektywność realizacji usług

Procedury- podejścia:

1. Model menedżerski (podstawa- teoria mikroekonomiczna)

2. Inne

Testowanie „przed i po” programie

Metoda szacowania konsekwencji

Analiza podstaw podejmowania decyzji

Istota podejścia, w tym metodologia:

Analiza kosztów i korzyści

Określanie zależności przyczynowo- skutkowych między programami i rezultatami (eksperyment z losową grupą kontrolną)

Pomiar- metody psycho-, socjo- lub ekonometryczne

Porównywanie kosztów(max, rezultaty- min koszt)

Pozytywistyczna metodologia nauk społecznych.

W rezultacie Analiza Systemowa- realizuje zadania związane z:

1. Zarządzaniem

2. Planowaniem

3. Ustaleniem kierunku działań

4. Zagadnieniami fiskalnymi

Ewaluacja musi być możliwie najbardziej obiektywna i dostarczać rzetelnej oceny(wyniki).

Cele ewaluacji- odpowiedź na pytania, dotyczące Programu:

Planowanie programu

Kontrolowanie programu

Szacowanie jego skutków

Określenie wydajności ekonomicznej.

Podejście zoperacjonalizowanych zadań lub model prog. Ew. Tylera

1. Punkt wyjścia- cele programu

2. Ew.- czy cele zostały osiągnięte

3. Cele implikują standardy i kryteria

4. Ew. identyfikuje zamierzenia twórców programów

5. Program odniósł sukces- gdy stopień zgodności między założonymi celami a rezultatami jest odpowiednio wysoki

6. Odwoływanie się do celów zwalnia Ew. od oceny funkcji programu.

Zmiany w ewaluacji- przeniesie uwagi z identyfikowania celów na problem pomiaru ich realizacji.

Metodologia:

Tradycyjne standaryzowane testy- uznano za niedostosowane do mierzenia stopnia realizacji określonych celów.

Punkt wyjścia ew.- układ celów.

Kryteria- muszą być związane z celami.

Konstruowano testy odnoszące się do kryteriów:

1. Z celów wyprowadza się zadania testowe

2. Często- testowanie kompetencji.

Podejście zorientowane na podjęcie decyzji

Struktura ewaluacji podporządkowana podejmowaniu decyzji(administratorzy, menedżerowie)

Ewaluacja jest procesem:

1. Określania charakteru informacji

2. Uzyskiwania i dostarczania informacji

3. Informacje- to podstawa oceny alternatywnych decyzji.

Istotne cechy ewaluacji:

1. Identyfikowanie poziomu decyzji

2. Projektowanie sytuacji decyzyjnych

3. Definiowanie kryteriów każdej sytuacji

4. Określanie kierunków działania ewaluacji.

Następny krok:

1. Gromadzenie informacji

2. Ich porządkowanie, analizowanie

3. Przedstawienie w formie raportu.

Podejście- zadania:

1. Próbuje rozwiązać problemy Ew.

2. Uznaje decydenta za adresata Ew.

3. Zainteresowania i kryteria decydenta są istotne

Jednak- sposoby identyfikowania decydentów są różne, ale- podejście to zwiększa możliwości wykorzystania rezultatów ewaluacji.

Typowe procedury(metodologia):

1. Wywiady standaryzowane

2. Eksperymenty

3. Obserwacja naturalnych zmian w toku realizacji programu.

Podsumowanie:

Kluczowe- uzyskanie odpowiedzi na pytania decydentów

Pytania dotyczą zwykle efektywności różnych aspektów programów, zwłaszcza w wymiarze praktyki.

Miejsce ewaluacji w procesie podejmowania decyzji. Informacyjne wspieranie decydentów a rola ewluatora:

1. Podejmowanie decyzji nie należy do osób gromadzących informacje

2. Na decyzję wpływa wiele czynników(poza kontrolą ewaluatora)

3. Ewaluator nie ma uprawnień osób pełniących role zawodowe i ponoszących odpowiedzialność

4. Rola zawodowa ewaluatora- odpowiedzialność za realizację ogólnego interesu zbiorowego.

5. Ewaluator ocenia, ale nie dąży do zastępowania oceną procesu politycznego.

Wg Cronbacha:

Ewaluacja: „gromadzenie i wykorzystywanie informacji pozwalających na podejmowanie decyzji dotyczących programu edukacyjnego” (społecznego)

„Ewaluacja to proces określania, gromadzenia i prezentowania użytecznych informacji, pozwalających na ocenę alternatyw, jakie ma przed sobą osoba podejmująca decyzję”.

Podejście goal-free

Podejście- jako reakcja na upowszechnienie się Ew. zorientowanej na cel. Prowadzenie ewaluacji „wolnej od celów”.

Założenia:

1. Scriven(’73)- ewaluator nie powinien przyjmować celów programu, a nawet ich znać.

2. Pozwala to zachować bezstronność

3. Cel nie pozostawia Ew. obojętnym.

4. Model goal-free redukuje wpływ intencji twórcy programu na nastawienie Ew.

5. Skutek- Ew. musi dociekać możliwych rezultatów projektu(skutki uboczne).

Cechy:

1. Ew. goal-free- najmniejsze zastosowanie w praktyce(kwestionuje się status modelu)

2. Alternatywa działania- cele ewaluatora

Metodologia- barak sprecyzowania:

1. Przekonanie- tylko niezaangażowane spojrzenie z boku zapewnia obiektywność

2. Akcent- niezależność Ew. wobec organizatorów programu

3. Ewaluator- jako ekspert(eliminowanie stronniczości)

4. Proponowane procedury: eksperyment, mieszanie ante i post fatum elementów ocenianych, skalowanie sądów przy użyciu standardowych przykładów, konfrontowanie organizatorów programu, wykorzystywanie kodeksów etycznych, replikacji zbieżnych, powtarzanie analiz przez niezależne grupy.

5. Techniki wykorzystywane w praktyce(zróżnicowane: analiza wyników testów wstępnych w szkołach, zapoznawanie się z recenzjami ekspertów, wizytacje w klasach szkolnych, wywiady z nauczycielami i uczniami, analiza treści programów, wykorzystywanie grup sędziów do opracowywania punktacji narzędzi kontrolnych.

Podejście typu „krytyka artystyczna.

Punkt wyjścia- ewaluator w roli krytyka sztuki, literackiego, teatralnego i filmowego.

Analiza- przez analogię- model krytyka edukacji lub krytyka programu szkolnego

Krytyka, podobnie jak twórczość artystyczna- charakter jakościowy.

Ekspertyza a krytyka

Rola eksperta:

1. Ocenia wartość

2. Rozpoznaje, ocenia jakość konkretnych zjawisk

3. Ma doświadczenie by uznawać jakość

4. Umiejętność postrzegania subtelności i zrozumienia ich roli w kształtowaniu całości(np. życie klasy szkolnej)

5. Możliwość uczestniczenia w wydarzeniach i porównywania ich (całościowa, szacująca percepcja)

6. Kluczowe: odp. Wykształcenie i doświadczenie

Rola krytyka:

1. Wydobywanie swoistych jakości wydarzeń lub obiektów(rola znawcy)

2. Światło na znaczące aspekty sytuacji, obiektu lub programu

3. Wydobycie cech partykularnych

4. Język niedyskursywny (wykorzystuje formy, bardziej uczucia niż fakty)

5. Właściwie prowadzona- powoduje wzrost świadomości, wrażliwości na wartości

6. Sąd o wydarzeniu ma być podbudowany oceną jego znaczenia

7. Analizy- charakter jakościowy

8. Trafność i rzetelność- „potwierdzenie strukturalne” i „adekwatność odniesienia”.

Dowód zyskuje potwierdzenie, gdy jego części składowe sobie nie przeczą. Adekwatność odniesienia dotyczy możliwości odnalezienia w działaniu lub programie cech ,które krytycy uznają za ważne.

1. Konieczność pełnego rozeznania sytuacji

2. Ew. nie musi być jednomyślna

3. Główny cel- poszerzenie percepcji, a nie definitywny osąd.

Metodologia (brak standaryzacji, wyjątek- krytyczne przygotowanie recenzji)

1. Standardy ewaluacji

1. Krytycy akademiccy- ocena na podstawie najwyższych standardów

2. Krytyka w ewaluacji- to produkt uboczny, określanie standardów smaku(pisarze, dziennikarze)

1. Krytyk- osoba doświadczona, właściwie wykształcona, znawca przedmiotu

2. Adresaci Ew.- konsumenci lub eksperci

3. Raportowanie- przekaz ocen w formie, która dostarcza informacji i kształci „mniej wrażliwych”

Podejście typu „inspekcja kwalifikacji”

Źródło- Ew. dokonywana przez profesjonalistów, inspekcja szkół.

Szerzej rozumiana inspekcja kwalifikacji:

1. Specjaliści różnych dziedzin (chirurdzy, prawnicy) oceniają pracujących w tej samej dziedzinie.

2. Członkowie grupy inspekcyjnej- ten sam poziom przygotowania zawodowego co ewaluowani.

Kryteria ewaluacji:

W dziedzienie edukacji, programów szkolnych- dotyczą poszczególnych przedmiotów. Niektóre kryteria- odnoszą się do takich dziedzin, jak: kształcenie medialne, działania usługowe na rzecz uczniów, wyposażenie szkoły.

Cel podejścia- zainspirowanie samoewaluacji pracowników

1. Wariant- powszechna ewaluacja katedr czy jednostek uniwersyteckich

2. Standardy i kryteria ustanawiają sami profesjonaliści.

W klasycznym ujęciu (amerykańskie)Ew. opierała się na 6 kryteriach:

1. Jakości programu nauczania

2. Jakości badań, aktywności twórczej lub pracy naukowej

3. Jakości usług świadczonych na rzecz uniwersytetu i określonej profesji

4. Znaczenia danej jednostki dla innych jednostek uniwersytetu i wkładu w rozwój

5. Wartości programu dla społ. lub wyróżniania się na poziomie innych jednostek admin.

6. Formowanie oczekiwań pod adresem danej jednostki.

Podejście quasi-sądowe(konfrontacyjne)

Etapy:

1. Prowadzenie ewaluacji na wzór rozpraw sądowych

2. Naśladowanie innych procedur konfrontacyjnych

3. Wprowadzenie wzorów agresywnego postępowania sądowego

4. Zastosowanie do rozstrzygania spornych kwestii w programach społecznych.

Zastosowanie:

1. Wlk. Brytania- komisje i rady w celu ustalania kierunku polityki społecznej

2. Kierownictwo zespołów- powszechnie szanowani obywatele

3. Stosowana pomoc ze strony rządu

4. Zespoły- działania na wszystkich niemal płaszczyznach życia społecznego

5. Rozwiązywanie problemów określonych profesji

6. Zespoły i komisje(nie są częścią systemu prawni), ale autorytet z procedur quasi-sądowych

Schemat ewaluacji:

1. Sprawa staje przed trybunałem

2. Świadkowie składają zeznania i przedstawiają „dowody”

3. Istnieją zasady kto ma dostarczać dowody i warunki składania zeznań

4. Przesłuchania- sądowa symbolika, powaga

5. Wystrój wnętrz limituje często salę sądową

6. Duże znaczenie- wysłuchiwanie wszystkich świadectw za i przeciw.

7. Ew. zapożycza swój autorytet od prawa.

Metodologia: Proces (Wg Wolf))- 4 etapy:

1. Wytypowanie kwestii spornych

2. Ich selekcja

3. Przedłożenie argumentów

4. Przesłuchanie

Quasi- sądowe procedury w ewaluacji:

1. Grupa jurorów

2. Przewód sądowy prowadzony przez skład sędziowski

3. Cel to dojście do konkluzji

4. Rodzaj przesłuchania-przedstawia się argumenty „za” i „przeciw”

Zalety:

1. System jasnych zasad i procedur pozwalających przed ogłoszeniem wyroku rozpatrzyć alternatywne konkluzje wynikające z danych

2. Podejście prawnicze umożliwia systematyczne rozważenie alternatywnych argumentów i wniosków

3. Ewaluacja jest intelektualnie uczciwa i rzetelna.

Studium przypadku(albo transakcja)

Uwaga jest skoncentrowana: na realizacji programu, na sposobie jego odbioru przez ludzi.

Procedury: wywiady z wieloma ludźmi, obserwacja uczestnicząca, przedstawianie wyników z formie studium przypadku.

Metodologia- gł. Podejście jakościowe:

1. „historia przypadku”

2. Cel- pomoc adresatom Ew. w lepszym zrozumieniu programu

3. Przedstawia się im- jak program odbierają inni

4. Korzysta się z narzędzi wypracowanych przez antropologię, dziennikarstwo, literaturę.

5. Podejście zbliżone do etnometodologii

6. Metody „naturalistyczne”

7. Wykorzystanie obserwacji uczestniczącej, nieformalnych wywiadów, analizy dokumentów.

Cechy:

1. Zadanie praktyczne- przyczynianie się do realizacji programów

2. Cechy studium przypadku

3. Kompleksowe, holistyczne opisy uwzględniające wiele zmiennych

4. Dane są gromadzone w toku osobistych obserwacji

5. Pisemne raporty mają charakter nieformalny i narracyjny

6. Wykorzystuje się cytatu, ilustracje, aluzje i metafory.

Alternatywnie- model transakcyjny

Gromadzenie obserwacji i informacji w trybie „transakcyjnym”. W „dialogicznej” Ew.- ewaluator negocjuje z klientem charakter swoich działań. W konsekwencji- dominują oczekiwania różnych odbiorców.

Założenia:

1. Większe zorientowanie na działania niż na zamierzenia docelowe

2. Ew. odpowiada na zapotrzebowanie informacyjne odbiorców

3. Sukcesy i niepowodzenia programu są rozpatrywane z ramach różnych wartości

4. Ew. wymaga: sporządzenia planu obserwacji i negocjacji, obserwowania przebiegu programu, przygotowania narracji i opisów dotyczących przedstawienia wyników, grafów.

Monograficzne badania układów społecznych.

Przekład the case study metod- „metoda badania przypadku”. Występuje w literaturze polskiej, nie wydaje się trafny, ponieważ zwykle „przypadkiem” jest wielka fabryka czy stutysięczne miasto.

Zgodnie z treścią, case study(dla socjologia), to:

1. Całościowa analiza(dla celów diagnostycznych czy teoretycznych) pewnego układu społecznego.

2. Ze zwróceniem uwagi na jego strukturę, zasady funkcjonowania i często również wewnętrzną dynamikę.

W tym kontekście:

1. Tylko gdy obiektem monograficznym, a zarazem wszechstronnych zainteresowań badacza byłby pojedynczy człowiek(tak jak np. w psychologii, kryminologii, czy na terenie analiz socjologicznych specjalnego rodzaju, jak np. socjologia sztuki czy literatury)

2. Należałoby używać zapożyczonego z medycyny terminu: „przypadek”

Wówczas MOŻNA BY DOPIERO MÓWIĆ O METODZIE BADANIA POJEDYNCZYCH PRZYPADKÓW.

1. Przedstaw definicję ewaluacji - wg kryterium opisu czynności lub metody badań (W, M).

Badania ewaluacyjne to rodzaj badań stosowanych, obejmujących etapy: planowania i projektowania, zbierania oraz analizy danych służących jako podstawa uzyskania i przekazania istotnych informacji na temat programu społecznego.

1. Przedstaw definicję ewaluacji - wg kryterium sens i cele badań. (W, M).

Celem badań ewaluacyjnych jest dostarczanie informacji na temat treści, form, zasad funkcjonowania i wdrażania programów społecznych, ich efektywności (uzyskane rezultaty), możliwości wprowadzania zmian, monitorowania i kontroli zmian, a także wsparcia decydentów (lub/i innych odbiorców ew.) w podejmowaniu trafnych decyzji.

1. Przedstaw sposób rozumienia ewaluacji przez E. Babbie. (W, M).

BADANIA EWALUACYJNE wg Babiego – stosowanie badań społecznych, w których przedmiotem zainteresowania jest skutek interwencji społecznej. Badania ewaluacyjne – nazywane też ewaluacją programu – odnoszą się w większym stopniu do celu badań niż do specyficznej metody. Celem jest ocena (ewaluacja)wpływu podejmowanych działań (interwencji) społecznych.

1. Przedstaw cechy projektowania ewaluacji – schemat 10 pytań wg D. Nevo (pytanie nie ogranicza się do wymienienia pytań, ale potrzebny jest także opis każdego z nich (W + M).

Schemat 10 pytań Nevo:

1. Jak ewaluacja jest definiowana?

Dwa typy definicji:

1. opisujące czynności lub metody badań

2. wskazujące sens i cele badań

2. Jakie są funkcje ewaluacji?

a) formatywna,

b) konkluzywna,

c) psychologiczna lub społeczno - polityczna,

d) administracyjna

3. Co jest obiektem ewaluacji?

Każde działanie, które ma na celu zmianę, ulepszenie.

4. Jakie rodzaje informacji gromadzić?

4 zmienne obiektu: cele, plan działania, proces działania, wyniki

Zgodnie z tym podejściem ewaluacja to ocena merytorycznej wartości celów, jakości planu, stopnia realizacji planu, wartości rezultatu.

5. Jakie kryteria są brane pod uwagę przy ocenie zalet i wartości obiektu?

Wybór kryteriów oceny, w praktyce dość często jest to "osiągnięcie celu". Zidentyfikowanie potrzeby klientów/beneficjentów. Ideały lub wartości społeczne. Standardy ustalone przez ekspertów lub inne właściwe grupy. Jakość obiektów alternatywnych. Wartości doboru kryteriów: jasność, precyzja, wskazanie (uzasadnienie) rodzaju oceny obiektu(dobra ocena lub zła), odnoszenie się do różnych wartości społecznych. Rodzaje kryteriów: skuteczność, trafność, trwałość, użyteczność, efektywność.

6. Komu ew. powinna służyć?

Decydentom, osobom, instytucjom kształtującym politykę społeczną, klientom lub adresatom(beneficjentom)

a) Ewaluacja może mieć więcej niż 1 odbiorcę

b) Różni odbiorcy mogą mieć różne potrzeby ewaluacyjne

c) Odbiorcy i ich potrzeby należy zidentyfikować na etapie planowanie ewaluacji

7. Na czym polega proces ewaluacji?

8. Jakie metody badawcze stosujemy w ewaluacji?

9. Kto może przeprowadzić ewaluację?

Kompetentny i godny zaufania ewaluator. Cechy: znajomość metod badawczych, techniczne kompetencje w zakresie przedmiotu, obiektywizm, zdolności organizacyjne, odpowiedzialność, umiejętności interpersonalne.

10. Jakie standardy należy przyjąć za podstawę oceny przebiegu?( 4 gr: przydatność, wykonalność, przyzwoitość, rzetelność)

1. Omów ewaluację formatywną i konkluzywną (W + tekst Olejniczaka, Podręcznik).

EWALUACJA FORMATYWNA – jej celem jest przede wszystkim ocena formy, planu oraz procesu wdrażania danej interwencji przed jej rozpoczęciem lub w czasie jej trwania. Koncentruje się na doradzaniu osobom zarządzającym programem, jakie cele ustalić, lub jak poprawić płynność wdrażania programu i podnieść jego ostateczną jakość. Często jest prowadzona przez samą instytucje wdrażającą interwencje.

EWALUACJA KONKLUZYWNA – celem jest podsumowanie zakończonej interwencji- jej efektów i procesu oraz pomoc w decyzji „co dalej”(konstytuować czy zatrzymać program, zmienić jego formę). Taka całościowa ocena jest podejmowana po zakończeniu programu. Ma charakter opisowy i wyjaśniający i jest adresowana do szerszej publiki, do społeczeństwa, a nie wyłącznie do instytucji realizujących dany program.

1. Omów ewaluację: ex-ante, mid-term, ex-post, on-going (Olejniczak, Poradnik).

EX-ANTE (ocena szacunkowa ): Ocena przeprowadzona przed wdrożeniem interwencji, w trakcie jej projektowania. Pozwala ocenić trafność i spójność zamierzeń. Daje władzom publicznym informacje co do szans powodzenia programów, projektów czy działań oraz realistycznego oszacowania celów i wartości docelowych. Jest konieczną podstawą do monitorowania i dalszej ewaluacji.

MID-TERM (ocena w połowie okresu realizacji): Ewaluacja przeprowadzana w czasie wdrażania programu. Ta ewaluacja poddaje krytyce pierwsze produkty i rezultaty, co pozwala ocenić jakość monitorowania i wdrażania. Pokazuje, w jaki sposób założenia przekładane są na działania i w miejscu, gdzie jest to konieczne, wskazuje de facto konieczność dokonania korekt. Przez porównanie z sytuacja początkową, pokazuje ewolucji kontekstu gospodarczego i społecznego oraz ocenia czy cele pozostają trafne. Bada, czy polityka i priorytety innych władz publicznych pozostają spójne. Pomaga w przygotowaniu ewentualnych poprawek i zmian w programie oraz przedyskutowanie ich w przejrzysty sposób. Ewaluacja cząstkowa nie tylko mocno opiera się na informacji czerpanej z monitoringu, ale także na informacji odnoszącej się do warunków zewnętrznych i zmian w nich zachodzących. Ma charakter normatywny: dostarcza informacji zwrotnej o interwencji, która pomaga ulepszyć zarządzanie interwencja. Jest forma ewaluacji pośredniej. Inne oceny pośrednie mogą być przeprowadzane w pierwszym lub ostatnim roku wdrażania.

EX-POST (ocena końcowa): (ocena pełna) przeprowadzona po zakończeniu realizacji interwencji, podsumowuje i ocenia efekty oczekiwane (skuteczność) i nieoczekiwane (użyteczność), a także efektywność. Ma określić czynniki wpływające na sukces lub niepowodzenie interwencji, a także trwałość rezultatów i oddziaływania, dając tym samym asumpt do projektowania przyszłych interwencji lub/i korekty interwencji realizowanych.

ON- GOING (ewaluacja bieżąca): Może być prowadzona przez cały okres realizacji interwencji. Umożliwia korygowanie interwencji w trakcje jej trwania, podczas wsparcia procesu zarządzania. Poddaje analizie pierwsze efekty i oddziaływania, dając tym samym asumpt do projektowania przyszłych interwencji lub/i korekty interwencji realizowanych

1. Wymień warunki dobrego badania ewaluacyjnego (W, M).

- umiejętności metodologiczne

- ważność informacji

- możliwość wykorzystania informacji w procesie podejmowania decyzji

-inne możliwości praktycznego wykorzystywania wyników

1. Przedstaw czynniki sprzyjające przyjęciu wyników badań ewaluacyjnych (W, M).

- ilość czasu do dyspozycji przed podjęciem decyzji

- dostępność potrzebnych informacji

- wartość dodatkowej informacji

- struktura organizacyjna klienta

- jakość techniczna badań

- efekt zaskoczenia

- aparat operacyjny wyników

-interakcja miedzy ewaluatorem a decydentem

1. Wymień umiejętności (ewaluatora) potrzebne w toku ewaluacji (W, M).

- pisanie projektu

- precyzyjne określenie celów ew.

- dobór, zorganizowanie i współpraca w zespole badawczym

- wybór projektu i technik zbierania danych

- wiedza i umiejętności metodologiczne

- przeprowadzenie badań w terenie

- konstruowanie narzędzi badawczych i posługiwanie się nimi

- znajomość metod badawczych, ich wad i zalet, umiejętności stosowania wielu procedur badawczych w jednym procesie ewaluacyjnym

- posługiwanie się złożonymi systemami informacji

- analiza danych

- pisanie raportów, formułowanie rekomendacji

- zapewnienie spożytkowania wyników

- wrażliwość na kontekst społeczny, polityczny, gospodarczy

1. Omów fazę planowania ewaluacji (inaczej nazywaną też konceptualizacją), w tym pięć etapów tej fazy i ich szczegółową strukturę). (W, M, tekst Haber).

Planowanie- beneficjenci są zaangażowani bardzo, natomiast badacz mniej. a)Ustalenie poziomu badań b)Ustalenie ram(obszaru badań) c)Określenie okresu w jakim dokonamy oceny d)Nadanie znaczenia wszystkim pojęciom e)Sformułowanie problematyki badań oraz hipotez.

Etap 1 obejmuje ona przyjęcie przedsięwzięcia, projektu czy programu do dalszego opracowania oraz wzmocnienie celów realizacji projektu przez:

1. regulacje instytucjonalne ( wewnętrzne bądź zewnętrzne, wynikające z wymagań formalnych, np. nałożonego na instytucje obowiązki ewaluacji)

2. doprecyzowanie celów

3. wskazanie funkcji ewaluacji

4. wskazanie konsekwencji oceny (np. decyzja o usprawnieniu, reorientacji. Kontynuacji lub zaprzestaniu realizacji kolejnej edycji programu; w wypadku wykrycia nieprawidłowości, konsekwencje prawne finansowe)

5. zidentyfikowanie odbiorców ewaluacji

6. określenie pierwszoplanowych potrzeb informacyjnych

jest to etap na którym powstają fundamenty zarządzania jakością projektu oraz komunikacji o rozpowszechnieniu wyników, decydujące i przyszłości sukcesie ewaluacji. Dopiero tak zbudowane podstawy można uzupełnić kolejnymi treściami mającymi wpływ na wstępny projekt ewaluacji.

Drugi etap doprecyzowanie przedmiotu badania, przez wnikliwą analizę m.in.”

2.1 typu oraz specyfiki interwencji społecznej

2.2 harmonogram realizacji przedsięwzięcia

2.3 celów szczegółowych interwencji, obszaru objętego interwencją(kraj, region)

2.4 informacji/danych opisujących rzeczywisty przebieg realizacji i sposób wdrażania( m.in.: sprawozdania beneficjentów, okresowe raporty monitoringowe, bazy danych)

2.5 etapu dokonywania oceny przedsięwzięcia, efektów programu (oczekiwane i nieoczekiwane, pozytywne i negatywne, bezpośrednie i pośrednie, krótko i długofalowe)

2.6 informacji/danych opisujących:

• stopień osiągnięcia celów przedsięwzięcia( wyrażane przez mierniki osiągnięcia celów)

• koniecznych do oceny makroekonomicznego oddziaływania przedsięwzięcia

• dotyczących strategii (Policy) wobec sektora/obszaru/zagadnienia stanowiącego przedmiot ewakuowanego przedsięwzięcia

• zewnętrzne czynniki ( wskazane i niewskazywane w dokumentach programowych przedsięwzięcia)

• oddziałujące na proces realizacji i efekty przedsięwzięcia (m.in. wpływ kontekstu społeczno-gospodarczego, otoczenia instytucjonalnego i politycznego)

trzeci etap to określeniu zakresu ewaluacji który polega na ustaleniu:

3.1 poziomu badania (cały program, konkretne działanie) i charakteru ewaluacji( pełna całość interwencji nie pełna: jednowymiarowa, horyzontalna –dotyczy więcej niż jednego programu)

3.2 ram (jeden vs. Wiele elementów interwencji, jedna vs. Kilka grup odbiorców (beneficjenci, partnerzy instytucjonalni, potencjalni odbiorcy) badana interwencja vs. Wiele interwencji i programów publicznych)

Przyjmuje się by na tym etapie określić założenia dotyczące:

• Natury badanej rzeczywistości (zakres i stopień zmienności, czynnik zmiany)

• Sposobu potraktowania przedmiotu badań z punktu widzenia jego autonomiczności (czy jest to układ zamknięty, wyizolowany, czy układ otwarty)

• Możliwości poznania tej rzeczywistości za pomocą określonej metody

3.3 perspektywy czasowej w jakiej przeprowadzona zostanie ewaluacja określonego przedsięwzięcia.

Czwarty etap koncentracja na pojęciowej strukturyzacji przedmiotu czyli określeniu struktury konceptu(przedmiotu) i znaczenia wszystkich pojęć, które stanowią punkt wyjścia podstawę operacjonalizacji.

Systematyzacja procesu komunikacji m.in. z odbiorcami wyników ewaluacji i respondentami, aby uniknąć potencjalnych nie porozumień dotyczących badanej rzeczywistości

Eksplikacja pojęć jest procesem ciągłym, rozpoczynającym się na poziomie konceptualizacji ewaluacji, a doprecyzowanym już w toku gromadzenia interpretacji danych.

Chodzi przede wszystkim o maksymalne doprecyzowanie i wyjaśnienie podstawowych pojęć, stosowanie aparatu pojęciowego dostosowanego i zrozumiałego dla wszystkich podmiotów zaangażowanych w przygotowanie badań ewaluacyjnych, jak i w realizację czy odbiór.

W tracie zbierania i analizy danych badacz stopniowo zawęża obszar badań

W trakcie zbierania i analizy danych badacz stopniowo zawęża obszar badań

I tan np. wzrost innowacyjności instytucji pomocy społecznej ogólnokrajowej można zawęzić nawet do poziomu indywidualnej sytuacji grupy instytucji tego typu, ze względu na takie cechy jak wielkość sposób działalności, sektor, skala działalności (lokalna regionalna itp., wielkość nakładów na działalność innowacyjną itp.)

Warto również zwrócić uwagę na to że proces ewaluacji jest silnie związany nie tylko z językiem badanych obiektów szerszej rzeczywistości społeczno-gospodarczej, ale również z „językiem” samej interwencji społecznej.

Piąty etap to sformułowanie problematyki badań szczegółowych pytań badawczych- odnoszących się m.in. do:

5.1 rodzaju informacji, jakimi dysponujemy w fazie projektowania ewaluacji

5.2 do potrzeb informacyjnych ewaluatorów oraz zamawiających i stopnia ich zbieżności

5.3 do logiki interwencji tj. celów procesów efektów czy oddziaływania oraz postawienia hipotez (poprzedzonych ewentualnym rozpoznaniem badawczym), które zostaną poddane weryfikacji.

Jest to bardzo istotny i jednocześnie trudny etap ponieważ z jednej strony nakłada konieczność identyfikacji potrzeb informacyjnych różnych grup odbiorców ewaluacji a z drugiej wymaga ich systematyzacji w odniesieniu do kluczowych kryteriów standardów badań ewaluacyjnych

1. Omów fazę projektowania ewaluacji (inaczej nazywaną też operacjonalizacją), w tym sześć etapów tej fazy i ich strukturę). (W, M, tekst Haber).

Projektowanie- zamawiający może wskazać i dobierać wskaźniki, zbiorowości, wybór metody. a)określenie przedmiotu ewaluacji, uszczegółowienie go (biorąc pod uwagę decyzje podjęte na etapie planowania b) sformułowanie listy szczegółowych pytań ewaluacyjnych (opisowych, przyczynowo- skutkowych, o charakterze normatywnym, o charakterze predyktywnym) c) kodyfikacja pytań w formie zakresu zadań, wymagań i procedur prowadzenia danego badania ewaluacyjnego.

Działania i czynności w celu poznania natury badanego przedsięwzięcia, interwencji czy programu. Wypracowanie konkretnych procedur badawczych obejmuje kilka istotnych obszarów.

1. Dobór i zdefiniowanie wskaźników i zmiennych, których wartości pozwalającą na zmierzenie występowania zjawisk będących obiektem zainteresowania (np. rezultatów, oddziaływania danej interwencji).

Dobór wskaźników, zdaniem J. Górniaka, powinien być konsekwencją wstępnego zidentyfikowania i konceptualizacji problemu lub wskazań, aniżeli sposobem na ich odkrycie. należy pamiętać, iż wskaźniki nie sa sposobem(ani bezpośrednim, ani pośrednim) ustalenia stopnia wykonania poszczególnych wymiarów realizowanego programu, mają one jedynie umożliwić konstrukcję narzędzi pomiarowych o wyższej rzetelności i sprawdzalnej trafności.

1. Określenie zbiorowości, w której będą realizowane badania- kogo lub co chcemy badać.

1. Podstawową populacją w badaniach ewaluacyjnych jest zazwyczaj grupa beneficjentów bądź podmiotów zaangażowanych w projektowanie, zarządzanie lub/i wdrażanie danej interwencji/programu.

2. Znacznie rzadziej- grupy niepowiązane bezpośrednio z dana interwencją, jak np. potencjalni odbiorcy programu, podmioty, które ubiegały się o wsparcie w danym obszarze, ale ich wnioski zostały odrzucone, grupy kontrolne, inne instytucje, realizujące interwencje o podobnym charakterze itp. Ostateczne wskazanie populacji jest zadaniem trudnym ze względu na różne ograniczenia, z którymi może zetknąć się badacz, jak np.: niekompletność listy podmiotów i/lub ich charakterystyki, ich dostępności, kryteria uprawnień grupy beneficjentów, zawężających badaną populację.

3. Można też wskazać dokumenty( w tym faktury przy badaniu efektywności), obiekty, produkty.

1. Wybór odpowiednich metod i technik badawczych, baz źródłowych oraz decyzji dotyczących zasad analizy uzyskanego materiału empirycznego

Robson, ewaluacja jest badaniem, który służy realizacji określonego celu(ocenie rezultatów o efektów). Korzysta z metod i technik badawczych wypracowanych w naukach społecznych, czyli metod ilościowych i jakościowych. Wybór metody- uwarunkowania, które trzeba uwzględnić przy konstrukcji określonego badania ewaluacyjnego.

Do kryteriów takiego wyboru należą m.in.:

1. Specyfika interwencji publicznej, programu

2. Cel badania ewaluacyjnego

3. Zakres i charakter poszukiwanej informacji

4. Moment oceny

5. Podmiot zlecający oraz realizujący badania

6. Perspektywa podmiotowo-celowa(czyli potencjalni odbiorcy, beneficjenci interwencji, inni uczestnicy)

7. Źródła, jakość i dostępność danych

8. Zasoby czasowe, finansowe, ludzkie, które decydują o możliwości realizacji badania.

Wszystkie decyzje podjęte w obszarze wyboru metod i technik badawczych będą w sposób zasadniczy wpływać na jakość wyników końcowych ewaluacji.

4.Wybór właściwych metod oceny, które są niezbędne do przeprowadzenia pełnej analizy i weryfikacji postawionych hipotez badawczych oraz oszacowania efektów i określenia relacji przyczynowo-skutkowych.

5. oszacowanie zasobów potrzebnych do realizacji projektu:

a) zasoby czasowe (m.in. szczegółowy harmonogram prac)

b) zasoby ludzkie, zarówno po stronie wykonawcy(skład zespołu) i po stronie zamawiającego(kierownik projektu oraz ewentualnie eksperci pomocniczy, skład grupy ds. ewaluacji)

c) zasoby finansowe(budżet adekwatny do skali badania, ram przedsięwzięcia)

6. decyzja o podmiocie dokonującym oceny oraz w wypadku zamówień publicznych o trybie wybory wykonawcy zgodnie z Prawem Zamówień Publicznych.

Niezależnie od tego trybu, przy wyborze należy brać pod uwagę techniczne możliwości realizacyjne projektu, doświadczenie w realizacji projektów o podobnym charakterze oraz poszczególne techniki badawcze. Dodatkowym atutem jest także doświadczenie w zakresie badania danego obszaru tematycznego ewaluacji oraz skład zespołu ekspertów.

1. Omów sposób opracowania i elementy przedmiotu badań ewaluacyjnych (W, Poradnik).

DECYZJA CO DO PRZEDMIOTU EWALUACJI PODEJMOWANA JEST JUŻ NA ETAPIE PLANOWANIA. NA ETAPIE PROJEKTOWANIA ROZWAŻANE SĄ NATOMIAST SZCZEGÓŁOWO KWESTIE PRZEDMIOTU EWALUACJI- zawsze jednak w ścisłej relacji do planowanego budżetu ewaluacji i z uwzględnieniem preferowanych metod.

Możliwe jest:

1. Zawężenie lub rozszerzenie badania do jednego lub kilku elementów interwencji np. priorytetów w ramach danego programu(wybór jednego priorytetu do badań pogłębionych)

2. Uwzględnienie (choćby punktowe) lub nie innych interwencji bądź też interakcji danego programu z innymi interwencjami prowadzonymi na danym obszarze cze w danym czasie, a dotyczącymi podobnego obszaru działania

1. Uwzględnienie lub pominięcie części terytorium lub grupy osób, które nie są objęte programem, ale mogą odczuwać jego wpływ

2. Uwzględnienie lub nie kwestii związanych z kolejnym cyklem programowania.

1. Wymień podstawowe grupy pytań ewaluacyjnych (4) (problemów) (W, Poradnik).

1) opisowe (obserwacja i pomiar zmian)

2) przyczynowo- skutkowe (relacja między przyczyną a rezultatem)

3) normatywne (kanon kryteriów, relacja między celami a efektami)

4) predyktywne (ustalenie procesu zjawisk, naste pst, zmian w wyniku interwencji, głównie analizuje się efekty uboczne)

1. Co to jest wskaźnik? Podaj definicję Górniaka i Komisji Europejskiej (W).

WSKAŹNIK wg Komisji Europejskiej – może być zdefiniowany jako miara celu, który ma zostać osiągnięty.

WSKAŹNIK wg Górniaka – wskaźnik to zmienne poddające się pomiarowi i posiadające w związku z interesującymi nas cechami analizowanych obiektów czy stanów rzeczy. Wskaźnik to zmienna czyli pewna cecha badanych zjawisk czy stanów rzeczy która może przyjmować różne wartości (a nie obiekt czy wartość liczbowa)

1. Podaj cechy „dobrego” wskaźnika (8 cech) + SMART (W, tekst Górniaka i Keler z książki pod red A. Haber, Ewaluacja ex-post ..., s.176-177).

Ujmowanie istoty problemu

Odporność na zniekształcenia

Odzwierciedlanie oddziaływania interwencji publicznej

Aktualność (+ możliwość korekty)

Pomiar nie powinien być zbyt drogi

Zestaw powinien być rozsądny

Wskaźniki powinny się uzupełniać

Zestaw powinien być przejrzysty

SMART:

Specyfic – konkretny dokładny

Measurable – mierzalny

Attainable – osiągalny

Revelant – istotny, odpowiedni

Trackuble – rejestrowalny, możliwy do ustalenia

1. Co to jest SIWZ (ToR)? Wymień standardowy zakres SIWZ, czyli elementy główne (W, Poradnik s.42n.).

ToR (Terms of Refernce) – zakres zadań, zapis formalnych decyzji podjętych podczas planowania i projektowania ew.

Polskie: SIWZ –( Specyfikacja Istotnych Warunków Zamówień) jest przygotowywany przez grupą sterującą ewaluacją (jeśli takowa została powołana) lub też instytucją odpowiedzialna za nadzór na badaniem. Jest sformalizowanym zapisem decyzji podjętych podczas planowania i projektowania ewaluacji.

Stargardy zakresu SIWZ:

1. Cle kontraktu (tzn. rodzaj ewaluacji i program jakiego ma ona dotyczyć jeśli ewaluacja składa się z kilku badań, które są realizowane oddzielnymi przetargami (konkursami),należy to zaznaczy

2. Opis przedmiotu ewaluacji

3. Zakres badań (czyli informacje dotyczące zakresu przedmiotowego, przestrzennego i czasowego badania)

4. Organizacja i plan pracy (procesu planowanej ewaluacji; należy podać, jaka instytucja nadzoruje ewaluację, czy istnieje grupa sterująca – jeśli tak to przedstawiciele jakich instytucji wchodzą w jej skład)

5. Zasady postępowania konkursowego

1. Wymień główne etapy realizacji badania ewaluacyjnego (4) (W, Haber)

Konceptualizacja

Operacjonalizacja

Realizacja projektu ewaluacji

Ocena programu i promocja wyników

1. Wymień metody stosowane w poszczególnych fazach procesu ewaluacji, czyli w fazach: strukturalizacji, realizacji, analizy, oceny i raportowania (W, Haber s.51-56).

FAZA STRUKTURALIZACJI: analiza SWOT, matryca logiczna, mapy oddziaływania, metaplan, studium wykonalności, konsultacje z interesariuszami, modele logiczne

FAZA REALIZACJI (OBESRWACJI): metody ilościowe i jakościowe

FAZA ANALIZY: metody statystyczne, analizy jakościowe, modele ekonomiczne, grupy porównawcze, panele ekspertów

FAZA OCENY: analizę kosztów i korzyści, analizę kosztów i efektywności, analizę wielokryteriową, panel ekspertów,

FAZA RAPORTOWANIA: metody wypracowane w dziedzinie Public Relations czy marketingu

1. Wymień elementy raportu z badań ewaluacyjnych (W, patrz tekst poniżej).

Cześć wstępna

(strona tytułowa, spis treści, opis wprowadzający i streszczenie wstępne, metodyka badań i ograniczenia)

Część zasadnicza

(Wyniki badań, synteza, prezentacja graficzna i opis), zakończenie (wnioski, konkluzje, zalecenia, aneks w tym bibliografia).

Układ raportu (szczegółowy):

I. Strona tytułowa

II. Spis treści

III. Listy:

(polecający; autoryzacyjny)

IV. Zestawienia i spisy

(lista tablic; lista rysunków i zdjęć; lista załączników; lista schematów)

V. Streszczenie wstępne

(opis programu, kryteria ewaluacji; ważniejsze wyniki; ogólne wnioski; podstawowe zalecenia)

VI. Wprowadzenie

(określenie problemu badawczego; procedury, metody badawcze (podejście badawcze); kryteria, zadania; ograniczenia i trudności)

VII. Projekt badania (zarys)

(rodzaj projektu; lista potrzebnych informacji; metody zbierania danych; metody pomiaru (skalowania); budowa i testowanie narzędzi; projekt próby opis realizacji pracy w terenie)

VIII. Analiza danych

(metodologia; plan analizy danych)

IX. Wyniki badania

X. Szczegółowe wnioski i zalecenia, rezultaty badań ewaluacyjnych - ocena programu (rekomendacje, wskazanie obszarów i możliwości aplikacji wyników).

XI. Załączniki (aneks)

(narzędzia badawcze (instrumenty pomiaru); zestawienia statystyczne; spisy i zestawienia).

1. Opisz wiarygodność substancjalną i wiarygodność prezentowania wyników.

Wiarygodność substancjalna odnosi się ona do tego, czego dowiedzieliśmy się w toku ewaluacji i jak się tego dowiedzieliśmy [metody, ich znaczenie]. Wskazuje na obiektywizm ewaluatora, dowodzi bezstronności.

Wiarygodność prezentowania wyników (odnosi się do prezentacji wyników). Dotyczy nie treści, lecz relacji o tym, co zostało zrobione - czytelności, rozsądnej objętości, precyzji zarówno logicznej, jak stylistycznej oraz języka, który wszędzie tam, gdzie jest to możliwe, powinien być prosty.

Wiarygodność prezentowania wyników

Raport powinien być: zwięzły, bez rozwlekłych zdań i górnolotnych słów; należy przekazać przynajmniej 4 sprawy:

1. dokładną treść pytań, na które poszukiwaliśmy odpowiedzi;

2. metody (czasem bardzo złożone procedury);

3. główne zalety i słabości projektu badań;

4. najważniejsze wnioski z badań: do jakiego stopnia są wiążące i dlaczego są ważne, jak się mają do spostrzeżeń poprzedzających ewaluację, gdzie i jak powinny być zastosowane.

1. Wymień elementy projektu badań ewaluacyjnych (szablon przekazany przez dr J. Jezior)-

Ogólna część projektu (planowanie)

1. Definicja, charakterystyka obiektu

2. Cele i funkcje ewaluacji

3. Kryteria ewaluacji

4. Zakres czasowy ewaluacji

5. Odbiorcy ewaluacji

6. Wykonawcy (zasoby ludzkie)

7. Warunki realizacji (prawne, formalne, instytucjonalne)

8. Efekty ewaluacji

9. Konsekwencje ewaluacji

10. Zasoby finansowe (i ewentualnie rzeczowe ) – załączniki: harmonogram i kosztorys

Cześć metodologiczna projektu (projektowanie)

1. Przedmiot ewaluacji, jego strukturalizacja (w tym określenie pojęć i ich zdefiniowanie)

2. Problematyka badań ewaluacyjnych

3. Rodzaj ewaluacji ze względu na przedmiot i podejście badawcze (model)

4. Określenie rodzaju ewaluacji ze względu na czas realizacji

5. Zmienne i wskaźniki

6. Źródła pozyskiwania informacji

7. Określenie badanych zbiorowości

8. Określenie prób badawczych (rodzaj, metody doboru, wielkości)

9. Zastosowanie metody i technik badawczych

10. Opis procesu zbierania danych

11. Procedury analizy danych

12. Ocena programu (metody, kryteria, podstawa)

13. Dokumentacja i prezentacja wyników ewaluacji

14. Załączniki

1. Podaj definicje: podejście badawcze, metoda badawcza, technika b., procedura b.

Proces badawczy (podejście badawcze) to określony sposób zdobywania wiedzy, który może być rozpatrywany w kilku wymiarach. Podstawowym wymiarem klasyfikacji podejść badawczych jest wymiar typu oraz modelu badań (dotyczy on typologii badania). Drugim wymiarem klasyfikacji procesu badawczego są metody, techniki i narzędzia badawcze. Trzeci wymiar podejść badawczych dotyczy procedur badawczych, czyli sposobu organizacji badań.

Metoda badawcza- powtarzalny sposób postępowania badawczego tj zbierania danych i ich interpretowania oparty o założenia ontologiczne i epistemologiczne

Procedura badawcza- sposób badań z położeniem nacisku na procedurę org. Badań

Technika badawcza- powt. Sposób pozyskiwania informacji co do ilości metod nie ma zgody co do tego ile ich jest od dwóch (dedukcyjnej i indukcyjnej) do kilkunastu

Wg. Conte’a –obserwacja czysta, eksperymentowanie właściwe, met porównawcza- przystosowanie do badania ciał żyjących.

1. Wymień rodzaje instrumentów pomiarowych.

Narzędzia pomiarowe to określenie odnoszone do zespołu instrumentów służących pobieraniu próbek empirycznych. W projektach ewaluacji powinny znaleźć się nie tylko puste nazwy narzędzi (skala, ankieta, kwestionariusz, arkusz obserwacji itp.), które są rozumiane zupełnie niejednoznacznie, lecz przede wszystkim podać należy: 1) założenia metodologiczne leżące u podstaw budowy modelu narzędzia, 2) pełne odwzorowanie formularza, jaki otrzymują respondenci, 3) kompletny schemat interpretacji wskaźników empirycznych. Nie wystarcza więc jedynie odpowiedź na pytanie: Czym mierzymy? Konieczne jest wyjaśnienie, na podstawie czego mamy prawo tak właśnie mierzyć oraz tak, a nie inaczej odczytywać symptomy. W pierwszym rzędzie ustala się, czy narzędzie ma być skalowane, czy jednak nie. W obu przypadkach uzasadnić trzeba dobór wskaźników, a przy skalach podać należy podstawowe kryterium kwantyfikacyjne. Następnie podejmuje się decyzję, czy i które wskaźniki będą addytywne, co oznacza możliwość ich agregowania i łącznego interpretowania. Jest to szczególnie istotne ze względu na fakt, że pojedynczy wskaźnik jest zbyt niepewnym probierzem zmiennej. Na kolejnym etapie ustala się formułę indagowania (np. pytania czy stwierdzenia) oraz formułę wypowiedzi (wybór opcji, grupowanie, rangowanie, szacowanie ocen itp. czy wypowiedzi otwarte). W zależności od przyjętych formuł próbkowania i założeń co do addytywności, planuje się jednorodne bądź niejednorodne kategorie wypowiedzi, przy czym jednorodność wcale nie musi oznaczać identyczności. Zasadniczym kryterium jest to, czy dane empiryczne po wstępnym przetworzeniu (np. po nadaniu wag) można będzie uporządkować w macierzach i przetwarzać statystycznie w przekrojach przez kolumny i wiersze. Chociaż cechom, które posiadają bipolarną wartościowość zazwyczaj daje się przyporządkować dyferencjał semantyczny (opisowe, przysłówkowo-przymiotnikowe stopniowanie natężenia), to jednak dwie cechy wcale nie muszą być taksonomicznie addytywne. Ostatecznie więc o możliwości sumowania wskaźników decyduje model ekstrakcji indykatum, a ściślej – zbudowany na jego podbudowie schemat interpretacji symptomów. Schemat ten powinien być opracowany jeszcze przed podjęciem pomiarów. Definiuje się w nim zmienne cząstkowe, określa strukturę powiązań składników addytywnych, ustala poziomy czynników niewspółbieżnych, wskazuje komponenty rezultatów połówkowych, par kontrolnych i komplementarnych. Bez schematu interpretacji narzędzie pomiarowe jest zupełnie bezużyteczne.