A. Haber ZarzÄ…dzanie badaniem ewaluacyjnym  perspektywa zlecajÄ…cego
Inicjowanie ewaluacji
" Jest to uświadomienie określonej potrzeby realizacji ewaluacji
" Może wynikac z: narzuconego z góry obowiązku lub rzeczywistych potrzeb informacyjnych
" Konieczne jest zaangażowanie decydentów i wyższego kierownictwa organizacji zlecającej
ewaluacjÄ™
" Inicjowanie poprzedza projekt ewaluacyjny. Cel: określenie korzyści jakie przyniesie jego
realizacja, zaangażowanie głównych odbiorców wyników
" Należy sprecyzowac cel, kontekst, sposób wykorzystania wyników ewaluacji
Planowanie-konceptualizacja
" Należy podjąc decyzje o tym jakie informacje i dlaczego są potrzebne
" Najczęściej popełniane błędy: 1) nieumiejętne przetwarzanie dostępnych danych, 2) błędne
lub nieprecyzyjne określenie potrzeb informacyjnych, 3)zbyt szeroki zakres badania, 4) zbyt
wąski sposób patrzenia na dany problem badawczy
" Należy określic przedmiot ewaluacji i jej wstępny zakres, możliwości jej realizacji i
ewentualnych obszarów ryzyka oraz możliwości wykorzystania wyników i organizacyjnych,
społecznych, politycznych implikacji
" Dobry plan powinien być: celowy, wykonalny, operatywny, racjonalny, oparty na rzetelnej
wiedzy i kompletny
Projektowanie  operacjonalizacja
" Wiemy czym jest operacjonalizacja, tu siÄ™ wszystko powtarza Jð
" Magiczny trójkąt: zakres, koszt, czas
" Należy uwzględnic zasoby ludzkie i techniczne
" Ważna jest identyfikacja zasobów danych oraz potencjalne kluczowe ryzyka zidentyfikowane
przez zamawiajÄ…cego
Wybór wykonawcy ewaluacji
" Należy zapewnic sobie:
-najlepszego wykonawcę  określic kluczowy skład zespołu ekspertów i ich kwalifikacje
-najlepszą propozycję techniczną  upublicznic postępowanie, zapewnic wystarczająco dużo
czasu na wszystko, określic cel, zakres, warunki brzegowe zamówienia, zapewnic
wystarczające środki pozwalające na realizację celu
-najkorzystniejszÄ… cenÄ™ oraz harmonogram
-sprawną realizację i przyszłą współpracę
Realizacja badania ewaluacyjnego
" Etap gromadzenia danych jest narażony na najwięcej błędów np. złe rozplanowanie procesu
badawczego, zalewanie danymi (zbyt rozbudowane narzędzia badawcze)
Raportowanie (analiza i ocena)
" Tu rola zamawiającego powinna być zminimalizowana
" By raport był wysokiej jakości należy przed rozpoczęciem nad nim prac: 1)spotkac się z
zespołem ewaluatorów i ustalic wszystkie szczegóły, 2) przekazac ewaluatorom listę
kryteriów, wg których zamawiający będzie oceniał raport
" Raport ma: 1) odp na potrzeby informacyjne zamawiającego i potencjalnych grup odbiorców,
2) zawierac interpretacje i opis, 3) jasno, logicznie, wyczerpujÄ…co, czytelnie prezentowac
wnioski i rekomendacje oraz wskazywac na z
rodła informacji, 4) zawierac odpowiedni dobór
przykładów i cytatów, 5) ma być dostosowany do czytelnika np. językiem czy treścią
Prezentacja i promocja wyników
B. Ledzion ZarzÄ…dzanie kontraktem ewaluacyjnym  perspektywa wykonawcy
Główne etapy zarządzania projektem badawczym
Wybór wykonawcy ewaluacji  proces przetargowy
Małe firmy doradcze/badawcze
" Bardzo często przygotowanie ofert zlecają ekspertom zewnętrznym
" W pierwszym okresie działalności są b. zdeterminowane, aby uzyskac referencje, stąd
oferowane przez nich ceny sÄ… konkurencyjne
" B. często przystępują do projektów we współpracy z firmami o większym potencjale
wykonawczym z uwagi na swoje ograniczone zasoby
Duże i średnie firmy doradcze
" Najczęściej filie dużych firm zagranicznych
" Ok. 20-25% członów zespołów projektowych pochodzi z zewnątrz
" Badania ewaluacyjne realizują dla prestiżu
" Rzadko przystępują do badań o wartości poniżej 100 000 PLN
" Stosują stałe stawki dzienne wyrażone w roboczodniach, zależne od stanowiska
Ośrodki akademickie/naukowe
" nie mają odpowiedniej wiedzy więc często odpadają podczas wstępnej weryfikacji
" b. często są zajętę działalnością statutową (np. seminariami)
" przystępują wyłącznie do projektów, które bezpośrednio wynikają z ich specjalizacji
" mogą być bardzo konkurencyjne cenowo
Firmy badawcze
" Są często zdetrminowane do wejścia w projekt pod warunkiem dużego zakresu badań
ilościowych lub jakościowych
Trzy tryby przetagowe stosowane przez zamawiajÄ…cych
" zamówienie z wolnej ręki  zamawiający wysyłają zapytania ofertowe do wielu firm z
zakresem i kryteriami wyboru, dając przy typ dwutygodniowy okres na złożenie oferty. Wady:
wykonawcy nie mogą monitorować takiego postępowania, kwota ok 50 tys zł
" tryb do 60 tys EUR  jedyny minus  brak możliwości skutecznego protestowania w
sytuacjach, kiedy istnieje poczucie niesprawiedliwej oceny, oprócz tego wymagane jest
bardzo duże doświadczenie badawcze. Zalety: wysokie wartości projektów, upublicznienie
oceny
" tryb powyżej 60 tys EUR i powyżej 133 tys EUR (b. rzadko)
Etapy przetargu
1. Najpierw wykonawcy identyfikują, czy mają wiedzę na temat przedmiotu badania, zarówno w
organizacji jak i poza niÄ….
2. Potem precyzują oni podejście badawcze, określają strategię realizacji badania, dokonują
wyboru metod i technik badawczych.
3. Opracowanie planu projektu. Ważne jest tutaj, żeby plan określał odpowiednią sekwencję prac
projektowych, należy też określić przybliżony czas realizacji poszczególnych zadań, ważne jest
też by plan odzwierciedlał podział obowiązków zespołu pracowników oraz poziom zaangażowania
4. Przygotowanie kosztorysu badania:
-określenie liczby roboczoni jaką możemy alokować pomiędzy członkami zespołu na realizację
(zwykle 10%wszystkich dni)
problem z określaniem stawek rynkowych przyjmowanych przez wykonawców
Stawki rynkowe kierowników projektów: od 700 do 1500 PLN dziennie, eksperci sektorowi do
2000 PLN, ewaluatorzy i socjologowie od 600 do 1500 PLN dzienni
Dwa sposoby przygotowania ofert:
" wykonawcy dokonują we wstępnych rozdziałach oferty komentarza eksperckiego przedmiotu i
zakresu badania, potm w tabelach umieszczaja pytania badawcze i propozycje metod z
usadanieniem
" opis ekspercki badanego obszaru, potm dla każdego pytania szczegółowe podejście
metodologiczne i eksperckie (ta metoda bardziej skuteczna)
Strukturyzacja badania
1. Szybka organizacja zespołu badawzego, weryfikacja i uszczegółowienie koncepcji badania oraz
dostępności danych i identyfikacja potrzeb zamawiającego.
2. Opracowanie raportu metodologicznego  uszczegółowienie metodologii.
3. Określenie podejścia do współpracy z zamawiającym
Realizacja badania
1) obserwacja
2) analiza i ocena
3) konsultacje wniosków i opracowanie rekomendacji
Wyzwania dla wykonawców:
" ograniczenia budżetowe
" ograniczenia czasowe
" trudności w pozyskaniu i przetwarzaniu danych
" wyzwania natury politycznej
Raportowanie
Raport należy napisać w krótkim czasie, ma być on logiczny, czytelny, przekonujący, zgodny z
oczekiwaniami zamawiającego, przystępna, jasna, operacyjna forma, krótkie podsumowanie,
wizualizacja wyników badania