Ćwiczenie 5

Temat: Pisanie projektu cz. 4 - rezultaty projektu - wyznaczenie wskaźników produktu, rezultatu i oddziaływania, zaplanowanie monitorowania i ewaluacji projektu.

Cel ćwiczenia: Celem ćwiczenia jest zapoznanie studentów z kolejnymi etapami tworzenia projektu: wyznaczeniem rezultatów - wskaźników projektu, zapoznanie z pojęciem miękkich i twardych rezultatów a także sposobami monitorowania i realizacji projektu.

Wprowadzenie:

Rezultaty to wynik projektu. W projektach, które nazywane są „miękkimi”- a więc zmierzających do wzmocnienia ludzi (a nie polegających na budowie szkół, czy dróg itp.) najczęściej rezultaty dzielimy na „twarde” i miękkie”. Obydwa rodzaje rezultatów powinny być możliwe do zmierzenia a my powinniśmy umieć udowodnić, że zakładane rezultaty zostały osiągnięte.

Przebieg ćwiczenia:

1. Wprowadzenie

2. Zapoznaj się z informacjami wstępnymi o rodzajach rezultatów w projektach i podziałem wskaźników projektu (załącznik 1).

3. Zapoznaj się z charakterystyką poszczególnych typów wskaźników na podstawie załącznika 2

4. Przeanalizuj zestawienie wskaźników dla przykładowego projektu (załącznik 3).

5. Przeanalizuj swój projekt pod kątem rezultatów - wskaźników projektu i na tej podstawie wypełnij formularz zestawienia wskaźników w twoim projekcie (załącznik 4) - OPIERAJ SIĘ NA SWOICH DANYCH!!!

6. Zapoznaj się z informacjami dotyczącymi monitorowania i ewaluacji projektu i określ sposoby monitorowania i ewaluacji w twoim projekcie (załącznik 5)

7. Przedstaw wykonane zadania Prowadzącemu

8. Podsumowanie ćwiczeni

Twarde i miękkie rezultaty

Rezultaty „twarde” to te, które policzyć najłatwiej, np. liczba przeszkolonych osób, stworzonych miejsc pracy, zrealizowanych szkoleń, staży itp.

Rezultaty „miękkie” są trudniejsze do określenia, a co za tym idzie trudniejsze także do policzenia. Do rezultatów miękkich zaliczyć można wzrost samooceny, zmianę postaw u odbiorców projektu, zwiększenie umiejętności autoprezentacji, poprawienie zdolności komunikacyjnych. Trudno taki rezultat przełożyć na konkretną liczbę. Łatwiej jest wskazać, ile osób ukończyło szkolenie z autoprezentacji, trudniej udowodnić, że podniosły się ich umiejętności w tym zakresie.

Jednak z punktu widzenia projektów społecznych, które mają na celu wspieranie osób i wspólnot, niezwykle ważne jest umiejętne określenie rezultatów miękkich projektu. Osiągnięcie rezultatu miękkiego uzupełnia rezultat twardy. Poza szkoleniami umiejętnościowymi, praktycznymi, czy merytorycznymi wzmacniamy gotowość tej osoby do podjęcia zatrudnienia. Przedstawienie w projekcie wyłącznie rezultatów twardych nie pokazuje w pełni, w jaki sposób przygotowaliśmy tę osobę do uczestnictwa w rynku pracy. Nie wystarczy bowiem nauczyć wykonywania zadań potrzebna jest także aktywna postawa do podjęcia zatrudnienia. Dopiero wtedy możemy uznać, że rezultat projektu został osiągnięty: uczestnik jest w pełni przygotowany do funkcjonowania na rynku pracy.

Przykładowe rezultaty:

twarde

• przeprowadzenie 2 cyklów szkoleniowych,

• w każdym cyklu zorganizowanie 6 dwudniowych sesji szkoleniowych,

• w każdej sesji 2 dni szkoleniowe po 8 godzin lekcyjnych każdy,

• łącznie zorganizowanie 24 dni szkoleniowych 192 godzin szkoleniowych,

• uczestnictwo w szkoleniach 46 osób,

• zdobycie certyfikatów ukończenia cyklu szkoleniowego przez minimum 40 uczestników szkoleń.

miękkie:

• usystematyzowanie i zaktualizowanie dotychczasowej wiedzy uczestników szkoleń,

• poprawienie efektywności pracy po ukończeniu szkoleń,

• zmotywowanie uczestników szkoleń do samokształcenia,

• nabycie umiejętności komunikacyjnych,

• osiągnięcie kluczowych umiejętności np. pracy w zespole.

Przy określaniu rezultatów twardych można się posługiwać np. listami obecności, dziennikami zajęć, sprawozdaniami osób prowadzących szkolenie. Rezultaty miękkie wymagają zastosowania dodatkowych narzędzi badawczych. Przede wszystkim sprawdzenia ich poziomu na początku (np. jaka jest motywacja uczestników do samokształcenia, jaki jest poziom ich umiejętności komunikacyjnych) oraz na końcu projektu. Dopiero posiadając takie dane wyjściowe i końcowe można określić, czy w tych obszarach zaszła zmiana.

Rezultaty powinny być adekwatne - odpowiadać specyfice projektu oraz grupy, do której są one kierowane. W przypadku projektów dla młodzieży rezultatami twardymi mogą być: liczba godzin zajęć pozalekcyjnych, organizowanych dla tej grupy odbiorców; liczba godzin dyżurów punktu informacyjnego; liczba udzielonych porad psychologicznych itp. Rezultatami miękkimi dla takiej grupy może być: wzmocnienie postaw asertywnych, wzrost samooceny, zmniejszenie zachowań agresywnych.

Ważne jest, aby rezultaty, które zakładamy były realne i przede wszystkim możliwe do zmierzenia. Nie zakładajmy zatem wzrostu świadomości na temat np. ekologii czy możliwości rozwiązywania konfliktów wśród młodzieży. Może to i dobrze brzmi, ale mierzenie takiej zmiany jest niezwykle trudne i mało wiarygodne.

Logika interwencji projektu

W zmierzeniu efektów realizacji projektu pomocne są wskaźniki zawarte w logice interwencji projektu. Opiera się ona na katalogu wskaźników, których używamy do oceny postępu i zakończenia projektu.

Źródło: Marcin Dadel, gazeta.ngo.pl 03.2007

Wskaźniki

Dobrze dobrany wskaźnik powinien być:

• adekwatny - dostosowany do charakteru i oczekiwanych efektów projektu,

• mierzalny - określony w liczbach, procentach lub wartościach logicznych (tak, nie),

• wiarygodny - reprezentatywny i łatwy do zweryfikowania,

• dostępny - możliwie łatwy do zmierzenia.

Tak zdefiniowane wskaźniki pomagają w czasie realizacji projektu oceniać, na ile zbliżamy się do osiągnięcia zakładanych rezultatów. Po zakończeniu projektu można w sposób niemal matematyczny wskazać w jakim stopniu udało się osiągnąć to, co było zamierzone. Podstawą takiego pomiaru jest prowadzenie systematycznego monitoringu oraz - bardziej w wymiarze jakościowym - również ewaluacji naszych działań.

Przy planowaniu projektu warto zostawiać jednak pewien margines błędu, gdyby ktoś z różnych powodów z uczestnictwa zrezygnował. Inną metodą jest zapobieganie temu ryzyku poprzez tworzenie np. list rezerwowych.

Przy określaniu rezultatów wrócić należy do celów, które zostały zdefiniowane na początku pisania projektu. Już w celach zawarte mamy pewne wartości liczbowe, które chcemy osiągnąć w projekcie (np. liczbę osób, które zdobyć mają nowe kwalifikacje).

Nie przesadzajmy z liczbami w rezultatach. Jeżeli planujemy pewną skalę działań powinniśmy zdawać sobie sprawę z ograniczeń - nie ma nic gorszego niż przeszacowanie liczby odbiorców szkoleń czy liczby usług, którą chcemy dostarczyć. Niezrealizowanie założeń (a zdefiniowane liczbowo rezultaty są najłatwiejsze do weryfikacji) trudno wytłumaczyć prostym „Nie znaleźliśmy chętnych”. To często oznacza, że źle zostały zbadane potrzeby odbiorców lub przecenione zostały możliwości. Nie próbujmy szokować donatorów liczbami, z których nigdy nie będziemy w stanie się rozliczyć. Zróbmy mniej, ale lepiej i z większym prawdopodobieństwem sukcesu.

Załącznik 2. Przykładowe wskaźniki projektu i ich charakterystyka

Rodzaj wskaźnika	Definicja	Nazwa	Wskaźnik
PRODUKT	wytworzone w projekcie dobra i usługi	• szkolenia • konferencje • staże • subsydiowane miejsca pracy • uczestnicy szkoleń	• liczba szkoleń • liczba konferencji • liczba staży • liczba subsydiowanych miejsc pracy • liczba uczestników szkoleń
REZULTAT	osiągany i mierzony w trakcie lub natychmiast po zakończeniu projektu; rezultaty opisują zmianę, jaka zaszła wśród uczestników projektu	• zwiększenie zatrudnienia wśród odbiorców projektu • zdobycie nowych umiejętności • podniesienie kwalifikacjizawodowych • wydanie publikacji	• liczba osób, która otworzyła działalność gospodarczą • liczba osób, które ukończyły szkolenia • liczba osób, które zdobyły nowe uprawnienia (np. prawo jazdy) • liczba publikacji
ODDZIAŁY-WANIE	• mierzone w pewnym okresie czasu od zakończenia realizacji projektu; • wskaźniki oddziaływania dotyczyć mogą odbiorców projektu, jak i otoczenia, w którym projekt jest realizowany lub z którego pochodzą uczestnicy	• zwiększenie zatrudnienia w grupie odbiorców projektu • zwiększenie konkurencyjności firmy	• liczba osób, które podjęły zatrudnienie po realizacji projektu • % wzrostu dochodów firmy

Załącznik 3. Przykładowe zestawienie wskaźników projektu

Rodzaj wskaźnika	Nazwa	Wskaźnik	Wartość
PRODUKT	• cykle szkoleniowe • szkolenia • uczestnicy szkoleń	• liczba cykli szkoleniowych • liczba przeprowadzonych godzin szkoleniowych • liczba uczestników szkoleń	• 2 • 192 • 46 uczestników
REZULTAT	• nabycie kluczowych umiejętności pracowniczych i umiejętności komunikacyjnych • zwiększenie motywacji do samokształcenia	• liczba osób, które ukończyły szkolenie • liczba osób deklarujących zwiększoną motywację do samokształcenia	• 46 osób • 46 osób
ODDZIAŁYWANIE	• zwiększenie efektywności pracy	• wzrost liczby nowych projektów realizowanych przez organizacje	• 20% wzrostu

Załącznik 4. Formularz zestawienia wskaźników

Rodzaj wskaźnika	Nazwa	Wskaźnik	Wartość
PRODUKT
REZULTAT
ODDZIAŁYWANIE

Załącznik 5; Informacje z zakresu monitoringu i ewaluacji projektu.

Ostatnim elementem projektu jest plan bieżącego monitoringu oraz plan ewaluacji. Monitoring i ewaluację powinno się zaplanować przed przystąpieniem do realizacji projektu.

Ewaluacja to systematyczne badanie wybranych elementów projektu. Szukamy odpowiedzi na pytanie, czy i jak udało nam się osiągnąć zamierzone cele. W tej definicji pojawiają się znaczące słowa:

• systematyczność - ewaluacja jest procesem ciągłym,

• wybrane elementy - określenie, co będzie podlegało ewaluacji,

• czy i jak osiągnęliśmy cele - odniesienie ewaluacji do celów projektu; jest to pytanie nie tylko o to, czy udało nam się zrealizować cele projektu, ale przede wszystkim, w jaki sposób udało nam się je osiągnąć.

Monitoring jest także systematycznym badaniem, ale opiera się na innych pytaniach: czy projekt przebiega zgodnie z planem i czy udaje się osiągać zamierzone produkty i rezultaty. Dane pochodzące z monitoringu są podstawą do wykorzystania w ewaluacji.

W najprostszym podejściu do monitoringu ważne będą 3 elementy naszego projektu, które opracowaliśmy już wcześniej: harmonogram działań, budżet oraz zaplanowane rezultaty (u nas z wykorzystaniem wskaźników: produktu i rezultatu). Monitoring będzie polegał na bieżącym sprawdzaniu:

• czy działania zaplanowane w projekcie są realizowane zgodnie z planem (harmonogramem), czy poszczególne działania wykonywane są w czasie, w którym miały się odbyć;

• czy wydatki zaplanowane w budżecie są realizowane w odpowiednim czasie, czy wysokość wydatków jest zgodna z wcześniejszymi założeniami;

• czy podejmowane działania przybliżają nas do realizacji założonych rezultatów, czy w procesie realizacji projektu osiągamy zaplanowane produkty i rezultaty.

Bieżący monitoring jest wykonywany w trakcie realizacji projektu, a odpowiedzialne za niego są osoby zarządzające projektem. Monitoring pozwala odpowiedzieć na podstawowe pytanie - czy projekt jest realizowany zgodnie z założeniami. Pozwala także na bieżącą modyfikację działań, harmonogramu, budżetu - tak, by w razie potrzeby móc dostosować projekt do zmieniających się warunków, bądź do aktualnej sytuacji.

Już przy planowaniu projektu należy przewidzieć, jakie narzędzia monitoringu będą stosowane. Jednym z takich narzędzi są np. cząstkowe sprawozdania z realizacji projektu. Takie sprawozdania mogą być sporządzane co tydzień, miesiąc, kwartał (w zależności od długości trwania projektu). Sprawozdania powinny być sporządzane przez osoby odpowiedzialne za realizację działań w projekcie (nie wykonawców, ale osoby odpowiedzialne). W sprawozdaniu powinny się znaleźć:

• informacja o tym, jakie zadania zostały zrealizowane, czy przebiegły zgodnie z planem, jakie są odstępstwa od planu i z czego wynikają;

• informacja o postępie w realizacji budżetu - czy wszystkie zaplanowane wydatki zostały poniesione, czy wysokość tych wydatków jest zgodna z budżetem, jeżeli nie - z czego to wynika;

• informacja o postępie w osiąganiu rezultatów - jakie rezultaty udało się już osiągnąć, czy są zgodne z planem, jeżeli są odstępstwa - czego wynikają.

Takie sprawozdanie pozwala zespołowi projektowemu podjąć decyzję o ewentualnych modyfikacjach założeń projektu. Istotą monitoringu jest przedstawienie bieżącej sytuacji w postępie realizacji projektu. To jest jakby zdjęcie projektu w danym momencie.

W monitoringu realizacji projektu mogą się przydać narzędzia informatyczne - np. bazy danych uczestników projektu, dzienniki zajęć, listy obecności. To są podstawowe dokumenty, których analiza pozwoli nam na złożenie pełnego sprawozdania z postępów naszych działań.

Opis systemu przykładowego projektu wyglądałby następująco:

Co miesiąc osoby odpowiedzialne za poszczególne zadania sporządzać będą notatki z realizowanych działań, które będą prezentować na spotkaniach zespołu projektowego. W przypadku szkoleń sprawdzana będzie lista uczestników, którzy biorą udział w projekcie, ich obecność podczas poszczególnych sesji szkoleniowych. Po każdym szkoleniu uczestnicy wypełniać będą ankietę, która pozwoli na bieżąco oceniać organizację szkoleń, sprawdzić potrzeby przed kolejnymi szkoleniami oraz ocenić zatrudnionych wykładowców. Na bieżąco monitorowane będą media oraz strony internetowe - aby ocenić skuteczność działań promocyjnych.

Co miesiąc sporządzane będą sprawozdania finansowe projektu, w których określony będzie postęp finansowy założonych zamierzeń. Sprawozdania przedstawiane będą przez osobę odpowiedzialną za rozliczanie wydatków.

Za organizację comiesięcznych spotkań zespołu odpowiedzialny będzie koordynator projektu. Podczas spotkań podejmowane będą decyzje o ewentualnych zmianach lub dodatkowych działaniach, które przyczynią się do osiągnięcia zakładanych rezultatów projektu.

Ewaluacja

Jak każde działanie - tak i ewaluację trzeba zaplanować. Nie wystarczy przeczytać ankiety po szkoleniu i spróbować zanalizować zawarte tam odpowiedzi. To jeszcze nie jest ewaluacja. Istotnym bowiem zagadnieniem w ewaluacji jest pytanie o jej cele. Ewaluacja może dotyczyć wybranych elementów zarządzania projektem, może dotyczyć oceny skuteczności działań, jakie podjęliśmy dla osiągnięcia celów projektu, czy badania wizerunku organizacji po przeprowadzonych działaniach.

Ważne jest zatem, aby planując ewaluacje odpowiedzieć sobie na pytanie, czego tak naprawdę chcemy się dowiedzieć.

Określenie celów ewaluacji pomoże nam w znalezieniu odpowiednich źródeł informacji: może być to kadra realizująca projekt, uczestnicy, dziennikarze lokalnych mediów, czy też lokalni decydenci. Mogą być to również oficjalnedane statystyczne, które dotyczą problemu, jaki rozwiązywać miał nasz projekt.

W kolejnym etapie określamy narzędzia ewaluacji. Każdy z nas wypełniał zapewne jakąś ankietę - a to po szkoleniu, a to po konferencji. Ankiety to często wykorzystywane narzędzie i niestety - również często - nie za wiele nam mówiące. Wielu osobom po prostu nie chce się ich rzetelnie wypełniać po kilkunastogodzinnych szkoleniach. Ewaluatorzy często wykorzystują też dane zbierane podczas wywiadów - bezpośredniego lub telefonicznego.

Narzędziem badań może być także obserwacja, analiza dokumentów, badanie eksperckie.

Po ustaleniu, które działania będziemy badać, przechodzimy do ich analizy. W ewaluacji nie ma informacji dobrych i złych. Są informacje przydatne i nieprzydatne z punktu widzenia celu ewaluacji. W czasie analizy wybiera się te dane, które są kluczowe do odpowiedzi na postawione w ewaluacji pytania.

Ewaluator kończy swą pracę przekazując nam raport ewaluacyjny, w którym powinny się znaleźć wszystkie istotne informacje, sposób prowadzenia ewaluacji i - co najistotniejsze - rekomendacje ewaluatora. Ewaluacji powinna odpowiedzieć nam na pytanie - co możemy poprawić, aby lepiej osiągać cele. Dlatego nie bójmy się ewaluacji. Nie jest ona prostą oceną - jesteśmy dobrzy, jesteśmy źli. Ewaluacja wskazuje nam mocne strony w realizacji zadań i obszary, które wymagają pracy. Ewaluacja powinna pomóc nam w planowaniu kolejnych działań, a nie stanowić krytycznej oceny naszej pracy.

10

---