Organizacja ewaluacji
wewnętrznej jako zadanie
dyrektora szkoły / placówki
dyrektora szkoły / placówki
Moduł III
Metody i narzędzia
w badaniach ewaluacyjnych
(3 godz.)
Program
" Definiowanie pojęć.
" Najczęściej stosowane metody i narzędzia.
" Rozważenie kwestii prób badawczych.
" Rozważenie kwestii prób badawczych.
" Ćwiczenia.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 2
Próba definicji
Metoda   zespół teoretycznie uzasadnionych zabiegów
koncepcyjnych i instrumentalnych obejmujących najogólniej
całość postępowania badacza, zmierzającego do rozwiązania
określonego problemu.
Technika   czynności praktyczne, regulowane starannie
wypracowanymi dyrektywami, pozwalającymi na uzyskanie
wypracowanymi dyrektywami, pozwalającymi na uzyskanie
optymalnie sprawdzalnych informacji, opinii, faktów.
(np. obserwowanie, prowadzenie wywiadu, ankietowanie)
Narzędzie  służy do realizacji wybranej techniki badań.
(arkusz obserwacyjny, kwestionariusz wywiadu, ankieta, a nawet dyktafon)
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 3
Wybór metody
metody
ilościowe jakościowe
badanie tego, co poddaje się docierają w głąb badanego
pomiarowi, poszukiwanie zjawiska
zależności przyczynowo -
zależności przyczynowo -
skutkowych
 suche dane statystyczne Mało precyzyjne
Obie przyczyniają się do poszerzenia wiedzy!
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 4
Czy osoba
przeprowadzająca badanie
ma wpływ
ma wpływ
na osoby badane?
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 5
Najtrudniejsze dzieło świata od łatwego trzeba
rozpocząć, a największe dokonania od
drobiazgów. /Lao-cy/
" Nie chcemy, by nasi uczniowie korzystali z bryków,
zatem sami nie korzystajmy z gotowych narzędzi, a
przynajmniej zachowujmy wobec nich krytyczną
postawę!
postawę!
" Narzędzia muszą uwzględniać specyfikę szkoły/
placówki.
" Tworząc narzędzia, należy pamiętać o wieku i
potencjale naszych  respondentów .
" Jakość i zróżnicowanie narzędzi daje gwarancję
rzetelnej ewaluacji.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 6
Najczęściej
stosowane narzędzia:
" obserwacja,
" ankieta,
" analiza dokumentów,
" analiza dokumentów,
" wywiad.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 7
OBSERWACJA
( rozumne patrzenie )
FAZY OBSERWACJI:
" Postrzeganie zjawisk, procesów.
" Utrwalenie dostrzeżonych danych.
" Utrwalenie dostrzeżonych danych.
" Interpretacja dostrzeżonych danych.
Cechy obserwacji: celowa, planowa, dokładna
(wierna), wyczerpująca, wnikliwa, obiektywna.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 8
Kryteria klasyfikacji obserwacji
Czas
Treść obserwacji
" ciągła
" całościowa
" próbki czasowe
" tematyczna
Aktywność obserwatora
Liczba obserwowanych osób
" bierna
" jednostkowa
" czynna (kontrolowana)
" grupowa
Uszczegółowienie obserwacji i stopień
Uszczegółowienie obserwacji i stopień
Liczba obserwatorów
Liczba obserwatorów
standaryzacji zapisu
i typ ich kontaktów
z obserwatorami
" czy i jak dokładnie określono cel obserwacji
" bezpośrednia
" czy i jak dokładnie przedstawiono wszystkie
" pośrednia
wytyczne postępowania składającego się na
obserwację
" uczestnicząca
" ukryta
" czy i jak dokładnie przewidziano kategorie,
w które można ująć obserwowane
" jawna
zachowanie
" pozornie uczestnicząca
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 9
Warunki poprawności:
" wstępna znajomość przedmiotu obserwacji,
" jasne sformułowanie zagadnienia i celów
obserwacji,
" bliższe poznanie przedmiotu obserwacji
przez zastosowanie obserwacji otwartej,
" szczegółowe opracowanie koncepcji badań,
kategoryzacja zagadnień, opracowanie
odpowiednich formularzy i arkuszy
obserwacyjnych.
Uwaga! Każda notatka z obserwacji musi zawierać
oznakowanie obserwowanego  przedmiotu .
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 10
Sposoby utrwalania spostrzeżeń:
" tabelaryczna skala przymiotnikowa,
" skala przymiotnikowa liniowa,
" skale cyfrowe (skale cyfrowe mogą przybierać
także postać tabelaryczną).
także postać tabelaryczną).
Często spotyka się skale mieszane, np.
cyfrowo-przymiotnikowe.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 11
ANKIETA
Procedura tworzenia ankiety
1. Określenie celu:
- Co chcę badać?
- Dlaczego chcę to badać?
- Jaką zastosuję ankietę?
- Jaką zastosuję ankietę?
2. Opracowanie ankiety:
- instrukcja,
- wstępne pytania informacyjne,
- pytania właściwe.
3. Standaryzacja.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 12
Zasady budowy ankiety
" Stosowanie pytań w kolejności  od obejmujących problemy
ogólne do szczegółowych.
" Unikanie pytań sugerujących.
" Wprowadzenie pytań kontrolnych (sprawdzających
wiarygodność).
" Ograniczenie ilości pytań do koniecznego minimum (10-20).
" Ograniczenie ilości pytań do koniecznego minimum (10-20).
" Unikanie pytań, na które odpowiedzi wymagają dużego wysiłku
pamięciowego.
" Pytania powinny dotyczyć spraw ważnych i koniecznych.
" Pytania muszą być jasne, jednoznaczne i dokładne,
dostosowane do języka potocznego środowiska, w którym
przeprowadza się badanie, do wieku i wykształcenia  pytanych
osób.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 13
Instrukcja i metryczka
Instrukcja powinna zawierać:
" określenie celu,
" uzasadnienie badania,
" prośbę o szczere odpowiedzi,
" zapewnienie o zachowaniu dyskrecji,
" informację o sposobie wypełnienia ankiety,
" podanie czasu przeznaczonego na wypełnienie ankiety,
" podanie czasu przeznaczonego na wypełnienie ankiety,
" inne...,
" podziękowanie za udział w badaniu.
Metryczka:
" Zawiera rejestr zmiennych niezależnych pozwalających
na identyfikację problemową nie personalną każdej jednostki
badawczej (np. wiek, płeć, klasę, wykształcenie, cechy rodziny).
Zawartość metryczki określa problematyka i cel badania.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 14
ANKIETA
Zalety:
" badaniem można objąć dużą grupę osób,
" wiedza o rozkładzie częstości/rozkładzie procentowym cech,
właściwości, opinii,
" swoboda wypowiedzi, brak sugestii ze strony innych,
" anonimowość,
" łatwość realizacji i analizy danych przy dużej liczbie uczestników,
" relatywnie niskie koszty realizacji.
Wady:
" mała elastyczność  kwestie najważniejsze mogą umknąć,
gdyż w ankiecie nie znalazło się pytanie je poruszające,
" znudzenie respondentów tą metodą, niechęć
do formułowania wypowiedzi na piśmie,
" zdawkowość odpowiedzi.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 15
ANALIZA DOKUMENTÓW
Badanie dokumentów i materiałów służy do gromadzenia
wstępnych, opisowych, także ilościowych informacji o badanej
instytucji czy zjawisku społecznym.
Dokumenty dzielimy na:
- kronikarskie  wszelka dokumentacja instytucji, materiały
- kronikarskie  wszelka dokumentacja instytucji, materiały
statystyczne obrazujące określone sytuacje, dokumentujące
fakty i działania;
- opiniodawcze  wszelkie osobiste materiały powstałe bez
udziału badającego  listy, pamiętniki, wypracowania,
wypowiedzi na piśmie na określony temat.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 16
Dokumentem jest każda rzecz mogąca stanowić z
ródło informacji, na
podst. której można wydawać uzasadnione sądy o przedmiotach,
ludziach i procesach.
Analiza treści  służy obiektywnemu, systematycznemu opisowi
Analiza treści  służy obiektywnemu, systematycznemu opisowi
jawnej treści przekazów informacyjnych.
UWAGA! Analiza dokumentów mimo ich  urzędowej
wiarygodności powinna być krytyczna.
Przygotowując się do analizy dokumentów, należy zbudować schemat
analizy zgodny z celami przeprowadzanej ewaluacji.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 17
Analiza dokumentów
Zalety:
" różnorodność dokumentacji,
" dostępność,
" dają już zsyntetyzowaną informację o mających miejsce
działaniach i ich rezultatach.
działaniach i ich rezultatach.
Wady:
" ryzyko zbyt uproszczonej interpretacji danych i pochopnych
uogólnień,
" rzeczywistość może  odbiegać od danych zamieszczonych
w dokumentacji.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 18
WYWIAD
" Wywiad nie jest towarzyską rozmową!
" To dialog kierowany badawczymi potrzebami.
Do wywiadu należy się gruntownie przygotować:
- ustalić miejsce,
- wstępnie zebrać jak najwięcej informacji z zakresu
badanej problematyki,
- dokonać wyboru osób i pytań.
(koniecznym jest przygotowanie planu tematycznego dla
wywiadu kierowanego i pytań kwestionariusza wywiadu
 zasady takie same jak w ankiecie)
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 19
WYWIAD
Zalety:
" możliwość poruszenia skomplikowanych i szczegółowych
kwestii ,
" poznanie faktów z osadzeniem ich w kontekście sytuacyjnym,
" spojrzenie na rzeczywistość z perspektywy uczestników,
" poznanie znaczeń i interpretacji samych zainteresowanych.
" poznanie znaczeń i interpretacji samych zainteresowanych.
Wady:
" czasochłonność realizacji i analiz,
" możliwość przebadania niewielu respondentów,
" skomplikowana analiza,
" niechęć uczestnika do wyrażania swoich, zwłaszcza
krytycznych, opinii wprost.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 20
WYWIAD I ANKIETA
" Wywiad to metoda zdobywania informacji przez
bezpośrednie stawianie pytań tym osobom, które mogą
nam udzielić pewnej sumy informacji.
" Ankieta to metoda pośredniego zdobywania informacji
" Ankieta to metoda pośredniego zdobywania informacji
przez pytania stawiane wybranym osobom za
przez pytania stawiane wybranym osobom za
pośrednictwem drukowanej listy pytań, zwanej
kwestionariuszem.
Wspólna cecha: wypytywanie.
W jednym i drugim przypadku o powodzeniu decyduje
ZAUFANIE!
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 21
Triangulacja
Zwielokrotnienie:
" metod i technik badawczych,
" z
ródeł informacji,
" typów danych,
" technik analitycznych,
" teorii wyjaśniających,
" teorii wyjaśniających,
" liczby osób realizujących badania.
Zalety:
" uwzględnianie różnych punktów widzenia,
" lepsze poznanie i zrozumienie badanego obiektu,
" pogłębienie zebranych danych,
" bardziej  zobiektywizowana analiza.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 22
Próba nielosowa
Na podstawie zgłoszeń ochotników:
" samodzielne zgłoszenia do udziału w badaniu, np. odpowiedz

na ankietę dołączoną do podręcznika.
Próba kwotowa:
" znamy lub zakładamy rozkłady % interesujących nas zmiennych
" znamy lub zakładamy rozkłady % interesujących nas zmiennych
w populacji, a następnie odtwarzamy je w próbie (np. 30% mężczyzn
i 70% kobiet),
" wyniki są obciążone błędem, którego wielkości nie da się ustalić.
Próba celowa:
" wybieramy  jakąś , najczęściej najłatwiej dostępną osobę,
" dobieramy osobę z uwagi na jakąś cechę, np. bycie wychowawcą.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 23
Próba losowa
Operat losowania  ponumerowany i aktualny spis wszystkich jednostek
składających się na populację
Schemat losowania:
" Nieograniczone indywidualne (np. wg tablicy liczb losowych).
" Systematyczne indywidualne (np. co 10 osoba).
" Warstwowe (najpierw dzielimy zbiorowość na jakościowo różniące się
części, a następnie losujemy z każdej warstwy jednostki zbiorowości
części, a następnie losujemy z każdej warstwy jednostki zbiorowości
do próby).
" Grupowe (losowane nie są poszczególne jednostki populacji, ale grupy )
" Wielostopniowe.
Tylko próba losowa pozwala na stosowanie metod wnioskowania
statystycznego o populacji.
W praktyce szkolnej możemy kierować się innymi zasadami.
Wszystko zależy od wielkości szkoły, badanego problemu,
dostępności  respondentów .
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 24
ĆWICZENIE (1)
Proszę przyjrzeć się podanym przykładom
pytań kwestionariuszowych
i ocenić ich  jakość
i ocenić ich  jakość
(znalez
ć błędy, ocenić przydatność,
zaproponować zmiany).
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 25
ĆWICZENIE (2)
Wypełnianie projektu ewaluacji
(c.d. modułu II)
 kolumny: sposoby zbierania danych,
próba badawcza, organizacja zbierania
danych.
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 26
Dziękuję za uwagę!
Dziękuję za uwagę!
2010-03-05 Organizacja ewaluacji wewnętrznej jako zadanie dyrektora szkoły / placówki 27