Organizacja ewaluacji

wewn

ę

trznej jako zadanie

dyrektora szkoły / placówki

dyrektora szkoły / placówki

Moduł III

Metody i narz

ę

dzia

w badaniach ewaluacyjnych

(3 godz.)

Program

• Definiowanie poj

ęć

.

• Najcz

ęś

ciej stosowane metody i narz

ę

dzia.

• Rozwa

ż

enie kwestii prób badawczych.

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

2

• Rozwa

ż

enie kwestii prób badawczych.

•

Ć

wiczenia.

Próba definicji

Metoda – „zespół teoretycznie uzasadnionych zabiegów

koncepcyjnych i instrumentalnych obejmuj

ą

cych najogólniej

cało

ść

post

ę

powania badacza, zmierzaj

ą

cego do rozwi

ą

zania

okre

ś

lonego problemu.”

Technika – „czynno

ś

ci praktyczne, regulowane starannie

wypracowanymi dyrektywami, pozwalaj

ą

cymi na uzyskanie

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

3

wypracowanymi dyrektywami, pozwalaj

ą

cymi na uzyskanie

optymalnie sprawdzalnych informacji, opinii, faktów.”

(np. obserwowanie, prowadzenie wywiadu, ankietowanie)

Narz

ę

dzie – słu

ż

y do realizacji wybranej techniki bada

ń

.

(arkusz obserwacyjny, kwestionariusz wywiadu, ankieta, a nawet dyktafon

)

Wybór metody

metody

ilo

ś

ciowe

jako

ś

ciowe

badanie tego, co poddaje si

ę

pomiarowi, poszukiwanie
zale

ż

no

ś

ci przyczynowo -

docieraj

ą

w gł

ą

b badanego

zjawiska

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

4

zale

ż

no

ś

ci przyczynowo -

skutkowych

„suche” dane statystyczne

Mało precyzyjne

Obie przyczyniaj

ą

si

ę

do poszerzenia wiedzy!

Czy osoba

przeprowadzaj

ą

ca badanie

ma wpływ

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

5

ma wpływ

na osoby badane?

Najtrudniejsze dzieło

ś

wiata od łatwego trzeba

rozpocz

ąć

, a najwi

ę

ksze dokonania od

drobiazgów.” /Lao-cy

/

• Nie chcemy, by nasi uczniowie korzystali z bryków,

zatem sami nie korzystajmy z gotowych narz

ę

dzi, a

przynajmniej zachowujmy wobec nich krytyczn

ą

postaw

ę

!

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

6

postaw

ę

!

• Narz

ę

dzia musz

ą

uwzgl

ę

dnia

ć

specyfik

ę

szkoły/

placówki.

• Tworz

ą

c narz

ę

dzia, nale

ż

y pami

ę

ta

ć

o wieku i

potencjale naszych „respondentów”.

• Jako

ść

i zró

ż

nicowanie narz

ę

dzi daje gwarancj

ę

rzetelnej ewaluacji.

Najcz

ęś

ciej

stosowane narz

ę

dzia

:

• obserwacja,

• ankieta,

• analiza dokumentów,

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

7

• analiza dokumentów,

• wywiad.

OBSERWACJA

(„rozumne patrzenie”)

FAZY OBSERWACJI:

• Postrzeganie zjawisk, procesów.

• Utrwalenie dostrze

ż

onych danych.

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

8

• Utrwalenie dostrze

ż

onych danych.

• Interpretacja dostrze

ż

onych danych

.

Cechy obserwacji: celowa, planowa, dokładna

(wierna), wyczerpuj

ą

ca, wnikliwa, obiektywna.

Kryteria klasyfikacji obserwacji

Tre

ść

obserwacji

•

cało

ś

ciowa

•

tematyczna

Liczba obserwowanych osób

•

jednostkowa

•

grupowa

Liczba obserwatorów

Czas

•

ci

ą

gła

•

próbki czasowe

Aktywno

ść

obserwatora

•

bierna

•

czynna (kontrolowana)

Uszczegółowienie obserwacji i stopie

ń

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

9

Liczba obserwatorów

i typ ich kontaktów
z obserwatorami

•

bezpo

ś

rednia

•

po

ś

rednia

•

uczestnicz

ą

ca

•

ukryta

•

jawna

•

pozornie uczestnicz

ą

ca

Uszczegółowienie obserwacji i stopie

ń

standaryzacji zapisu

•

czy i jak dokładnie okre

ś

lono cel obserwacji

•

czy i jak dokładnie przedstawiono wszystkie
wytyczne post

ę

powania składaj

ą

cego si

ę

na

obserwacj

ę

•

czy i jak dokładnie przewidziano kategorie,
w które mo

ż

na uj

ąć

obserwowane

zachowanie

Warunki poprawno

ś

ci:

• wst

ę

pna znajomo

ść

przedmiotu obserwacji,

• jasne sformułowanie zagadnienia i celów

obserwacji,

• bli

ż

sze poznanie przedmiotu obserwacji

przez zastosowanie obserwacji otwartej,

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

10

• szczegółowe opracowanie koncepcji bada

ń

,

kategoryzacja zagadnie

ń

, opracowanie

odpowiednich formularzy i arkuszy
obserwacyjnych.

Uwaga! Ka

ż

da notatka z obserwacji musi zawiera

ć

oznakowanie obserwowanego „przedmiotu”.

Sposoby utrwalania spostrze

ż

e

ń

:

• tabelaryczna skala przymiotnikowa,

• skala przymiotnikowa liniowa,

• skale cyfrowe (skale cyfrowe mog

ą

przybiera

ć

tak

ż

e posta

ć

tabelaryczn

ą

).

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

11

tak

ż

e posta

ć

tabelaryczn

ą

).

Cz

ę

sto spotyka si

ę

skale mieszane, np.

cyfrowo-przymiotnikowe

.

ANKIETA

Procedura tworzenia ankiety

1. Okre

ś

lenie celu:

-

Co chc

ę

bada

ć

?

-

Dlaczego chc

ę

to bada

ć

?

-

Jak

ą

zastosuj

ę

ankiet

ę

?

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

12

-

Jak

ą

zastosuj

ę

ankiet

ę

?

2. Opracowanie ankiety:
-

instrukcja,

-

wst

ę

pne pytania informacyjne,

-

pytania wła

ś

ciwe.

3. Standaryzacja.

Zasady budowy ankiety

• Stosowanie pyta

ń

w kolejno

ś

ci – od obejmuj

ą

cych problemy

ogólne do szczegółowych.

• Unikanie pyta

ń

sugeruj

ą

cych.

• Wprowadzenie pyta

ń

kontrolnych (sprawdzaj

ą

cych

wiarygodno

ść

).

• Ograniczenie ilo

ś

ci pyta

ń

do koniecznego minimum (10-20).

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

13

• Ograniczenie ilo

ś

ci pyta

ń

do koniecznego minimum (10-20).

• Unikanie pyta

ń

, na które odpowiedzi wymagaj

ą

du

ż

ego wysiłku

pami

ę

ciowego.

• Pytania powinny dotyczy

ć

spraw wa

ż

nych i koniecznych.

• Pytania musz

ą

by

ć

jasne, jednoznaczne i dokładne,

dostosowane do j

ę

zyka potocznego

ś

rodowiska, w którym

przeprowadza si

ę

badanie, do wieku i wykształcenia „pytanych”

osób.

Instrukcja i metryczka

Instrukcja powinna zawiera

ć

:

• okre

ś

lenie celu,

• uzasadnienie badania,
• pro

ś

b

ę

o szczere odpowiedzi,

• zapewnienie o zachowaniu dyskrecji,
• informacj

ę

o sposobie wypełnienia ankiety,

• podanie czasu przeznaczonego na wypełnienie ankiety,

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

14

• podanie czasu przeznaczonego na wypełnienie ankiety,
• inne...,
• podzi

ę

kowanie za udział w badaniu.

Metryczka:

• Zawiera rejestr zmiennych niezale

ż

nych pozwalaj

ą

cych

na identyfikacj

ę

problemow

ą

nie personaln

ą

ka

ż

dej jednostki

badawczej (np. wiek, płe

ć

, klas

ę

, wykształcenie, cechy rodziny).

Zawarto

ść

metryczki okre

ś

la problematyka i cel badania.

Zalety:

•

badaniem mo

ż

na obj

ąć

du

żą

grup

ę

osób,

•

wiedza o rozkładzie cz

ę

sto

ś

ci/rozkładzie procentowym cech,

wła

ś

ciwo

ś

ci, opinii,

•

swoboda wypowiedzi, brak sugestii ze strony innych,

•

anonimowo

ść

,

•

łatwo

ść

realizacji i analizy danych przy du

ż

ej liczbie uczestników,

ANKIETA

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

15

•

relatywnie niskie koszty realizacji.

Wady:

•

mała elastyczno

ść

– kwestie najwa

ż

niejsze mog

ą

umkn

ąć

,

gdy

ż

w ankiecie nie znalazło si

ę

pytanie je poruszaj

ą

ce,

•

znudzenie respondentów t

ą

metod

ą

, niech

ęć

do formułowania wypowiedzi na pi

ś

mie,

•

zdawkowo

ść

odpowiedzi.

Badanie dokumentów i materiałów słu

ż

y do gromadzenia

wst

ę

pnych, opisowych, tak

ż

e ilo

ś

ciowych informacji o badanej

instytucji czy zjawisku społecznym.

Dokumenty dzielimy na:

- kronikarskie – wszelka dokumentacja instytucji, materiały

ANALIZA DOKUMENTÓW

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

16

- kronikarskie – wszelka dokumentacja instytucji, materiały
statystyczne obrazuj

ą

ce okre

ś

lone sytuacje, dokumentuj

ą

ce

fakty i działania;

- opiniodawcze – wszelkie osobiste materiały powstałe bez
udziału badaj

ą

cego – listy, pami

ę

tniki, wypracowania,

wypowiedzi na pi

ś

mie na okre

ś

lony temat.

Dokumentem jest ka

ż

da rzecz mog

ą

ca stanowi

ć

ź

ródło informacji, na

podst. której mo

ż

na wydawa

ć

uzasadnione s

ą

dy o przedmiotach,

ludziach i procesach.

Analiza tre

ś

ci – słu

ż

y obiektywnemu, systematycznemu opisowi

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

17

Analiza tre

ś

ci – słu

ż

y obiektywnemu, systematycznemu opisowi

jawnej tre

ś

ci przekazów informacyjnych.

UWAGA!

Analiza dokumentów mimo ich „urz

ę

dowej”

wiarygodno

ś

ci powinna by

ć

krytyczna.

Przygotowuj

ą

c si

ę

do analizy dokumentów, nale

ż

y zbudowa

ć

schemat

analizy zgodny z celami przeprowadzanej ewaluacji

.

Analiza dokumentów

Zalety:

• ró

ż

norodno

ść

dokumentacji,

• dost

ę

pno

ść

,

• daj

ą

ju

ż

zsyntetyzowan

ą

informacj

ę

o maj

ą

cych miejsce

działaniach i ich rezultatach.

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

18

działaniach i ich rezultatach.

Wady:

• ryzyko zbyt uproszczonej interpretacji danych i pochopnych

uogólnie

ń

,

• rzeczywisto

ść

mo

ż

e „odbiega

ć

” od danych zamieszczonych

w dokumentacji.

WYWIAD

• Wywiad nie jest towarzysk

ą

rozmow

ą

!

• To dialog kierowany badawczymi potrzebami.

Do wywiadu nale

ż

y si

ę

gruntownie przygotowa

ć

:

- ustali

ć

miejsce,

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

19

- wst

ę

pnie zebra

ć

jak najwi

ę

cej informacji z zakresu

badanej problematyki,

- dokona

ć

wyboru osób i pyta

ń

.

(koniecznym jest przygotowanie planu tematycznego dla

wywiadu kierowanego i pyta

ń

kwestionariusza wywiadu

– zasady takie same jak w ankiecie)

WYWIAD

Zalety:

• mo

ż

liwo

ść

poruszenia skomplikowanych i szczegółowych

kwestii ,

• poznanie faktów z osadzeniem ich w kontek

ś

cie sytuacyjnym,

• spojrzenie na rzeczywisto

ść

z perspektywy uczestników,

• poznanie znacze

ń

i interpretacji samych zainteresowanych.

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

20

• poznanie znacze

ń

i interpretacji samych zainteresowanych.

Wady:

• czasochłonno

ść

realizacji i analiz,

• mo

ż

liwo

ść

przebadania niewielu respondentów,

• skomplikowana analiza,
• niech

ęć

uczestnika do wyra

ż

ania swoich, zwłaszcza

krytycznych, opinii wprost.

WYWIAD I ANKIETA

• Wywiad to metoda zdobywania informacji przez

bezpo

ś

rednie stawianie pyta

ń

tym osobom, które mog

ą

nam udzieli

ć

pewnej sumy informacji.

• Ankieta to metoda po

ś

redniego zdobywania informacji

przez pytania stawiane wybranym osobom za

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

21

• Ankieta to metoda po

ś

redniego zdobywania informacji

przez pytania stawiane wybranym osobom za
po

ś

rednictwem drukowanej listy pyta

ń

, zwanej

kwestionariuszem.

Wspólna cecha: wypytywanie.

W jednym i drugim przypadku o powodzeniu decyduje

ZAUFANIE!

Triangulacja

Zwielokrotnienie:

• metod i technik badawczych,
•

ź

ródeł informacji,

• typów danych,
• technik analitycznych,
• teorii wyja

ś

niaj

ą

cych,

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

22

• teorii wyja

ś

niaj

ą

cych,

• liczby osób realizuj

ą

cych badania.

Zalety:

• uwzgl

ę

dnianie ró

ż

nych punktów widzenia,

• lepsze poznanie i zrozumienie badanego obiektu,
• pogł

ę

bienie zebranych danych,

• bardziej „zobiektywizowana” analiza.

Próba nielosowa

Na podstawie zgłosze

ń

ochotników:

•

samodzielne zgłoszenia do udziału w badaniu, np. odpowied

ź

na ankiet

ę

doł

ą

czon

ą

do podr

ę

cznika.

Próba kwotowa:
•

znamy lub zakładamy rozkłady % interesuj

ą

cych nas zmiennych

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

23

•

znamy lub zakładamy rozkłady % interesuj

ą

cych nas zmiennych

w populacji, a nast

ę

pnie odtwarzamy je w próbie (np. 30% m

ęż

czyzn

i 70% kobiet),

•

wyniki s

ą

obci

ąż

one bł

ę

dem, którego wielko

ś

ci nie da si

ę

ustali

ć

.

Próba celowa:
•

wybieramy „jak

ąś

”, najcz

ęś

ciej najłatwiej dost

ę

pn

ą

osob

ę

,

•

dobieramy osob

ę

z uwagi na jak

ąś

cech

ę

, np. bycie wychowawc

ą

.

Próba losowa

Operat losowania – ponumerowany i aktualny spis wszystkich jednostek

składaj

ą

cych si

ę

na populacj

ę

Schemat losowania:
•

Nieograniczone indywidualne (np. wg tablicy liczb losowych).

•

Systematyczne indywidualne (np. co 10 osoba).

•

Warstwowe (najpierw dzielimy zbiorowo

ść

na jako

ś

ciowo ró

ż

ni

ą

ce si

ę

cz

ęś

ci, a nast

ę

pnie losujemy z ka

ż

dej warstwy jednostki zbiorowo

ś

ci

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

24

cz

ęś

ci, a nast

ę

pnie losujemy z ka

ż

dej warstwy jednostki zbiorowo

ś

ci

do próby).

•

Grupowe (losowane nie s

ą

poszczególne jednostki populacji, ale grupy )

•

Wielostopniowe.

Tylko próba losowa pozwala na stosowanie metod wnioskowania

statystycznego o populacji.

W praktyce szkolnej mo

ż

emy kierowa

ć

si

ę

innymi zasadami.

Wszystko zale

ż

y od wielko

ś

ci szkoły, badanego problemu,

dost

ę

pno

ś

ci „respondentów”.

Ć

WICZENIE (1)

Prosz

ę

przyjrze

ć

si

ę

podanym przykładom

pyta

ń

kwestionariuszowych

i oceni

ć

ich „jako

ść

”

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

25

i oceni

ć

ich „jako

ść

”

(znale

źć

bł

ę

dy, oceni

ć

przydatno

ść

,

zaproponowa

ć

zmiany).

Ć

WICZENIE (2)

Wypełnianie projektu ewaluacji

(c.d. modułu II)

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

26

– kolumny: sposoby zbierania danych,

próba badawcza, organizacja zbierania

danych.

Dzi

ę

kuj

ę

za uwag

ę

!

2010-03-05

Organizacja ewaluacji wewn

ę

trznej jako zadanie dyrektora szkoły / placówki

27

Dzi

ę

kuj

ę

za uwag

ę

!