Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
Ewaluacja w epoce wskaz
ników
Wyzwania dla zarządzania sektorem publicznym
CAROL TAYLOR FITZ-GIBBONi
University of Durham
skuteczności oraz wydawania opinii na jej temat, być może
Wstęp ze szkodą dla osiąganych przez nich wyników.iii W innym
nowatorskim artykule pt.  Sposób na nieprzewidywalność
Nieuchronny rozwój systemów wskaz
ników zaproponował pewne ogólne zasady postępowania w
wspomaganych komputerowo wpływa na zmianę zarówno przypadku nieprzewidywalnych systemów.
ewaluacji, jak i zarządzania sektorem publicznym. W
niniejszym artykule twierdzę, że  jako przedstawiciele Takie systemy muszą być starannie
nauk społecznych  musimy przyjąć podejście naukowe, nadzorowane; aktorzy w nich działający
za którym gorąco orędują Leeuw i inni: muszą pozostawać uniwersalni i
elastyczni, a usługi muszą być w dużym
Po pierwsze, analiza ewaluacyjna może stopniu zdecentralizowane. Ludzie muszą
zostać scharakteryzowana jako mieć możliwość wyboru, a nie wieczne
przestrzeganie metodologicznych prawdy. W oświacie ten styl postępowania
standardów solidności, zasadności oraz byłby dokładnym przeciwieństwem
wiarygodności, i wynikającą z tego odgórnego planowania nakazowego i
nieodpartą siłę prawdy... A po drugie, ten polityki, którą my, badacze, w swoim
rodzaj badania polityki społecznej może mniemaniu odkrywamy.iv
być związany z potrzebą uzasadnienia
publicznego obowiązku ingerowania w Informacja zwrotna na temat rezultatów  starannego
życie społeczne.ii nadzoru musi być przekazywana jednostkom, które są w
stanie zinterpretować dane, a w razie potrzeby na ich
Musimy opracować metodologicznie poprawne, złożone podstawie podjąć działania. Z tego względu zapewnienie
systemy nadzoru i ewaluacji, szczególnie w sektorze  informacji zwrotnej (feedback) być może jest
publicznym, który jest odpowiedzialny za  ingerowanie w zdecydowanie najważniejszą rolą systemów wskaz
ników.
życie społeczne . W poniższym omówieniu poszukuję Niektórzy twierdzą, że bezcelowe jest przekazywanie
pewnych przydatnych zasad przewodnich, które mogą informacji zwrotnej na temat wyników uczniów, którzy
pomóc w projektowaniu efektywnych systemów zakończyli naukę; że jest to przestarzałe podejście.
zarządzania sektorem publicznym. Potrzebne są natomiast prognozy, przewidywania i cele do
Analizuję również skutki stosowania systemów osiągnięcia, ukierunkowane na przyszłość. Dotychczas nie
wskaz
ników dla przeprowadzania ewaluacji. przeprowadzono jeszcze żadnych eksperymentów na
poparcie tych poglądów. Istnieją jednak argumenty
Czego projektanci złożonych systemów nauczyli się z przemawiające przeciwko stosowaniu konkretnych celów
doświadczenia? do osiągnięcia oraz skupianiu się na prognozach. Dobre
dane z przeszłości są przynajmniej wiarygodne; są one
Gene Glass, w przenikliwym artykule pt.  Paradoks dokładniejsze niż jakiekolwiek zakładane cele. Jak
znakomitych szkół i ludzi do nich należących , twierdził, że twierdził znakomity amerykański metodolog, Donald T.
występuje konflikt między naszym przekonaniem, że ludzie Campbell:
działają najefektywniej w otoczeniu, które ich bardzo
wspiera i docenia, a koncepcją odpowiedzialności, oceny
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
Tajemnicą racjonalnej innowacji jest Tabela 1. Dwa przeciwstawne podejścia do projektowania
selekcja z perspektywy czasu, a nie systemów (np. zarządzania sektorem publicznym)
przewidywane zmiany.v Etos Bierna Czynna
obserwacja ingerencja
Co więcej, Karl Popper twierdził, że w gruncie rzeczy
Demokratyczny/profesjonaln Informacja Eksperyment
przyszłość jest nieprzewidywalna. Jego biograf, Magee,
y zwrotna y
napisał:
Naukowy Oparta na  Badania
wskaz
nikac rozproszone
Wraz z upadkiem koncepcji, że przyszłość
h Rozwój
można naukowo przewidzieć, załamuje się
praktyki
również idea całkowicie zaplanowanego
 opartej na
społeczeństwa.vi
dowodach
Hierarchiczny/kontrolny Opinie Publikowane
 Naukowe podejście Poppera, obejmujące systemy
menedżerski Oparte na wyniki
oparte na współudziale i współdziałaniu, demokratyczne,
władzy Z
organiczne oraz uznanie, że przyszłość jest
zakładanymi
nieprzewidywalna, możemy przeciwstawić  całkowicie
celami,
zaplanowanemu ,  menedżerskiemu społeczeństwu, w
nagrodami i
którym procedury są narzucone i określone przez systemy
karami
hierarchiczne. Wydaje się prawdopodobne, że między tymi
podejściami istnieją dwie zasadnicze różnice: 1)
W odniesieniu do wartości i potrzeby  ingerowania w
przekonanie, że przyszłość można kontrolować i
społeczeństwo , Popper reprezentował ciekawy punkt
przewidywać, oraz 2) brak zaufania i szacunku dla
widzenia. Twierdził, że podstawową wartością nie jest
najbardziej zainteresowanych  dla  ludzi . W Anglii
umożliwianie ludziom poszukiwania szczęścia, lecz
najlepszy przykład systemu opartego na autorytarnym
 minimalizowanie cierpienia, którego można uniknąć .viii
menedżeryzmie stanowi OFSTED, Urząd Standardów
Wynika z tego, że musimy wyszukiwać cierpienie (tj.
Edukacji (Office for Standards in Education).vii
identyfikować problemy) i podejmować kroki mające na
W Tabeli 1 podaję przykładowe kontrasty między
celu poprawę systemu i usunięcie tych problemów.
podejściem naukowym, badawczym, a kontrolnym
Na opisanie tego podejścia Popper przewrotnie
menedżeryzmem, który wiąże się z ustalaniem
wybrał trzy niepopularne słowa:  fragmentaryczna
konkretnych celów do osiągnięcia i wskazywaniem
inżynieria społeczna (piecemeal social engineering).
winnych niepowodzenia. Wskaz
niki mogą pojawić się w
Ostrzegał on, że próby planowania przyszłości  zamiast
obu metodach.
rozwiązywania bieżących problemów  nie będą skuteczne
i doprowadzą do poszukiwania winnych, zrzucania
odpowiedzialności i stosowania przemocy.
Psycholog, ekonomista i informatyk, Herbert A.
Simon (laureat Nagrody Nobla za teorię
 satysfakcjonującego wyboru w ekonomii) wyraził taki sam
pogląd.ix Utrzymywał, że nawet systemy komputerowe
wymagają  fragmentarycznej inżynierii społecznej .
Systemy komputerowe są stosunkowo proste w
porównaniu z żywymi, wzajemnie na siebie oddziałującymi
systemami istot ludzkich, jednak Simon, pracując nad
rozwojem systemów podziału czasu w komputerach,
zauważył, że:
2
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
Były one tworzone, modyfikowane i kształtująca i ewaluacja sumująca.xiii Odpowiada to
udoskonalane w kolejnych etapach. Być podejściu Poppera w odniesieniu do identyfikacji
może teoria mogła przewidzieć wyniki tych problemów, testowania rozwiązania, a następnie
eksperymentów i wyeliminować potrzebę sprawdzania, czy odniosło skutek  jego  fragmentarycznej
ich prowadzenia. W rzeczywistości tak się inżynierii społecznej .
nie stało i nie znam żadnego znawcy tych Glass przeciwstawiał również systemy  elastyczne i
niezmiernie złożonych systemów, który zdecentralizowane  odgórnemu planowaniu
umiałby konkretnie powiedzieć, jak można nakazowemu . Rozwijając tę dychotomię, przeciwstawne
było tego dokonać. Aby zrozumieć systemy można określić jako
działanie tych systemów, należało je  demokratyczne/profesjonalne w odróżnieniu od
utworzyć i obserwować ich  hierarchicznych/kontrolnych , bądz
 wychodzące z
funkcjonowanie.x ewaluacją do ludzi w przeciwieństwie do  służących
ewaluacji ludzi .
Pracując z podobnie skomplikowanymi systemami w Czasami uważa się, że rozróżnienia przedstawione w
produkcji i przemyśle maszynowym, statystyk, który został Tabeli 1 reprezentują samczą bezwzględność typową dla
głównym guru w dziedzinie kontroli jakości, W. Edwards dynamicznych przedsiębiorstw w odróżnieniu od
Deming, tak jak Popper podkreślał znaczenie identyfikacji łagodnego, nastawionego na współpracę podejścia w
problemu, uznając ją za najważniejszy obowiązek sektorze publicznym. Jednak zarówno w biznesie, jak i w
kierownictwa.xi Ponadto, zachęcał do  wypędzenia strachu służbie publicznej można przyjąć dowolny z tych stylów.
i poszukiwania  radości w pracy . Cenił zapewnianie Moglibyśmy przejść do pojęć bardzo ogólnych, i mówić o
ludziom ważnych stanowisk pracy i uważał, że celem  miękkim sercu i  bezwzględności , lecz byłoby to mylące.
prowadzenia przedsiębiorstwa powinno być utrzymywanie Miękkie serce odnosi się do wartości  ceni się
miejsc pracy oraz dostarczanie dóbr i usług, a taki etos z bezpieczeństwo ludzi, posiadanie przez nich środków
pewnością jest wskazany w zarządzaniu sektorem utrzymania, ich zdrowie i szczęście. Jednak popieranie
publicznym. Jego przekonanie o potrzebie wypędzenia wysokiej jakości życia nie ma większego sensu bez
strachu i poszukiwania radości w pracy opierało się na  bezwzględnego podejścia do kwestii sposobu jej
realistycznej obserwacji sytuacji, w których wszystko osiągnięcia i udostępnienia wszystkim; w tym zakresie
działało, a wręcz ulegało poprawie, w porównaniu z ważną rolę odgrywa nauka. Do skutecznej implementacji
efektami etosu strachu, który prowadził do podupadania miękkie serce wymaga bezwzględnej nauki. A dowody
produkcji i pogarszania się jakości. naukowe dotyczące zarządzania złożonymi systemami nie
Inny przykład stanowią osoby dążące do przemawiają za centralizacją i dirigisme (kierowaniem
sprawowania kontroli nad gospodarką w Europie gospodarką).
Wschodniej za czasów komunizmu; z upodobaniem Deming bardzo mądrze zauważył, że  (...) tam, gdzie
ustalały one konkretne cele. Przeważnie cele te były jest strach, pojawią się błędne dane .xiv Czternaście lat
osiągane  według danych liczbowych  nawet jeśli nie póz
niej James Popham twierdził, że naciski na szkoły,
mały sensu. (Dla zilustrowania tej sytuacji Perrin przytoczył połączone z bodz
cami finansowymi i sankcjami, prowadzą
przykład Polski, która miała najcięższe meble w Europie, do zafałszowania wyników egzaminów.xv Zawsze tak było.
ponieważ produkcję mierzono na podstawie wagi.)xii Podobne obawy wyrażano w Anglii, szczególnie w
Sprawozdania, dane, słowa lub opisy należą do odniesieniu do sprawdzianów w szkołach podstawowych.
metod relacjonowania sytuacji. Lecz przed etapem Znaną praktyką nauczycieli było otwieranie zestawów
relacjonowania należy ustalić, wszelkimi możliwymi egzaminacyjnych, aby przygotować do nich uczniów. Inne
sposobami, wykaz potrzeb i problemów stanowiących zniekształcenia w zachowaniu wynikają z publikowania
nieodłączną część systemu, ponieważ zaspokajanie tych surowych wyników egzaminacyjnych  tzw.  tabeli
potrzeb i rozwiązywanie tych problemów prowadzi do ligowych (League Tables)  kolejnego z
ródła strachu. Po
udoskonalania systemu. Z tego względu, powszechnie wprowadzeniu tabel liczba uczniów wydalonych ze szkół
znany  Cykl ewaluacji Alkina, który w latach 70. stanowił wzrosła o 600%. Z tego względu dane przestały być
podstawę prac Centrum Badań nad Ewaluacją (Center for porównywalne, ponieważ niektóre szkoły usuwały uczniów
the Study of Evaluation) University of California w Los szybciej, a inne wolniej.
Angeles (UCLA), rozpoczyna się od oceny potrzeb.
Następnie omawiane są planowanie programu, ewaluacja
3
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
Projektowanie systemów wskaz
ników Tabela 2. Typologia wskaz
ników w systemach
edukacyjnych
Wskaz
niki mają na celu kontrolę działania systemu za Emocjonalne
pomocą regularnych pomiarów. Bez wątpienia wiążą się z (Affective)
nimi zarówno wielkie możliwości, jak i poważne A np. postawy,
niebezpieczeństwa.xvi ambicje, jakość
serce
Ile wskaz
ników powinno się stosować? W warunkach życia
efektywnej rejestracji i wymiany danych można
Behawioralne
przetwarzać tysiące wskaz
ników. Lecz interpretacja
(Behavioural)
Cele
pomiaru wymaga czasu i wysiłku, więc może to nakładać
np. umiejętności,
/Wyniki B
pewne ograniczenie na liczbę wskaz
ników, które powinno
współpraca,
się gromadzić. Jednak wskaz
niki w formie informacji
ciało zachowania
zwrotnej należy przekazywać każdej osobie, na której
zdrowotne
spoczywa pewna odpowiedzialność w systemie, więc
Poznawcze
mogą być potrzebne setki wskaz
ników i rzeczywiście taka
(Cognitive)
C
ilość jest wykorzystywana w szkołach.
np. osiągnięcia,
Jak odbywa się selekcja wskaz
ników? Należy:
umysł
przekonania
1. zbadać, które wyniki mają znaczenie;
Kategorie
2. przejrzeć dane w celu zidentyfikowania
demograficzne
istotnych zmiennych, które wpływają na te
(Demographic
wyniki ( współczynników losowych ), a
Grupy D descriptors)
następnie
np. płeć, wiek,
3. korygować te robocze zestawienia w ciągłej
status społeczno-
dyskusji z osobami, których praca jest
ekonomiczny
nadzorowana - które najlepiej znają
Wydatki
system.
(Expenditures)
E
np. zasoby, czas,
pieniądze
Przepływ (Flow)
np. KTO CZEGO
Strategie
jest uczony, JAK i
JAK DA
UGO?:
F
zrównoważony
program nauczania,
zapamiętywanie,
metody, czas
Uwaga: W każdej dziedzinie można opracować wskaz
niki
dla zmiennych SEKWENCJI: zmiennych nakładów,
procesu, wyników pośrednich i długookresowych, a także
dla różnych JEDNOSTEK pomiaru: ucznia, klasy,
nauczyciela, wydziału, szkoły, kuratorium oświaty, kraju
itp.
Procesy te stanowiły podstawę opracowania
systemów wskaz
ników, które odniosły bezprecedensowy 
i jak dotychczas niedościgniony  sukces, a zastosowała je
dobrowolnie prawie jedna trzecia szkół w Anglii.xvii
Tabela 2 może pomóc w wyborze wskaz
ników do
systemów kształcenia. Przedstawia typologię wskaz
ników,
którą łatwo zapamiętać mnemotechnicznie (ABCDEF) i
4
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
która ma na celu  pomiar rzeczy ważnych w sposób dość
wyczerpujący. Wykorzystanie informacji zwrotnej Należy sprawdzić, w
Ze względu na słaby związek między procesami a jaki sposób wszystkie strony, np. osoby bezpośrednio
wynikami najważniejsze są wskaz
niki wyników. W Tabeli 2 zainteresowane, kierownicy i personel, korzystają z
w wierszach dotyczących Celów/Wyników są one nazwane informacji zwrotnej. Czy występują zniekształcenia, np.
podobnie jak w przypadku  Taksonomii celów sugerowanie, że korelacje można interpretować jako
edukacyjnych Blooma.xviii Do określenia wzajemnie na wskazanie przyczyn? Jeśli stosuje się standardy, to czy są
siebie oddziałujących wskaz
ników dotyczących uczniów, one sprawiedliwe (np. kryteria wartości dodanej na
programu, sposobów i czasu nauczania, czyli trudnych do jednego ucznia), czy rażąco niesprawiedliwe (np.
opracowania wskaz
ników procesu, przyjęłam termin porównywanie szkół na podstawie jakiegoś prostego
OECD  przepływ .xix Jednak, niestety, Tabela 2 wskaz
nika statusu społeczno-ekonomicznego)? Czy
przedstawia typologię idealną, która dotychczas nie występują jakieś szczególne czynniki, które mogłyby
została zastosowana w żadnym systemie. wyjaśniać pewne tendencje w danych dotyczących
konkretnej jednostki? Jest to niebezpieczne pytanie, lecz
Wpływ systemów wskaz
ników na działania bardzo interesujące (patrz  Hipotezy wysuwane na
ewaluacyjne podstawie danych poniżej). Istotny problem w
interpretowaniu danych stanowią zmiany roczne
Wskaz
niki stały się codziennością i szybko się rozwijają. spowodowane nieodłącznym zróżnicowaniem różnych
Zapewniają rodzaj nieustannej ewaluacji. prób ludzi. Zróżnicowanie jest nieuniknione. Ponadto, po
Czy ewaluatorzy mogą jeszcze odegrać jakąś rolę? obliczeniu średniej mniej więcej połowa obserwacji
Tak, ale rola ta będzie się zmieniać w miarę wchodzenia w znajduje się poniżej średniej. Niestety, zwykle politycy
erę ciągłej ewaluacji opartej na danych. Gdy ewaluator krytykują jednostki osiągające wyniki poniżej przeciętnej,
pracuje z organizacją, w której funkcjonuje system chociaż z konieczności w połowie z nich musi tak być.
wskaz
ników, przestaje być potrzebne ustalenie kryteriów i Należy temu przeciwdziałać, aby chronić morale.
opracowanie systemów zbierania danych. W takiej sytuacji
ewaluatorzy mogą rozważyć następujące kwestie. Identyfikacja problemu Ponieważ systemy udoskonala
się poprzez korygowanie błędów, należy identyfikować
Podstawowe uzasadnienie (ewaluacja projektu) Należy problemy, aby dążyć do stałego ulepszania. Wymaga to
zadać poniższe pytania; niektóre mogą wydawać się taktownej ewaluacji, opartej na współudziale badanych,
proste, lecz czasami odpowiedzi ujawniają naszą mającej na celu zajęcie się problemem, a nie
niewiedzę. Czy mierzymy sprawy ważne, czy raczej poszukiwanie winnych.
sprawdzamy, dla kogo są one ważne? Czy ten system
 nadzoru i informacji zwrotnej wspiera nadrzędne cele Hipotezy wysuwane na podstawie danych Czy można
społeczeństwa obywatelskiego? Czy chcemy wysuwać użyteczne hipotezy na podstawie rozwijających
zaproponować dodatkowe wskaz
niki, czy zrezygnować z się tendencji widocznej w danych oraz pojawiających się
niektórych istniejących? Czy pytania o rasizm są prawidłowości w konkretnych instytucjach? Zbyt często
korzystne, czy szkodliwe? Czy pytania o zażywanie interpretacje prawidłowości w danych traktuje się jako
narkotyków zwiększają skalę tego zjawiska? teorie, kiedy w rzeczywistości stanowią one jedynie
nieudowodnione hipotezy.
Jakość danych Czy procedury zbierania danych są
adekwatne? Czy np. zapewniają poufność, aby Sprawdzanie hipotez na podstawie kontrolowanych
respondenci mogli  wypowiadać się bez obaw? (Prostym eksperymentów na małą skalę Pojedyncza organizacja
sposobem na zwiększenie poufności mogą być plastikowe może wprowadzić zmiany i obserwować wskaz
niki, lecz
koperty na kwestionariusze, ponieważ plastiku nie można większość wskaz
ników wyników będzie się zmieniać z
otworzyć, a następnie powtórnie zamknąć bez widocznego roku na rok i jest to nieuniknione. Z tego względu
uszkodzenia.) Czym można wyjaśnić brak danych? Czy organizacja mogłaby potrzebować wielu lat na
występują naciski na fałszowanie danych (np. czy w sprawdzenie skuteczności nowej procedury. Jeśli jednak
szkołach niektórym dzieciom nakazuje się pozostać w pojedyncza organizacja połączy wysiłki z dwudziestoma
domu w dniu ważnych egzaminów oraz czy kadra ma innymi organizacjami i systematyczne zmienią one swoje
wcześniej dostęp do materiałów egzaminacyjnych)? postępowanie, aby zbadać wpływ na wskaz
niki wyników,
5
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
wówczas w ciągu roku organizacja otrzyma rezultaty dodanej dla szkół, zalecano równowagę między
równoważne zbieraniu danych z dwudziestu lat. W ten profesjonalną swobodą decyzji poszczególnych
sposób dobry projekt eksperymentów przyspiesza proces nauczycieli a pragnieniem uzyskania informacji o
zdobywania wiedzy o skutecznych metodach. skuteczności szkół ze strony rodziców i państwa.xxii
Często właśnie ostatni etap, sprawdzanie hipotez, Rozwiązanie stanowił wybór wskaz
ników zagregowanych
stanowi największy wkład ewaluatora. Przypomina na poziomie grupy przedmiotów nauczania (np.
ewaluację kształtującą, działania mające na celu  matematyka i nauki ścisłe ,  nauki humanistyczne lub
doskonalenie programu, lecz w dużym stopniu jest  sztuka i projektowanie ). Zapewniał ogólnie akceptowalną
wspomagany przez nieprzerwany strumień danych równowagę między prawem społeczeństwa do informacji a
dotyczących wskaz
ników (zmodyfikowanych dla prawem nauczycieli do profesjonalnego traktowania i
konkretnych programów, patrz  Podstawowe uzasadnienie  uczciwego procesu .
(ewaluacja projektu) powyżej) oraz na podstawie
szeregów czasowych danych z lat poprzednich. Zakończenie
Ewaluatorzy mogą uważać, że nie warto
przeprowadzać sporadycznych eksperymentów na małą Ewaluatorzy mogą z zadowoleniem przyjmować systemy
skalę, mimo że są wykonalne, lecz w rzeczywistości każdy wskaz
ników i współpracować zarówno z osobami
kontrolowany eksperyment staje się istotny w czasach, gdy zlecającymi ich opracowanie (najlepiej z profesjonalistami),
metaanaliza odgrywa znaczącą rolę. Na przykład, Hedges jak i z ich autorami. Jeśli nie istnieje system wskaz
ników,
przedstawił niepowtarzalną syntezę trzech rodzajów ewaluatorzy mogą także rozważyć pomysł jego utworzenia
danych dotyczących skutków jednej zmiennej polityki  w ramach ewaluacji. Wówczas zostawią po sobie
zmniejszenia liczby uczniów w klasie.xx Były to następujące możliwość ciągłej samooceny.
rodzaje danych: wyniki badań ankietowych (tj. wskaz
niki),
eksperymenty na małą skalę (np. podejmowane przez
profesjonalistów) oraz jeden duży eksperyment. Hedges
wykazał, że siła wpływu zmierza do wartości
współczynnika wynoszącego około 0.15 (the effect size)..
Eksperymenty na małą skalę warto przeprowadzać nie
tylko ze względu na wnioski z badania Hedgesa
sugerujące, że mogą one dać nam rezultaty zbliżone do
wyników, które można by otrzymać wskutek dużego
randomizowanego, kontrolowanego badania, lecz także
dlatego, że są one z
ródłem instytucjonalnej wiedzy o
wysokiej wiarygodności zewnętrznej dla danej instytucji.
Uczestnicy będą mieli poczucie, że jeśli eksperyment udał
się  na ich oczach , wówczas w przyszłości również mogą
być pewni sukcesu. Boruch podaje przykłady roli
eksperymentowania w wielu dyscyplinach nauk
społecznych.xxi
Oczywiście, z systemami wskaz
ników wiążą się
osobne problemy. Na przykład, kto powinien kontrolować
dostęp do danych (wskaz
ników) powstających w systemie
nadzorowania organizacji? Jeśli Ustawa o wolności
informacji, która niedługo ma nabrać mocy obowiązującej
w Anglii, wymaga pewnych danych, ile danych powinno się
publikować i w jakiej formie? Takie problemy nadal czekają
na rozwiązanie i, jak zawsze,  diabeł tkwi w szczegółach .
Problem ten będzie przedmiotem rozważań (i sporów) w
każdej organizacji i w każdym systemie politycznym. Na
przykład, jako część dwuletniego kontraktu na
zaprojektowanie krajowego systemu wskaz
ników wartości
6
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
Herman, J. L., L. L. Morris i C. T. Fitz-Gibbon (1987)
Bibliografia Evaluator s Handbook. Newbury Park, CA: Sage.
Kogan, M. (1999) The Ofsted System of School Inspection:
Alkin, M. C. i C. T. Fitz-Gibbon (1975)  Methods and an Independent Evaluation, A report of a study by The
Theories of Evaluating Programmes , Journal of Research Centre for the Evaluation of Public Policy and Practice and
and Development in Education 8(3): s. 2-15. Helix Consulting Group. London: CEPPP, Brunel
Bloom, B. E. (1956) Taxonomy of Educational Objectives. University.
Ann Arbor, MI: Longmans. Leeuw, F. L., R. C. Rist i R. Sonnichsen (red.) (1994) Can
Boruch, R. (1997) Randomised Experiments for Planning Governments Learn? Comparative Perspectives on
and Evaluation: A Practical Guide. Thousand Oaks, CA: Evaluation and Organizational Learning. New Brunswick,
Sage. NJ: Transaction Publishers.
Campbell, D. T. (1977)  Comment on Robert J. Richard s Magee, B. (1976) Popper. Glasgow: Fontana/Collins.
 The Natural Selection Model of Conceptual Evolution  , OECD (1995) Education at a Glance: OECD Indicators.
Philosophy of Science 44: s. 502-507. Paris: Organization for Economic Co-operation and
Deming, W. E. (1994) Out of Crisis: Quality, Productivity Development.
and Competitive Position. Cambridge, MA: Cambridge OECD (1998) Education at a Glance: OECD Indicators.
University Press. Paris: Organization for Economic Co-operation and
Fitz-Gibbon, C. T. (1996a) Monitoring Education: Development.
Indicators, Quality and Effectiveness. London and New Perrin, B. (2000) Personal Communication.
York: Cassell. Popham, J. (2000)  The Coming Scandal in American
Fitz-Gibbon, C. T. (1996b)  Official Indicator Systems in the Education , Paper presented at American Educational
UK: Examinations and Inspections , International Journal Research Association annual meeting, New Orleans, April
of Educational Research 25(3): s. 239-247. s. 24-28.
Fitz-Gibbon, C. T. (1997) The Value Added National Simon, H. A. (1988) The Sciences of the Artificial.
Project: Final Report Feasibility Studies for a National Cambridge, MA: The MIT Press.
System of Value Added Indicators. London: School Smith, P. (1995)  On the Unintended Consequences of
Curriculum and Assessment Authority. (dokument w Publishing Performance Data in the Public Sector ,
formacie pdf dostępny na witrynie internetowej International Journal of Public Administration 18(2-3): s.
www.cem.dur.ac.uk) 277-310.
Glass, G. V. (1975)  A Paradox about Excellence of Tymms, P. (1999) Baseline Assessment and Monitoring in
Schools and the People in Them , Educational Researcher Primary Schools: Achievements, Attitudes and Value-
4(3): s. 9-13. added Indicators. London: David Fulton Publishers.
Glass, G. V. (1979)  Policy for the Unpredictable Tłumaczył: Dariusz Sielski.
(Uncertainty Research and Policy) , Educational
Researcher 8(9): s. 12-14.
Hedges, L. V. (2000)  Using Converging Evidence in Policy
Formation: the Case of Class Size Research , Evaluation
and Research in Education 14(3-4): s. 193-205.
i
Redakcja  Państwa i rynku dziękuje Autorce za zgodę na tłumaczenie tekstu na język polski.
ii
Leeuw, F. L., R. C. Rist i R. Sonnichsen (red.) (1994) Can Governments Learn? Comparative Perspectives on Evaluation and Organizational
Learning. New Brunswick, NJ: Transaction Publishers, s. 4-5.
iii
Glass, G. V. (1975)  A Paradox about Excellence of Schools and the People in Them , Educational Researcher 4(3): s. 9 13.
iv
Glass, G. V. (1979)  Policy for the Unpredictable (Uncertainty Research and Policy) , Educational Researcher 8(9): s. 14.
v
Campbell, D. T. (1977)  Comment on Robert J. Richard s  The Natural Selection Model of Conceptual Evolution  , Philosophy of Science 44: s.
506.
vi
Magee, B. (1976) Popper. Glasgow: Fontana/Collins, s. 100.
vii
Patrz np. Kogan, M. (1999) The Ofsted System of School Inspection: an Independent Evaluation, A report of a study by The Centre for the
Evaluation of Public Policy and Practice and Helix Consulting Group. London: CEPPP, Brunel University; Fitz-Gibbon, C. T. (1996b)  Official
Indicator Systems in the UK: Examinations and Inspections , International Journal of Educational Research 25(3): s. 239-247.
viii
Magee, B. (1976) Popper. Glasgow: Fontana/Collins, s. 84.
ix
Simon, H. A. (1988) The Sciences of the Artificial. Cambridge, MA: The MIT Press.
x
Simon, H. A. (1988) The Sciences of the Artificial. Cambridge, MA: The MIT Press, s. 25.
xi
Deming, W. E. (1994) Out of Crisis: Quality, Productivity and Competitive Position. Cambridge, MA: Cambridge University Press.
xii
Perrin, B. (2000) Personal Communication.
7
Państwo i Rynek  numer 2 / 2004
www.pir.org.pl
xiii
Np. Alkin, M. C. i C. T. Fitz-Gibbon (1975)  Methods and Theories of Evaluating Programmes , Journal of Research and Development in
Education 8(3): s. 2-15; Herman, J. L., L. L. Morris i C. T. Fitz-Gibbon (1987) Evaluator s Handbook. Newbury Park, CA: Sage.
xiv
Deming, W. E. (1994) Out of Crisis: Quality, Productivity and Competitive Position. Cambridge, MA: Cambridge University Press.
xv
Popham, J. (2000)  The Coming Scandal in American Education , artykuł przedstawiony na dorocznym spotkaniu Amerykańskiego Towarzystwa
Badań Edukacyjnych w kwietniu w Nowym Orleanie, s. 24-28.
xvi
Smith, P. (1995)  On the Unintended Consequences of Publishing Performance Data in the Public Sector , International Journal of Public
Administration 18(2 3): s. 277-310; Fitz-Gibbon, C. T. (1996a) Monitoring Education: Indicators, Quality and Effectiveness. London and New York:
Cassell; Tymms, P. (1999) Baseline Assessment and Monitoring in Primary Schools: Achievements, Attitudes and Value-added Indicators.
London: David Fulton Publishers.
xvii
Patrz www.cem.dur.ac.uk.
xviii
Bloom, B. E. (1956) Taxonomy of Educational Objectives. Ann Arbor, MI: Longmans.
xix
OECD (1995) Education at a Glance: OECD Indicators. Paris: Organization for Economic Co-operation and Development. OECD (1998)
Education at a Glance: OECD Indicators. Paris: Organization for Economic Co-operation and Development.
xx
Hedges, L. V. (2000)  Using Converging Evidence in Policy Formation: the Case of Class Size Research , Evaluation and Research in Education
14 (3-4): s. 193-205.
xxi
Boruch, R. (1997) Randomised Experiments for Planning and Evaluation: A Practical Guide. Thousand Oaks, CA: Sage.
xxii
Fitz-Gibbon, C. T. (1997) The Value Added National Project: Final Report Feasibility Studies for a National System of Value Added Indicators.
London: School Curriculum and Assessment Authority. (na witrynie internetowej www.cem.dur.ac.uk)
8