Metoda ewaluacji-przewodnik 2, Metodologia


Zadania ewaluacyjne

Metoda ewaluacji edukacji zawodowej

Poradnik EVABCOM II

Niniejszy poradnik przedstawia instrument do użytku wewnętrznego ułatwiający funkcjonowanie Europejskiego Projektu Leonardo da Vinci EVABCOM - „Ewaluacja rozwoju kompetencji zawodowych metodą zadań ewaluacyjnych nastawionych na procesy robocze”. Poza wykorzystaniem poprzednich projektów badawczych ITB, poradnik ten jest wynikiem wspólnej pracy partnerów projektu EVABCOM.

Numer referencyjny: D/03/B/FPP-146 036

Dalsze informacje można uzyskać pod adresem:

PD Dr. Rainer Bremer

ITB Institut Technik und Bildung

Universität Bremen

Am Fallturm 1

D-28359 Bremen

www.itb.uni-bremen.de

© ITB Institut Technik und Bildung

Universität Bremen

Bremen 2004

Spis treści Strona

Wstęp 3

1. Rola zadań ewaluacyjnych w projekcie EVABCOM 4

    1. Metody ewaluacji procesów edukacyjnych 4

    1. Podstawowe zasady teorii rozwojowej 12

    1. Pojęcie zadań ewaluacyjnych 15

    1. Zadania ewaluacyjne w badaniach empirycznych 15

  1. Jak projektować zadania ewaluacyjne 19

    1. Faza I: Określenie typowych zadań zawodowych 19

    1. Faza II: Opracowanie zadania ewaluacyjnego 20

  1. Jak wdrażać zadania ewaluacyjne 21

    1. Faza I: Wdrożenie 21

    1. Faza II: Analiza 22

    1. Faza III: Interpretacja 23

  1. Przykłady 24

    1. Przykład A: Zadanie ewaluacyjne dla mechanika narzędziowego 24

    1. Przykład B: Zadanie ewaluacyjne dla mechanika narzędziowego 25

    1. Ilustracja zastosowania pytań w analizie zadania ewaluacyjnego 25

Wstęp

Poradnik EVABCOM II jest drugim z serii dwóch poradników prezentujących instrument oceny i opisu norm nowoczesnej kwalifikowanej pracy przy pomocy prostych metod. Podczas gdy Poradnik I zawiera instrument służący do określania typowych zadań zawodowych konkretnej specjalizacji, Poradnik II dotyczy wypracowania i zastosowania zadań ewaluacyjnych do oszacowania jakości kształcenia zawodowego edukacji i szkolenia w różnych narodowych kontekstach i kulturach przemysłowych. Obie metody przedstawione w poradnikach - ekspert - robotnicy - warsztaty w Poradniku I i zadania ewaluacyjne w Poradniku II zostały opracowane i zrealizowane we ścisłej współpracy z partnerami projektu i dużej liczbie wykwalifikowanych pracowników, których można uznać za ekspertów w ich zawodowych dziedzinach.

Oba Przewodniki przedstawiają krótką zmodyfikowaną dla celów projektu EVABCOM wersję metody badań, która pierwotnie została opracowana w trakcie zakrojonego na szeroką skalę pilotażowego projektu Edukacja Zawodowa i Szkolenie (VET) zwanego GAB. Projekt ten został wdrożony we współpracy z niemiecką firmą Volkswagen (VW) między lutym 1999 i marcem 2003. Obejmując wszystkie narodowe branże firmowe, przy zaangażowaniu około 4,5 tys. uczniów, projekt GAP zmierzał do maksymalnego zredukowania liczby 27 różnych specjalizacji, dla których Volkswagen AG oferował szkolenie. Koncentrując się na najważniejszych profilach umiejętności w ramach projektu, zdołano określić 5 nowych tak zwanych `zawodów podstawowych' na podstawie przypisanych im profesjonalnych zadań.

ITB (Institute for Technology and Education, University of Bremen, Germany) opracował następnie takie metody badań stosowanych w projekcie, które pozwoliły osiągnąć poziom generalizacji umożliwiający przenoszenie tych metod do różnych środowisk roboczych i kultur przemysłowych wykraczających poza przemysł motoryzacyjny w Niemczech. Celem jest wsparcie rozwoju i organizacji edukacji i szkolenia zawodowego w różnych kontekstach roboczych w taki sposób, aby edukacja i szkolenie zawodowe mogły być ściśle związane z praktyką.

Uważamy, ze jest możliwe opisanie nowoczesnej pracy w relacji do zastosowanych zadań nastawionych na proces pracy, odnosząc się do stosownych umiejętności i wymagań szkoleniowych. Opisów tych można dokonać, pomijając konkretne definicje lub pojęcia pracy, zatrudnienia czy systemów szkoleniowych. Jesteśmy przekonani, ze osoby, które osiągnęły umiejętności wykonywania tych zadań powiązanych z pracą najlepiej nadają się do przygotowywania opisów tego rodzaju.

Obydwa niniejsze poradniki łącznie przedstawiają podstawową koncepcję jak edukacja i szkolenie powiązane z pracą mogą być ulepszone we współpracy z wykwalifikowanymi pracownikami. Po wdrożeniu Poradników przez partnerów projektu EVABCOM, zostaną one zmodyfikowane.

1. Rola zadań ewaluacyjnych w projekcie EVABCOM

Unia Europejska wspiera projekt EVABCOM dla ułatwienia ewaluacji edukacji zawodowej. Chcielibyśmy pokrótce zarysować jakie wiążą się z tym oczekiwania z perspektywy Unii Europejskiej. Programy Leonardo da Vinci z reguły nie finansują projektów badawczych, są natomiast nastawione na wspieranie wdrażania i rozpowszechniania istniejących i dobrze ugruntowanych metod edukacji i szkolenia zawodowego w Europie po to, by stosować osiągnięcia i wiedzę wygenerowane w badaniach i w praktyce.

EVABCOM jest wspierany przez Unię Europejska aby stworzyć instrument oceny, który może wspomóc ewaluacje edukacji zawodowej. Metody i instrumenty jakie stworzono w innych kontekstach nie zostały jeszcze zastosowane dla tego celu. Pomimo tego, że przykłady zadań ewaluacyjnych zilustrowanych w rozdziale 4 są efektem stosowanych metod, zostały one stworzone w innym kontekście i dla innego celu. Aby projekt EVABCOM mógł zakończyć się sukcesem, metoda ewaluacji edukacji zawodowej musi być w dalszym ciągu dopracowywana w sensie zaadaptowania dostępnych już komponentów.

Jeśli chodzi o niniejszy Poradnik, oznacza to, że nie wystarczy prosty opis pojęcia zadań ewaluacyjnych jako narzędzia ewaluacji. Po pierwsze musimy zająć się problemem najefektywniejszej metody ewaluowania edukacji zawodowej. Nie może to oczywiście oznaczać mierzenia kwalifikacji indywidualnych robotników. Musimy raczej pośrednio powiązać wyniki indywidualne z jakością i skutecznością stosownych systemów edukacji i szkolenia zawodowego. Wiązanie pomiaru indywidualnych wyników i skuteczności systemów VET stawia nas wobec szeregu trudności, którymi trzeba się zająć w trakcie pracy przy wykorzystaniu zadań ewaluacyjnych.

1.1 Metody ewaluacji procesów edukacyjnych

Świadomie planowane procesy edukacyjne z reguły implikują jakiś rodzaj ewaluacji oczekiwanych wyników. To stwierdzenie zilustrujemy prostym przykładem: w pewnym momencie każde dziecko chce użyć noża. Jednakże od oceny matki zależeć będzie określenie odpowiedniego momentu, na przykład uwzględniając poziom motoryczności dziecka i rozwoju sensorycznego. Kiedy dziecko dojrzeje do momentu, w którym otrzyma pozwolenie na użycie noża pod nadzorem matki, jest bardzo prawdopodobne, że dla celów pierwszej próby matka wybierze odpowiedni przedmiot, który ani nie jest za twardy ani za miękki, tak by dziecko było w stanie poradzić sobie z materiałem. Możemy oczekiwać, że matka później także wybierze odpowiedni nóż, który ani nie jest niebezpiecznie zbyt ostry, ani zbyt tępy. Proces nauczania najprawdopodobniej będzie się składał z włożenia noża do rączki dziecka i zademonstrowania, jak go trzymać, a następnie wzięcie rączki dziecka z nożem i wspólne przecięcie pierwszego kawałka. Od oceny matki zależy ustalenie, kiedy dziecko będzie w stanie używać noża samemu, najprawdopodobniej pod nadzorem matki. Po kilku pierwszych razach matka dowiaduje się do jakiego stopnia dziecko wciąż potrzebuje jej pomocy.

Tak szczegółowy opis powyższego przykładu nie wydaje się być konieczny, ponieważ uczenie dziecka jak ciąć za pomocą noża może przyjąć różne formy. To, o co w tym wszystkim chodzi, sprowadza się do tego, że niezależnie od tego, jak dziecko jest instruowane co do używania noża, musi ono w końcu udowodnić, że potrafi radzić sobie z nożem bez pomocy. W przeciwnym razie mielibyśmy do czynienia z brakiem odpowiedzialności.

Powyższy przykład został wybrany aby pokazać, że procesy świadomej edukacji są zazwyczaj powiązane z pewnego rodzaju `sprawdzaniem', `nadzorem' lub `ewaluacją'. Jednakże ten wzajemny związek nie rozwiązuje problemu aspektu normatywnego i prawomocności jakiegokolwiek rodzaju ewaluacji czy oceny. W naszym przykładzie oczekiwalibyśmy, że matka postąpi w sposób mający na względzie dobro dziecka, stosując (nie wprost) standard normatywny (na przykład: dziecko nie trzyma po prostu noża, lecz trzyma go we właściwym końcu), jak również odpowiednią metodę ewaluacyjną (na przykład obserwując jak dziecko radzi sobie z nożem, a nie po prostu sprawdzając, czy przedmiot został przecięty prawidłowo).

Gdy przechodzimy do kwestii normatywnych standardów wykonania i ich prawomocności, w miarę oczywisty związek między procesami edukacyjnymi a ich oceną i ewaluacją zmienia się w kompleksowy problem edukacyjny. Ta kompleksowość doprowadziła do dużej różnorodności metod ewaluacyjnych w tej dziedzinie.

W tym poradniku nie przedstawiamy zakresu w jakim należy omawiać szczegółowo wszystkie te różne metody. Będziemy natomiast koncentrować się na kilku decydujących fazach i aspektach ich skuteczności w celu wydobycia zasadniczych kryteriów, które powinny spełniać metody ewaluacji edukacji zawodowej.

A - Metoda ewaluacji immanentnej.

Nauczyciel szkolny zazwyczaj pozwala uczniom pisać egzamin (sprawdzian) po zakończeniu jednostki dydaktycznej: próbuje ocenić efekty nauczania przez pośrednie sprawdzenie swojego własnego wkładu i bezpośrednie przetestowanie osiągnięć uczniów. Normatywne standardy pomiaru oczekiwanych wyników w pośredni sposób stanowią część nauczanego programu. Jednakże ocenienie zasadności procesu dydaktycznego jest bardziej problematyczne: czy inna forma nauczania przyniosłaby wyższe osiągnięcia uczniów? Możemy stwierdzić generalnie, że ewaluacja jest zawsze problematyczna i nieadekwatna, gdy osoba odpowiedzialna za wyniki nauczania to ta sama osoba, która je ocenia.

B - Metoda ewaluacji porównawczej

Nie należy do rzadkości ocenianie podobnych albo nawet różnych rodzajów instytucji w perspektywie porównawczej. Na przykład jest dość powszechne porównywanie szkół na poziomie regionalnym, nawet jeśli są to szkoły różnego rodzaju, ale realizują podobne cele jak na przykład rozwijanie umiejętności posługiwania się językiem ojczystym 12-latków. W tym przypadku jest nawet możliwe, co z całą mocą wykazały TIMSS i PISA, przeprowadzenie ważnej w skali międzynarodowej i statystycznie uzasadnionej oceny międzynarodowej. W perspektywie komparatywnej taka ewaluacja dopuszcza przedstawianie wspartych empirycznie stwierdzeń w zakresie jakości nauczania w tych stosownych instytucjach.

W tym miejscu jednakże natrafiamy na istotne problemy związane ze standardami normatywnymi. W przypadku TIMSS i PISA problemy te zostały rozwiązane metodami statystycznymi: `różnice w wynikach' które wykazały testy zostały uszeregowane w różne kategorie zgodnie ze skalą od `zły' do `dobry'. Rozmieszczenie tych różnych poziomów dokonano retrospektywnie w trakcie oceny wyników testów. Metodologicznie ma to dramatyczne implikacje. Testy zostały zaprojektowane niezależnie od poziomów wyników, które zostały zdefiniowane dużo później dla ewaluacji rezultatów. Innymi słowy można wyciągnąć wniosek, że ewaluatorzy nie wiedzieli, co testowali.

Jeśli chodzi o TIMSS i PISA, problem prawomocności został rozwiązany poprzez oparcie się na wkładzie dydaktycznym (TIMSS - nauki przyrodnicze i tematyka techniczna; PISA - biegłość w języku ojczystym) i jego znaczenia dla rozwoju kompetencji uczniów. W większości najbardziej uprzemysłowionych krajów, główna część wykształcenia ogólnego jest spójna z programem nauczania. Zbiega się to z koncepcja Piageta przejścia od myślenia w kategoriach konkretnych sprawności do myślenia w kategoriach sprawności formalnych jako zasadniczej fazy rozwojowej młodzieży pojawiającej się w wieku około 15 lat. Faza ta oznacza, że człowiek w pełni wykształcił umiejętność myślenia naukowego jako że w pełni rozwinął zdolność językową w sensie możliwości rozumienia i rozszyfrowywania wszystkich aspektów świata zakodowanego językowo.

Przenosząc ten pogląd na TIMSS i PISA można by stwierdzić, ze poziom wiedzy tam testowanej odnosi się do „naturalnego programu nauczania”, który jest stosunkowo niezależny od jakości zastosowanego programu i metod dydaktycznych. Formuły fizyczne czy matematyczne, na przykład, nie są specyficzne kulturowo . Stanowią one raczej część „uniwersalnego programu nauczania” i z punktu widzenia dydaktyki są dopasowywane do programu przez nauczyciela przedmiotów ścisłych. Ewaluując systemy edukacyjne na bazie porównawczej możliwe jest rozpisanie różnych formuł zgodnie z odpowiednimi poziomami kompetencji i oszacowanie statystyczne ich rozłożenia.

W tym miejscu interesujące jest przyjrzenie się aspektowi prawomocności. Jeśli formuły są testowane na warunkach analizy `wejście - wyjście', uzyskamy konfigurację dwójkową, która nie daje wyobrażenia o zróżnicowaniu rozwoju kompetencji. Przy tym podejściu rozpoznanie czy formuła nie jest znana, czy nie została zrozumiana, nie jest możliwe. Jednak z punktu widzenia dydaktyki (oraz uczenia się) brak znajomości formuły bardzo się różni od braku zrozumienia formuły. Innymi słowy, można również zadać pytanie czy celem metody nauczania jest umożliwienie uczniom reprodukowania formuły czy zaszczepienie rozumienia fizyki.

TIMSS i PISA zastosowały metodę ewaluacyjną, która bardziej sprawdzała „kompetencje” niż „wiedzę”. Jedno i drugie studium skupiło się na umiejętności uczniów zaprezentowania treści i metod przekazanych dydaktycznie w sposób spójny i zorganizowany. Wyniki statystyczne wykazują „zespoły kompetencyjne”, które wysoce korelowały z poziomami rozwoju kompetencyjnego uczniów. Niesie to z sobą dalekosiężne implikacje metodologiczne ponieważ umożliwia nie tylko interpretowanie „poprawne” rozwiązań testów, lecz także tych, które są „fałszywe”. Metoda ewaluacyjna, która nie tylko wprowadza rozróżnienie między „poprawnym” i „błędnym” tworzy przestrzeń interpretacyjna tak, żeby systematycznie analizować „relatywnie słabo rozwinięte kompetencje”. PISA w szczególności oceniła proces rozwoju kompetencji, który mógłby być powiązany z efektywnością systemów szkolnych: jeśli w kraju A, 60 % uczestników testu pozostaje na poziomie kompetencji III, podczas gdy w kraju B 70 % przetestowanych odpowiada poziomowi kompetencji IV można wyciągnąć wniosek, ze kraj B ma prawdopodobnie dużo lepszy system edukacyjny niż kraj A.

Jak wykazano, metoda ewaluacji komparatywnej z pewnością ma mocne strony i zalety. Jednakże, kiedy przejdziemy od kształcenia ogólnego do ewaluacji kształcenia zawodowego, zastosowanie tej metody okaże się ograniczone i mogłoby spowodować poważne trudności. Dlaczego? Jak stwierdzono powyżej metoda ewaluacji komparatywnej zastosowana w TIMSS i PISA korzystała z pewnego rodzaju „naturalnego programu nauczania” cechującego opanowywanie języka ojczystego i / lub nauk przyrodniczych. W kształceniu zawodowym nie odnajdujemy rzeczy, które można porównywać. Nie jest również możliwe zastosowanie statystycznego wzoru kompetencji w odniesieniu do rodzaju wiedzy, która może być przedstawiona w postaci formuł bądź naukowych „zasad” lub „praw”, tym samym odzwierciedlając poziom formalno-wykonawczego rozumowania w duchu Piageta. W celu opanowania jakiejś dziedziny zawodowej lub specjalizacji raczej napotykamy szeroki wachlarz różnorodnych kompetencji. Różnorodność ta czyni proces oceny kompetencji w kształceniu zawodowym niezwykle trudnym.

Kolejnym silnym argumentem uzasadniającym inne podejście jeśli chodzi o ewaluacje kształcenia zawodowego jest fakt, że rozwój kompetencji zawodowych zwykle następuje po osiągnięciu przez młodych ludzi pewnego stopnia dojrzałości. Piaget uważał formalnie sprawny poziom myślenia logicznego za ostatnie stadium rozwoju poznawczego. Jednakże w teorii rozwojowej musi się znaleźć coś, co wykracza poza to stadium. To właśnie w rozumowaniu pedagogicznym znajdujemy rozróżnienie, które wyjaśnia relacje między wykształceniem ogólnym i zawodowym.

Rozróżnienie to można wyjaśnić następująco: jeśli weźmiemy przykład z 16-latka, wszyscy najprawdopodobniej zgodziliby się, że w tym wieku jest on wystarczająco dorosły, aby wykonywać prace pełnoetatową. Praca 8-latka natomiast uznana by została w większości współczesnych kultur za zatrudnianie nieletniego. Klasyfikacja ta jest słuszna nie tylko z perspektywy rozwojowej przyjmującej, że w tym wieku dzieci nie są jeszcze w pełni rozwinięte poznawczo, psychicznie i fizycznie. Lecz także w odniesieniu do pracy, 8-latek nie może być uznany za osobę suwerenną, kontrolującą swoje poczynania. Praca to nie zabawa. Praca wymaga pewnego oddelegowania w sensie uświadomienia sobie własnego ja w relacji do roboczych czynności procesów i kontekstów. Kształcony zawodowo 16-latek również uczy się wykorzystywania swych umiejętności w sposób funkcjonalny, to znaczy funkcjonalny w relacji do pracy a nie do samego siebie. Osoba zdolna do świadomego odnoszenia się do procesu roboczego, wchodzi w obszar bardzo różniący się od umiejętności wykonywania zadań roboczych w sensie możliwości spełniania wymagań w konkretnej roboczej sytuacji.

To właśnie z tym poziomem abstrakcji młodzież musi się zmierzyć kiedy rozpoczyna kształcenie zawodowe po zdobyciu wykształcenia ogólnego w wieku około 16 lat. W perspektywie rozwojowej ta faza zawsze podlega tym samym zasadom niezależnie od rodzaju szkolenia zawodowego czy specjalizacji, oraz poziomu sprawności jakiego wymaga to szkolenie. Z reguły nie ma różnicy, czy ktoś podlega szkoleniu jako mechanik, czy kontynuuje wykształcenie na poziomie wyższym. W obu przypadkach oczekuje się, że ta osoba w późniejszym okresie będzie w stanie zastosować to, czego się nauczyła w kontekście odniesionym do pracy. Z tego punktu widzenia „wykonywanie pracy” odbywa się według tych samych pryncypiów, niezależnie od tego czy ktoś naprawia samochody czy wykonuje pracę naukową.

C - Metoda ewaluacyjna oparta na teorii rozwojowej.

Pamiętając o znaczeniu, z punktu widzenia rozwojowego, stadium uświadomienia sobie własnego ja, które potrafi odnosić się do pracy w sposób funkcjonalny, przedstawimy teraz pokrótce jakie implikacje metodologiczne ma ugruntowana z punktu widzenia rozwojowego ocena lub ewaluacja kształcenia zawodowego. W tym celu potrzebny jest z jednej strony jakiś rodzaj teorii rozwojowej, który opisze i pozwoli zrozumieć najistotniejsze kompetencje, które uczniowie uzyskują w trakcie kształcenia zawodowego i które są niezbędna do opanowania konkretnej specjalizacji lub dziedziny zawodowej. Z drugiej strony naszą podstawę teoretyczną należy uzupełnić instrumentem oceny, który nie tylko ułatwia ocenę konkretnych kompetencji, lecz także określi jak one rozwijają się w czasie.

Zanim przyjrzymy się celom jakiegokolwiek rodzaju ewaluacji musimy zrekapitulować niedociągnięcia dwóch metod opisanych powyżej w punktach A i B. Metoda A zawiera porównanie między wejściem i wyjściem. Nauczyciel okresowo sprawdza jak dużo materiału przekazanego uczniowie są w stanie zreprodukować. Zważywszy, ile czasu może zająć proces indywidualnego rozwoju kompetencji, testowana jest ona stosunkowo często. Nawet jeśli ocenę przeprowadza inny nauczyciel lub weryfikator zewnętrzny, metoda ta uniemożliwia określenie, do jakiego stopnia te różne dydaktyczne komponenty lub jakość dydaktyki wpłynęła na wyniki lub osiągnięcia uczniów. Stąd tez nie można uznawać metody A za przydatne narzędzie dla prowadzenia oceny kompetencji.

Także metoda B nie spełnia wymagań ewaluacji kompetencji uzyskanych w ramach kształcenia zawodowego. W przypadku matematyki to program nauczania określa, co uczeń z konkretnym stopniem powinien umieć. Ten program nauczania spełnia bardzo specyficzne organizacyjne i dydaktyczne wymagania, które są podobne w większości narodowych systemów edukacyjnych. Metoda ta pozwala na ocenienie czego uczeń nauczył się w klasie i stanowi instrument rozwijania porównawczej perspektywy między szkołami na poziomie regionalnym lub nawet międzynarodowym, pod względem indywidualnych poziomów osiągnięć. Interpretacja analizy ilościowej prowadzi do połączenia różnic w poziomach wyników z różnicami w rozwoju poznawczym uczniów. To, jednakże nie rozwiązuje problemu zrozumienia, czy i, co najważniejsze jak uczeń zrozumiał zasady matematyki. Innymi słowy, proces rozwoju kompetencji i kwestie, czy ten proces opiera się na konkretnych zasadach, nie mogą być ocenione.

Metody A i B mają to wspólne, że obie oceniają wcześniej zdefiniowany poziom rozwoju kompetencji w określonym momencie. Nie oceniają jednak one procesu rozwojowego osiągnięć kompetencyjnych. Prawdopodobnie jest to stanowiący największe wyzwanie aspekt ewaluacji opartej na teorii rozwojowej: jego celem jest precyzyjne oszacowanie jak kompetencje rozwijają się w czasie w relacji do konkretnego okresu kształcenia.

Stąd tez adekwatne narzędzie oceny musi spełniać pewne kryteria. Jeśli jest ono zastosowane w jakimś rodzaju zadania ewaluacyjnego, które uczniowie mają wykonać, wynik w sensie: czy i jak zadanie zostało opanowane, musi zawierać wszystkie informacje niezbędne do zrozumienia procesu rozwojowego. Wynik nie tylko musi dawać wyobrażenie co do poziomu wykonania zadania lecz, co najważniejsze, musi uwzględniać odniesienie się do procesu prowadzącego do wypracowania lub nie wypracowania konkretnego rezultatu. Taki system odniesienia w celu interpretacji wyników może jednakże być zasadny, tylko wówczas, gdy opiera się on na teoretycznych założeniach co do samego procesu kształcenia rozwojowego.

Zanim wgłębimy się w niektóre spośród założeń teoretycznych, chcielibyśmy przedstawić kolejny ważny aspekt: moment, kiedy ocena ma miejsce w relacji do całkowitego okresu kształcenia. Właśnie zwracając uwagę na moment interwencji, możemy jasno określić zróżnicowanie między metodą A/B a metodą ewaluacyjną opartą na teorii rozwojowej. W przypadku tej ostatniej, samo określenie momentu interwencji już formułuje bardzo ważne przesłanki w zakresie procesu kształcenia.

Narzędzie oceny oparte na teorii rozwojowej nie wyznacza momentu ewaluacji w sposób losowy. Uzasadnienie tego momentu jest raczej oparte na określeniu konkretnego momentu interwencji w relacji do procesu kształcenia, tym samym uwypuklając perspektywę rozwojową. Konkretnie, podejście to oznacza losowy dobór grupy uczestników podlegającej ocenie podczas kształcenia, dla przykładu oczekując od nich okresowego wykazania opanowania pewnych zadań zawodowych. Metoda ta pozwala uzyskać prawomocne wyniki, jednak jej wadą jest czasochłonność.

Metodę tą można uprościć - a dla celów realizacji projektu EVABCOM, takie uproszczone podejście jest całkowicie do zaakceptowania - poprzez zredukowanie oceny do jednego zadania na początku i jednego pod koniec okresu szkolenia zawodowego, co oznacza prace z dwiema grupami. Możliwe powinno być interpretowanie różnych zadań ewaluacyjnych w procesie rozwoju zawodowych kompetencji i nawet odnoszenie tych wyników do jakości kształcenia zawodowego w sensie możliwości wyciągania wniosków co do dydaktycznego poziomu wsparcia procesu kształcenia.

Różnice między metodami ewaluacyjnymi B i C mogą być graficznie przedstawione w następujący sposób:

0x08 graphic

Rys.1. System TIMSS wybiera sprawdziany spośród standardowego programu nauczania; ocenia
on w jakim stopniu instytucja dydaktyczna przyczynia się do transferowania standardów
edukacyjnych.

0x08 graphic

Rys.2 System EVABCOM wychodzi od praktyki roboczej i stosownych wymagań. Zadania ewaluacyjne odnoszą się bezpośrednio do procesu wykonawczego. Stopień opanowania danego zadania daje wyobrażenie o poziomach rozwoju kompetencji. Metoda ta ocenia jak instytucja dydaktyczna wspiera rozwój kompetencji.

Zasadność wyników metody B wzrasta jeśli odniesie się sprawdziany do programu nauczania, według którego dokonuje się pomiaru przy wzroście umiejętności. Różnice w wynikach powinny rozkładać się wokół przeciętnej przedstawionej przez program nauczania. Natomiast sprawdziany w metodzie C są tworzone na podstawie rzeczywistych wymagań roboczych, które nie są wcześniej określane jako odpowiadające standardom rozwojowym. Podejście to raczej uwzględnia możliwość prezentowania w trakcie sprawdzianu, przez uczniów początkujących, błędnych lub niekompletnych rozwiązań. Ważne jest przy tym uzyskanie rezultatów, które wykazują znaczący postęp w momencie gdy uczestnicy testów są ponownie oceniani w późniejszej fazie. Fakt, że przedstawione wyniki stają się bardziej złożone, dokładne i poprawne pod koniec okresu kształcenia, oznacza, ze nastąpił postęp w nauce i opanowywaniu umiejętności.

Jak już stwierdzono, oczekuje się, że precyzja i złożoność rozwiązań prezentowanych przez testowanych uczestników, znacznie się różnią w zależności od momentu interwencji. Interpretacja tych różnic (oraz odniesienie ich wstecz do rzeczywistych procesów roboczych) musi być jednak oparta na pewnych założeniach rozwojowych. Założenia te będą przedstawione w następnych rozdziałach, co pomoże nam zrozumieć przedstawione zasady teorii rozwojowej.

1.2 Podstawowe zasady teorii rozwojowej

W celu zastosowania podejścia metodologicznego wynikającego z podejścia rozwojowego, musimy zdefiniować pewne podstawowe zasady teorii rozwojowej. W ramach niniejszego poradnika fundamentalne założenia teoretyczne mogą być jedynie naszkicowane, a nieobjaśnione szczegółowo. Dla celów praktycznych będziemy musieli rozpocząć od poziomu szczegółowości, który, być może, nie wyjaśni w pełni naszego podejścia teoretycznego, ale posłuży lepszemu zrozumieniu tego, jak należy stosować metodologię opracowana w ramach projektu EVABCOM.

Każda forma kształcenia ma w założeniu dążenie do jakiegoś rodzaju osobistego rozwoju. Nic zatem dziwnego, że interwencje są zazwyczaj oparte na świadomie przygotowanych i normatywnych zasadach. Ważniejsze jest jednak uznanie, że jakikolwiek rodzaj interwencji może w ostateczności uruchomić taki proces rozwojowy, który dana osoba może potencjalnie zrealizować. Jest niewątpliwie bezsporne, ze ludzie rozwijają się i zmieniają w miarę upływu czasu. Nas interesuje odpowiedź na pytanie jak powstaje proces rozwojowy, jak przebiega w czasie, jaką logika się kieruje, jak może być oceniony, oraz, czy możemy wyciągać generalne wnioski z tej oceny, z punktu widzenia kształcenia zawodowego i rozwoju kompetencji.

Ponieważ przyglądamy się rozwojowi pojedynczej osoby i temu rozwojowi przypisujemy konkretną metodę badawcza, musimy zapewnić uwzględnienie w naszym instrumentarium oceniania faktu, że te postępy zawodowe mogą przybierać wiele różnych form i kierunków. Staje się to oczywiste, kiedy spojrzymy na różnorodne specjalizacje zawodowe pochodzące z różnych sytuacji roboczych i zadań zawodowych , które każda specjalizacja zawiera. W rezultacie istnienia szerokiego wachlarza wymagań roboczych, rodzaje rozwoju zawodowego mogą ogromnie się różnić. Fakt, czy ktoś decyduje się zostać pielęgniarką, elektrykiem, czy tez menadżerem jest kluczowy dla przebiegu procesu rozwojowego (także z punktu widzenia empirycznego).

Przyjmujemy, że procesy rozwoju zawodowego trzech przedstawionych osób znacznie się różnią, szczególnie dlatego, ze są one ściśle powiązane z odpowiednią praktyką roboczą. Niemniej mogą one ujawniać pewne elementy wspólne, kiedy spojrzymy na podejście tych osób do kwestii sposobu opanowania czy wykonywania typowych zadań występujących w ich zawodach. Dla ilustracji ograniczymy się do trzech możliwych podejść jakie indywidualna osoba może przyjąć:

Powyższe zróżnicowanie opiera się na teorii Chomskiego, w której przystosowuje on swoje założenia lingwistyczne w różnych stadiach opanowania języka do metody szkolenia zawodowego. Dodaliśmy jednak do tego `podejście naiwne', ponieważ trzeba przyjąć realna hipotezę, że zawsze istnieją domeny, które były całkowicie nieznane w przeszłości do pewnego momentu, który pojawia się, na przykład, w wyniku pojawienia się innowacji technicznych. Można by przykładowo przyjąć, że w roku 1985 mało było prawdopodobne, że osoba o wysokim stopniu wykształcenia ogólnego mogłaby znać technologię odtwarzania CD. W tamtym czasie, w sposób umiejętny odtwarzacze CD mogli obsługiwać jedynie tacy specjaliści jak inżynierowie czy technicy obsługi.

Dla praktycznej oceny kształcenia zawodowego, pomocne może być rozważenie kolejnych dwóch różnych kategorii: niższej i wyższej. Kolejne podejście można by nazwać `profesjonalnym'. Odnosi się ono do stosowania zawodowych umiejętności jakie ktoś dotychczas zdobył w taki sposób, ze te umiejętności przenoszone są do innych kontekstów i stosowane do innych celów. Z rozwojowego punktu widzenia różnica miedzy podejściem `biegłym' i `profesjonalnym' jest kluczowa.

Zilustrujemy je następującym przykładem:

Takie tabloidy jak The Sun, The Mirror czy niemiecki Bild mają duże rzesze czytelników, pomimo tego, że nie polegają one w swej działalności na wyszukanym stylu języka dziennikarskiego. Być może nie stosują one wysokich standardów dziennikarskich, lecz z punktu widzenia marketingu swojego produktu są one wysoce `profesjonalne'.

Tę samą zasadę można przenieść do kształcenia: stosowanie i transferowanie umiejętności zawodowych metodami różniącymi się od tych, których wymagałyby standardy zawodowe w wąskim sensie, tworzy istotny element profesjonalizmu. Fakt ten oznacza jednak, że umiejętności zawodowe także mogą być wykorzystywane w sposób biegły, czyniąc z podejścia biegłego wstępny warunek realizacji `profesjonalnego' podejścia do kwestii opanowania umiejętności wykonywania zadań roboczych.

W kategorii niższej, podejście `naiwne' także może przybierać różne formy. Podczas empirycznego oceniania kształcenia zawodowego, podejście naiwne może, z jednej strony oznaczać, ze konkretne zadanie jest całkowicie nieznane i że dana osoba nie ma pojęcia o tym jak je opanować lub wykonać zgodnie z pewnymi oczekiwaniami.

Z drugiej strony podejście `naiwne' może opierać się na założeniach i wyobrażeniach, które pochodzą z innych uwarunkowań i nie mogą być bezpośrednio transformowane. W tej sytuacji dana osoba wyobraża sobie opanowanie wykonania konkretnego zadania zawodowego na podstawie fałszywych założeń. Podejście tego rodzaju można tez nazwać `ideologicznym' w tym sensie, że błędne założenia mogą przyjąć formę uprzedzenia. Zgodnie z klasyczną filozofią grecką, interwencje dydaktyczne powinny rozpoczynać się od próby pokonania uprzedzeń tego typu. Dla każdego podejścia rozwojowego jest to problem ważny, gdyż błędne założenia mogą doprowadzić do powstania istotnych blokad, które hamują jakikolwiek dalszy rozwój. Z tego powodu podejście `naiwne' zasługuje na uwagę w naszej ocenie empirycznej.

Co więcej, nie należą do wyjątków sytuacje, w których błędne wyobrażenia i założenia co do realizacji zadań związanych z pracą, prowadzą do różnego rodzaju opóźnień jeśli chodzi o rozwój myślenia pojęciowego. Ta forma opóźnienia może być zilustrowana dwoma przykładami z nauk fizycznych. W pierwszym przykładzie, ktoś zinterpretowałby energię, oddziałującą na nasze ciało jako cechę samego ciała. Tego, co ta osoba zauważa, nie wyjaśnia się w oparciu o prawa i reguły, lecz fenomenologicznie. Drugi przykład jest dość znany. Studentów prosi się o opisanie trajektorii kuli, która z dużą prędkością opuszcza spiralna rurę. Większość studentów przyjęłaby, że kula kontynuuje lot spiralnie, w ten sposób przyjmując, że kształt przewodu rurowego oddziałuje na trajektorię kuli nawet po jej wylocie z rury.

Prawdopodobnie najbardziej znany przykład rozumowania przedoperacyjnego w praktyce roboczej można znaleźć w stosowaniu edytora tekstu w informatyce. W tym przypadku adaptacja komputerów osobistych, tak aby odpowiadały wymaganiom typowych i dawno wdrożonych procesów roboczych, z pewnością nie zostanie w najbliższej przyszłości sformalizowaną. Powodem jest dynamika innowacji technologicznych, które następują zbyt szybko, aby jej całkowita funkcjonalność mogła być wcielona do istniejących procesów roboczych. Tym niemniej nowe zadania, które wyłaniają się w rezultacie innowacji technologicznych, tworzą ogromne możliwości, jeśli chodzi o wywołane zadania ewaluacyjne.

Zarysowaliśmy cztery podejścia, które różnią się między sobą w zakresie metod określania sposobu opanowania konkretnej pracy. To, jak każde z tych podejść jest realizowane w praktyce, określone jest przez konkretne wymagania wynikające z praktyki roboczej. Wszystkie cztery mogą być uznane za podstawę sposobu kształcenia, który jest przyjmowany w reakcji na konkretne robocze sytuacje. To one określają wymagania robocze, którym pojedynczy robotnik musi sprostać wykorzystując odpowiednie umiejętności.

    1. Pojęcie zadań ewaluacyjnych

Pojęcie zadań ewaluacyjnych nawiązuje do teorii zadań rozwojowych Havighursta. W ramach swojej teorii pedagogicznej wysunął on hipotezę, ze każdy człowiek musi kształtować umiejętności wykonywania konkretnych zadań w trakcie dorastania. Wyprowadzenie się od rodziców i uzyskanie niezależności ekonomicznej to przykłady takich zadań. Każde zadanie koresponduje z procesem rozwojowym, przez który młody człowiek musi przejść.

Ważne w tym miejscu jest uznanie wagi kontekstowego pochodzenia społecznego, bowiem według Havighursta, logika rozwoju ma podłoże społeczne; podlega wpływowi stopnia społecznego rozwoju jako takiego. Jest to ważny aspekt, gdy teorię Havighursta stosuje się dla potrzeb kształcenia zawodowego. Z punktu widzenia metodologicznego, Havighurst nie rozważał procesu rozwojowego jako hipotezy, a jego odmian, jako zmiennych logiki rozwoju. Określał natomiast sam rozwój jako zmienną, podczas gdy zadania, które odzwierciedlały bieżący wymiar rozwojowy były wykorzystywane do tworzenia hipotez co do możliwych kierunków rozwoju. Przeniesienie tej perspektywy do kontekstu zawodowego stwarza duże możliwości zainicjowania prac nad nowa teorią kształcenia zawodowego, która może wesprzeć ocenę systemu VET i jego skuteczności. Skuteczne systemy kształcenia zawodowego, które respektują aspekty rozwojowe kształcenia zawodowego, pomogą młodym ludziom stać się profesjonalistami. Z drugiej strony, ocena kształcenia zawodowego konkretnej osoby z punktu widzenia rozwojowego, pomoże dobrze się zorientować co do skuteczności systemu VET i programów nauczania.

1.4 Zadania ewaluacyjne w badaniach empirycznych.

W latach 80 - tych, niemiecka grupa badawcza zaadaptowała i zastosowała teorię zadań rozwojowych Havighursta do kształcenia nauczycieli i wychowawców pielęgniarek (Gruschka 1985). Podczas gdy przyjęcie teoretycznych założeń Havighursta było stosunkowo łatwe, przed projektem stanęło wyzwanie stworzenia nowej metody badań empirycznych. Metoda ta polegała na przydzieleniu uczniom zadań, które miały charakter `dylematu' ( na przykład chłopczyk siusia do piaskownicy a wychowawca musi na to zareagować). Analizując przedstawiane rozwiązania, naukowcy zdołali określić wzorce umiejętności radzenia sobie w trudnych sytuacjach, które odpowiadały różnym poziomom przed-profesjonalnych i profesjonalnych rozwiązań.

Bazując na tych doświadczeniach możliwe jest przyjęcie do projektu EVABCOM metod badawczych opartych na zadaniach rozwojowych typowych dla konkretnego kontekstu zawodowego. Największym wyzwaniem w trakcie adaptowania teorii Havibhursta i metody Gruschki, stanowi określenie odpowiednich zadań zawodowych, które odzwierciedlają poziom rozwoju umiejętności zawodowych. Przedsięwzięcie to wiąże się z kilkoma trudnościami. Na przykład, podczas gdy konkretne zadanie rozwojowe, zgodnie z określeniem Havighursta, stanowi dla młodego człowieka najprawdopodobniej jedyne wyzwanie w życiu, my oczekujemy, że liczne zadania zawodowe muszą być kształtowane stale. Z reguły większość z tych zadań jest zawiła i trudna dla początkujących, lecz może być uznana za `łatwe' przez wykwalifikowanego robotnika z dużym doświadczeniem zawodowym. W ten sposób stopień trudności nie jest cechą wyróżniającą zadania jako takiego, lecz podlega ocenie indywidualnego pracownika w odniesieniu do jego poziomu rozwoju umiejętności.

W celu ocenienia kształcenia zawodowego z perspektywy rozwojowej, musimy odejść od oceny doświadczonego pracownika , w naszym przypadku `eksperta'. Od doświadczonych robotników wykwalifikowanych wymaga się stałego rozwijania kompetencji w reakcji na nowe technologie, nowe zadania i nowe formy organizacji stanowiska roboczego. Ich status eksperta polega na umiejętności radzenia sobie z tymi zmianami i opanowywaniu wyzwań nieprzewidzianych.

Odchodząc od perspektywy eksperckiej, w pierwszej fazie może być wystarczające określenie eksperckiej koncepcji kształcenia, pracy i współpracy. Koncepcje eksperckie to stałe podnoszenie wiedzy, chęci do działania i profesjonalizm. Perspektywa praktykanta, w naszym przypadku `początkującego', powstaje w oparciu o założenie, że początkujący nie zdobyli jeszcze żadnego doświadczenia praktycznego w odpowiednim środowisku. Stąd należy oczekiwać, że środowisko pracy, procesy robocze i odnośne zadania są dla nich całkowitą nowością . Wysuwamy hipotezę, że w celu uzyskania pozycji uznanego członka społeczności, początkujący musi wypracować szczególna postawę w stosunku do kształcenia zawodowego, praktyki zawodowej i współpracy. Te trzy dziedziny korespondują także z trzema wymiarami, jakie chcemy zbadać w kontekście nowoczesnej pracy przemysłowej.

Kształcenie zawodowe

Oczekujemy zmiany postawy młodzieży wobec kwestii kształcenia, z postawy wynikającej z kształcenia na bazie szkoły, na postawę przyjmującą pojęcie nauki w miejscu pracy. Oznacza to zmianę postępowania i wykonywania obowiązków zgodnie z zaleceniami nauczycieli, na postawę pro-aktywnego ucznia z własną inicjatywą. Oczekuje się także dążenia do indywidualnych osiągnięć i wysokiego poziomu pracy, zamiast spełniania przeciętnych oczekiwań w celu uzyskania `zwykłego' zaliczenia (co jest typowe dla absolwentów szkół średnich). Właściwe rozumienie pojęcia kształcenia zawodowego pomoże młodemu człowiekowi przekształcić podejście `naiwne' w podejście oparte na wiedzy, a to wesprze proces opanowywania umiejętności zawodowych.

Konkludując, nasza pierwsza hipoteza dotycząca rozwoju brzmi: następuje przejście od pojęcia kształcenia w oparciu o szkołę, do pojęcia odpowiedniego kształcenia w miejscu pracy. Wobec tego nasze pierwsze pytanie badawcze to: Jakim kierujemy się pojęciem kształcenia?

Praktyka pracy

Oczekujemy, że pomimo faktu, że młodzi ludzie wciąż jeszcze się `uczą', zdają już sobie oni sprawę z tego, że wyrób, w którego produkcję są zaangażowani czy usługi, które świadczą, nie tylko służą celom kształcenia lecz maja także wartości praktyczne. Rzecz w tym, że normy zastosowania i oceniania tego, czego się nauczono, sprowadzają się obecnie do obiektywnego pomiaru jakości wyrobu (lub usług). Znika zatem samoreferencyjny system lub ocena uznaniowa jako metody oceniania postawy i wyników ucznia (jak to miało miejsce w warunkach szkolnych). Ścisłe powiązanie wyników z jakością produktu wymaga właściwego stosowania narzędzi roboczych i technologii, co przyczynia się do stopniowego doskonalenia umiejętności do poziomu, kiedy wyniki spełniają wymagania norm profesjonalnych.

Stąd też, nasza druga hipoteza dotycząca rozwoju brzmi: następuje przesunięcie od standardów kształcenia do standardów zawodowych, które odzwierciedlają standardy jakościowe produktu pracy. Stąd nasze drugie pytanie badawcze: jakim pojęciem wyników kierujemy się w odniesieniu do rzeczywistych wymagań dotyczących pracy?

Modele kooperacji związanej z pracą

Celem szkolenia zawodowego jest ostateczne przyznanie praktykantowi statusu członkowstwa odpowiedniego środowiska pracy w momencie ukończenia przez niego procesu szkolenia. Oznacza to także uznanie faktu osiągnięcia niezbędnych umiejętności technicznych i uprawnień. Przyznanie statusu wykwalifikowanego robotnika jest warunkiem wstępnym członkostwa, co z kolei oznacza, że ze strony danej osoby oczekuje się postępowania zgodnego z przyjętymi zasadami i normami zawodowymi. Z reguły, procesy akceptacji i podporządkowania się normom i oczekiwaniom mają miejsce zanim można oczekiwać wśród kolegów wzajemnej lojalności i uczynności. Lojalność i wsparcie członków tej samej społeczności zawodowej pojawia się po przyznaniu statusu i może być uważane za rodzaj premii z tytułu członkostwa.

Coraz wyraźniej widać, że poza normami zawodowymi dynamikę współpracy i wzajemnych relacji w ramach środowisk pracy zdominowuje, wymiar społeczny. Dla młodych absolwentów szkół, te ustalone wzory współpracy mogą stanowić szczególne wyzwanie, ponieważ początkujący pracownicy wciąż są przyzwyczajeni do typowych w wieku dojrzewania relacji z rówieśnikami. Obecnie, poprzez postawy i zewnętrzne cechy (takie jak rodzaj ubioru) ustala się cechy wyodrębniające, które pełnią funkcje integracyjne (w ramach koterii) lub segregacyjne (przeciwko innym grupom). W miarę jak początkujący uczy się jak porozumiewać się i utrzymywać relacje z członkami tej samej społeczności zawodowej, otwiera on sobie możliwość zostania uznanym członkiem na bazie swych umiejętności zawodowych.

Nasza trzecie hipoteza dotycząca rozwoju brzmi: następuje przesunięcie między postępowaniem zgodnym z normami wzajemnych relacji rówieśników a postępowaniem zgodnym z normami uznanymi wewnątrz odpowiedniej społeczności pracy. Naszym trzecim pytaniem badawczym będzie zatem: Jakim pojęciem integracji społecznej się kierujemy?

Poniższe zestawienie podsumowuje nasze główne teoretyczne założenia dotyczące instrumentu oceny metodologicznej jaki chcemy zastosować. Trzy hipotezy odzwierciedlają przejście od ogólnego do zawodowego kształcenia i nastawienia na wynik pracy. Stopień w jakim każdy uczestnik realizuje odpowiednie pojęcia, może podlegać systematycznej ocenie i może być połączony z różnymi poziomami rozwoju umiejętności poprzez rozróżniającą interpretacje tego, jak dane zagadnienie ewaluacyjne jest opanowywane. Ponadto na podstawie uzyskanych wyników będzie także można wyciągnąć wnioski co do skuteczności konkretnego systemu kształcenia zawodowego.

Hipotezy dotyczące rozwoju do konstrukcji zadań ewaluacyjnych.

1. Jakim kierujemy się pojęciem kształcenia?

Oczekujemy przesunięcia od kształcenia w oparciu o szkołę do kształcenia w oparciu o pracę.

2. Jakim pojęciem wyników kierujemy się w odniesieniu do rzeczywistych wymagań dotyczących pracy?

Oczekujemy przesunięcia od standardów kształcenia do standardów zawodowych, które odzwierciedlają wymagania dotyczące produktu pracy.

3. Jakim pojęciem integracji społecznej się kierujemy?

Oczekujemy przesunięcia od wzajemnych relacji rówieśników do modeli relacji typowych dla konkretnych środowisk zawodowych.

Rys. 3 Hipotezy rozwojowe konstrukcji zadań ewaluacyjnych.

Przyglądając się charakterowi powiązań tych trzech wymiarów z identyfikacją z pracą oraz motywacją, należy zauważyć, że odnoszenie się do praktyki pracy i ustalonych modeli wzajemnych relacji w ramach społeczności zawodowych, kształtowane jest także przez subiektywną ocenę ze strony każdego pracownika. On z doświadczenia wie jak w najlepszy sposób zastosować i stopniowo dostosowywać swoje umiejętności do zmiennych wymagań praktyki pracy. Jeśli ta stała adaptacja umiejętności i kompetencji ma rozwijać umiejętności, wykwalifikowany pracownik musi identyfikować się z zadaniem do wykonania. Identyfikowanie się z zadaniem oznacza także, że pojedynczy pracownik przyjmuje na siebie odpowiedzialność za wyniki. To właśnie społeczność zawodowa, z samej swej natury, wiąże tak zwaną `etykę pracy' ze standardami kwalifikowanej siły roboczej. Stąd fakt, że pracownicy identyfikują się z zadaniami jest podstawą ich motywacji do pracy.

2. Jak projektować zadania ewaluacyjne?

2.1 Faza I: Określenie typowych zadań zawodowych.

Powróćmy do celów projektu EVABCOM: chcemy wypracować metodę oceny jakości kształcenia zawodowego. Powinna ona mieć uniwersalne zastosowanie niezależnie od odpowiedniego narodowego systemu kształcenia. Jednakże przemysłowo-kulturowy kontekst musi wciąż być jasny, ponieważ konkretne wymagania wynikają z praktyki zawodowej, która często znacznie różni się od innych w zależności od kraju, firmy i kultury przemysłowej, żeby wymienić tylko kilka różnic. Dla przykładu: żeby określić wymagania dotyczące kwalifikacji mechanika narzędziowego w Szwajcarii, musielibyśmy jedynie spojrzeć na program nauczania szwajcarskiego programu kształcenia zawodowego w odniesieniu do mechaników narzędziowych. Natomiast w Zjednoczonym Królestwie, gdzie kształcenie i pozyskiwanie kwalifikacji odbywa się przede wszystkim w miejscu pracy, musielibyśmy zapoznać się z realiami danej firmy.

Pomijając faktyczne wymagania dotyczące pracy, metoda ekspert - pracownicy - warsztaty pracy pomogła nam określić listę typowych zadań zawodowych (typical professional tasks - TPTs) dla każdej dziedziny zawodowej, którą chcemy badać. Listy te stanowią podstawę następnych kroków ( jak zilustrowano w rys. 2). Zderzenie początkującego pracownika z typowym zadaniem przyniesie zawsze efekty, które mogą być zinterpretowane przez `eksperta' pod kątem tego, co one ujawniają jeśli chodzi o jego poziom kwalifikacji. Eksperci są z reguły bardzo dobrze zaznajomieni z typowymi zadaniami ponieważ wykonują je niemal rutynowo.

To właśnie ekspert może pomóc nam zaprojektować zadanie ewaluacyjne. Ekspert musi umieć określić listę typowych zadań zawodowych (TPTs) opierając się na rzeczywistych wymaganiach i skonstruować na tej podstawie zadania typowe i realistyczne.

Wyzwanie polega na przełożeniu zadania zawodowego na konkretne czynności, z których każda może dawać świadectwo opanowania wymagań w kompetentny sposób.

Pomimo tego, że ekspert wnosi techniczny `know-how' do procesu oceny stosowności zadania, potrzebna jest nam druga osoba ze znajomością teorii rozwojowej i zapoznana z metodą.

Ekspert techniczny nie będzie w stanie dokonać interpretacji wyników z perspektywy rozwoju. Na tym etapie istotne jest podejście metodologiczne, jako że zadanie ewaluacyjne nie może być konstruowane arbitralnie (patrz rozdział 1.1). Przełożenie zadania zawodowego na ewaluacyjne jest złożonym procesem i wymaga wysokiego profesjonalizmu.

W celu przetworzenia zadania zawodowego w zadanie ewaluacyjne, będziemy potrzebować kogoś, kto potrafi w ramach zdefiniowanego zadania zawodowego, określić kilka konkretnych wyzwań, które się wyraźnie różnią, a z których każde może zaświadczyć o kompetentnym opanowaniu zadania.

2.2 Faza II: Opracowywanie zadania ewaluacyjnego.

Dobrze opracowane zadanie ewaluacyjne podporządkowane jest zasadzie, ze jego podstawowy składnik symbolizuje kompetencje eksperta, będąc jednocześnie charakterystycznym dla danej dziedziny zawodowej. Projektując zadania ewaluacyjne musimy pamiętać, że z jednej strony podążamy w ślad za idealna `ekspercką' metodą opanowywania zadania, podczas gdy, z drugiej strony, chcemy także otworzyć przed początkującym pracownikiem możliwości przedstawienia metod alternatywnych. Aby móc obserwować proces `stawania się' ekspertem, bardzo ważny jest aspekt wbudowywania początkującemu w zadanie możliwości postępowania według podejścia `naiwnego'.

Zadanie ewaluacyjne powinno być sformułowane w sposób prosty i zawierać tylko kilka wymagań. Konkretnie, zadanie powinno być opisane jednym zdaniem, po którym podaje się kilka szczegółowych informacji, zazwyczaj dla uściślenia zawiłości, które stanowią wyzwanie dla bardziej doświadczonych pracowników. Te intencje muszą być jednak ukryte w tym sensie, że sformułowanie jako takie nie może sugerować, że jedno rozwiązanie jest lepsze od drugiego. Zadanie ewaluacyjne w odniesieniu do zawodu mechanika narzędziowego mogłoby, dla przykładu, zawierać różne rozwiązania łącznie z dwiema wielkościami produkcji. Dodatkowo, bardziej szczegółowa informacja powinna określać jak rozwiązanie ma być przedstawione ( np.: naszkicowanie rysunku, który wskazuje jak rozwiązanie wprowadzić w życie).

3. Jak wdrażać zadania ewaluacyjne

Dla określenia listy typowych zadań zastosowaliśmy metodę ekspert - pracownicy - warsztaty. Podejście to stworzyło możliwość określenia rzeczywistych wymagań miejsca pracy bez potrzeby uwzględniania standardów krajowych instytucji kształcenia i szkolenia zawodowego. Wdrożenie zadań ewaluacyjnych odbywa się według tej samej zasady ponieważ dążymy do oceny kształcenia zawodowego poza narodowymi kontekstami instytucjonalnymi i organizacyjnymi.

Jako partnerzy projektu EVABCOM wszystkie firmy, które były zaangażowane w system ekspert - pracownicy - warsztaty także zgodziły się wesprzeć wdrożenie zadań ewaluacyjnych w swoich przedsiębiorstwach. Eksperymentalny charakter projektu uzasadnia fakt, ze wdrożenie zadań ewaluacyjnych może być także realizowane na większą skalę. W tym celu możemy wyznaczyć kilku uczestników, którzy właśnie rozpoczęli szkolenie w firmie i kilku, którzy już je prawie ukończyli. Nieliczni spośród obu grup (`próbek') proszeni są o przedstawienie rozwiązań danych zadań ewaluacyjnych.

3.1 Faza I: Wdrożenie

Zalecamy, aby partnerzy projektu zaangażowali się w proces wdrożenia wspólnie z kwalifikowanymi ekspertami, którzy dysponują wiedza z dziedziny nauk dydaktycznych lub badań empirycznych. Jest jednak niedopuszczalne aby w tą fazę projektu włączeni byli pracownicy firmy. Po zaplanowaniu zadań ewaluacyjnych jak przedstawiono powyżej (patrz rozdział 2.2), uczestnikom daje się cztery godziny (czyli pół dnia roboczego) na wypracowanie rozwiązań. Wiemy już że najlepszą pora dnia dla tego ćwiczenia są godziny poranne .

Uczestnicy powinni być zebrani w cichej sali na terenie siedziby firmy. Dla podkreślenia faktu, że zadanie ewaluacyjne stanowi część procesu szkolenia zawodowego praktykantów jest istotne, żeby wybrana sala należała do firmy a nie do szkoły kształcenia zawodowego położonej poza firmą. Powitanie uczestników obejmuje krótki opis projektu EVABCOM i jego celów. Ta prezentacja nie może przekraczać 10 - 15 minut. Uczestnicy muszą następnie być poinformowani, że mają cztery godziny na wypracowanie swoich rozwiązań i że wolno im opuścić salę po skończeniu zadania. Dotyczy to również osób, które kończą bardzo wcześnie lub nawet rezygnują z sesji. Po zebraniu pojedynczych rozwiązań, uczestników prosi się o wypełnienie krótkiego kwestionariusza (patrz załącznik).

W trakcie tych czterech godzin sesji roboczej uczestnikom wolno używać wszystkich rodzajów narzędzi pomocniczych o ile stanowią one element ich sprzętu zawodowego. Dotyczy to także kalkulatorów i komputerów. Uczestnikom pozwala się (a nawet zachęca się do tego) swobodnie poruszać się po sali i współpracować z innymi uczestnikami. Niemniej prezentowane rozwiązanie musi odzwierciedlać prace indywidualną.

3.2 Faza II: Analiza

Analizując rezultaty musimy pamiętać, że prezentowane rozwiązania mogą bardzo się różnić pod względem jakości i formy. Poza heterogenicznością rozwiązań, mogą one także prezentować podejścia różnych osób jeśli chodzi o sposób opanowania i wykonania jakiegoś typowego zadania danego zawodu. Jak zostało omówione w rozdziale 1.2, podejścia te mogą się mieścić w zakresie od `naiwnego' do wysoce `profesjonalnego'. Pomimo tego, że dobrani uczestnicy i przedstawione rozwiązania w większości przypadków będą stosunkowo małe, nie możemy oczekiwać, że będziemy mogli zgromadzić przedstawione rozwiązania jako jedną całość. Przeciwnie, każde rozwiązanie może stanowić inny przypadek.

Analiza wyników może być wsparta zestawem pytań sformułowanych poniżej. W tym stadium jest bezwzględnie ważne zaangażowanie eksperta danej dziedziny zawodowej, który potrafi w sposób jasny zaszeregować poszczególne rozwiązania według tych pytań.

Instrument: pytania do przeprowadzenia analizy przedstawionych rozwiązań tak nie

1.Czy rozwiązanie odzwierciedla problem właściwy dla zadania ewaluacyjnego?

- Czy uczeń zrozumiał problem __ __

2. Czy przedstawione rozwiązanie może być realizowane w praktyce?

- Czy proponuje ono jakiś model dla praktyki pracy? __ __

3. Czy rozwiązanie odzwierciedla zapotrzebowanie i oczekiwania klientów?

- Czy przedstawione rozwiązanie może być użyteczne dla potencjalnych klientów? __ __

4. Czy rozwiązanie powraca do komponentów wiedzy zdobytej w trakcie

kształcenia zawodowego?

- Czy rozwiązanie przedstawia syntezę systematycznej wiedzy?

- Czy rozwiązanie jest po prostu wydedukowane? __ __

5. Czy rozwiązanie przedstawia doświadczenie wyniesione z nauki i pracy?

- Czy rozwiązanie przypomina prace naukową? __ __

6. Czy rozwiązanie jest odbiciem zarań roboczych i praktyki typowej

dla danej firmy?

- Czy rozwiązanie ma praktyczne implikacje dla działalności firmy? __ __

7. Czy rozwiązanie odzwierciedla kwestie kooperacji?

- Czy rozwiązanie odnosi się do problemu poziomej i pionowej

organizacji / podziału pracy w firmie? __ __

Przeprowadzając ewaluację wyników według tych pytań stwarzamy grunt dla dalszej interpretacji co do jakości szkolenia zawodowego i procesu nauczania. Jeśli możemy udzielić pozytywnych odpowiedzi na większość z tych pytań i odpowiedzieć `tak', przedstawione rozwiązania rzeczywiście pasują do zawodowych oczekiwań i norm. Wówczas możemy się spodziewać, że kształcenie zawodowe oferowane w danej firmie jest dobrej jakości. Niemniej, należy oczekiwać, że rozwiązania przedstawione przez osoby początkujące będą się bardzo różnić od rodzaju rozwiązań zaproponowanych przez uczniów zaawansowanych. Jeśli nie o to chodzi, to znaczy jeśli zaproponowane rozwiązania nie odbiegają znacznie od siebie między tymi dwoma kohortami, wówczas musimy zadać sobie pytanie, czy zadania ewaluacyjne zostały dobrze zaprojektowane w sensie zapewnienia przestrzeni dla prostych ale także bardziej złożonych i profesjonalnych rodzajów rozwiązań.

3.3 Faza III: Interpretacja

Zasadniczo interpretacja łączy analizę indywidualnej pracy uczestników. Syntetyzując wyniki indywidualne dążymy do wyciągnięcia wniosków co do tego, czy zapewnione szkolenie przygotowuje uczniów do opanowania zadań jakie napotykają oni w rzeczywistej praktyce zawodowej. To podejście odnosi się do tego, czy świadczone kształcenie zawodowe jest dostateczne aby przygotować uczniów do zdobycia umiejętności praktycznych. Naszym wiodącym pytaniem jest czy skutecznie wspomaga ono rozwój początkującego pracownika tak, by został `po ekspercku' wykwalifikowanym pracownikiem w swojej dziedzinie zawodowej, czy nie.

Stanie się `ekspertem' wykwalifikowanej pracy jest procesem indywidualnym. Jak przedstawiono w rozdziale 1.4 zakładamy, że osoba początkująca musi rozwinąć szczególną postawę jeśli chodzi o wykształcenie zawodowe, praktykę pracy oraz współpracę w celu uzyskania akceptacji jako członek danej społeczności zawodowej. Oznacza to, że osoba początkująca staje przed wyzwaniem ukształtowania nowego, opartego o pracę, pojęcia kształcenia, wykonywania pracy i integracji społecznej w trakcie swojego kształcenia zawodowego i późniejszych doświadczeń w pracy. To właśnie według tych trzech kategorii wypracowaliśmy nasze hipotezy co do konstrukcji zadań ewaluacyjnych, które teraz doprowadza nas znowu do interpretacji rozwiązań przedstawionych przez uczestników. Jak to robić zilustrowano poniższymi przykładami, które pochodzą z projektu GAB realizowanego we współpracy z niemiecką firmą Volkswagen od lutego 1999 do marca 2003.

4. Przykłady

4.1 Przykład A: Zadanie ewaluacyjne dla mechanika narzędziowego

Zadanie: wyznaczyć wgłębienia dla narzynek (numery 1 - 6 po każdej stronie)

Rysunek 4: graficzna ilustracja zadania ewaluacyjnego A dla mechanika narzędziowego.

Proponowane rozwiązanie

Rysunek 5: rozwiązanie `osoby negującej' przedstawiające strategię wycofywania się

`Osoba negująca' odmawia przedstawienia jakiegokolwiek wykonalnego rozwiązania. Neguje ona, ze zadanie stanowi część profilu pracy mechanika narzędziowego, twierdząc, ze produkcja zostanie wykonana przez `maszyny'. Pomimo 12 miesięcy kształcenia zawodowego, praktykant nawet nie dopracował się zrozumienia swojego zawodu i metod radzenia sobie z problemem ujętym w opisie zadania. Aluzja do produkcji masowej świadczy o tym, że uczestnik ani nie ma pojęcia o bezpośrednim procesie produkcyjnym, ani o ewentualnych narzędziach wymaganych do rozpoczęcia procesu produkcyjnego.

Rysunek 6: Rozwiązanie `rzemieślnika'

W tym przypadku, zaprezentowane rozwiązanie odzwierciedla doświadczenie ucznia zdobyte w warsztacie typu szkolnego. Uczestnik przedstawia wykonalny model wykonania wgłębienia, jednak nie rozumie, że mechanik narzędziowy nie produkuje finalnego wyrobu, że sednem profilu zawodowego mechanika narzędziowego jest wykonywanie narzędzi służących do produkcji części. Stąd też, uczeń przedstawia rozwiązanie, które nie koresponduje z profilem zawodowym. Rozwiązanie to może być skuteczne do produkcji jednej narzynki, ale nie do produkcji masowej.

Rysunek 7: Rozwiązanie, które odzwierciedla profil zawodowy mechanika narzędziowego

To rozwiązanie w pełni odpowiada typowemu zadaniu roboczemu i oczekiwaniom w stosunku do wykwalifikowanego mechanika narzędziowego. Wykazuje ono, że uczeń zrozumiał sens zawodu. Zaproponowane zadanie uwzględnia tylko jeden pojedynczy ruch, który tworzy 21 wgłębień niezbędnych do wykonania tej pracy. Przedstawia to, pod względem koncepcyjnym, idealne rozwiązanie, które wymaga dalszego rozpracowania, kiedy dojdzie do wprowadzenia modelu do praktycznego zastosowania. Analizując rozwiązanie musimy mieć świadomość, że ten poziom profesjonalizmu jest bardzo wyjątkowy w przypadku kogoś, kto ukończył zaledwie 12-miesięczne szkolenie zawodowe. Stąd też, to co ten przykład przedstawia, nie może być przyjmowane jako standard normatywny.

4.2 Przykład B: Zadanie ewaluacyjne dla mechanika narzędziowego

Zadanie: Produkcja konkretnych części do produkcji masowej

Rysunek 8: Graficzne ilustracja zadania ewaluacyjnego B dla mechanika narzędziowego

Proponowane rozwiązania

Rysunek 9: Rozwiązanie `osoby negującej' przedstawiające strategie wycofywania się

Rysunek sprawia wrażenie profesjonalnego lecz nie ma nic wspólnego z zadaniem. Rozwiązanie wygląda jak obrazek z podręcznika, lecz nie przedstawia żadnego rozwiązania.

Rysunek 10: Próba przedstawienia rozwiązania, które nie jest wykonalne, ponieważ kształt części i nacięcie spowodują, że pęknie ona przy wyjmowaniu z formy.

4.3 Ilustracja zastosowania pytań przy analizie zadania ewaluacyjnego

11


Wyszukiwarka