Wyklad IV Ewaluacja, Materiały z ćwiczeń


Ewaluacja

Wprowadzenie

Ewaluacja to dziedzina, w Polsce jeszcze mało znana, której korzenie sięgają lat dwudziestych naszego wieku, a jej szalony rozwój nastąpił w USA w 1957 roku. Wtedy - jak pisze W. J. Popham -

popiskujący satelita okrążał ziemię, umieszczony tam przez inny naród, ataki na szkołę stały się zjadliwe. Amerykanie nie przywykli być w czymkolwiek drudzy. System szkół publicznych, chlubiący się historyczną zasługą wydźwignięcia narodu, musiał teraz przełknąć swoją porcję wstydu. Wkrótce rząd ustanowił wielkie edukacyjne projekty rozwojowe, zwłaszcza w zakresie programów nauczania przedmiotów ścisłych (bo satelity budują przedstawiciele tych nauk) jako wkład w podniesienie jakości nauczania tych przedmiotów.

Ostatnie dwadzieścia - trzydzieści lat to szybki i wszechstronny rozwój ewaluacji, która przenoszona jest także na grunt polski.

Ewaluacja jest tworem wysoce niejednorodnym, wyrastającym z pogranicza działalności naukowo - badawczej i administracyjnej, wkomponowanej w różnorodne strategie interwencji społecznej, działań planistycznych i kontrolnych wraz z ich kulturowym i politycznym kontekstem.

Rozwój ewaluacji w Polsce wiąże się głównie z czynnikiem natury politycznej, bowiem zaistnienie tej dziedziny jest możliwe jedynie w państwach prawdziwie demokratycznych. W Polsce Ludowej nie potrzeba było potwierdzenie słuszności podejmowanych działań, które z góry określono, a system nakazowo - rozdzielczy nie pozwalał nie tylko na krytykę, ale nawet próbę oceny.

Obecnie, jak podkreśla Korporowicz, analiza, a następnie zastosowanie profesjonalnych instrumentów oceny różnorodnych działań i programów społecznych poza bezpośrednim naciskiem scentralizowanych i wysoce upolitycznionych ośrodków władzy staje się wielkim wyzwaniem współczesnych strategii zarządzania, ale także elementem stymulującym rozwój, efektywność, a przede wszystkim jakość owych działań.

Definicje ewaluacji

Termin „ewaluacja”, który pochodzi wprawdzie z języka francuskiego, w metodologii nauk pedagogicznych znalazł się głównie dzięki naukowcom amerykańskim. W języku angielskim ewaluować (to evaluate) znaczy:

starannie rozważać jak dalece użyteczna lub wartościowa jest pewna działalność, jej plan lub pomysł, zwłaszcza, by zdecydować czy ją podjąć, czy nie, albo kontynuować.

Rozwinięciem tej definicji jest fragment rozprawy Astina i Panosa Ewaluacja programów edukacyjnych:

Ewaluacja obejmuje zbieranie informacji dotyczącej oddziaływania programu edukacyjnego. Tego rodzaju informacja ma wiele zastosowań, więc przyjmuje się, że głównym celem ewaluacji jest zdobycie informacji, która może być wykorzystana do podejmowania decyzji edukacyjnych. Te decyzje mogą dotyczyć kontynuacji, zamknięcia lub modyfikacji istniejącego programu albo zaplanowania i ewentualnego rozpoczęcia jakiegoś nowego programu. Bez względu na charakter danej decyzji, ewaluacja najpewniej dostarczy użytecznej informacji, gdy jest oparta na zrozumieniu natury procesu podejmowania decyzji edukacyjnych.

Warto przytoczyć jeszcze definicję Michaela Pattona, autora teorii „ewaluacji twórczej”:

Praktyka ewaluacyjna obejmuje systematyczne zbieranie informacji o przebiegu, właściwościach i wynikach programów, o personelu i o dorobku, który może być wykorzystany przez określonych ludzi do celu zmniejszenia niepewności, podniesienia skuteczności i podjęcia decyzji o tym, czego dotyczą i na co wpływają te programy, personel i dorobek.

Czym jest ewaluacja?

Ewaluacja stanowi złożony proces społeczny podejmowany w celu podniesienia jakości funkcjonowania programu lub placówki. Jedna ze współczesnych definicji ewaluacji określa ją jako `systematyczne badanie procesu i rezultatów danego programu lub działalności w porównaniu do założonych lub przewidywanych standardów, mające wpływ na ulepszenie danego programu lub działania'. W opinii zaś Joint Committee w skład którego weszło siedemnaście osób reprezentujących dwanaście organizacji zainteresowanych ewaluacją, ewaluacja to `systematyczne badanie wartości lub zalet jakiegoś obiektu.' Wynikiem ewaluacji jest więc opis wartości badanego obiektu, który to opis stanowi podstawę do dalszych refleksji nad możliwościami poprawy jakości poprzez podjęcie decyzji co do kierunku i sposobu dokonywania pożądanych zmian.

Głównym elementem procesu ewaluacji jest działalność o charakterze badawczym zmierzająca do wszechstronnego opisu i wyjaśniania określonych zjawisk związanych z poddawanym ewaluacji obiektem. O tym, jakie są to zjawiska i pod jakim kątem będą badane, opisywane i interpretowane decydują wstępne ustalenia wszystkich zainteresowanych ewaluacja podmiotów. Badanie wyjaśnienie skupia się przeważnie na bardzo wielu czynnikach i elementach w różny sposób związanych z programem (placówką), a więc jego uczestnikach, formach realizacji, funkcjach i skutkach, zarówno tych bezpośrednich, jak też długofalowych. Definiując ewaluację podkreśla się przede wszystkim jej konkretność, użyteczność, „służebność” i możliwość praktycznego wykorzystania jej wyników. Trzeba jednak podkreślić, że ewaluacja nie daje gotowych recept, czy dezyderatów, nie może być zatem uznawana za typ inżynierii społecznej.

Najczęściej mówi się, iż zasadniczym celem podejmowanych ewaluacji jest usprawnienie pracy jakiejś instytucji lub poprawa jakości funkcjonowania programu. Aby to osiągnąć potrzebne jest dotarcie do tego, co aktualnie się dzieje w danej placówce, określenie czynników sprzyjających i niesprzyjających podnoszeniu jakości pracy, ujawnienie ewentualnych braków, ale także mocnych stron działalności. Potrzebne są zatem bieżące informacje o stanie realizacji zamierzeń, o utrudnieniach we wprowadzaniu zmian, o różnych efektach (zamierzonych i niezamierzonych) podejmowanych działań. Ewaluacja może mieć zatem różne, szczegółowo określone cele. Wszystkie one podlegają uzgodnieniu i negocjacjom podczas przygotowywania całego procesu, mogą także zmieniać się już w trakcie jego trwania.

Ewaluować można wszystko: banki, duże zakłady przemysłowe i małe firmy zatrudniające kilka osób. Przede wszystkim jednak ewaluacja potrzebna jest w edukacji, zwłaszcza w kontekście wprowadzonej reformy oświaty. Reforma ta, kładąc duży nacisk na zmianę programową i strukturalną polskiej szkoły, musi przygotować narzędzia do badania efektów nauczania, czyli technik analizy i oceny podejmowanych działań. Dlatego, jak zauważa Korporowicz, ewaluacja w edukacji stoi przed zadaniem szczególnym, opisuje bowiem „efekty”, które nie zawsze są mierzalne, jako że dotyczą nie tylko przyrostu wiedzy, ale także zmian osobowości, postaw, kultury pedagogicznej, stylu pracy.

Pięciu zupełnie ślepych mędrców z Hindustanu poszło zobaczyć słonia.

Pierwszy zbliżył się do słonia i wszedł na jego grzbiet.

„Słoń jest jak szczotka” - krzyknął.

Drugi dotknął trąby i mówi : „Słoń jest jak wąż”.

Trzeci sięgnął do nogi i pomyślał : „Słoń jest jak pień drzewa”.

Czwarty chwycił dyndający ogon i wykrzyknął : „Słoń jest jak lina”.

Piąty z mędrców trafił na słonie odchody i zajęczał:

„Słoń jest miękki i półpłynny”.

Owa znakomita baśń pomaga zrozumieć, czym jest ewaluacja. Uciekając się do metafory, można powiedzieć, że jest zbiorem narzędzi pozwalających zobaczyć całego słonia. Wielu nauczycieli znajduje się w sytuacji hinduskiego mędrca z baśni. Widzą tylko niewielki fragment szkolnej rzeczywistości przez pryzmat własnych doświadczeń. Odwołanie się do metafory słonia pozwala też uwolnić się od spotykanego często, bardzo uproszczonego rozumienia ewaluacji polegającego na utożsamianiu jej z ocenianiem. Tymczasem ewaluacja , chociaż uwikłana w procesy wartościowania, jest przede wszystkim związana ze zbieraniem informacji i zdawaniem relacji z tego, jak się rzeczy mają - po to, by ułatwić podejmowanie decyzji.

Wokół ewaluacji narosło już wiele nieporozumień. Pierwszym jest traktowanie jej jako synonimu oceniania. Jest to daleko idące uproszczenie. Nieporozumienie polega na tym, że ocenianie - a raczej wartościowanie - jest jedynie jedną z wielu ( wcale nie najważniejszą ) częścią składową procesu ewaluacji. Traktowanie ewaluacji jako procesu, którego głównym celem jest wystawianie „cenzurek” wręcz wypacza jej sens oraz ogranicza obszar zastosowań. Ewaluacja jest zdecydowanie czymś więcej i czymś jakościowo innym niż arbitralne - dokonywane w oderwaniu od kontekstu - ocenianie.

Ewaluator stara się definiować i badać efektywność nauczania. W ten sposób dostarcza danych , które mogą być wykorzystane w procesie wspierania jakości edukacji.

Ewaluator nie jest ani decydentem, ani ekspertem. Jego zadaniem jest dostarczenie wiarygodnych i dobrze udokumentowanych danych umożliwiających podejmowanie decyzji.

Korzystając z doświadczeń amerykańskich prof. Niemierko zaproponował swoją definicję ewaluacji:

Ewaluacja dydaktyczna jest systematycznym zbieraniem informacji o warunkach, przebiegu i wynikach działań dydaktycznych w celu ulepszenia tych działań lub podjęcia decyzji o ich prowadzeniu.

Można również mówić o ewaluacji osiągnięć uczniów. Należy ten proces rozumieć jako pogłębione sprawdzanie i ocenianie osiągnięć uczniów, obejmujące analizę warunków, przebiegu i wyników nauczania, nastawione na ulepszanie procesu dydaktycznego. Gdy nauczyciel dokonuje takich analiz, prowadzi ewaluację osiągnięć uczniów, gdy tylko odpytuje i wystawia stopnie - sprawdza i ocenia te osiągnięcia.

Przedmiot ewaluacji

Ewaluacja w edukacji bada cztery składniki programów rozwojowych:

  1. Wejścia, czyli wiadomości, umiejętności, uzdolnienia młodzieży i ich nauczycieli w chwili rozpoczęcia danej działalności (niekoniecznie oznacza to pierwszy rok pracy, to może być początek nowego działu, modułu itp.) oraz wszystkie istotne właściwości zastanych systemów dydaktycznych.

  2. Działania, czyli te elementy projektów rozwojowych, których przeznaczeniem jest wpływać na wyniki tych projektów, czyli „wyjścia”

  3. Wyjścia, to wiadomości, umiejętności, postawy wobec uczenia się, wartości, cechy osobowości, stosunki społeczne i inne zachowania uczniów.

  4. Kontekst, obejmuje stałe elementy szeroko pojętej infrastruktury szkolnictwa, np. stałe urządzenia szkoły, struktura administracyjna, sposób finansowania, pozycję społeczną oświaty, przekonania rodziców, rynek pracy itp.

Rodzaje ewaluacji

Ewaluacja może przybierać bardzo wiele różnych form, które są uzależnione od tego, kto prowadzi ewaluację, jaka jest jej funkcja, cel, relacja do badanego obiektu, oraz rola różnych podmiotów zainteresowanych funkcjonowaniem ewaluowanego obiektu (programu, placówki) i samą ewaluacją.

W zależności o tego, kto prowadzi ewaluację mówimy o:

W zależności od tego, w którym momencie prowadzimy ewaluację wyróżniamy:

Główne cechy współczesnych form ewaluacji

Praktyka ewaluacyjna na całym świecie jest bardzo żywym nurtem różnych podejść i modeli. Niektóre z nich są częściej stosowane, inne rzadziej, z niektórych w ogóle się rezygnuje, gdyż nie dają odpowiednich efektów.

Usiłując najkrócej scharakteryzować ewaluację, która jest przez nas uznawana za najbardziej odpowiednią możemy powiedzieć, że jest to ewaluacja:

W jaki sposób się bada?

Nie istnieje jeden uniwersalny sposób prowadzenia badania ewaluacyjnego. Dobór metod w badaniu ewaluacyjnym zależy od obiektu ewaluacji (jego specyficznego kontekstu) oraz funkcji, jakie ma pełnić ewaluacja. O tym, jakie metody i techniki zbierania informacji, a potem ich analizowania zostaną zastosowane decydują uzgodnienia ewaluatora z innymi zainteresowanymi stronami. Najogólniej mówiąc ewaluacja wykorzystuje metodologię szeroko rozumianych nauk społecznych.

Najczęściej stosowanymi technikami zbierania danych są:

Bardzo często w badaniach ewaluacyjnych stosuje się podejście typu studium przypadku (case study). Podejście to wykorzystuje kilka metod łącznie, tak aby zalety jednej metody rekompensowały niedoskonałości pozostałych. Dane pochodzące z różnych źródeł wzajemnie się uzupełniają, dzięki czemu uzyskujemy pełny obraz badanego obiektu. To wielorakie gromadzenie danych, rozpatrywanie przedmiotu ewaluacji z wielu punktów widzenia, określa się ogólnie mianem triangulacji. Pozwala ona lepiej zrozumieć i zweryfikować uzyskane informacje oraz uzyskać dogodny punkt wyjścia do ich interpretowania. Specyfika podejścia typu studium przypadku pozwala na badanie danego obiektu w jego naturalnym kontekście z uwzględnieniem jego wszystkich uwarunkowań. Bardzo ważne jest również to, że bierze się pod uwagę punkt widzenia wszystkich jego uczestników. Przykładowo ewaluując program społeczny bierze się pod uwagę opinie osób zaangażowanych w planowanie tego programu, ale także osób zaangażowanych w jego realizację, uczestników i osób które mogą odczuwać działania tego programu.

Jak przygotowuje się badanie ewaluacyjne?

Badanie ewaluacyjne musi być przemyślane i dokładnie zaprojektowane. Zwłaszcza, iż obecnie ewaluacja robi zawrotną karierę i niestety zbyt często utożsamiana jest tylko ze zrobieniem jakieś przypadkowej ankiety, kontrolą lub ocenianiem. Ewaluacja zaś to proces, nie może więc zabraknąć w nim żadnego etapu.

0x08 graphic

ETAPY PROCESU EWALUACJI

0x08 graphic

  1. 0x08 graphic
    ustalenie obiektu ewaluacji

  2. określenie celów ewaluacji

  3. sformułowanie pytań kluczowych

  4. określenie kryteriów ewaluacji

  5. wskaźniki , które zostaną użyte do badania obiektu

  6. określenie metod badawczych

  7. określenie próby badawczej

  8. określenie formy raportowania

  1. zbieranie informacji

  2. przetwarzanie danych

  3. prezentacja wyników ewaluacji

  4. wykorzystanie wyników ewaluacji

0x08 graphic

Etapy procesu projektowania ewaluacji:

  1. Definiowanie przedmiotu ewaluacji.

  1. Sformułowanie pytań kluczowych, które:

  1. Określenie kryteriów ewaluacji, czyli pewnego standardu, systemu wartości, według którego patrzymy na dany obiekt.

  1. Dobór metod badawczych.

  2. Określenie próby badawczej.

  3. Monitorowanie danych.

  4. Określenie formy prezentacji danych - czyli raportu.

Kwestią najtrudniejszą w projektowaniu badania ewaluacyjnego jest niewątpliwie ustalenie kryteriów.

Brak jasno sformułowanych i uzgodnionych kryteriów powoduje, iż w trakcie ewaluacji odwołujemy się do subiektywnych, mniej lub bardziej uświadamianych wartości, które wcale nie muszą być podzielane przez innych. Prowadzona w taki sposób ewaluacja traci z punktu widzenia swój przedmiot i - w rezultacie - przestaje być użyteczna. Ewaluator zaś odchodzi od roli „medium” w procesie społecznego komunikowania, przyjmując rolę sędziego, czy inspektora, który wie, jak powinno być.

Badając funkcjonowanie jakiegoś programu w szkole (placówce), będziemy zadawać pytania wszystkim podmiotom zaangażowanym w program. Zidentyfikowanie i tych osób i tych pytań może znacznie ułatwić późniejsze zbieranie danych, już na wejściu ewaluacja nabierze uprawomocnienia, nie będzie identyfikowana z kontrolą, ale utożsamiana z działaniami mającymi pomóc w codziennej pracy. Tak więc klucz do sukcesu leży w dobrym przygotowaniu, czyli dobrym projekcie ewaluacyjnym.

Ewaluacja w zarządzaniu i budowaniu jakości

Praktyka nowoczesnego zarządzania wymaga zastosowania efektywnych i w miarę tanich instrumentów umożliwiających precyzyjne i głębokie określenie rzeczywistych potrzeb poszczególnych elementów organizacji, tak aby właściwie lokować zasoby ludzkie, kapitałowe i organizacyjne. Szczególnie ważnym celem badań i diagnoz realizowanych w różnych organizacjach jest wspomaganie procesu podejmowania decyzji, wspomaganie jakości, kierowanie zmianą oraz rozwiązywanie wszelkich konfliktów. Zarówno wielkie organizacje, typu ponadnarodowych koncernów przemysłowych, jak też niewielkie struktury (szkoły, zrzeszenia, stowarzyszenia, urzędy, biura) w celu usprawnienia procesu zarządzania wykorzystują studia ewaluacyjne. W proces ewaluacji włączona jest cała struktura organizacji wraz z personelem, co sprzyja ukształtowaniu się postawy współodpowiedzialności za podejmowane działania i ich efekty. Ewaluacja, dokonując diagnoz potrzeb, oczekiwań i satysfakcji klientów danej placówki pozwala także lepiej dostosować się do warunków otoczenia zewnętrznego. Jednocześnie, wykorzystując jej wyniki można wygodniej i bardziej efektywnie planować cele organizacji oraz wspomagać podejmowanie decyzji dotyczących wyboru najlepszych sposobów realizacji tych celów. Ewaluacje podejmuje się także, aby ustalić skuteczność zastosowania poszczególnych środków i działań do osiągnięcia tychże celów. Niezmiernie ważnym walorem ewaluacji w zarządzaniu jest to, iż umożliwia ona ukształtowanie się partycypacyjnego i demokratycznego stylu kierowania, co pobudza personel do działania, wykazania własnej inicjatywy i wzmacnia poczucie podmiotowości pracowników oraz klientów organizacji.

Ewaluacja stanowi jeden z podstawowych instrumentów umożliwiających budowanie jakości pracy całej placówki. Wzmacnia bowiem zaangażowanie personelu, sprzyja bardziej efektywnym metodom zarządzania, pozwala określić wielorakie skutki wprowadzanych zmian i modernizacji, umożliwia wskazanie tych wymiarów funkcjonowania danej placówki, które takich zmian i modernizacji wymagają, pozwala zaprezentować klientom zewnętrznym osiągnięcia i mocne strony działalności placówki, a jednocześnie ujawnić i wyjaśnić przyczyny ewentualnych niedociągnięć i nieprawidłowości.

Rola i funkcje ewaluatora

Ewaluacja programu lub placówki może być prowadzona przez ewaluatora zewnętrznego - osobę spoza tego programu bądź placówki wynajętą do przeprowadzenia badań i przedstawienia raportu lub też ewaluatora wewnętrznego - osobiście zaangażowanego w funkcjonowanie programu lub placówki i często w niej zatrudnionego. Obie formuły mają swoje zalety i wady. Zewnętrzny ewaluator, jako niezaangażowany obserwator może dostrzec więcej niż ewaluator wewnętrzny, dla które wiele spraw wydaje się „oczywistych”. Ewaluator zewnętrzny jest również mniej uwikłany w sprzeczności interesów zawsze występujące w jakiś placówce, a zatem łatwiej mu się uniezależnić od ewentualnych nacisków i antagonizmów. Ewaluatora wewnętrzny łatwiej jednak odczytuje pewne zagadnienia, łatwiej mu coś zinterpretować i wytłumaczyć ponieważ lepiej zna całe społeczne tło ich występowania.

W obu przypadkach ewaluator pełni szczególne funkcje zarówno wobec obiektu, który podlega ewaluacji, jak też wobec ludzi dostarczających informacje i bezpośrednio zainteresowanych funkcjonowaniem programu (placówki). Ewaluacja, jako działanie kompleksowe i angażujące wiele społecznych podmiotów może być dla niektórych z nich dość niewygodna. Pewne zjawiska, nieprawidłowości, konflikty mogą bowiem być przy tej okazji ujawnione. W związku z tym, od ewaluatora wymagane jest ścisłe przestrzeganie wielu szczegółowych zasad etycznych.

Należą tu między takie zasady etyczne jak:

Ewaluatora nie może stać się instrumentem kontroli w rękach zleceniodawców bądź sponsorów, bowiem funkcje kontrolno-inspekcyjne wykraczają poza jego kompetencje. Nie może również być przekaźnikiem, czy też pośrednikiem w komunikowaniu decyzji podejmowanych na wyższych szczeblach zarządzania. Nie jest on także rzecznikiem interesów osób podlegających ewaluacji (uczestników programu, personelu placówki), chociaż zazwyczaj w ich interesie się wypowiada. Wejście w którąkolwiek z tych sprawia, iż ewaluator traci całą swoją wiarygodność i jednocześnie przekreśla sens prowadzenia ewaluacji. Ewaluator winien być tak samo wiarygodny dla wszystkich zainteresowanych ewaluacją: zleceniodawców, zewnętrznych odbiorców raportu, zarządzających ewaluowanym obiektem oraz samych ewaluowanych.

Wiarygodność ewaluatora gwarantują więc:

Korzyści z ewaluacji w praktyce szkolnej?

aplikacja

Wybór programu kształcenia adekwatnie do potrzeb, doświadczeń, środowiska, punktu „startu”, itp.

Niemierko B., Ewaluacja dydaktyczna. Standardy edukacyjne. Elementy statystyki opisowej. Skrypt dla uczestników Podyplomowego Studium Ewaluacji Dydaktycznej na Uniwersytecie Gdańskim, Gdańsk 1998, s. 9

Ewaluacja w edukacji, red. naukowy Korporowicz L., Przedmowa, Warszawa 1997, s. 7

Ewaluacja w edukacji, op.cit., s. 7

Lanquaqe Activator. The World`s First Production Dictionary. Burnt Mill 1994, Longmans, za: Niemierko B., op.cit., s. 7

Astin A. W., Panos R. J., The Evaluation of Educational Programs, za: Niemierko B., op.cit., s. 7

Patton M. Q., Practical Evaluation, Newbury Park 1982, Sage, za: Niemierko B., op.cit., s. 7

Korporowicz L., Przedmowa w: Ewaluacja w edukacji, op.cit., s. 8

Niemierko B., op.cit., s. 8

Niemierko B., op.cit. s. 9

1

Projektowanie ewaluacji



Wyszukiwarka

Podobne podstrony:
Wyklad V Metody nauczania, Materiały z ćwiczeń
Ćwiczenia 3, Biofizyka, IV Semestr, Materia i promieniowanie, ćwiczenia
Prawo cywilne II - wyklad IV, Materiały - studia, I stopień, Prawo cywilne i umowy w administracji
WYKŁAD IV, umb rok 3, rok III, materiały, patofizjo, wykłady 1-6 i giełda z wykładów, wykłady 1-6 i
Ćwiczenie 2 - glasjonomery, STOMATOLOGIA, Stomatologia materiały (ćwiczenia-wykłady)
Podatki w Działalności Gospodarczej - materiały ćwiczenia - 2013-04-06, IV sem. - Podatki w Działaln
Ćwiczenia 2, Biofizyka, IV Semestr, Materia i promieniowanie, ćwiczenia
Finanse wyklad IV-V, Zarządzanie UE Katowice - licencjat - materiały, zarządzanie UE Katowice - 1 ro
BHP - Wykład IV - czynniki fizjologiczne, materiauy
MATERIAŁY STOMATOLOGICZNE program, STOMATOLOGIA, Stomatologia materiały (ćwiczenia-wykłady)
pytania z żelbetu wykładowe, Prywatne, Budownictwo, Materiały, IV semestr, od Beaty, Semestr 4, ŻELB
Wykład IV - kultura studiowania, materiauy
wykład IV, LEŚNICTWO SGGW, MATERIAŁY LEŚNICTWO SGGW, Transport, TRANSPORT
ćw z 24 kwietnia 2001, LEŚNICTWO SGGW, MATERIAŁY LEŚNICTWO SGGW, Urządzanie, Wykłady, Urządzanie- op
Kalkulacja kosztów wykład z przykładami, PB-materiały, semestr IV, rachunkowość finansowa
materiały ćwiczeniowe, Studia, IV ROK, Bydło, Nowy folder, MIĘSO, higiena mięsa
Ćwiczenie 1- podkłady, STOMATOLOGIA, Stomatologia materiały (ćwiczenia-wykłady)

więcej podobnych podstron