Standardy (rozdz.14), Egzamin


Rozdział 14

Testowanie na potrzeby zatrudnienia

oraz przyznawania uprawnień

Podstawy

Testowanie na potrzeby zatrudnienia jest przeprowadzane przez instytucje po to by:

Testowanie stosowane w procesie przyznawania licencji czy uprawnień koncentruje się na określaniu aktualnych umiejętność / kompetencji aplikanta w danej dziedzinie. ( Bardzo często warunkiem wykonywania danego zawodu jest posiadanie licencji). Posiadanie licencji oznacza zazwyczaj prawo do wykonywania danego zawodu. ( Zdobywanie certyfikatów jest zazwyczaj dobrowolne, ale w wielu organizacjach jego posiadanie wpływa istotnie na możliwość zatrudnienia czy awansowania).

Testowanie w organizacjach przeprowadza się także w wielu innych celach niż tylko podejmowanie decyzji o zatrudnieniu czy o przyznawaniu uprawnień. Może być stosowane także wtedy kiedy pracownik przejawia oznaki zaburzeń zachowania ; badania testowe traktowane jako narzędzi stymulowania rozwoju jednostki mogą być częścią programu treningowego czy programu nastawionego na rozwój jednostki ( pomiar cech osobowości, zainteresowań, wartości, preferencji, stylu pracy ), a ich celem jest umożliwienie samopoznania.

Testowanie w obszarze zatrudnienia

Wpływ kontekstu na stosowanie testów.

Testowanie w obszarze zatrudnienia polega na wykorzystywaniu informacji otrzymanych w wyniku badania testem jako pomocy przy podejmowaniu decyzji interpersonalnych. Treść testu jak i kontekst, w jakim test są wykorzystywane znacznie się od siebie róznią. Treść testu może dotyczyć różnych obszarów wiedzy, umiejętności, zdolności, cech, dyspozycji czy wartości. Decyzje dotyczące zaplanowania, ewaluacji i wdrożenia systemu badania testami zależą od kontekstu, w jakim system ten będzie stosowany. Do ważnych cech kontekstowych badań testowych w tym obszarze należą:

- w niektórych sytuacjach np. przy awansowaniu osobami badanymi są ludzie pracujący już w danej instytucji, w innych są to osoby spoza instytucji, w jeszcze innych mogą to być kandydaci zarówno z organizacji jak i spoza niej.

Znajomość tych cech odgrywa ważna rolę w ocenie rodzaju tworzonego systemu badania testami oraz strategii wykorzystywanych do krytycznej oceny trafności wniosków wyciąganych na podstawie wyników otrzymanych w takim systemie.

Proces walidacji w badaniach testowych na potrzeby zatrudnienia.

Zastosowanie testów na potrzeby zatrudnienia daje możliwość stosowania ich w celach predykcyjnych - użytkownik testu chce n podstawie wyników testowych wiedzieć jak najwięcej o przyszłym funkcjonowaniu danej osoby w pracy lub o jej przyszłych wynikach w pracy. Proces walidacji na potrzeby zatrudnienia polega na zbieraniu i ocenie danych pozwalających stwierdzić czy wyniki testowe mogą być podstawa do predykcji zachowań zawodowych. Do tego celu używa się różnych strategii walidacyjnych:

Wyciągając wnioski walidacyjne należy skupić się na dwóch obszarach : na obszarze testu ( predyktora) i na obszarze funkcjonowania zawodowego lub otrzymanych wyników ( kryterium). Ocenianie możliwości wykorzystania testu w podejmowaniu decyzji o zatrudnieniu kandydata może zostać potraktowane jako testowanie hipotezy o związku miedzy tymi obszarami ( predykator- kryterium). Rozróżnienie między teoretyczną dziedziną predyktora a miarą predyktora oraz miedzy teoretyczną dziedziną kryterium a miarą kryterium.

Teoretyczną dziedziną predyktora - zbiór zachowań składających się na określony konstrukt ( np. rozumowanie werbalne, szybkość pisania na maszynie czy świadomość).

Teoretyczną dziedziną kryterium - zbiór zachowań przejawiających się w pracy czy zbiór wyników będących efektem pracy ( np. poziom wykonania podstawowych zadań zawodowych, wielkość sprzedaży czy ogólne funkcjonowanie w pracy).

Miary predyktora i miary kryterium - to operacyjny sposób przedstawienia tych dziedzin.

Typowe sposoby wnioskowania:

0x08 graphic
0x01 graphic

1 - sposób wnioskowania oparty jest na założeniu, że wyniki będące miarą predykatora są powiązane z wynikami będącymi miara kryterium

2 i 4 - sposób wnioskowania : podstawą wnioskowania jest związek między miarą operacyjną a pozycją osoby badanej w kontinuum reprezentującym teoretyczną dziedzinę interesującego konstruktu. Do metod pozwalających zbadanie tego powiązania należą: analiza logiczna, sędziowanie kompetentne, badanie zbieżności oraz różnicowania miar podobnych lub odmiennych pojęć.

3 - sposób wnioskowania: oparty na związku między teoretyczną dziedziną predykatora i kryterium. Związek ten może zostać określony w trakcie analizy teoretycznej i logicznej, systematycznej analizie treści pracy oraz sędziowaniu kompetentnemu tych cech, które są powiązane z efektywnym wykonywaniem pracy.

5 - sposób wnioskowania: oparty jest na założeniu, że istnieje związek miedzy miarą predykatora a teoretyczną dziedziną kryterium.

Kryteria wyboru testu.

Chociaż podstawowym celem wykorzystywania testów na potrzeby zatrudnienia jest dokładna predykacja późniejszego funkcjonowania w pracy Lu b wyników osiąganych w pracy, to trzeba wiedzieć, że stopień , w jakim można przewidzieć te kryteria jest ograniczony. Idealna predykcja nie jest celem realistycznym, bo po pierwsze na zachowanie w pracy wpływa wiele czynników( których nie jesteśmy w stanie przewidzieć), po drugie na zachowania w pracy wpływają czynniki podmiotowe - wiedza, umiejętność, zdolność, osobowość czy postawy wobec pracy, wiec każda pojedyncza cecha będzie niedoskonałym predykatorem, a po trzecie zawsze mamy do czynienia z jakimś błędem pomiaru.

Podstawą wyboru określonego testu powinny być :

Testowanie w zakresie przyznawania uprawnień specjalistycznych oraz zawodowych

1. Istotą testów wykorzystywanych w procesie przyznawania uprawnień jest ustalenie czy dana osoba ma wymagany poziom wiedzy i umiejętności w określonej dziedzinie. Określony poziom wiedzy i standardów wykonania jest niezbędny do bezpiecznego i odpowiedzialnego wykonywania danego zawodu. Zatem celem testów wykorzystywanych w procesie przyznawania uprawnień jest dostarczanie opinii publicznej , w tym pracodawcom mechanizmu rozpoznawania tych osób , które spełniają określone standardy. Przyznawanie uprawnień służy także, ochronie kwalifikacji zawodowej przez wykluczanie tych osób, które nie mają odpowiednich uprawnień.

2. Procedura tworzenia takich testów: właściwe zdefiniowanie danej profesji lub specjalność, by można było zidentyfikować osoby wykonujące daną pracę  ustalenie rodzaju wymagań aktualnie obowiązującym w danym zawodzie ( wykorzystuje się tu ekspertów w danej dziedzinie - wspólnie ustalają jakie umiejętności i wiedza są niezbędne do bezpiecznego i efektywnego wykonywania zawodu)  formy testowania obejmują : testy wyboru, prace pisemne, egzaminy ustne.

3. Określenie minimalnego poziomu wiedzy i umiejętności wymaganych do otrzymania licencji czy uprawnień jest jednym z najtrudniejszych i najważniejszych zadań stawianych przed osobami odpowiedzialnymi za przyznawanie uprawnień. Ważne jest by przyjęty poziom oznaczający spełnienie wymagań pozwolił na trafne rozróżnienie między adekwatnym a nieadekwatnym funkcjonowaniem zawodowym. Wyznaczone standardy muszą być na tyle wysokie, by gwarantowały bezpieczeństwo, ale nie na tyle wysokie , żeby ograniczały w sposób nierozsądny dostęp do tej profesji.

4. Testy wykorzystywane w dziedzinie przyznawania uprawnień powinny być szczególnie precyzyjne w obszarze bliskim punktowi odcięcia ( czyli chyba chodzi o tzw. granicę przejścia). Testy nie muszą być bardzo dokładne w wypadku tych osób, które wypadły w nich zdecydowanie słabo lub bardzo dobrze. Dlatego też na potrzeby przyznawania uprawnień tworzy się czasami testy, które są bardzo precyzyjne tylko w obszarze bliskim punktowi odcięcia.

5. Praktyka w zakresie określonych zawodów zmienia się w czasie ( zmieniające się ograniczenia prawne, postęp w nauce) mogą przyczyniać się do zmiany treści testu. Gdy w teście wprowadza się znaczne zmiany , to należy zmienić również punkty odcięcia wyznaczające wymagany poziom funkcjonowania zawodowego.

Ponieważ przyznawanie uprawnień jest procesem ciągłym, w którym regularnie wykorzystuje się testy zgodnie z określonym planem , stale potrzebne są nowe wersje testów. Wszystkie wersje testu powinny mieć te same charakterystyki i reprezentować ten sam obszar treści. Alternatywne formy testu muszą mieć także porównywalne skale wyników, by wyniki testowe zachowywałaby swoje znaczenie.

Gdy testy wykorzystywane są w tej dziedzinie należy zwrócić szczególną uwagę na zagadnienia dotyczące oszukiwania i bezpieczeństwa testu - oszukiwanie rozdz. 8 , bezpieczeństwo rozdz. 5i 11.

STANDARD 14.1

Zanim się podejmie prace nad skonstruowaniem i wdrożeniem w praktykę testu na potrzeby zatrudnienia, należy najpierw jasno określić cel badan testowych i podjąć prace walidacyjne , aby sprawdzić na ile cel ten został dobrze zrealizowany.

Komentarz : cele stosowania testów w obszarze zatrudnienia są bardzo różne( np. przyjmowanie / odrzucanie kandydatów, itd. ),testy różna pod względem tego jakie zachowania są przedmiotem predykcji.

STANDARD 14.2

Gdy test jest wykorzystywany w celu predykcji określonego kryterium, to decyzja przeprowadzeniu lokalnych badań empirycznych dotycząca związku między kryterium a predykatorem oraz interpretacja wyników tych badań powinna mieć swoje oparcie w wiedzy dotyczącej danego obszary.

Komentarz: gdy ta literatura jest na tyle obszerna i spójna, że na jej podstawie można dowieść zakładanego związku miedzy predykatorem a kryterium, nie ma konieczności przeprowadzania dodatkowych badań. Badania lokalne są potrzebne gdy literatura jest zbyt skromna, niespójna lub gdy nie zostały w niej opisane badania w podobnych, lokalnych obszarach ( np. gdy w literaturze opisano wykorzystanie testu wyłącznie w obszarze prac produkcyjnych, a lokalnie test ma być zastosowany u osób ubiegających się o stanowisko kierownicze)

STANDARD 14.3

Opieranie strategii walidacyjnych na danych otrzymanych w lokalnych badaniach empirycznych dotyczących związku między predyktorem a kryterium zależy od spełnienia kryterium technicznej jakości tych badań.

Komentarz: znaczenie danych dotyczących związku między predykatorem a kryterium zależy od kilku czynników, w tym od tego czy :

  1. brana pod uwagę praca jest stabilna czy podlega gwałtownym lub okresowym zmianom

  2. dostępna jest miara rzetelnego i istotnego kryterium

  3. dysponuje się reprezentatywna próba populacji branej pod uwagę

próba, która będzie podstawą oszacowania związku między predykatorem a kryterium, jest odpowiedniej wielkości

STANDATD 14.4

Jeżeli dane empiryczne dotyczące związku między predykatorem a kryterium są częścią danych walidacyjnych uzasadniających zastosowanie testu, to wykorzystywana miara ( miary) kryterium powinna odzwierciedlać -ważną z punktu widzenia organizacji- teoretyczna dziedzinę kryterium. Wszystkie wykorzystane kryteria powinny dotyczyć ważnych zachowań w pracy lub ważnych efektów wykonywanej pracy, istotnych z punktu widzenia danego zawodu, zgodnie z dostępnymi informacjami o tym zawodzie.

STANDARD 14.5

Osoby przeprowadzające badania dotyczące związku między predyktorem a kryterium oraz interpretujące wyniki tych badań powinny zidentyfikować czynniki zakłócające oraz artefakty, które mogły wpłynąć na wyniki badań. Do czynników tych należą: błąd pomiaru, ograniczenie zakresu zmienność wyników lub wpływ brakujących danych . Należy przechowywać i w razie potrzeby udostępnić dane dotyczące występowania lub braku tych czynników oraz działań podjętych w celu wyeliminowania lub kontrolowania ich wpływu.

Komentarz: błąd pomiaru kryterium oraz mała wariancja wyników otrzymanych dla predyktra i kryterium zaniżają szacowanie związku między miarą predykatora a teoretyczną dziedzina kryterium.

STANDARD 14.6

Nie należy wnioskować o związku między predykatorem a kryterium w aktualnej sytuacji lokalnej na podstawie wcześniejszych pojedynczych badań walidacyjnych, chyba że były przeprowadzone w korzystnych warunkach ( np. na dużej próbie i z wykorzystaniem istotnego kryterium), a obecna sytuacja jest bardzo podobna do wcześniejszej.

Komentarz: ścisłe podobieństwo oznacza, że wymagania dotyczące pracy i konstrukty psychologiczne leżące u ich podstaw są takie same ora że wykorzystuje się ten sam predyktor.

STANDARD 14.7

Jeżeli testy mają być wykorzystywane do podejmowania decyzji klasyfikujących osoby badane do określonej pracy ( np. wyniki otrzymane w zmiennych predykcyjnych staną się podstawą przyporządkowania do różnych zadań zawodowych), to należy zebrać dane, które potwierdzają, że wyniki testowe są powiązane z różnym prawdopodobieństwem ( czy poziomem) osiągnięcia sukcesu przy wykonywaniu określonej pracy lub kilku prac.

STANDARD 14.8

Dane dotyczące trafności i oparte na analizie treści testu wymagają dokładnego zdefiniowania obszaru treści branego pod uwagę. Dla celów selekcji, klasyfikacji oraz awansowania charakterystyka obszaru powinna wynikać z analizy pracy.

Komentarz: Wiedza, umiejętności czy zdolności włączone w obszar treści powinny odpowiadać tym, które osoby już mają zanim zaczną starać się o określoną pracę.

STANDARD 14.9

Gdy dane walidacyjne oparte na treści testu są podstawowym źródłem informacji o trafności wykorzystania danego testu w procesie selekcji czy awansowania, to należy wykazać, że istnieje silny związek między treścią testu a treścią pracy.

Komentarz: Jeżeli treść testu obejmuje precyzyjnie zdefiniowane próbki pracy ( np. rzeczywiste próbki pracy, takie jak posługiwanie się urządzeniami) lub - określone na podstawie ocen sędziów ekspertów - symulacje określonych zadań (np. określone zadania do wykonania) bądź próbki wiedzy niezbędne do do osiągnięcia sukcesu w pracy ( np. informacje konieczne do ujawnienia posiadanych umiejętności) , to dane oparte na analizie treści testu mogą być traktowane jako podstawowe dane walidacyjne. Jeżeli związek między treścią testu a treścią pracy nie jest jasny i bezpośredni, to w takiej sytuacji większe znaczenie będzie miał inny rodzaj danych walidacyjnych.

STANDARD 14.10

Jeżeli się przedstawia dane dotyczące trafności oparte na analizie treści testu, to powinno się jasno wyznaczyć konkretny sposób definiowania i opisywania treści danej pracy (np. w kontekście zadań, które mają być wykonane, czy wiedzy, umiejętności, zdolności lub innych cech podmiotowych).

STANDARD 14.11

Jeżeli dane otrzymane na podstawie analizy treści są podstawowym źródłem danych uzasadniających trafność testu na potrzeby selekcji osób do określonej pracy, to wykorzystanie testu w nowej sytuacji jest możliwe tylko wtedy, kiedy istotne czynniki definiujące pracę nie uległy zmianie ( czego dowodem jest analiza pracy), poziom umiejętności czytania wymagany przez test nie przekracza poziomu wymaganego przez nowy rodzaj pracy oraz nie pojawiły się takie dostrzegalne cechy nowej sytuacji, które istotnie mogły zmienić wyjściowe znaczenie materiału testowego.

STANDARD 14.12

Jeżeli wykorzystanie danego testu do selekcji osób do pracy opiera się na zakładanym związku teoretycznej dziedziny predyktora ( tej , która jest odzwierciedlana przez test) z teoretyczną dziedziną kryterium, to należy opisać dwa typy powiązań : związek między testem a teoretyczną dziedziną predyktora oraz związek między teoretyczną dziedziną predyktora a podstawowymi czynnikami charakteryzującymi teoretyczną dziedzinę kryterium.

Komentarz: należy podać precyzyjne uzasadnienie teoretyczne tych związków. Zarówno teoretyczna dziedzina predyktora, jak i powiązana z nią teoretyczna dziedzina kryterium powinny zostać jasno zdefiniowane.

STANDARD 14.13

Jeżeli osoby podejmujące decyzje integrują informacje otrzymane z zastosowania wielu testów lub integrują informacje testowe i informacjami pozatekstowymi, to należy jasno określić, jaką rolę odgrywa każdy test w procesie decyzyjnym oraz przedstawić dane świadczące o trafności wykorzystania każdego testu lub części testu w stosunku do zakładanego celu.

Komentarz: wnioski wyciągane na podstawie wyników testowych należy ograniczyć do tych, dla których dostępne są dane walidacyjne. Traktowanie np. bardzo dobrego wyniku otrzymanego w teście jako wskaźnik ogólnej przydatności do pracy i rezygnowanie na tej podstawie z danych referencyjnych, będzie niewłaściwe wtedy, kiedy zastosowany test będzie miarą wąskiej, ale istotnej dziedziny, takiej jak np. wiedzy dotyczącej wykonywanej pracy.

STANDARD 14.14

Dziedzina treści, która powinien obejmować test wykorzystywany w celu przyznawania uprawnień, powinna zostać jasno zdefiniowana, a jej wybór - uzasadniony w kontekście ważności treści z punktu widzenia kwalifikacji niezbędnych do wykonywania danego zawodu. W uzasadnieniu tym należy wykazać, że badana wiedza lub mierzone umiejętności są niezbędne do wykonywania danego zawodu i że są spójne z celem, dla którego uruchomiono dany program przyznawania uprawnień.

Komentarz: jeżeli ten sam egzamin stosuje się przy nadawaniu licencji lub przyznawaniu uprawnień w wypadku osób zatrudnionych w wielu obszarach czy specjalnościach, to należy przeanalizować wiele różnych sytuacji wykonania pracy. Choć mogą to być podobne techniki to w przypadku wydawania uprawnień kładzie się nacisk na wiedze i umiejętności niezbędne do wykonywania danej pracy. W testach stosowanych przy przyznawaniu licencji nie powinno się uwzględniać tych zdolności, które mogą decydować o odniesieniu sukcesu, a które nie są bezpośrednio związane z istotą licencji ( np. w wypadku ochrony mienia i osób). Fakt, że praktycy odnoszący sukces mają określona wiedzę i umiejętności, jest istotny, ale nie decydujący.

STANDARD 14.15

Należy oszacować rzetelność decyzji o przyznaniu uprawnień podjętych na podstawie wyników testowych.

Komentarz: standardy wykorzystywane do oceny rzetelności decyzji opisane w rozdziale 2 mają również zastosowanie w wypadku testów stosowanych w procesie nadawania uprawnień czy przyznawania licencji.

STANDARD 14.16

Reguły i procedury wykorzystywane do łączenia wyników otrzymanych w różnych miarach, po to by uzyskać globalny wskaźnik charakteryzujący poziom wykonania testu przyznającego uprawnienia, powinny zostać przedstawione osobom badanym, najlepiej przed przeprowadzeniem testu.

Komentarz: czasami wymaga się, by kandydaci otrzymali wyniki wykraczające poza określone minimum w każdym z testów. A czasami decyzja o tym czy egzamin jest zdany bądź niezdany może być oparta wyłącznie na ogólnym wyniku łącznym.

STANDARD 14.17

Poziom wymagany do zdania testu będącego podstawą przyznawania uprawnień powinien zależeć od wiedzy i umiejętności koniecznych do utrzymania dającego się zaakceptować poziomu wykonania danego zawodu. Poziom ten nie powinien być zmieniany po to, by uzyskać pożądaną proporcję osób zdających test.

Komentarz: czasami można regulować liczbę czy proporcję osób otrzymujących uprawnienia, jednak podstawa tej regulacji powinny być inne czynniki niż modyfikacja wyniku lub poziomu decydującego o zdaniu testu. Punkt odcięcia należy wyznaczyć na podstawie starannej analizy i uzasadnienia dopuszczalnego poziomu wykonania. Jeżeli istnieją alternatywne formy testu, to punktu odcięci powinny zostać starannie wyrównane, tak by maiły takie samo znaczenie we wszystkich testach.

Kasia Delipacy

1

Miara kryterium

4

Teoretyczna

dziedzina

kryterium

3

Teoretyczna dziedzina predyktora

Miara predyktora

2

5



Wyszukiwarka

Podobne podstrony:
Standardy (rozdz.11), Egzamin
Standardy (rozdz.12), Egzamin
Standardy (rozdz.8), Egzamin
Standardy sprawozdawczości 14 zagadnienia na egzamin
Standardy (rozdz.4), Egzamin
Standardy (rozdz.9), Egzamin
Standardy (rozdz.3), Egzamin
Standardy (rozdz.7), Egzamin
Standardy (rozdz.1), Egzamin
Standardy (rozdz.5), Egzamin
Standardy (rozdz.2), Egzamin
2013 14 egzamin 1id 28354 (2)
14 02 14 egzamin zrobione
24 04 14 egzamin zrobione
2013-14, egzamin 0C
2013 14 egzamin 0C, testid 28353 (2)
2013 14 egzamin 1, testid 28355 (2)
K. Popper - Społeczeństwo otwarte i jego wrogowie skrypt rozdz. 14-24, Studia, Współczesne systemy p

więcej podobnych podstron