Pytania do rozdziału „Wnioskowanie psychometryczne”, Hornowska (2009). R.1.
Co to jest psychometria?
- dział psychologii zajmujący się teorią i opracowywaniem testów psychologicznych
-dział metodologii psychologicznej zajmujący się pomiarem zachowań ludzkich
- dziedzina obejmująca badania psychometryczne najczęściej odnoszące się do rożnych procesów psychicznych
Mierzeniem czego zajmuje się psychometria?
Pomiar wartości cech psychologicznych
Czy przedmiot pomiaru psychometrycznego jest bezpośrednio obserwowalny?
Cechy (konstrukty teoretyczne) nie są bezpośrednio obserwowalne (mierzalne). Zanim zostaną wyrażone ilościowo wymagają operacyjnego zdefiniowania.
Co jest bezpośrednim przedmiotem pomiaru psychometrycznego?
Obserwowalne cechy zachowania. Najczęściej mają one status cechy ale pomiar może dotyczyć stanu, syndromu zachowania, czynnika, stylu, typu.
Jakie warunki powinna spełniać definicja przedmiotu pomiaru psychometrycznego?
cechy psychologiczne powinny być definiowane nie tylko w terminach operacyjnych ale też w terminach związków z innymi konstruktami teoretycznymi czy obserwowalnymi zjawiskami. Wynik pomiaru będzie użyteczny jeśli będzie można go odnieść do mierzonego konstruktu. Dlatego też konstrukty psychologiczne powinny być definiowane na dwóch poziomach (w terminach zjawisk obserwowalnych – definicje semantyczne oraz przez definicje syntaktyczne – dostarczające ramy interpretacji otrzymanych wyników w postaci formalnych związków logicznych)
Dlaczego jakikolwiek pomiar psychometryczny nie jest wystarczający dla poznania badanej cechy?
pomiar psychologiczny jest najczęściej oparty na ograniczonej próbce zachowań. Dlatego dokonując pomiaru zawężamy interesujący nas obszar zachowań do tych które uważamy za najbardziej adekwatne.
Czy taki sam wynik dwóch testów inteligencji (np. testu Wechslera i Ravena) lub ten sam wynik na skali neurotyzmu w testach NEO-FFI i EPQ-R oznaczają to samo? Dlaczego?
żadna realizacja pomiaru psychometrycznego nie ma charakteru uniwersalnego. Ten sam konstrukty może zostać powiązany z rożnym zbiorem zachowań. Ponieważ rożne definicje operacyjne prowadzą do zastosowania rożnych procedur badawczych. Ten sam wynik uzyskany za pomocą różnych narzędzi ma inne znaczenie psychologiczne.
Dlaczego wynik testu nie daje pełnej informacji o natężeniu badanej cechy?
Wyniki pomiaru psychologicznego nie zawsze przekładają się na skale o dobrze zdefiniowanych jednostkach
Z czego wynikają najczęstsze błędy w pomiarze psychometrycznym?
wynik pomiaru jest zawsze obarczony błędem. Dzieje się tak dlatego że pomiar najczęściej ograniczony jest do jednej próbki zachowań i najczęściej dokonuje się go w jednym punkcie czasowym. (przyczyną jest zapominanie, fluktuacja uwagi, zgadywanie czy uczenie się)
Jakie są dwa najważniejsze zadania psychometrii?
-określanie warunków jakie powinny spełniać narzędzia wykorzystywane do pomiaru cech psychologicznych
- budowanie modeli wiążących wynik pomiarów z rzeczywistymi wartościami mierzonych cech
Jak nazywają się dwa najważniejsze podejścia teoretyczne w psychometrii?
Teoria losowego doboru próby (związek pomiędzy wynikiem obserwowanym i prawdziwą wartością danej cechy, problem generalizacji wyniku z próby na większe populacje)
-model klasyczny, wraz z modyfikacjami
- teoria uniwersalizacji
Teoria odpowiadania na pozycje testu (określenie sposobu w jaki osoba odpowiada na kolejne pozycje testu pozwala na określenie rzeczywistego wyniku tej osoby)
Co to jest test psychometryczny? Wymień pięć elementów, które musi spełniać test psychometryczny.
Test jest procedurą diagnozowania, może być zbiorem zadań lub pytań które w standardowych warunkach mają wywoływać określone rodzaje zachowań i dostarczyć wyników o pożądanych własnościach psychometrycznych tj. mających wysoką rzetelność i trafność (APA)
- rzetelność
-trafność
- standaryzacja
- normalizacja
- obiektywność
Jakie są kryteria formalne oceny testu psychometrycznego? Innymi słowy: jakie są kryteria dobroci testu psychometrycznego?
Test psychologiczny powinien spełniać określone kryteria formalne zwane też kryteriami dobroci testów. Test powinien być obiektywny, wystandaryzowany, rzetelny, trafny, wystandaryzowany, powinien mieć właściwą adaptację kulturową jeśli np. został opracowany za granicą
Co to jest:
Test Standaryzowany – ma dokładnie sprecyzowane zasady ich stosowania oraz został wyposażony w normy otrzymane w wyniku przebadania reprezentatywnej grupy pochodzącej z grupy dla której test ten ma być stosowany
Test niestandaryzowany – np. testy budowane przez nauczycieli na ich własny użytek, testy takie najczęściej używane są jeden raz.
Testy indywidualne – można badać osoby jedynie pojedyńczo
Test grupowy – można badać jednocześnie grupę osób
test szybkości – odwołanie do kryterium czasowego, czas rozwiązania jest ograniczony, z założenia żadna osoba nie powinna wykonać w określonym czasie, w teście tym różnice indywidualne są determinowane szybkością rozwiązania testu
test mocy – każda osoba ma możliwość rozwiązania wszystkich pozycji testowych, trudność zadań w miarę wykonania stopniowo rośnie
test obiektywny – posiadają stałe metody obliczania wyników, tak że może tego dokonać osoba bez przygotowania psychologicznego
test nieobiektywny – ocena odpowiedzi wymaga dużej wiedzy osoby badającej, wynik odzwierciedla subiektywne umiejętności psychologa
test słowny – zawiera zadania zbudowane z materiału werbalnego np. Test wiadomości
test bezsłowny – zawiera zadania polegające na wykonaniu określonych czynności
test właściwości poznawczych – testy mierzą wytwory procesów poznawczych np. zdolności, uwagę, pamięć (istnieje odpowiedz prawidłowa, występuje problem zgadywania)
test właściwości afektywnych – mierzy postawy, wartości, zainteresowania (nie ma odpowiedzi prawidłowej, trzeba uporać się z trafnością samoopisu osoby badanej)
test zorientowany na normy – punktem odniesienia dla interpretacji wyników jest konkretna populacja osób oraz przeciętny poziom wykonania testu
test zorientowany na kryterium – punktem odniesienia jest konkretny zakres wiedzy, opis jednostki na podstawie jej specyficznych umiejętności
Kiedy pomiar psychometryczny jest obiektywny?
Obiektywność czyli niezależność wyników badania. Gdy dwie rożne osoby dochodzą do tych samych wyników badania. Dlatego musi posiadać jasno określony klucz oceniania, który zmniejszy subiektywny wpływ osoby badającej (dlatego stosuje się metodę tzw ślepej diagnozy – rożni badający otrzymują ten sam kwestionariusz, jeżeli wyniki i interpretacja jest taka sama test jest obiektywny, jest to diagnoza ślepa bo bez kontaktu z osobą badaną)
Co to jest standaryzacja badania?
Jest to jednolitość warunków badania, tylko wtedy bowiem wiadomo że otrzymane wyniki można przypisać czynnikom indywidualnym osoby badanej
Kiedy możemy mówić o standaryzacji badania?
Gdy jasno określona jest procedura badania ( zasady ogólne, instrukcja, pomoce) gdy określona jest procedura obliczania wyników (klucz do oceny odpowiedzi, obliczanie wyników), procedura interpretowania wyników ( normy). Szczególną rolę odgrywa instrukcja stosowania testu
Co faktycznie jest celem standaryzacji i czy „mechaniczna” standaryzacja cel ten realizuje?
Standaryzacja gwarantuje powtarzalność warunków badania. Chyba realizuje.
Jakie są zalety i wady „mechanicznej” standaryzacji badań?
Zalety (ta sama modulacja głosu, pauzy, ten sam wyraz twarzy osoby badającej może mieć znaczenie) Wady (trudno motywować osoby badane, trudno nawiązać pozytywne relacje z badanym)
Czy kiedy osoba przeprowadzająca test wiedzy jednym badanym podpowiada, a innym nie, możemy mówić o standaryzacji testu?
Nie
Czy zachowana będzie standaryzacja testu jeżeli użyte zostaną nieoryginalne arkusze testowe?
nie
Co to jest rzetelność testu?
To inaczej dokładność pomiaru. Inaczej wielkość błędu jaki popełnia psycholog interpretując wyniki danego testu. Inaczej to precyzja realizowanego pomiaru. Rzetelny czyli powtarzalny.
O czym mówi nam rzetelność testu?
W jakim stopniu wynik testu odzwierciedla poziom mierzonej cechy u danej osoby a nie wpływ czynników losowych.
Jakie informacje są konieczne, aby na podstawie wyniku otrzymanego określić wynik prawdziwy?
Trzeba wiedzieć jak duży popełniamy błąd stosując określony test i określić granice interpretacji otrzymanego wyniku. Należy uwzględnić wielkość błędu przy interpretacji wyniku.
Co to jest trafność narzędzia?
Czy test mierzy to co ma mierzyć, trafność jest inaczej obszarem zastosowania testu. Inaczej trafność to dokładność z jaką test realizuje założone cele pomiarowe.
Dlaczego trafność narzędzia jest tak ważna przy interpretacji wyników?
Pojęcie trafności dotyczy poprawności wniosków na podstawie wyniku testowego.
Co to jest normalizacja narzędzia?
Normalizacja jest nadaniem znaczenia wynikom testowym. Inaczej jest to procedura wyposażania testu w statystyczne kryteria interpretacji (normy). Jest to opracowanie procedury przekształcania wyników liczbowych uzyskanych przez osobę badaną w wyniki różnicowe, umożliwiające lokalizację danej cechy osoby na tle reprezentatywnej populacji.
Kiedy wynik otrzymany nabiera znaczenia interpretacyjnego? (Co musimy zrobić z wynikiem badania, aby móc ten wynik interpretować?)
Wynik otrzymany w teście musimy odnieść do precyzyjnego i jednolitego punktu odniesienia. Wynik surowy odnosimy do rozkładu wyników otrzymanych w próbie standaryzacyjnej, pozwala to stwierdzić w którym miejscu rozkładu mieści się wynik osoby badanej.
Jakie warunki musi spełnić normalizacja aby była użyteczna przy interpretacji konkretnego wyniku badania?
Normalizacja musi zawierać zestaw norm które stanowią podstawę interpretacji wyniku, powinny być opracowane dla populacji polskiej
Jakie są strategie adaptacji testów?
- strategia psychometryczna- kryterium tożsamości jest otrzymanie podobnych rozkładów odpowiedzi na pozycje testowe. Jest to tworzenie równoległej wersji narzędzia.
- strategia pragmatyczna – podobieństwo funkcji jakie ma pełnić dana technika. Odwołuje się do kulturowego i społecznego kontekstu badania oraz do teoretycznego zaplecza badania.
Co jest ważniejsze w tłumaczeniu narzędzi: oddanie sensu czy dosłowność?
Chyba oddanie sensu
Jakie warunki powinien spełniać test? Co powinno znajdować się w podręczniku testowym?
Dobry test spełnia następujące warunki: jest metodą obiektywną, wystandaryzowaną, trafną, rzetelną, znormalizowaną a w wypadku testów zagranicznych dostosowaną kulturowo.
Dobry test powinien mieć autora, podręcznik, pomoce, zabezpieczenie testu oraz powinien być chroniony prawnie.
Podręcznik testowy powinien zawierać: opis teorii lub doboru grup empirycznych, opis grupy na ktorej przeprowadzono badania standaryzacyjne, opis procedury badania i interpretowania wyników, opis badań dotyczących rzetelności i błędu standardowego pomiaru, opis badań dotyczących trafności zalecanej interpretacji oraz opis procedury normalizacji i normy dla wyraźnie zdefiniowanych populacji
Na czym polega proces wnioskowania psychometrycznego?
Jest to proces wyprowadzania wniosków o wartościach cech psychologicznych badanych osób na podstawie wyników jakie otrzymały w testach psychologicznych.
Co to jest wynik obserwowany?
Wynik jaki osoba otrzymuje w teście psychologicznym
Co to jest wynik prawdziwy?
Wynik odzwierciedlający rzeczywistą wartość mierzonej cechy
Czy wynik obserwowany zawsze odzwierciedla rzeczywisty poziom mierzonej cechy?
Nie zawsze (może ale nie musi)
Jak, wychodząc z wyniku obserwowanego, dochodzimy do wyniku rzeczywistego?
Pomiar (przekształcamy odpowiedzi na liczby) - szacujemy w jakim stopniu wynik otrzymany odzwierciedla wynik prawdziwy osoby badanej – oceniamy trafność wnioskowań.
Od czego zależy poprawność wnioskowania psychometrycznego?
Pytania do rozdziału „Klasyczna teoria testów jako podstawa wnioskowania o rzetelności testu”, Hornowska (2009). R- 2
Na jakie błędy narażony jest pomiar psychometryczny?
- osoba badana odpowiada tylko na pewną próbkę pozycji ze zbioru wszystkich możliwych pozycji dla testu. Otrzymany wynik nigdy nie jest idealnym odzwierciedleniem rzeczywistej wartości mierzonej cechy oraz jest zawsze obarczony błędem.
Czego dotyczy błąd systemowy a czego błąd losowy?
Błąd systematyczny świadczy o inwalidacji narzędzia, nie wiąże się z nierzetelnością narzędzia. Jest spowodowany stałymi cechami danej osoby lub narzędzia np. osoba zawsze zaznacza nie zgadzam się gdy nie rozumie treści pytania.
Błąd losowy powoduje obniżenie rzetelności pomiaru, może być konsekwencją konstrukcji testu, sytuacji testowania (ciśnienie, ból zęba), złej oceny wyników.
Z jakich nieobserwowalnych wartości, wg. klasycznej teorii testów, składa się wynik otrzymany testu?
Każdy wynik obserwowany w teście jest składową dwóch nieobserwowalnych bezpośrednio wartości: wyniku prawdziwego (T) oraz błędu pomiaru (E). X=T+E
Jakie są trzy założenia stanowiące podstawę klasycznej teorii testów?
Założenie o nieobciążoności narzędzia pomiarowego, M=0,
- badając testem tę samą osobę nieskończenie wiele razy otrzymamy rozkład normalny wyników a ich średnia wyniesie 0.
- wynik prawdziwy jest nieskorelowany z błędem pomiaru
- błędy pomiaru są nieskorelowane
Założenie o niezależności. Średnia wyników otrzymanych w rezultacie pomiaru testem jest sumą średniej wyników prawdziwych i średniej błędów pomiaru (równej zeru)
Zmienność wyników otrzymanych jest sumą wariancji wyników prawdziwych i wariancji błędu.
Co to jest wskaźnik rzetelności?
Można oczekiwać że wyniki otrzymane i prawdziwe będą ze sobą skorelowane. Korelację tą nazywamy wskaźnikiem rzetelności.
Co to jest rzetelność testu?
To inaczej dokładność pomiaru. Inaczej wielkość błędu jaki popełnia psycholog interpretując wyniki danego testu. Inaczej to precyzja realizowanego pomiaru. Rzetelny czyli powtarzalny.
Co to jest współczynnik rzetelności?
Jest to stosunek wariancji wyników prawdziwych do wyników otrzymanych. Lub w jakim stopniu wariancja wyników prawdziwych określa nam wariancję wyników otrzymanych.
Jak nazywa się metoda badania rzetelności, w której osoby:
- badane są dwa razy tym samym testem w
odstępie czasu? –metoda estymacji stabilności bezwzględnej
(badanie stałości) Wyniki są wrażliwe na przypadkowe zmiany
dotyczące zarówno osoby badanej jak i warunków badania. Im dłuższa
przerwa między badaniami tym niższy WSP rzetelności.
-
badane są dwa razy tym samym testem bez odstępu czasu? – metoda
estymacji wiarygodności testu. Na błędy składają się:
fluktuacja uwagi, zmęczenie, zapamiętywanie.
-
badane są dwa razy, wersjami równoległymi testu, w odstępie
czasu?- współczynnik stabilności względnej.
-
badane są dwa razy, wersjami równoległymi testu, bez odstępu
czasu? – współczynnik estymacji równoważności międzytestowej
Jakie są dwie metody sprawdzania rzetelności testu w sytuacji jednokrotnego pomiaru?
-Metoda połówkowa. porównanie części (połówek) testu. Oblicza się współczynnik równoważności międzypołówkowej.
- metoda badania zgodności wewnętrznej, oparta na analizie statystycznej pozycji testowych. Maksymalna liczba części an jakie można podzielić dany test jest rowna liczbie pozycji testowych
Które metody sprawdzania rzetelności testu odnoszą się do jego stabilności a które do jego spójności, konsystencji?
- do stabilności cechy w czasie (wsp stabilności bezwzględnej i względnej)
- do spójności (wsp równoważności międzytestowej i międzypołówkowej o niezależności pozycji testowych od specyficznej treści z jakiej zbudowane są pozycje testowe)
- do konsystencji (współczynniki zgodności wewnętrznej odwołują się do homogeniczności metody)
Jaka jest różnica między rzetelnością testu policzoną wg. wzoru KR-20 i alfa-Cronbacha?
KR-20 (opracowany przez Kudera-Richardsona) dotyczy sytuacji w których bierzemy pod uwagę średnią wariancję wszystkich pozycji testowych. Wzór nadaje się do obliczania rzetelności testów złożonych tylko z pozycji dwukategorialnych mających dwa rodzaje odpowiedzi – odpowiedzi diagnostyczne (poprawne) i niediagnostyczne (niepoprawne).
Cronbach aby przezwyciężyć to ograniczenie zaproponował rozszerzenie wzoru na pozycje wielokategorialne, wzór ten zwany jest alfa –cronbacha. Metoda ta daje dobre oszacowanie rzetelności testu gdy ma on strukturę jednoczynnikową a pozycje testowe są względem siebie równoległe.
Czy możemy mówić o czymś takim jak „rzetelność testu w ogóle”?
Nie bo każdy współczynnik rzetelności jest miarą innego źródła wariancji błędu. Każdy z tych współczynników daje też inne oszacowanie rzetelności testu.
Do czego służy wzór proroczy Spearmana-Browna?
Pozwala na określenie ile razy powinniśmy wydłużyć test aby osiągnąć rzetelność o pożądanej wielkości.
Rtt=
Dlaczego warto jest maksymalizować wariancję wyników narzędzia? Dlaczego warto jest, aby wariancja wyników narzędzia nie była zbyt duża?
Gdy w badanej przez nas grupie znajdą się osoby o małym zróżnicowaniu cechy która nas interesuje (mała wariancja cechy). Wtedy obliczony przez nas współczynnik korelacji pomiędzy cechami będzie miał wartość 0 lub bardzo niską. Im bardziej homogeniczna grupa tym mniejszy otrzymany współczynnik rzetelności.
Zwiększanie długości testu prowadzi do zmniejszenia wielkości błędu pomiaru a zwiększenia wariancji wyników prawdziwych.
Dlaczego nie można odpowiedzialnie stosować narzędzia bez znajomości jego rzetelności?
Negatywne skutki społeczne dla osoby badanej
Dlaczego zawsze podając wynik badania indywidualnego należy podać go w postaci przedziału ufności z określonym prawdopodobieństwem wnioskowania?
Przedział ufności pozwala nam na określenie granic w których z określonym prawdopodobieństwem znajduje się wynik prawdziwy osoby badanej
Jaki jest wzór na standardowy błąd pomiaru (SEM)?
Jest to błąd który popełniamy gdy przyjmujemy że wynikiem prawdziwym danej osoby jest średni wynik jaki uzyskałaby ona w nieskończenie wielu pomiarach tym samym testem.
SEM=Sx√1-rtt
Sx – odchylenie standardowe ogólnych wyników w teście
Rtt – rzetelność testu
Jak buduje się przedział ufności dla wyniku otrzymanego w oparciu o SEM?
Od wyniku otrzymanego odejmujemy pewną stalą wartość (otrzymujemy wtedy dolna granicę) i dodajemy pewną stałą wartość (otrzymujemy górną granicę). Ta stała wartość jest równa wyrażeniu Zα2.
X- Zα2SEM; X+ Zα2
Jaki jest wzór na standardowy błąd estymacji (SEE)?
SEE=√rtt *SEM
SEM – standardowy błąd pomiaru
Rtt – rzetelność zastosowanego testu
Jak buduje się przedział ufności dla wyniku otrzymanego w oparciu o SEE?
Rtt * X+(1-rtt)*M - Zα2*SEE; Rtt * X+(1-rtt)*M + Zα2*SEE;
Rtt – rzetelność testu
X – wynik surowy w teście
M – średni wynik dla grupy
Co wyraża z(alfa/2) w budowie przedziału ufności?
Jest to stała wartość, z odczytywane jest dla poziomu ufności α2 ponieważ przedzial ufności jest rozkładem dwustronnym a więc cały poziom istotności α dzieli się na pół.
Jaki jest wzór na standardowy błąd różnicy między pomiarami?
SEMx-y=√SEMx²+SEMy²
SEMx – standardowy błąd pomiaru dla jednego testu
SEMy – standardowy błąd pomiaru dla drugiego testu
Pytania do rozdziału „Trafność, czyli określanie obszaru zastosowania testu”, Hornowska (2009). R - 3
Co opisuje trafność testu?
- stopień w jakim test mierzy cechę którą ma mierzyć
- stopień dokładności przewidywania określonych kryteriów zewnętrznych – możliwość opisu zachowań pozatekstowych na podstawie badania testem
Dlaczego trafność testu jest istotna dla diagnosty?
Informacja o trafności określa nie tylko dobroć pomiarową narzędzia Ale stanowi też wskazówki interpretacyjne dla diagnosty.
Jakie są rodzaje trafności testu?
trafność treściowa (wewnętrzna, logiczna, pseudo-trafność)
trafność kryterialna
-diagnostyczna
-prognostyczna
trafność teoretyczna
fasadowa
Jaki rodzaj trafności odnosi się do reprezentatywności pozycji testowych?
Trafność treściowa. Jest definiowana jako zakres w jakim pozycje testowe stanowią reprezentatywną próbkę zachowań. Inaczej jest to stopień w jakim treść testu reprezentuje całokształt zachowań których próbkę pobiera test
Jaki rodzaj trafności odnosi się do wyglądu testu i czy można w tym wypadku mówić o trafności testu?
Trafność fasadowa. Nie oznacza trafności w sensie definicyjnym i nie dotyczy tego co test rzeczywiście mierzy ale co wydaje się mierzyć.
Trafność ta nie jest miarą dobroci testu.
Do czego odnosi się trafność kryterialna?
Stopień w jakim test koreluje z określonym kryterium zewnętrznym inaczej trafność kryterialna wskazuje w jaki sposób wyniki testowe powiązane są z interesującym nas kryterium.
Do czego odnoszą się trafności diagnostyczna i prognostyczna? Jaka jest między nimi różnica?
Odnoszą się do trafności kryterialnej. Trafność diagnostyczna –stopień w jakim wyniki testowe pozwalają na ocenę kryterium przy założeniu że występują one w tym samym czasie
Trafność prognostyczna- odnosi się do stopnia w jakim wyniki testu umożliwiają przewidywanie kryterium , które występować będzie znacznie później.
Jaki rodzaj trafności odnosi się do konstruktu teoretycznego, na podstawie którego stworzono narzędzie?
Trafność teoretyczna. Świadczy o zgodności zmiennej mierzonej przez test z konstruktem teoretycznym. Inaczej trafność teoretyczna pokazuje stopień w jakim test mierzy daną cechę (konstrukty teoretyczny)
W jaki sposób bada się trafność treściową?
- określenie zakresu uniwersum (w tym celu korzysta się z pomocy sędziów - ekspertów)
- określenie w jakim stopniu pozycje testowe można traktować jako reprezentatywną próbkę zdefiniowanego uniwersum.
Test musi spełniać oba warunki. Im większa zgodność sędziów tym większa trafność treściowa.
W jaki sposób bada się trafność kryterialną?
Trafność kryterialna jest wyznaczana przez stopień zgodności dwóch pomiarów: zmiennej testowej i zmiennej kryterialnej.
Kontaminacja kryterium – znajomość jakie wyniki osoba otrzymała w teście może wpływać na ocenę wyniku względem analizowanej zmiennej kryterialnej.
Współczynnik trafności kryterialnej – Trafność kryterialna jest wyrażana w postaci współczynnika korelacji między wynikami testu a wynikami zmiennej kryterialnej. Im wyższa wartość współczynnika korelacji tym wyższa trafność kryterialna. Zazwyczaj stosuje się współczynnik korelacji r Pearsona, można stosować Rho spearmana
Na czym polega trudność w określeniu trafności prognostycznej?
Wyniki testowe służą do przewidywania przyszłego zachowania osoby badanej. Wysoka trafność diagnostyczna nie gwarantuje trafności prognostycznej.
Jak mierzy się trafność teoretyczną?
Analiza różnic międzygrupowych (bada się dwie grupy różniące się natężeniem danej cechy najczęściej są to grupy skrajne)
Analiza macierzy korelacji (analiza współczynników korelacji wyników z innymi testami mierzącymi podobne cechy.
Analiza czynnikowa (odnalezienie nowej grupy zmiennych mniej licznej niż grupa zmiennych oryginalnych)
Analiza struktury wewnętrznej testu (stopień w jakim dany test można uznać za miarę jednego konstruktu. Jedną z metod szacowania jest analiza współczynników korelacji między wynikiem każdej pozycji a wynikiem ogólnym – sprawdza się przez to na ile test jest jednorodnym narzędziem)
Analiza zmian nieprzypadkowych wyników testu (porównywanie wyników dwukrotnego badania tym samym testem, w przerwie wprowadza się oddziaływanie eksperymentalne)
Analiza procesu rozwiązywania testu (analiza zadań testowych z punktu widzenia procesów przetwarzania informacji – kolejność wykonania zadania, elementów pomijanych, popełnianych błędów)
Na czym polega metoda wielu cech-wielu metod Campbella i Fiskego?
Metoda ta polega na pomiarze dwóch lub więcej niezależnych cech za pomocą dwóch lub więcej niezależnych metod. Następnie sporządza się macierz korelacji dla wszystkich cech i wszystkich metod. Wyniki mają korelować z wynikami podobnych testów i nie mają korelować z wynikami rożnych testów. Szuka się trafność zbieżną i rozbieżną.
Na czym polega stronniczość testu?
Stronniczość testu psychologicznego to błąd systematyczny.
- w statystyce jest to przeszacowanie lub niedoszacowanie parametru populacyjnego na podstawie danych z próby.
- w psychometrii stronniczość polega na tym że poszczególne pozycje testowe są mniej lub bardziej trudne dla osób należących do poszczególnych podgrup (np. ze względu na wiek, płeć, rasę) w ramach tej samej populacji.
Kiedy stronniczość testu jest jego wadą?
Powiedziałabym że zawsze jest wadą.
Czy test stronniczy może być uczciwy?
Test stronniczy jest z reguły nieuczciwy.
Co może zrobić diagnosta, żeby maksymalizować uczciwość testowania?
Jaki rodzaj trafności jest najważniejszy dla psychologa pracującego w szpitalu, jaki dla psychologa pracującego w poradni zawodowej/doradztwie personalnym, a jaki dla psychologa-naukowca? Czy inne rodzaje trafności mogą być dla nich nieważne?
Psycholog pracujący w szpitalu – trafność kryterialna
Psycholog zajmujący się doradztwem- trafność prognostyczna
Psycholog – naukowiec – trafność teoretyczna
Czy różnią się następujące podejścia teoretyczne w selekcji: indywidualizm nieograniczony, indywidualizm ograniczonym, dobór kwotowy. Jakie podejście jest Ci najbliższe i jakie ma to konsekwencje dla Twoich potencjalnych klientów i osób badanych?
Indywidualizm nieograniczony – instytucja rekrutacyjna powinna wybrać tych kandydatów którzy otrzymali najwyższy wynik, bez względu jakie zmienne uznane zostały za najważniejsze mogą to być nawet rasa czy płeć.
Indywidualizm ograniczony – również wybiera się kandydatów którzy uzyskali najwyższy wynik ale nie bierze się pod uwagę niektórych zmiennych no. Rasy, płci itp.
Dobór kwotowy – kwotowy (proporcjonalny) dobór kandydatów z grupy mniejszości i większości.
Chyba najlepsze jest podejście indywidualne ograniczone.
Pytania do rozdziału „Normy, czyli nadawanie znaczenia wynikom testowym”, Hornowska (2009). R - 4
Co to są normy?
- wg kryterium teoretycznego norma jest wyznaczana przez koncepcję, teorię
- wg kryterium kulturowego normę określają przepisy i wzory kulturowe
- wg kryterium statystycznego normą jest to co jest charakterystyczne dla większości
- w sensie psychometrycznym normą jest standard ilościowy wyznaczony przez średnią, medianę lub inną miarę tendencji centralnej obliczoną dla grupy przedstawicieli danego typu (gatunku). Normą jest typowy wynik w teście.
Po co tworzymy normy? Po co diagnoście normy?
- możemy odpowiedzieć na pytanie jaka jest wartość wyniku otrzymanego przez daną osobę w stosunku do wyniku innych osób
- odwołując się do norm można porównać wyniki dwóch osób (nie można tego zrobić na podstawie wyników surowych)
Co to jest grupa normalizacyjna?
Aby zinterpretować wyniki musimy odwołać się do sposobu wykonania testu przez określoną grupę osób. Grupa ta stanowi grupę odniesienia inaczej zwaną grupą normalizacyjną.
Na jakie właściwości norm diagnosta musi zwrócić uwagę zanim je zastosuje?
- jaki był dobór próby (losowy, warstwowy czy kwotowy)
- wielkość próby
- aktualność (normy testowe starzeją się)
Czym są normy lokalne i normy krajowe, czym różnią się one od siebie?
Normy krajowe – wyniki odwołujące się do reprezentacji ogólnej np. normy dla uczniów klas 8, pracowników kopalń, kobiet. Umożliwiają zestawienie wyników otrzymanych z wynikami reprezentującymi populację całego kraju.
Normy lokalne – normy obliczone dla wąsko zdefiniowanej populacji np. programistów, ogrodników, normy odwołują się do rozkładów częstości wyników w grupach o mniejszym zakresie i są wykorzystywane do realizacji wąsko zdefiniowanych celów.
Odwołanie się do nor lokalnych lub do norm ogólnokrajowych prowadzić może do innych interpretacji.
CO to są normy standardowe, rangowe i równoważnikowe? Jaka jest między nimi różnica?
- normy standardowe (powstają przez przekształcenie wyników surowych w teście w wyniki standardowe z. Wynik z pokazuje nam jak bardzo wynik surowy otrzymany w teście odchyla się od średniego wyniku grupowego. Punkt 0 nie oznacza początku skali a wartość średnią.
Z= Xi-X
S
Xi – wynik surowy testu
X – średni wynik w teście
S – odchylenie standardowe wyników tego testu
- Normy rangowe – wyniki testowe można przedstawić w postaci tzw. Centyli. Centyle są punktami na skali poniżej którego leży odsetek rozkładu. Centyl 50 odpowiada medianie rozkładu a więc opisuje poziom wykonania testu przez typową osobę. Skala centylowa nie odzwierciedla kształtu rozkładu wyników surowych testu. Skala ta prowadzi do przeceniania wielkości różnic w środku rozkładu a niedoceniania ich na obrzeżach. Normy centylowe są normami typu rangowego tzn że dobrze odzwierciedlają uporządkowanie osób badanych w grupie normalizacyjnej ale nie odzwierciedlają różnic między tymi osobami. Aby temu zaradzić tworzy się siatki centylowe które odzwierciedlają odległości w rozkładzie normalnym.
- normy równoważnikowe – określane też jako normy rozwojowe bo pozwalają określić jak daleko na drodze normalnego rozwoju znalazła się jednostka, mają głównie charakter opisowy a wyniki nie nadją się do obróbki statystycznej. Najbardziej znane są równoważniki wieku i równoważniki klasy. Równoważniki wieku – to dane o przeciętnym poziomie wykonania testu w poszczególnych grupach wiekowych np. wiek umysłowy, wzrost, waga. Równoważniki klasy – liczby wskazujące na rok i miesiąc nauczania w roku szkolnym odpowiadające średniej arytmetycznej lub medianie wykonania testu na danym etapie rozwoju.
Jaka, oprócz ilości punktów na skali, średnią i odchyleniem standardowym, jest różnica pomiędzy skalami stenową i staninową?
- Skala stenowa – parametry skali to: M=5,5, S=2. Jest toskala 10 punktowa, obejmuje zasięgiem od -2,25 do 2,25 odchylenia standardowego wynikow w rozkładzie normalnym.
Sten=2z+5,5
- Skala staninowa – parametry skali to: M=5, S=2 , jest to skala 9 punktowa, skala rozciąga się od -2 do 2 odchyleń standardowych wyników w rozkładzie normalnym, jest to najkrótszą ze skal.
Stanin=2z+5.
Czym charakteryzują się normy zorientowane na kryterium?
Wyniki testowe interpretowane są ze względu na pewne kryterium czy poziom wykonania. Punktem odniesienia nie jest grupa normalizacyjna a zakres wymagań, standard wykonania dostarcza informacji co osoby badane potrafią zrobić. Stosuje się je najczęściej w testach biegłości czy testach osiągnięć. Wyników tych jednak nie można odnieść do maksymalnego poziomu wykonania przez co trudno na tej podstawie prognozować jakie będą przyszłe osiągnięcia tej osoby w dziedzinie mierzonej przez test.
Pytania do rozdziału „Konstruowanie testu – podstawowe procedury”, Hornowska (2009). R - 5
1. Od czego należy zacząć procedurę tworzenia narzędzia?
Rozpoczynamy od konceptualizacji tego co ma być przedmiotem pomiaru - definiujemy mierzoną cechę(odpowiadamy sobie na pytanie czemu ma słuzyć tworzony przez nas test) i dokonujemy jej operacjonalizacji (definiujemy obszar interesujących nas zachowań).
2. Co to jest operacjonalizacja pojęć teoretycznych?
Określenie obszaru zachowań identyfikowanych z mierzonym konstruktem. jest to procedura wiązania terminów teoretycznych z terminami obserwacyjnymi nazywamy operacjonalizacją. Cecha i narzędzie są ze sobą ściśle związane gdyż narzędzie odzwierciedla tę cechę na poziomie zachowań.
3. Jaka jest różnica między pytaniem otwartym i zamkniętym?
pytanie otwarte - swobodny format odpowiedzi, osoba odpowiada spontanicznie, posługuje się swoim własnym językiem. np. pozycje do uzupełnienia, pozycje testowe wymagające krótkiej wypowiedzi, pozycje testowe na które odp. ma charakter krótkiego opowiadania.
pytanie zamknięte - osobie badanej przedstawia się zbiór odpowiedzi, a jej zadaniem jest wybranie jednej lub kilku z nich. np. pozycje alternatywne (odp. to prawda lub fałsz), pozycje z wieloma opcjami do wyboru, pozycje z dopasowaniem, pozycje w formacie skali likerta, dwubiegunowe skale przymiotnikowe
4. Co to jest „odpowiedź prawidłowa” (diagnostyczna)?
jest to odpowiedz zgodna z kluczem, właściwa
5. Co to jest „skala Likerta”?
jest to skala z 5 kategoriami odpowiedzi od zdecydowanie zgadzam się do zdecydowanie nie zgadzam się a w środku trudno powiedzieć
6. Na czym polega analiza językowa pozycji testowych?
Analiza zadań obejmuje 3 etapy
- analiza językowa
-analiza treściowa
-analiza statystyczna
Analiza językowa pozwala sprawdzić jakość wygenerowanych pozycji testu. Jest ona zazwyczaj przeprowadzana przez językoznawców. Polega na przeanalizowaniu każdej pozycji testu pod kątem poprawności gramatycznej, zrozumiałości, długości, metaforyczności. Wyróżnić można kilka ogólnych zasad: - nie powinna być zbyt długa, - zbudowana raczej ze zdań prostych niż złożonych, - powinna być sformułowana w trybie oznajmiającym,- stosowany język powinien być prosty, - język powinien być dostosowany do przeciętnych umiejętności respondenta, - poprawna gramatycznie, - nie powinna zawierać takich określeń jak czasami, rzadko, niekiedy, kilka, nigdy, zawsze.
7. Co to jest wskaźnik trudności pozycji testowych?
Wskaźnik ten oblicza się głównie w testach właściwości poznawczych i jest on wykorzystywany do wyboru pozycji testowych które mają odpowiedni poziom trudności. Jest to proporcja osób które poprawnie odpowiedziały na daną pozycję testową. Im wyższa wartość tym łatwiejsza pozycja. Niekiedy wskaźnik ten nazywany jest wskaźnikiem łatwości zadania. Najlepiej różnicują zadania o przeciętnym poziomie trudności.
8. Co to jest moc dyskryminacyjna? Jaka, z punktu widzenia klasycznej teorii testów, jest najlepsza wartość mocy dyskryminacyjnej?
Moc dyskryminacyjna inaczej zwana współczynnikiem dobroci pozycji.
Współczynnik mocy dyskryminacyjnej jest to stopień w jakim dana pozycja testowa różnicuje badaną populację w zakresie zachowania które nas interesuje.
Najlepsze są pozycje testowe które zwiększają wariancję wyników testowania a więc o wartości dodatniej, wysokiej mocy dyskryminacyjnej
9. Jaka jest procedura (9 etapów) tworzenia nowego narzędzia?
1. zdefiniowanie mierzonej właściwości i jej operacjonalizacja
2. określenie formatu bodźca i formatu odpowiedzi
3. generowanie pozycji testowych
4. analiza językowo-treściowa pozycji testowych
5. ustalenie klucza odpowiedzi
6.
7. badanie pilotażowe
8. obliczenie wybranych wskaźników statystycznych dla wszystkich pozycji w teście
9. zbudowanie ostatecznej wersji testu
Pytania do rozdziału „Społeczny kontekst stosowania testów psychologicznych”, Hornowska (2009). R - 6
1. Kiedy proces testowania i oceny na podstawie testu jest nadużyciem?
- nie wystarczy znajomość procedury stosowania metody, ważna jest znajomość teorii psychologicznych leżących u podstaw konstrukcji testu oraz teoria psychometryczna decydująca o sposobie obliczania wyników testu.
- gdy test nie jest stosowany jako obiektywna miara, a więc gdy jest stronniczy
2. Co, jeśli nie celowe działanie, jest przyczyną nadużycia w procesie testowania i oceny?
skutki tego mogą być i tak poważne dla osoby testowanej
3. Jakie są cztery postawy i przekonania, które sprawiają, że testowanie ma złe skutki społeczne?
- rozumienie inteligencji jako jedynej lub głównej cechy warunkującej powodzenie w bardzo wąsko definiowanych zadaniach
- etykietowanie w zakresie statusu intelektualnego i przewidywanie na tej podstawie przyszłego funkcjonowania osoby badanej.
- przypisywanie psychologom roli osób kontrolujących i determinujących losy życiowe badanych osób
- biurokratyczne podejmowanie decyzji dotyczących oceny badanych osób
4. Hornowska (2009) pisząc o przyczynach niekorzystnych zjawisk społecznych związanych z testowaniem mówi o inteligencji. Czy uwagi te dotyczą także innych konstruktów psychologicznych?
tak
5. Czy wynik testu może mieć charakter samospełniającej się przepowiedni?
tak
6. Czy w przypadku interpretowania wyników testów psychometrycznych możemy mieć do czynienia z efektem halo?
tak
7. Wymień pięć podstawowych praw osoby badanej testem.
- prawo do wyrażenia świadomej zgody na badanie testem
- prawo do informacji o wynikach testowania
- prawo do minimalizowania skutków etykietowania
- prawo do zachowania tajemnicy o wynikach testowania
- prawo do prywatności
8. Kiedy posługiwanie się starymi normami jest dopuszczalne w sytuacji diagnozy na podstawie testu?
normy powinny być aktualnie obowiązujące
9. Psycholog przeprowadzając badania poinformował osoby badane, że wypełnione przez nich ankiety stosowane będą jedynie w celach zbiorczej analizy i weryfikacji hipotez. Kilka lat później użył arkuszy uzyskanych w badaniach do celów dydaktycznych. Czy złamał w ten sposób prawa osób badanych? Kiedy mielibyśmy do czynienia ze złamaniem praw osób badanych? Co musiałby zrobić, aby, używając arkuszy w celach innych niż deklarował, zminimalizować szkody jakie potencjalnie wyrządził osobom badanym?
Nie złamał, prawo zostałoby złamane gdyby wyniki osób badanych analizowane były indywidualnie, z podaniem danych osób badanych czy innych informacji pozwalających domyślić się kto był osobą badaną. Poza tym do celów dydaktycznych chyba mógł użyć takich zbiorczych danych