Warunkowanie i uczenie się Warunkowanie i uczenie się Iwan Piotrowicz Pawłow Iwan Piotrowicz Pawłow We wczesnej fazie eksperymentu psy śliniły się wkrótce po umieszczeniu pokarmu w ich pyskach. Po powtórzeniu procedury wiele razy, zwierzęta zaczęły wydzielać ślinę przed spróbowaniem pokarmu. Ślinienie wywoływał widok pokarmu, pózniej widok eksperymentatora, odgłos jego kroków. Doniosłość odkrycia dokonanego przez Pawłowa Pawłowa Jak żywe organizmy uczą się przystosowywać się do nowych bodzców występujących w ich środowisku y y ęp ją y Są dwa zasadnicze rodzaje przewidywań, które musimy nauczyć się dokonywać tak, aby były one rzetelne i niezawodne: 1. Należy ustalić jakie zdarzenia następują po innych zdarzeniach w nas samych lub w środowisku 2. Jakie zdarzenia następują po naszych własnych działaniach czy reakcjach Dysponując tą wiedza możemy następnie p j od y p ją ą y ępprzejść przewidywania do sterowania interweniować, aby zmieniać zdarzenia zachodzące w środowisku, modyfikować zachowanie innych ludzi i zmieniać nasze własne zachowania. Jakie zdarzenia są sygnałami Jakie zdarzenia są sygnałami Ucząc się, j wykrywać i rozszyfrowywać sygnałową ą ę jak y y yy yg ą wartość bodzców, potrafimy lepiej przygotować się do zdarzeń, które one zapowiadają. Dany bodziec może być sygnałem zdarzeń mających bardzo różne znaczenie i różną doniosłość: niebezpieczeństwa, bezpieczeństwa, ulgi, nadziei, rozpaczy lub przyjemności. d l b ś Sygnałem może być układ czasowy lub przestrzenny. Na przykład, na podstawie rozkładu w czasie skurczów macicy u kobiety ciężarnej lekarz położnik potrafi przewidzieć, kiedy nastąpi poród. W naszym otoczeniu zachodzi nieskończona ilość różnych zdarzeń bodzcowych, a tylko niektóre z nich łączy z innymi związek informacyjny. W jaki więc sposób uczymy się wyodrębniać z tych milionów możliwości te, które są prawdziwymi sygnałami. Sygnał i rzecz sygnalizowana muszą być spostrzegane wystarczająco blisko w przestrzeni lub w czasie, abyśmy widzieli je jako związane ze sobą. Styczność wydaje się konieczna w większości wypadków uczenia się skojarzeń, lecz nie wystarczy aby je wyjaśnić. Duża częstość powtarzania się zdarzeń, które mogą być ę p ę ,gą y skojarzone, również sprzyja uczeniu się ich związku. Badanie procesów uczenia się stanowi podstawę zrozumienia zachowania człowieka. Cechą, która najbardziej odróżnia organizmy wyższe od ą,j j gy y niższych form życia jest względna zależność ich zachowania od niezmiennych, wrodzonych mechanizmów fizjologicznych i większa zdolność modyfikowania swego zachowania przez uczenie się w kontaktach ze środowiskiem. Uczymy się, jak stawać się ludzmi, jak żyć z innymi, mówić, uważać, spostrzegać, rozumować a także jak działać. Wszystkie nasze postawy, g y, p y y j , y py, gusty, przyzwyczajenia, upodobania, niechęci, obawy, uprzedzenia, a nawet symptomy nerwicowe są wyuczone. Warunkowanie reaktywne (klasyczne) Warunkowanie reaktywne (klasyczne) Badania Pawłowa koncentrowały się na jednej kategorii zachowań odruchach i reakcjach będących pod kontrolą autonomicznego układu nerwowego, a zwłaszcza tej jego części, która odgrywa istotną rolę w reakcjach emocjonalnych układu współczulnego. l h kł d ół l Zachowania reaktywne Zachowania reaktywne Każde z tych zachowań takich jak ślinienie się, zwężenie zrenicy, odruch kolanowy, zgięcie nogi czy mrugnięcie jest wywołane przez zdarzenie bodzcowe określonego rodzaju. Zachowania te są automatyczne, niewyuczone. Wykonując te mimowolne reakcje organizm reaguje na yją jg g j bodziec w en sposób, że zmienia coś w sobie samym, nie w swoim otoczeniu. Bodziec, który normalnie wywołuje te reakcje Pawłow yy j j nazwał bodzcem bezwarunkowym (Sb); reakcję, która niezawodnie po nim następuje, nazwał reakcją bezwarunkową (Rb). Pawłow zauważył, że gdy podawał psu proszek mięsny i obserwował automatyczną, niewyuczoną reakcję ślinienia, to w niedługim czasie inne występujące na krótko przed tym bodzce (widok pokarmu, widok lub odgłos kroków eksperymentatora) również uzyskiwały zdolność k) ó ż k ł d l ść wywoływania ślinienia. Gdy ślinienie wywoływane było przez te właśnie bodzce, wówczas nazywano je reakcją warunkową (Rw) Sb -------- wywołuje ------------Rb Sb ł Rb (pokarm) (ślinienie) Sw wywołuje ------------ Rw Sw -------- wywołuje Rw (dzwonek) (ślinienie) Warunkowanie awersyjne Warunkowanie awersyjne Pawłow stosował wstrząs elektryczny w łapę jako Sb oraz różne bodzce dzwiękowe i wzrokowe jako Sw. Rb stanowiło cofnięcie lub zgięcie łapy. Ponieważ ę g ę py uniknięcie bolesnych wstrząsów było niemożliwe, gdyż zwierzę było przytrzymywane uprzężą, reagowało ono na przykry bodziec nie tylko zgięciem nogi, lecz także uogólnioną reakcją strachu. Każdy bodziec, który dany organizm potrafi spostrzec, y yy g p p może być użyty do wywoływania reakcji warunkowej w każdym mięśniu czy gruczole, przez odpowiednie skojarzenie tego bodzca warunkowego z biologicznie ważnym bodzcem bezwarunkowym Anatomia warunkowania pawłowowskiego Anatomia warunkowania pawłowowskiego 1. Ogólna pobudliwość. 2. Układ bodzców w czasie (najkorzystniejszy odstęp między ( j y j y ęp ę y bodzcami to około pół sekundy) 3. Generalizacja bodzca (bodzce należące do tej samej j ( jj modalności) 4. Różnicowanie i hamowanie 5. Warunkowanie wyższego rzędu 6. Wygaszanie 6. Wygaszanie Uczenie się może być czasem niebezpieczne Uczenie się może być czasem niebezpieczne Jeśli wszystko, co spostrzegamy, może stać się dla nas sygnałem i jeśli każdą reakcję, którą wykonujemy w sposób naturalny, może zacząć wywoływać wyuczony sygnał, to możemy oczekiwać, że w wielu wypadkach b d h d ć niewłaściwe warunkowanie, a niektóre będzie zachodzić ł ś k k ó reakcje, zamiast zostać wygaszone, będą nadal nas dręczyć I tak dzieje się rzeczywistości. dręczyć. I tak dzieje się rzeczywistości nadmierna obciążenie nadmierna obciążenie Liddel () y (1934) badał warunkowanie reaktywne u owiec, stosując wstrząs elektryczny jako bodziec bezwarunkowy. Zgięciu nogi towarzyszyły także znaczne zmiany w oddychaniu, tempie pracy serca i ogólnej aktywności. Warunkowa reakcja mięśniowa może mieć również komponenty autonomiczne i emocjonalne, wygaszenie specyficznej reakcji warunkowej nie gwarantuje, że wszystkie dodatkowe komponenty tego układu reakcji także zostaną wygaszone. kż Przeciwnie mogą one utrzymywać się, opierając się wygaszeniu przez czas nieograniczony. Fakt, że raz ukształtowane odruchy warunkowe są tak trudne do wykorzenienia, sprawia, że jednostka, w miarę upływu lat (...) Jest obciążona wieloma reakcjami, które przestały być użyteczne, a nawet (& ) zagrażają życiu. Dotyczy to zwłaszcza funkcji sercowo-naczyniowych, a właśnie te odruchy warunkowe są najtrwalsze. Dana osoba może wciąż reagować na jakąś starą krzywdę lub sytuację, która powoduje przyspieszenie pracy serca lub zwiększenie ciśnienia krwi. Rezultatem może być chroniczne nadciśnienie. Schizokineza Schizokineza Termin utworzony przez Gantta Rozdwojenie, w którym komponenty złożonej reakcji warunkowej rozdzielają się, a następnie p y ą jją ę, ępprzez cały czas idą własnymi, oddzielnymi drogami. Badanie weteranów II wojny światowej Nerwica eksperymentalna Nerwica eksperymentalna Eksperyment różnicowania kola od elipsy Pies dokonywał właściwych różnicowań, śliniąc się tylko na widok pełnego kola jednakże w momencie gdy bodzce były widok pełnego kola, jednakże w momencie, gdy bodzce były niemal takie same, jego zdolność dokonywania różnicowania załamała się i zaczęła się coraz bardziej pogarszać. W końcu zwierzę nie potrafiło nawet dokonać pierwotnego, prostego różnicowania. Jeszcze bardziej dramatyczne były towarzyszące temu zmiany w zachowaniu. Spokojny poprzednio pies temu zmiany w zachowaniu. Spokojny poprzednio pies szczekał, skowyczał, szarpał aparat, przejawiał oznaki strachu przed pomieszczeniem eksperymentalnym i wykazywał zgeneralizowane h i d do ospałości i li hamowanie prowadzące d ł ś i i zapadania w sen. Nerwica eksperymentalna Nerwica eksperymentalna Jest ona podobna do nerwicy u ludzi w tym, że: 1. Jest wynikiem długotrwałego stresu, nieuniknionego konfliktu i niezdolności dokonania wyboru między konkurencyjnymi możliwościami 2. Wiąże się z zachowaniem świadczącym o zgeneralizowanym Wi ż i hi ś i d li stanie lękowym 3 Charakteryzuje się występowaniem symptomów reakcji 3. Charakteryzuje się występowaniem symptomów reakcji, które są niezwykle w życiu danego organizmu i zapewniają w najlepszym razie jedynie częściowe rozwiązanie konfliktu 4. Może utrzymywać się bez wygaszenia przez całe życie Z przypadkowego odkrycia warunkowego ślinienia się u psów, jakiego dokonał Pawłow badając fizjologię trawienia, rozwinął się nowy sposób badań nad zachowaniem i procesem uczenia się John B Watson John B. Watson Dajcie` mi tuzin zdrowych, normalnych niemowląt i mój własny, specyficzny świat, w którym bym je wychował, a gwarantuję, że wezmę na chybił trafił któreś z nich i wyszkolę je na specjalistę dowolnego typu, jaki tylko mógłbym wybrać lekarza, prawnika, artystę, k ó łb b ć l k k kupca a nawet żebraka czy złodzieja, niezależnie od jego talentów, skłonności tendencji powołań oraz bez wzglęu na raasę skłonności, tendencji, powołań oraz bez wzglęu na raasę jego przodków . Mały Albert Mały Albert Zestawienie białego szczura i dzwięk gongu. Systematyczne warunkowanie reaktywne w celu yy y wytworzenia silnej negatywnej reakcji emocjonalnej na białego szczura. Przez siedem prób łączono widok białego szczura z przerażającym dzwiękiem. Gdy następnie pokazano samego białego szczura, Albert zaczynał płakać. Tydzień pózniej reakcja strachu zgeneralizowała się z białego szczura na przyjaznego królika. Psa, futro, kłębek przędzy, maska Św. Mikołaja. Warunkowanie instrumentalne Warunkowanie instrumentalne Koty Thorndike a w skrzynkach problemowych. Wychodząc od tego rodzaju obserwacji nad uczeniem się metodą prób i błędów , Thorndike zaczął badać ę ą p ę , ą zjawiska, które z czasem nazwano warunkowaniem instrumentalnym. Aby wyjaśnić zachowanie kotów, Thorndike wnioskował o istnieniu niewidocznych, wewnętrznych p y ę y procesów, które pośredniczą między obserwowalnymi zdarzeniami. Był np. przekonany, że jego koty w skrzynkach problemowych były motywowane przez stany popędowe silne bodzce wewnętrzne, które skłaniały zwierzęta do działania, aktywizując ich zachowanie. Zachowanie to uważał on k h h Z h ż ł więc za zachowanie wytwarzane spowodowane przez stan e nętr ne a nie wywołane przez zewnętrzny stany wewnętrzne, a nie łane r e e nętr n bodziec warunkowy. W warunkowaniu instrumentalnym chodzi o nauczenie y się tej reakcji, która jest środkiem ( instrumentem ) prowadzącym do otrzymania upragnionej nagrody. Prawo efektu Prawo efektu Thorndike sądził, że uczucie zadowolenia z osiągniętego ą ąg ę g rezultatu sprawiało, iż wystąpienie skutecznej reakcji stawało się bardziej prawdopodobne. Uważał on te pomyślne konsekwencje wywołane w otoczeniu za stany wzmacniające i był przekonany, że związki między tymi następstwami a reakcjami, które do nich doprowadziły, k k ó dh d d ł utrwalają się w kolejnych próbach treningowych. Zgodnie ze sformułowanym przez niego prawem efektu. f ł i f kt każdy akt, który w danej sytuacji wywołuje zadowolenie, zostaje skojarzony z tą sytuacją tak że kiedy sytuacja powtarza się skojarzony z tą sytuacją tak, że kiedy sytuacja powtarza się, jest bardziej prawdopodobne niż kiedykolwiek przedtem, iż dany akt także zostanie powtórzony I na odwrót, każdy akt, dany akt także zostanie powtórzony. I na odwrót każdy akt który w danej sytuacji wywołuje przykrość, zostaje oddzielony od tej sytuacji g y p y ę , ponowne wystąpienie j y j gdy powtórzy się ona, p y ąp tego aktu jest mniej prawdopodobne niż przedtem. B F. Skinner warunkowanie sprawcze B. F Skinner warunkowanie sprawcze Warunkowanie sprawcze j procesem, za pomocą pjest p p ą którego można modyfikować zachowanie lub za pomocą którego reguluje się tempo wytwarzania reakcji sprawczej przez manipulowanie otoczeniem. Podstawowy paradygmat warunkowania sprawczego sprawczego Jeśli wytwarzana j pewna reakcja sprawcza i następuje po J yjest p j p ęp j p niej bodziec wzmacniający, to prawdopodobieństwo ponownego wystąpienia tej reakcji wzrasta Zadanie: modyfikowanie zachowań y R k j Reakcję wzmacnia się, Ludzi się nagradza. Niepożądane reakcje można karać; Ludzi karać się nie powinno. Wyuczona bezradność Wyuczona bezradność Wyuczona bezradność to utrwalenie przekonań o braku związku przyczynowego między własnym działaniem (reakcją), a jego konsekwencjami (wzmocnieniem). Termin został wprowadzony do psychologii przez Martina S l 1972. Seligmana w 1972 Eksperymenty Eksperymenty Seligman i Maier (1967r) umieszczali psy w klatce tak, by nie mogły one uniknąć uderzenia prądem. Po pewnym czasie i kilkunastu nieskutecznych próbach uniknięcia ból kładły się na podłodze i biernie i i kilk t i k t h ób h ik i i bólu psy kł dł i dł d i bi i znosiły cierpienie. Robiły tak nawet wtedy, gdy przeniesiono je do klatki, z której mogły łatwo uciec, przeskakując barierkę. Nawet jeśli smutnego psa siłą przeciągnięto przez przeszkodę w celu pokazania, że druga część jest bezpieczna, psy nie powtarzały tego zachowania samodzielnie. Szczur wrzucony do śliskiej kadzi z zimną wodą po kilkunastu minutach pływania w kółko tonie. Jeśli podsunie mu się kij tuż po rozpoczęciu tonięcia, tak że może się po nim wdrapać i wydostać z kadzi, to przy ponownym wrzuceniu pływa kilkadziesiąt godzin. Badacze odkryli, że za tonięcie zwierzęcia w pierwszej próbie odpowiedzialny jest nie stres (np. zawał serca) ale właśnie rezygnacja i apatia. Badacze instalowali nad głową dziecka w łóżeczku zabawkę, która obracała się w odpowiednią stronę, gdy dziecko przekręcało główkę (np. w prawo). W łóżeczkach innych dzieci ruch zabawki nie miał związku z ich ruchami głową. Po dwóch tygodniach dzieci z pierwszej grupy wyuczyły się sprawnego sterowania zabawką. Gdy dzieci z drugiej grupy dostały teraz nowe zabawki których ruch zależał od tego jak dzieci poruszały Gdy dzieci z drugiej grupy dostały teraz nowe zabawki, których ruch zależał od tego jak dzieci poruszały głowami, nie mogły one się tego wyuczyć. Wyuczona bezradność dotyka więc również niemowląt. Jeśli dajemy badanym do rozwiązania dwa zadania, z których jedno jest łatwe a drugie trudne, to oba zadania są częściej rozwiązywane gdy prezentuje się najpierw łatwe zadanie potem trudne. Jeśli kolejność jest są częściej rozwiązywane gdy prezentuje się najpierw łatwe zadanie, potem trudne Jeśli kolejność jest odwrotna (najpierw trudne, potem łatwe), to oba zadania są rzadziej rozwiązywane. Skutki wyuczonej bezradności Skutki wyuczonej bezradności Ludzie szybko uczą się bezradności, czyli poczucia, że ich osobista kontrola wzmocnień i wpływ na sytuację jest nieefektywna. W związku z tym uczą się oczekiwać obniżonej kontroli w przyszłości. To oczekiwanie prowadzi do: To oczekiwanie prowadzi do: deficytów poznawczych: człowiek przestaje rozumieć, co się w danej sytuacji dzieje, i nie potrafi przewidywać dalszego jej biegu. bardzo wydłuża się czas uczenia nawet prostych zależności "zachowanie-wzmocnienie". To oczekiwanie prowadzi do: To oczekiwanie prowadzi do: defic tó motywacyjnych: brak m t acji d działania i deficytów m t ac jn ch: brak motywacji do d iałania i umiejętności angażowania się. Długi czas dochodzenia do równowagi po porażce. deficytów emocjonalnych: depresja, apatia, lęk, zmęczenie, wrogość brak agresji, utrata nadziei wrogość, brak agresji utrata nadziei deficytów społecznych: wycofanie z kontaktów społecznych. Badacze odkryli, że stresujące zdarzenia, których nie jesteśmy w stanie uniknąć prowadzą także do przyśpieszenia rozwijania w stanie uniknąć, prowadzą także do przyśpieszenia rozwijania się chorób, szybszej śmierci w domach opieki społecznej i domach starców, obniżenia wyników uczenia się u dzieci. Leczenie wyuczonej bezradności Leczenie wyuczonej bezradności Seligman w oparciu o swoje badania stworzył także model rozumienia i leczenia depresji. Modyfikacja tego stylu poznawczego oraz uczenie się tendencji samoobronnej niosą skutki lecznicze. Okazało się także, że dla wyuczonej bd ś l bezradności istotne jest nie tyle rzeczywiste sprawowanie kontroli nad wzmocnieniami, ale raczej przekonanie o posiadaniu/nie posiadaniu tej kontroli posiadaniu/nie posiadaniu tej kontroli. Różnice indywidualne w wyuczonej bezradności bezradności Dwie trzecie ludzi umieszczonych w warunkach braku wpływu na wzmocnienia uczy się bezradności. Odkryto jednak, że około 30% opierało się próbom uczynienia i h b d i T b i ł il ł i d l i ich bezradnymi.Te osoby nie rezygnowały, wysilały się nadal, nie pozwalały negatywnym doświadczeniom wytworzyć symptomów wyuczonej bezradności symptomów wyuczonej bezradności. Zachowania te zależą od "optymistycznego stylu Zachowania te zależą od optymistycznego stylu atrybucyjnego", ogólnej skłonności do używania tendencji samoobronnej. j Dziękuję za uwagę Dziękuję za uwagę