INFORMACJA KATEGORIA EKONOMICZNA POJCIA WPROWADZAJCE Komunikat przekaz (mówiony, pisany, radiowy itd), który może przenosić wiadomości Wiadomość treść przekazywana przez komunikat (mająca charakter relacji pomiędzy nadawcą i odbiorcą) Różne komunikaty mogą przekazywać tą samą wiadomość, np. komunikat: papież przekazuje tę samą wiadomość co biskup Rzymu czy głowa kościoła rzymsko katolickiego . Wszystkie one identyfikują dla odbiorcy komunikatu tę samą osobę. Ten sam komunikat może przekazywać różne wiadomości w zależności różnych uwarunkowań. Np. komunikat zakwitły kasztany dla postronnego odbiorcy jest naturalną cechą pory majowej, dla konspiratora zaś może być umownym hasłem informującym o spotkaniu z agentem. Ogólną własnością komunikatów przekazujących wiadomości jest posiadanie pewnej ilości informacji uogólniając: Komunikatem nazywamy odpowiednio zakodowaną wiadomość, zawierającą pewną ilość informacji Dane - taka postać wiadomości, którą można zapisać i/lub przetworzyć z pomocą sprzętu komputerowego, a także - surowe, nie podane obróbce analitycznej liczby i fakty dotyczące zjawisk lub wydarzeń. INFORMACJA Termin informacja ma charakter interdyscyplinarny. Wywodząc się bezpośrednio z teorii informacji, będącej obszarem szczególnego zainteresowania takich dyscyplin naukowych jak: matematyka , cybernetyka, informatyka czy też elektronika, znajduje swoje miejsce w szeregu innych obszarów nauki, także tych o typowo humanistycznym charakterze. Pojęcie informacji jest jednym z najtrudniej definiowanych pojęć naukowych. Mimo że każdy intuicyjnie zdaje sobie sprawę z tego, co to jest informacja, to jednak jej zdefiniowanie napotyka wiele problemów. N. Winer wprowadzając pojęcie informacji stwierdza, że ... Jest ona jak gdyby nazwą treści pochodzącą ze świata zewnętrznego w miarę jak do niego przystosujemy swoje zmysły... . K. Krzakiewicz przez informację rozumie ...przekazywaną przez nadawcę do odbiorcy pewną treść będącą opisem, poleceniem, nakazem, zakazem lub poleceniem. R. Aschby uważa, że ...informacja to przekazywanie różnorodności . W. Głuszkow określa informację ...jako wszelkie wiadomości o procesach i stanach dowolnej natury, które mogą być odbierane przez organy zmysłowe człowieka lub przyrodę.. . A.Mazurkiewicz, (cytat za: W.M.Turski, Propedeutyka informatyki, PWN, Warszawa 1985) Informacją nazywamy wielkość abstrakcyjną, która może być przechowywana w pewnych obiektach, przesyłana między pewnymi obiektami, przetwarzana w pewnych obiektach i stosowana do sterowania pewnymi obiektami, przy czym przez obiekty rozumie się organizmy żywe, urządzenia techniczne oraz systemy takich obiektów. W. Flakiewicz określa informację jako: ... czynnik, który zwiększa naszą wiedzę o otaczającej nas rzeczywistości . Tsitchizris i Lochovsky definiują informację jako przyrost wiedzy, który może być uzyskany na podstawie danych 1 W informatyce przyjmuje się, że informacją nazywamy wielkość abstrakcyjną, która może być przechowywana w pewnych obiektach (np. komputerach), przesyłana między pewnymi obiektami (np. komputerami), przetwarzana w pewnych obiektach (np. komputerach) i stosowana do zarządzania pewnymi obiektami. Obiekt może być komputerem, ale nie musi być nim. W rozumieniu cybernetyki, informacja jest to: każdy czynnik, dzięki któremu obiekt otaczający go (człowiek, organizm żywy, organizacja, urządzenie automatyczne) może polepszyć swoja znajomość otoczenia i bardziej sprawnie przeprowadzać celowe działanie. Najbardziej precyzyjna definicja, pochodząca z teorii informacji podchodzi do informacji jako do miary niepewności zajścia pewnego zdarzenia (otrzymania określonego wyniku pomiaru, wyemitowania określonej wiadomości przez zródło) spośród skończonego zbioru zdarzeń możliwych. TEORIA INFORMACJI - Dział matematyki na pograniczu statystyki i informatyki dotyczący informacji oraz jej transmisji, kompresji, kryptografii itd. Za ojca teorii informacji uważa się Claude E. Shannona, który w latach 1948-1949 ogłosił fundamentalne prace z tej dziedziny. Podstawowe założenia ilościowej teorii informacji polega na tym, że komunikat zawiera tym więcej informacji, im mniejsze jest prawdopodobieństwo jego wystąpienia. CECHY INFORMACJI: jest niezależna od obserwatora; jest różnorodna; jest niewyczerpywalna; może być powielana w czasie i przestrzeni; można ją przetwarzać, nie powodując jej zużycia; jest subiektywna - ma inne znaczenie dla różnych odbiorców; opisuje obiekt ze względu na tylko jedną jego cechę; przejawia cechę synergii (Synergia to współdziałanie różnych czynników, skuteczniejsze niż suma ich oddzielnych działań. Przykładowo: umiejętności kluczowe, nabyte w ramach jednego przedmiotu, skutkują w przypadku pozostałych, pomagając w uzyskiwaniu osiągnięć przez uczniów.) 2 ILOŚĆ INFORMACJI Jednym z podstawowych parametrów opisujących informację zawartą w wiadomości jest jej ilość. Ustalenie miary informacji jest uzależnione zarówno od podejścia badacza (humanista, fizyk, informatyk). Nadal otwartym pozostaje problem zwartej i uniwersalnej definicji ilości informacji. Można wyróżnić trzy metody określenia miary ilości informacji: 1. podejście uwzględniające strukturalną budowę informacji - uwzględnia się determinowaną budowę masywów informacji. Pomiar tych masywów następuje przez obliczanie elementów informacyjnych (kwantów), tworzących te struktury, albo przez odpowiednie kodowanie masywów. 2. podejście uwzględniające semantyczną wartość informacji - podejście uwzględnia poszczególne cechy informacji takie jak: zasadność, cenność, pożyteczność oraz istotę informacji. 3. podejście uwzględniające zależności statystyczne - operuje pojęciem entropii jako miary nieokreśloności, uwzględniającej prawdopodobieństwo pojawienia się tych lub innych zdarzeń. Przyjąć można, że do zapisu informacji stosuje się kodowanie binarne1, którego klasyczną reprezentacją jest ciąg zero jedynkowy. Słowem binarnym określić można ciąg zer i jedynek o długości N. Ilość informacji jaka może zostać zapisana w słowie kodowym jest proporcjonalna do N, co oznacza, że informacja jest wielkością ekstensywną. Można założyć zatem, że długość słowa binarnego jest miarą ilości informacji H. Ilość różnych słów binarnych o długości N znaków opisuje zależność liczba słów = 2N a" N = log2(liczba słów) Jeżeli uznać, że prawdopodobieństwo wystąpienia każdego słowa kodowego jest takie samo, wówczas wynosi ono: p = 1 / liczba słów a" liczba słów = 1 / p Na podstawie powyższych uzyskuje się zależność: N = log2(liczba słów) = log2(1/p) = -log2(p) Uwzględniając wcześniejszy postulat traktowania długości słowa kodowego jako ilości informacji stwierdzić można, że miara ilości informacji zawartej w wiadomości wyraża się wzorem: ć 1 H = log2 = -log2 p
p Ł ł Zależność określa ilość informacji jaką niesie komunikat, którego wszystkie możliwe warianty są jednakowo prawdopodobne. 1 Uzasadnienie tego założenia, oraz rozwinięcie kwestii kodowania, znajduje się w dalszej części opracowania. 3 Jednostkę informacji nazywa się bitem. Bit jest to ilość informacji potrzebna do zakodowania, które z dwóch równie prawdopodobnych zdarzeń alternatywnych naprawdę zaszło. Bit odpowiada ilości informacji zawartej w odpowiedzi na pytanie na które można odpowiedzieć tak lub nie. Wartości bitu przyjęło się oznaczać cyframi dwójkowymi 0 i 1. Mogą istnieć ułamkowe ilości informacji - np. w zajściu zdarzenia którego szansa wynosiła 90% zawiera się 0.152 bitów. Własność ta jest wykorzystywana w niektórych algorytmach kompresji, takich jak kodowanie arytmetyczne. Symbol bitu to b. Wyższe jednostki to: bajt (byte, symbol: B) - pierwotnie ilość bitów przetwarzana jednocześnie przez komputer. Współcześnie, właściwie już od póznych lat 50-tych, używa się wyłącznie do oznaczenia 8 bitów (czyli oktetu). kilobajt (kilobyte, symbol kB) - 210 = 1024 bajty megabajt (megabyte, symbol MB) - 220 = 10242 = 1 milion 48 tysięcy 576 bajtów gigabajt (gigabyte, symbol GB) - 230 = 10243 = 1 miliard 73 miliony 741 tysięcy 824 bajtów terabajt (terabyte, symbol TB) - 240 = 10244 = 1 bilion 99 miliardów 511 milionów 627 tysięcy 776 bajtów W przypadku bajtów prefiksy kilo-,mega-, giga- i tera- nie oznaczają w żadnym razie potęg tysiąca. 4 PRZYKAAD rzut monetą- interpretacja jednego bitu Rzut monetą opisywany jest następującym rozkładem prawdopodobieństw: prawdopodobieństwo ilość informacji treść komunikatu komunikatu (bit) orzeł 0,50 1,00 reszka 0,50 1,00 Zgodnie z definicją, ilość informacji niezbędna do zakodowania, które z dwóch równoprawdopodobnych zdarzeń zaszło wynosi dokładnie 1 bit. Nawiązując do klasycznej konwencji zapisu binarnego można dokonać przyporządkowania: treść komunikatu zapis binarny orzeł 1 reszka 0 PRZYKAAD rzut kostką Rozpatrzmy warianty komunikatu informującego o ilości wyrzuconych kostką oczek: prawdopodobieństwo ilość informacji treść komunikatu komunikatu (bit) wyrzucono 1 0,17 2,58 wyrzucono 2 0,17 2,58 wyrzucono 3 0,17 2,58 wyrzucono 4 0,17 2,58 wyrzucono 5 0,17 2,58 wyrzucono 6 0,17 2,58 Nawiązując do klasycznej konwencji zapisu binarnego można dokonać przyporządkowania: treść komunikatu zapis binarny wyrzucono 1 000 wyrzucono 2 001 wyrzucono 3 010 wyrzucono 4 011 wyrzucono 5 100 wyrzucono 6 101 110 111 5 Gdyby równoprawdopodobnych możliwych treści komunikatu było 8, wówczas prawdopodobieństwo każdego z nich wynosiłoby 0,125 i wówczas zgodnie ze wzorem, ilość informacji zawartą w każdym z takich komunikatów wynosiłaby: ć 1 ć 1 k = log2 = log2 = log2(8) = 3bity
p 0,125 Ł ł Ł ł W sytuacji gdy wariantów tych jest mniej, wówczas ilość niezbędnych bitów jest nieco mniejsza (ułamkowa), a tym samym nie realizowalna technicznie. W przypadku zastosowania najmniejszej możliwej ilości bitów do zakodowania wariantów tego komunikatu mamy do czynienia ze zjawiskiem redundancji (patrz dalej). W praktyce niezmiernie rzadko mamy do czynienia z sytuacjami, w których wszystkie możliwe warianty komunikatu dotyczącego jednej cechy zmiennej losowej są równieprawdopodobne. W dalszym ciągu, zgodnie ze wzorem i z intuicją możemy twierdzić, że wystąpienie wariantu najmniej prawdopodobnego najmniej oczekiwanego - niesie ze sobą największą porcję informacji, natomiast wystąpienie wariantu najbardziej prawdopodobnego jest najbardziej spodziewane czyli niesie najmniejszą porcję informacji. W sytuacjach takich, o wysokim stopniu złożoności, szczególnie użyteczną jest miara mówiąca o średniej ilości informacji niesionej przez poszczególne możliwe (ale niekoniecznie równieprawdopodobne) komunikaty. Średnia ta, dla uwzględnienia częstości występowania różnych wariantów komunikatu, powinna mieć charakter średniej ważonej częstością ich występowania. 6 ENTROPIA Założenia: Aby zdarzenie było charakteryzowane między innymi przez prawdopodobieństwo, musi być zdarzeniem losowym. Jeżeli zajścia lub niezajścia pewnego zdarzenia nie można przewidzieć, i jeśli powiedzenie, że zachodzi ono lub nie, ma zawsze sens, to mówimy, że takie zdarzenie jest zdarzeniem losowym. 2 Niech X jest zmienną losową. X1, ..., Xn będą wartościami tej zmiennej (wariantami treści wiadomości) występującymi z prawdopodobieństwem p(X1), ..., p(Xn), przy czym: n p(Xi) =1
i=1 Entropię dyskretnej zmiennej losowej X (danej wiadomości) definiuje się jako średnią ważoną: ć 1 H(X ) = p(X )log2 = - p(X )log2 p(X )
p(X ) X X Ł ł Entropia jest w efekcie formalną miarą ilości informacji w wiadomości mogącej być wyrażoną różnymi wariantami komunikatu. PRZYKAAD zakup spółki giełdowej: Dwóch inwestorów dokonuje zakupu akcji spółki giełdowej. Jeden kupuje akcje przypadkowej spółki, w przypadkowym czasie, bez żadnych wcześniejszych analiz. Drugi dokonuje wyboru tej właśnie spółki na podstawie szeregu analiz. Wiadomość o wartości kursu akcji spółki za okres miesiąca może przybierać dwie wartości: wzrost lub spadek. Przykładowy rozkład prawdopodobieństwa wystąpienia poszczególnych stanów wiadomości jest następujący: wzrost spadek ilość informacji (entropia) I 0,5 0,5 1 II 0,9 0,1 0,47 1 1 * log2 2 + * log2 2 =1 2 2 9 10 1 10 * log2 + * log2 = 0,47 10 9 10 1 Ilość informacji mierzonej entropią jaką inwestor uzyska z wiadomości o kierunku zmiany kursu giełdowego spółki w drugim przypadku będzie znacznie mniejsza aniżeli w pierwszym. Wynika to z faktu, że dokonując na wstępie gruntownych analiz nabrał on znacznego przekonania o prawdopodobnym kierunku zmiany. Uzyskana wiadomość jest więc w dużej mierze tylko potwierdzeniem jego oczekiwań. W przypadku pierwszym inwestor w równym stopniu powinien był spodziewać się wzrostu jak i spadku kursu. Stąd też poziom informacji uzyskanej wraz z wiadomościa jest wysoki. 2 T.Gerstenkorn, T.Śródka, Kombinatoryka i rachunek prawdopodobieństwa , Państwowe Wydawnictwa Naukowe, Warszawa 1980, s.57 7 8 ENTROPIA JAKO MIARA RYZYKA Rysunek 2. Addytywność informacji w procesie stopniowej redukcji ryzyka yródło: Opracowanie własne na podstawie Tabeli 2. 9 Ostatecznie, dostosowując formalną definicję entropii do potrzeb teorii ryzyka stwierdzić można, że jest ona miarą ilości informacji którą decydent musi pozyskać, aby całkowicie wyeliminować ryzyko związane z osiągnięciem celu opisanego przez pewną zmienną losową. Mając na względzie aspekt kosztowy pozyskiwania informacji, decydent musi w praktyce określić na jaki stopień redukcji ryzyka może sobie pozwolić. W wysoce zinformatyzowanym środowisku informacji koszt jej pozyskania często wyrażany jest właśnie w bitach, (określających przykładowo wielkość pakietu informacji, szerokość dostępnego łącza, szybkość łącza itd.). Ułatwia to decydentowi jednorodne podejście do oceny ilości pozyskiwanej informacji i związanego z tym kosztu. Tabela 3. Niezależność entropii od wartości zmiennej losowej rozkład 1 rozkład 2 rozkład 3 xi pi xi pi xi pi i 1 96 0,02 80 0,02 30 0,02 2 97 0,03 85 0,03 35 0,03 3 98 0,05 90 0,05 40 0,05 4 99 0,20 95 0,20 45 0,20 5 100 0,40 100 0,40 50 0,40 6 101 0,20 105 0,20 55 0,20 7 102 0,05 110 0,05 60 0,05 8 103 0,03 115 0,03 65 0,03 9 104 0,02 120 0,02 70 0,02 E(X) 100,00 100,00 50,00 S(X) 0,25 6,19 6,19 v(X) 0,00 0,06 0,12 H(X) 2,42 2,42 2,42 yródło: Opracowanie własne. 10 Najprostszym modelem formalnym, mogącym posłużyć do ilustracji wpływu informacji na poziom podejmowanego ryzyka, jest reguła prawdopodobieństw warunkowych Bayes a, opierająca się na formule (1). P(A) P(B A) (1) P(A B) P(A B)= = P(B) P(B) Rysunek. Zastosowanie reguły Bayes a w ograniczeniu ryzyka Przykład. Niech A oznacza zdarzenie polegające na wypadnięciu liczby 6 w rzucie kostką. Zakłada się, że do decydenta dotarła wiadomość, iż wypadła liczba parzysta. Chcąc wyznaczyć jej wpływ na prawdopodobieństwo wypadnięcia szóstki, należy na podstawie (1) wyznaczyć P(A|B), gdzie B jest zdarzeniem wypadnięcia liczby parzystej. P(A) = 1/6 prawdopodobieństwo wypadnięcia liczby 6 P(A)"B) = 1/6 - prawdopodobieństwo jednoczesnego wypadnięcia szóstki i liczby parzystej P(B)=3/6=1/2 - prawdopodobieństwo wyrzucenia liczby parzystej P(A|B) = 1/6 : 1/2 = 1/3 > P(A) Nowe prawdopodobieństwo zajścia zdarzenia A jest większe niż pierwotnie szacowano. Oznacza to, że otrzymany komunikat dostarczył informacji przyczyniającej się do zmniejszenia podejmowanego ryzyka. Przykład. Niech A oznacza wypadnięcie liczby oczek mniejszej niż 4 w rzucie kostką. Decydent otrzymał wiadomość B, że wypadła liczba parzysta. Chcąc wyznaczyć jej wpływ na prawdopodobieństwo wypadnięcia liczby mniejszej niż 4, należy na podstawie (1) wyznaczyć P(A|B), gdzie B jest zdarzeniem wypadnięcia liczby parzystej. P(A) = 3/6=1/2 prawdopodobieństwo wypadnięcia liczby parzystej P(A)"B) = 1/6 - prawdopodobieństwo wypadnięcia liczby mniejszej niż 4 i jednocześnie parzystej (w praktyce prawdopodobieństwo wypadnięcia liczby 2) P(B)=3/6=1/2 - prawdopodobieństwo wyrzucenia liczby parzystej P(A|B) = 1/6 : 1/2 = 1/3 < P(A) 11 W praktyce często ma miejsce sytuacja, w której analityk pokłada nadmierną wiarę w zbawczą moc wszelkich napływających wiadomości. Skutkuje to ekstensywnym penetrowaniem wszelkich zródeł danych, które niekoniecznie prowadzą do ograniczenia podejmowanego ryzyka. Wykazać można, że dodatkowe dane mogą nie tylko nie zmniejszyć ryzyka, ale nawet spowodować jego wzrost. Pozyskiwanie wiadomości dostarcza informacji pozwalającej obniżyć poziom ryzyka tylko w sytuacji, w której zajście zdarzenia B spowoduje zawężenie przestrzeni zdarzeń dla A. Sytuacja taka miała miejsce w przykładzie pierwszym. Z kolei w przykładzie drugim, zajście zdarzenia B dokonało takiej redefinicji zdarzenia, w której przestrzeń zdarzeń uległa relatywnemu zwiększeniu Oznacza to, iż przed podjęciem wysiłku pozyskania dodatkowych danych, decydent powinien odpowiedzieć sobie na dwa pytania: 1. Czy zdarzenie opisywane pozyskiwaną wiadomością wpływa na poziom podejmowanego ryzyka?3 2. Czy zajście tego zdarzenia zawęża przestrzeń ryzyka? W przeciwnym bowiem razie, pozyskiwana wiadomość staje się bezużyteczna. Nie dostarcza informacji pozwalającej obniżyć poziom ryzyka a jednocześnie generuje koszty związane z jej pozyskaniem i przetwarzaniem. CECHY ENTROPII Można udowodnić, że dla zmiennych dyskretnych przyjmujących n wartości entropia jest maksymalna w przypadku rozkładu jednostajnego p(X1) = p(X2) = ... = p(Xn) = 1/n, tj. gdy wszystkie warianty wiadomości są jednakowo prawdopodobne i wynosi log n. Dla zmiennych ciągłych największą entropię wśród wszystkich rozkładów o tej samej wariancji posiada rozkład normalny. H(X) maleje ze wzrostem nierównomierności wystepowania poszczególnych wiadomości osiągając minimum równe 0 dla p(Xi) = 1 Oznacza to, że przykładowa wiadomość, iż: w bilansie banku, suma aktywów jest równa sumie pasywów nie niesie za sobą żadnej informacji, bowiem prawdopodobieństwo tego stanu jest równe jedności (prawdopodobieństwo wszystkich innych stanów jest równe zeru). O ile więc w potocznym rozumieniu stwierdzenie to uznamy za informację wzbogacającą rozumienie otaczających zjawisk, to z punktu widzenia teorii nie jest to informacja. Podobnie z resztą, wbrew potocznemu rozumieniu wiadomość ta zasłyszana po raz drugi nie będzie już niosła informacji, bowiem posiadając zdobytą wcześniej wiedzę posiadamy już pewność odnośnie takiego stanu rzeczy. 3 Czy zdarzenia A i B są zależne, tzn. czy nie zachodzi P(A|B)=P(A) lub P(B|A)=P(B) 12 SYMULACJA RACHUNKU ENTROPII 0,00% 100,00% ENTROPIA: 3,45943162 i P(Xi) 1/P(Xi) LOG(1/P(Xi)) P(Xi)*LOG(1/P(Xi)) 1 9,09% 11,0 3,46 0,31 2 9,09% 11,0 3,46 0,31 3 9,09% 11,0 3,46 0,31 4 9,09% 11,0 3,46 0,31 5 9,09% 11,0 3,46 0,31 6 9,09% 11,0 3,46 0,31 7 9,09% 11,0 3,46 0,31 8 9,09% 11,0 3,46 0,31 9 9,09% 11,0 3,46 0,31 10 9,09% 11,0 3,46 0,31 11 9,09% 11,0 3,46 0,31 99,00% 100,00% ENTROPIA: 1,96315686 i P(Xi) 1/P(Xi) LOG(1/P(Xi)) P(Xi)*LOG(1/P(Xi)) 1 0,25% 400,0 8,64 0,02 2 0,25% 400,0 8,64 0,02 3 0,50% 0,50% 200,0 7,64 0,04 4 4,00% 4,00% 25,0 4,64 0,19 5 20,00% 20,00% 5,0 2,32 0,46 6 50,00% 50,00% 2,0 1,00 0,50 7 20,00% 20,00% 5,0 2,32 0,46 8 4,00% 4,00% 25,0 4,64 0,19 9 0,50% 0,50% 200,0 7,64 0,04 10 0,25% 400,0 8,64 0,02 11 0,25% 400,0 8,64 0,02 99,90% 100,00% ENTROPIA: 0,01472969 i P(Xi) 1/P(Xi) LOG(1/P(Xi)) P(Xi)*LOG(1/P(Xi)) 1 0,01% 10 000,0 13,29 0,00 2 0,01% 10 000,0 13,29 0,00 3 0,01% 10 000,0 13,29 0,00 4 0,01% 10 000,0 13,29 0,00 5 0,01% 10 000,0 13,29 0,00 6 99,90% 99,90% 1,0 0,00 0,00 7 0,01% 10 000,0 13,29 0,00 8 0,01% 10 000,0 13,29 0,00 9 0,01% 10 000,0 13,29 0,00 10 0,01% 10 000,0 13,29 0,00 11 0,01% 10 000,0 13,29 0,00 13 KODOWANIE - DOBÓR JZYKA ZAPISU INFORMACJI Jak można zauważyć, entropia pozostaje całkowicie ślepa na wartości poszczególnych realizacji zmiennych losowych. Inaczej niż tradycyjne, statystyczne miary ryzyka, uwzględnia jedynie ilość wariantów oraz prawdopodobieństwa z jakimi one występują. W praktyce oznacza to, że przekaz informacji od nadawcy do odbiorcy będzie jednakowo skuteczny w sytuacji, gdy poprzez kanał informacyjny przesyłane będą pełne treści komunikatu (np.: wzrost ceny , cena bez zmian , spadek ceny ), jak i wówczas, gdy przekazywane będą tylko krótkie symbole (np. 0,1,2) a obie strony posługiwać się będą zdefiniowanym systemem kodowania (np.: 0- wzrost ceny , 1- cena bez zmian , 2- spadek ceny ). Kod danego komunikatu nazywa się ciągiem albo słowem kodowym komunikatu, a liczba występujących w nim znaków długością słowa kodowego. W zależności od przyjętej konwencji, można stosować kody o stałej lub zmiennej długości Jeżeli do kodowania użyte zostaną dwa różne symbole (kodowanie binarne), to minimalna, średnia długość słowa kodowego komunikatu określona jest entropią danego komunikatu (L(X)=H(X)). Z ekonomicznego punktu widzenia najbardziej interesującą interpretacją tej wielkości [entropii przyp.aut.] jest stwierdzenie, że kanał komunikacyjny o pojemności H mógłby przenieść wiadomość opisującą stan świata z dowolnie małym błędem. 4 Entropia informacji może być więc traktowana, jako średnia ważona długości słów kodowych, niezbędnych do zakodowania poszczególnych wariantów informacji gdzie wagami są prawdopodobieństwa wystąpienia tych wariantów. Przykład. Rozważany jest komunikat informujący o zmianach cen ropy na rynkach światowych. Rozważane są trzy warianty komunikatu wraz z prawdopodobieństwami: A - cena bez zmian 1/2, B - spadek ceny 1/4, C - wzrost ceny 1/4 Jeżeli zastosowano kodowanie binarne, to minimalna średnia długość słowa kodowego wynosi: 1 1 1 L(X ) = H(X ) = log2(2)+ log2(4)+ log2(4) = 1,5 bita 2 4 4 W celu weryfikacji obliczeń dokonano kodowania binarnego: A - cena bez zmian 1/2 (0), B - spadek ceny 1/4 (10), C - wzrost ceny 1/4 (11) Rozpatrując losową sekwencję 40 kolejnych komunikatów (zgodnie z założonymi prawdopodobieństwami): BCAABAAAABBCCAACCAABCCAAABBAABACACAAABCB, dokonano kodowania: 1011001000001010111100111100101111000101000100110110001011105 Średnia długość wiadomości (średnia długość przypadająca na zakodowanie jednego wariantu wiadomości) wynosi: 60 / 40 = 1,5 bita i jest dokładnie równa entropii wiadomości. 4 K.J.Arrow: Eseje z teorii ryzyka, PWN, Warszawa 1979, s.268 5 Należy zauważyć, że w zastosowanym kluczu kodowania nie istnieje dylemat rozstrzygnięcia jaki wariant wiadomości jest aktualnie przesyłany. 14 KODOWANIE HUFFMANA Algorytm Huffmana to jeden z najprostszych, jednak niezbyt efektywnych systemów bezstratnej kompresji danych. Praktycznie nie używa się go samodzielnie, jednak często używa się go jako ostatniego etapu w różnych systemach kompresji, zarówno bezstratnej jak i stratnej. Algorytm Huffmana to system przypisywania skończonemu zbiorowi symboli o z góry znanych prawdopodobieństwach kodów o zmiennej liczbie bitów. Pózniej symbole te są zastępowane odpowiednimi bitami na wyjściu. Symbole te to najczęściej po prostu bajty, choć nie ma żadnych przeszkód żeby było nimi coś innego. ALGORYTM 1. Dla każdego symbolu S tworzymy węzeł o wartości równej prawdopodobieństwu wystąpienia S. Prawdopodobieństwa nie muszą w sumie dawać jedynki, muszą jedynie zachować proporcje, tak więc można równie dobrze używać np. ilości wystąpień danego znaku. 2. Bierzemy 2 wolne węzły z najmniejszymi wartościami (jeśli kilka węzłów ma taką samą wartość bierzemy dowolny z nich) i łączymy je jako 2 podgałęzie nowego węzła. Węzeł ten ma wartość równą sumie wartości obu węzłów. 3. Powtarzamy tak długo dopóki jest więcej niż 1 wolny węzeł. Kody dla znaków obliczamy w następujący sposób - idąc od ostatniego wolnego węzła - w lewo bit 0, w prawo bit 1. PRZYKAAD kodowanie Huffmana Mamy symbole A,B,C,D o prawdopodobieństwach wystąpienia odpowiednio [0.1, 0.2, 0.3, 0.4]. Aączymy węzły odpowiadające symbolom (A) i (B). Teraz mamy (A + B) = 0.3, (C) = 0.3, (D) = 0.4 Aączymy węzły odpowiadające drzewku (A + B) oraz (C). Teraz mamy ((A + B) + C)=0.6 i (D) = 0.4 Aączymy węzły odpowiadające drzewku ((A + B) + C) oraz (D). Teraz mamy tylko jeden wolny węzeł - drzewko (((A + B) + C) + D) = 1.0 Obliczamy kody znaków: o A = lewo, lewo, lewo = 000 o B = lewo, lewo, prawo = 001 o C = lewo, prawo = 01 o D = prawo = 1 Jak łatwo sprawdzić statystyczny znak zajmie w naszym kodzie: p[A] * 3 + p[B] * 3 + p[C] * 2 + p[D] * 1 = 0.3 + 0.6 + 0.6 + 0.4 = 1.9 bitów. Jest to mniej niż 2 bity potrzebne w trywialnym kodowaniu o stałej długości znaku. Jednakże entropia znaku wynosi: E = -0.1*log2(0.1) - 0.2*log2(0.2) - 0.3 * log2(0.3) - 0.4 * log2(0.4) = 1.8464 15 REDUNDANCJA Redundancja, w teorii informacji nadmiar informacji przekraczający minimum potrzebne do rozwiązania danego problemu lub przekazu tej informacji, np. zapis liczby 1 jako 01,00 jest redundantny. Innym przykładem redundancji może być przesyłanie daty dziennej i jednocześnie nazwy dnia tygodnia (nazwa dnia jest jednoznacznie określona datą). Jeśli na przesyłaną wiadomość składa się losowa kombinacja 26 liter alfabetu angielskiego, odstępu i 5 znaków interpunkcyjnych i jeśli założymy, że prawdopodobieństwo każdej takiej wiadomości jest takie samo, to entropia wynosi H = log232 = 5. Oznacza to, że potrzebujemy 5 bitów aby zakodować dowolny znak lub wiadomość: 00000, 00001, 00010, ... 11111. Efektywność transmisji lub zapisu (przechowywania) wiadomości wymaga aby zredukować liczbę bitów użytych do kodowania. Jest to możliwe podczas przetwarzania angielskiego tekstu ponieważ występowanie poszczególnych liter nie jest całkowicie przypadkowe. Na przykład prawdopodobieństwo, że literą następującą po ciągu liter INFORMATIO jest "N" jest niezwykle wysokie. Można wykazać, że entropia zwykłego angielskiego tekstu wynosi około jeden bit na literę. Oznacza to, że język angielski (tak jak i każdy inny język) ma wbudowaną bardzo dużą nadmiarowość określaną mianem redundancji.. Redundancja umożliwia np. zrozumienie wiadomości, w której pominięto samogłoski lub odczytanie niestarannego pisma odręcznego. We współczesnych systemach komunikacyjnych, sztuczna redundancja jest wprowadzana w procesie kodowania wiadomości w celu zmniejszenia liczby błędów w transmisji wiadomości. Aby lepiej uświadomic sobie znaczenie redundancji przeczytaj poniższy tekst. Wy_aga się czas_m od nau__ycieli, by organi_owali na_czanie, mi_o, że _rakuje materia_ów odp_wiadaj_cyc_ pla_owan_m cel_m. Cz_sto imp_owizuj_ wtedy i adaptuj_ to, co maj_, naj_epiej, j_k potrafi_. Najcz_ściej je_nak n_ucz_ciele wysz_kują ju_ istniej_ce, sto__wne materia_y. Niebe_piecze_stwo pol_ga na tym, że ni_kiedy _ybieraj_ materia_y ze wzgl_du na _atwy do ni_h dost_p i w e_ekcie zmi_niaj_ cele naucz_nia tak, aby d_stosować je do dost_pnych mat_riałów. W ta_ich pr_ypadkach u_zniowie mog_ zosta_ wyposa_eni w infor_acje i u_iejętno_ci uczenia si_ nie powi_zane z ce_ami nau__ania. R.M. Gagne, L.J. Briggs W.W. Wager Zasady projektowania dydaktycznego. W.Sz.i P. 1992 str. 42, Rozdz. Podstawowe wiadomości o systemach dydaktycznych To, że mimo braku wielu liter potrafisz go przeczytać zawdzięczamy redundancji jaką cechują się wszystkie języki naturalne. 16 PRZYKAAD - redundancja, nieoptymalne kodowanie Zakodowanie płci przy pomocy oznaczeń 0-KOBIETA 1-MŻCZYZNA wymaga jednego bitu. Jeżeli jednak zastosujemy oznaczenia słowne kodami ASCII, wówczas średnia ilość bitów wynosi 8. (Pliki tekstowe można skrócić o średnio 40% bez utraty ilości informacji przegadany język, ale miły bo polski) 17 SZUM INFORMACYJNY I JEGO WPAYW NA POZIOM RYZYKA Dotychczasowe rozważania koncentrowały się wokół ryzyka, którego zródłem jest niepewność osiągania wartości oczekiwanych (realizacji celu) przez poszczególne zmienne ekonomiczne. Ich suma składa się na ryzyko rzeczywiste analizowanego systemu ekonomicznego. Dyskutowane wcześniej miary informacji (prawdopodobieństwo, entropia) służyły więc pomiarowi ilości informacji niezbędnej do całkowitego wyeliminowania tej niepewności. Złożoność analizowanych systemów ekonomicznych nie pozwala często decydentowi na bezpośredni odczyt czynników ryzyka w miejscu w którym występują. Naturalną sytuacją jest występowanie kanałów informacyjnych, które pośredniczą pomiędzy zródłem danych a jej odbiorcą (Rysunek) Rysunek. Schemat ogólnego systemu komunikacji yródło: Opracowanie własne na podstawie C. E. Shannon: A Mathematical Theory of Communication , The Bell System Technical Journal, vol. 27, s.379. Jego obecność staje się podstawą sformułowania istotnego problemu teorii informacji, dotyczącego kwestii doskonałego przesłania informacji przez niedoskonały kanał informacyjny.6 Kanał informacyjny staje się bowiem zródłem szumu informacyjnego, który dodatkowo powiększa lukę informacyjną związaną z ryzykiem rzeczywistym. W efekcie obserwator narażony jest na ryzyko łączne, będące sumą ryzyka właściwego i szumu informacyjnego (Rysunek). 6 D.MacKay: Information theory, Inference, and Learning Algorithms , Cambridge University Press, 2003, s.3. 18 Rysunek. Ryzyko postrzegane a ryzyko rzeczywiste Przykładami zaszumianych kanałów informacyjnych mogą być np.: dla właściciela firmy uproszczone sprawozdania finansowe, dla inwestora giełdowego niepełna lub przekłamana informacja o czynnikach kształtujących kurs spółki, dla posiadacza jednostek uczestnictwa uproszczona informacja o strategii inwestycyjnej funduszu itd. Szum informacyjny może powodować zarówno zawyżenie ryzyka postrzeganego w stosunku do rzeczywistego, jak również jego zmniejszenie. W obydwu przypadkach istotnym jest, iż o ile cena za oczekiwany dochód wynika z poziomu ryzyka postrzeganego, o tyle oczekiwany dochód z inwestycji wiąże się z istniejącym ryzykiem rzeczywistym.7 Systemowe lub incydentalne zakłócenia w procesie pozyskiwania informacji na temat zachodzących procesów prowadzić mogą do istotnego przekłamania oceny ryzyka i jego ekonomicznych skutków. 7 M.Muszyński: Model przenoszenia ryzyka inwestowania z przedsiębiorstwa na jego właścicieli w aspekcie wykorzystania instrumentów finansowych, referat wygłoszony na konferencji: Finance and Real Economy Selected Research and Policy Issues, AE-Katowice, Ustroń, 28-30 maja 2008. 19 INFORMACJA W PROCESIE ZARZDZANIA Jest związana z realizacją funkcji zarządzania (planowanie, organizowanie, przewodzenie i kontrolowanie) oraz pozwala na podjęcie decyzji na różnych szczeblach zarządzania. Grupy informacji dla zarządzania: pokrzepiająca - dotyczy sytuacji bieżącej, jej celem jest zapewnienie, że wszystko przebiega zgodnie z przyjętymi założeniami; rozwojowa - ocena stanu (przebiegu) zjawiska lub procesu; ewentualnie pokazanie trudności; ostrzegawcza - sygnalizuje, iż wystąpiły określone zagrożenia w wyniku realizacji działalności organizacji lub też, że mogą one niebawem wystąpić; planistyczna - odnosząca się do poziomu lub stanu przyszłego zjawiska lub procesów gospodarczych; operacyjna - określa działanie własnej organizacji i umiejscawia ją na mapie jej podobnych; opiniodawcza - dotyczy otoczenia organizacji; kontrolna - przekazywana otoczeniu (banki) o działalności organizacji. Informacja zawarta w sprawozdaniach finansowych firmy Złożoność wewnętrznych mechanizmów funkcjonowania, jak również występowanie szeregu zmiennych egzogenicznych o bardzo ograniczonej przewidywalności sprawiają, że skutek podejmowanych działań może być również przewidywany wyłącznie z pewnym, z reguły niewielkim prawdopodobieństwem. Z tego też względu wiadomość o finansowych efektach danego przedsięwzięcia gospodarczego, zawarta na przykład w sprawozdawczości banku, niesie za sobą ogromną ilość informacji o decydującym znaczeniu dla każdego analityka. W zależności od przeznaczenia zróżnicowany będzie zarówno charakter jak i poziom jej szczegółowości. Nie ulega jednak wątpliwości, iż informacja dostarczona przez mechanizmy rachunkowości stanowi podstawę oceny aspektów finansowych funkcjonowania instytucji bankowej. Różna będzie też ilość informacji w sprawozdaniu dla różnych odbiorców SYSTEM INFORMACYJNY W SYSTEMOWYM MODELU PRZEDSIBIORSTWA Traktując dowolne przedsiębiorstwo z punktu widzenia podejścia systemowego, możemy traktować je jako obiekt gospodarczy otwarty, dynamiczny układ społeczno-techniczny, realizujący określone cele gospodarcze. W jego ramach można wyróżnić dwa podstawowe podsystemy: system zarządzania oraz system działalności podstawowej. Coraz częściej, wobec wzrastającego znaczenia informacji jako podstawowej determinanty sukcesu firmy wyodrębnia się system informacyjny jest jako odrębny, równoprawny system. Pomiędzy poszczególnymi systemami obiektu gospodarczego mają miejsce różnorodne przepływy o charakterze rzeczowym (przepływy zasileniowe) lub też informacyjnym. Proporcja pomiędzy tymi dwoma kategoriami przepływów zależy głównie od charakteru przedsiębiorstwa (produkcyjne, usługowe) oraz od stopnia skomplikowania działalności (handel detaliczny, usługi bankowe). 20 System informacyjny obiektu gospodarczego WE / WY informacyjne 1 2 System zarządzania 8 3 4 System informacyjny 7 5 6 1 System wytwarzania 2 3 Przepływy informacyjne Przepływy zasileniowe zródło: Praca zbiorowa pod redakcją Adama Nowickiego, Podstawy informatyki dla ekonomistów, Wydawnictwo Naukowe PWN, Warszawa 1995, s.16 W przypadku przedsiębiorstwa bankowego na przepływy zasileniowo rzeczowe składają się (oprócz marginalnych ilościowo i wartościowo działań w ramach gospodarki własnej banku) przede wszystkim czynności związane z obsługą obrotu gotówkowego. Działalność banku w zakresie obrotu gotówkowego jest wielokrotnie mniejsza od działalności w zakresie obrotu gotówkowego. Ponieważ pieniądz żyrowy ma w zasadzie postać zapisu informacyjnego na rachunku bankowym (realizowanego jedynie różnymi środkami technicznymi), dlatego też można w dużym uproszczeniu scharakteryzować bank jako przedsiębiorstwo zajmujące się w dużej mierze przetwarzaniem informacji. Z tego względu, decydującą rolę w obiekcie bankowym odgrywają przepływy o charakterze informacyjnym. Indywidualnego podejścia wymaga definicja bankowego systemu wytwarzania . W przypadku każdego przedsiębiorstwa powinien on reprezentować jego podstawową pozainformacyjną sferę działalności. Dla banku będzie to w dużej mierze sfera obsługi klienta. Szczególne znaczenie systemu informacyjnego przedsiębiorstwa bankowego wynika z wyjątkowej złożoności oraz niezwykle dużej (w porównaniu z innego typu podmiotami) ilości występujących przepływów informacyjnych. Wielokrotnie schemat obiegu informacji w banku jest utożsamiany z jego strukturą organizacyjną bądz też przynajmniej ze strukturą systemu informatycznego. Podejście to znajduje swoje uzasadnienie w znacznym powiązaniu i uzależnieniu tych struktur z wymogami informacyjnymi banku. Wybrane implikacje dla SIZ: Scentralizowana struktura wymaga przepływu pionowego informacji i vice versa SIZ muszą być dostosowane do potrzeb poszczególnych zespołów, działów i obszarów funkcjonalnych System dostosowany do potrzeb danego przedsiębiorstwa 21 Obieg informacji w banku Zaplecze System zarządzania Kredyty Gospodarka Rynek własna pieniężny Zarządzanie Depozyty Przetwarzanie danych Analizy (rachunkowoć) ROR inne Rozliczenia międzyoddziałowe i międzybankowe Obsługa klienta zródło: Adam Pawełczak, Informatyka bankowa, Wydawnictwo WSB, Poznań 1995, s.10 CECHY NOWOCZESNEGO PRZEDSIBIORSTWA Elastyczne i szczupłe zdolne do szybkich inwestycji i dezinwestycji, mało zintegrowane, o małych kosztach stałych, zarządzane przez projekty i struktury macierzowe, Kooperatywne poszukujące współdziałania a nie konkurencji, zawiązujące liczne umowy z dostawcami i nabywcami oraz alianse z konkurentami w celu budowy pełnej oferty bez własnych zasobów, Inteligentne mające rozbudowane zasoby intelektualne a nie materialne, inwestujące w pracowników oraz badania i rozwój, dysponujące wywiadem ekonomicznym i sprawnie działającym kontrolingiem. FAZY ZARZDZANIA WIEDZ Nabywanie wiedzy Dzielenie się wiedzą ż praca w ramach projektu specjalistów z różnych podsystemów organizacji i o różnej wiedzy, ż dyskusje i grupowe rozwiązywanie problemów, ż codzienna współpraca zespołów z danej dziedziny np. w formie zespołów innowacyjnych czy laboratoriów, ż alianse z konkurentami i dostawcami, dzięki którym następuje transfer wiedzy z nieznanych nam sektorów, rynków i technologii. Przekształcanie wiedzy w decyzję ż formy i procedury decyzyjne umożliwiające zaangażowanie w proces decyzyjny najbardziej kompetentnych ludzi. Nie oznacza to zespołowej formy decyzji, ale wykorzystanie najlepszych kadr w procesie zbierania informacji, formułowania rozwiązań, doboru kryteriów, symulacji skutków każdego z wariantów, ż sprawnie działający i dostosowany do potrzeb określonych decydentów system wywiadu gospodarczego lub inny system wspomagający decyzje, ż systemy oceny i wynagradzania menadżerów promujące nowatorskie i śmiałe rozwiązania i wydłużające okres oceny, aby unikać decyzji koniunkturalnych . 22