119005

Rok akademicki 2010/2011 Semestr IV, dr inż. T. Zieliński Przedmiot: E-finanse (wykłady)

K

N

K

P

12.04.2011

Wykład 5

2.

3.

4.

5.

Teoria informacji - dla jej potrzeb wiadomość została sprowadzona do zmiennej losowej.

•    Wiadomość musi dotyczyć konkretnej cechy statystycznej - parametr może się zrealizować na różnych poziomach z określonymi prawdopodobieństwami -> I poziom formalizacji wiadomości

•    Entropia - formalna miara ilości informacji dostarczanych w wiadomości.

•    Dwa wzory na entropie:

i.    Gdy prawdopodobieństwa wszystkich wariantów są jednakowo prawdopodobne, Np. rzut monetę, rzut kostkę - stan najbardziej krytyczny, dysponujemy najmniejszym, możliwym zasobem wiedzy sytuacja najgorsza, a do obliczeń najprostsza

ii. Gdy prawdopodobieństwa wszystkich wariantów nie są jednakowo prawdopodobne.

•    Jeżeli chcę wiedzieć więcej muszę uzyskać wiadomość, w której będzie informacja.

•    Najdroższe są ostatnie bity Miary ryzyka:

•    Wartość oczekiwana

•    Odchylenie standardowe

•    Zmienność

W entropii bierze się pod uwagę ilość zmiennych, a nie ich wartości (nie wykorzystujemy x-ów)

•    Przesyłanie kwintesencji informacji - kodowanie binarne w zapisie cyfrowym

•    Wystarczy, aby dogadać się, co do tłumaczeń Entropia zakłada, że informacje są idealnie zakodowane.

•    Entropia - maksymalna możliwa ilość informacji, jaką można uzyskać Prawdopodobieństwo warunkowe:

•    Reguła Bayes'a

p(a|b) =

P(Ai-iB)

p(b)

p(a)-p(b|a)

p(b)

6.    Kodowanie:

•    Koszt przesłania informacji -» jak coś już przesyłamy to chcemy przesłać to, co ważne, bo to kosztuje.

•    Jeśli jest dużo transmisji należy zoptymalizować przesyłane treści

i.    Zamiast przesyłać Np. „cena wzrosła", „cena spadła", „cena się nie zmieniła" można się umówić, że przysyłamy 0, 1, 2

ii. Ale trzeba binarnie, bez używania 2

iii.    Np. wzrost 1, bez zmian 0. spadek, 01

iv.    Informacja 110010001111 - nie działa poprawnie -> nie odróżnianie informacji na wyjście

v.    Istnieją specjalne metody pozwalające ustalić, jakie kody być powinny, aby były jak najkrótsze i pozwalały na rozróżnianie tekstów

vi.    Jeżeli do kodowania użyte zostaną dwa różne symbole (kodowanie binarne), to minimalna, średnia długość słowa kodowego komunikatu określona jest entropią danego komunikatu (L(X)=H(X)).

•    Konwersja zdjęć z raf do jpg -> da się zapisać informacje bezstratnie, jeśli przesadzimy, to utracimy pierwotną jakość zdjęcia

7.    Metoda Hoffmana

8.    Redundancja - używamy celowo kodów dłuższych niż entropia, redundancja na poziomie jednego bita - wystarczyłoby 2 znaki, a używamy 3 znaków.

•    Np. 2 pierwsze cyfry w rachunku bankowym zależę od 24 pozostałych.

2