0000033 (14)

nych, literowych, liczbowych itp.). Przez sygnał rozumiemy proces fizyczny, stanowiący nośnik materialny wiadomości. Zbiór możliwych stanów może być ciągły (np. zmiana natężenia dźwięku, światła) lub dyskretny, nazywany też „ziarnistym” (np. położenie przełącznika zakresów w przyrządzie, układ cyfr, liter, obrazów). Mówimy, że zbiór jest

Kona* łączności

Ryc. 7.1. Schemat procesu przekazywania informacji. H(x) oznacza ilość informacji na wejściu do kanału łączności, Hfy) — na jego wyjściu.

„n” wartościowy jeśli może przybierać jeden z „n” stanów, np. 32-wartościowy przy przekazywaniu 32 liter alfabetu, 10-wartościowy przy przekazywaniu cyfr, 3-wartościowy przy sygnalizacji świetlnej w ruchu ulicznym oraz najniższy, 2-wartościowy, nazywany zero-jedynkowym, binarnym lub dwójkowym, w którym możliwe są dwa stany.

7.2. Ilościowe ujęcie informacji

Według dotychczasowych pojęć informację oceniano zazwyczaj w postaci jakościowej, określając tylko np. rodzaj lub jej treść (pisma, telegramu). Okazuje się jednak, że ocena taka dotyczyć może jedynie pojedynczych sygnałów. Natomiast dla zbioru wszystkich występujących w układzie sygnałów można w pewien umowny sposób określić ilość informacji przypadającej na poszczególny sygnał. Będzie to możliwe, jeśli przyrównamy zestaw użytych sygnałów do elementów pewnego skończonego zbioru, przy czym przesłanie któregokolwiek sygnału oznacza jego wybór z tego zbioru w założeniu, że dopóki to nie nastąpi, istnieje a priori prawdopodobieństwo przesłania dowolnego sygnału należącego do tego zbioru. Do chwili odebrania sygnału istnieje nieokreśloność, niepewność, który sygnał wystąpi. Odebranie określonego sygnału z danego zbioru usuwa niepewność, a tym samym dostarcza pewnej ilości informacji. Widzimy więc, że ilość informacji odpowiada zlikwidowanej niepewności, którą może być np. pomiar, obserwacja, wiadomość słowna, wynik losowania itp. Wiąże się z tym stwierdzenie, że największą ilość informacji otrzymamy wówczas, kiedy istnieje największa niepewność przed jej uzyskaniem, a nie otrzymamy jej woale, gdy tej niepewności nic ma. Ten sposób ujęcia pozwala każdą odebraną informację, bez względu na jej treść, rozpatrywać jako wielkość związaną z prawdopodobieństwom wyboru sygnału. Int liczniejszy jest zbiór możliwych sygnałów (wartość „n” informacji ziarnistej), tym bardziej niepewny jest wybór z tego zbioru określonego sygnału. Za miarę niepewności wyboru danego sygnału, równoważną ilości informacji, przyjęto ujemny logarytm z prawdopodobieństwa wyboru sygnału.

Przypomnijmy, że prawdopodobieństwem p = — nazywamy stosunek zdarzeń sprzyjających n_s do liczby /; zdarzeń możliwych. Stąd np. prawdopodobieństwo pojawienia się

133