ELEMENTY TEORII

INFORMACJI I 

STEROWANIA

Warszawa, 27 LISTOPADA 

2006

INFORMATYTKA

• W świecie istnieją dwa główne obiegi:
• Energii
• Informacji

• Dziedziną, która łączy ze sobą w sieć 

przyczynowo-skutkową elementy świata 

przyrodniczego, jest biocybernetyka. Nauka 

ta ukształtowała się w drugiej połowie XX 

wieku i zajmuje się badaniem procesów 

sterowania, regulacji i przetwarzania 

informacji w maszynach i żywych 

organizmach (Norbert Wiener, 1948)

Teoria informacji

• Teoria informacji zajmuje się analizą procesów 

wytwarzania, przenoszenia, odbioru i przetwarzania 

informacji. Nie uwzględnia się zazwyczaj struktury 

obiektu ani postaci energii biorącej udział w 

procesach.

• Przesyłanie informacji wymaga ustalenia 

zrozumiałego zarówno przez nadajnik, jak i 

odbiornik zasobu znaków (symboli), co do których są 

one zgodne (kodowanie). Mogą to być słowa, litery 

obrazy, kształty lub też dźwięki. 

• Przesyłanie informacji przebiega kanałem 

przesyłowym, którym może być powietrze, próżnia, 

przewód sieci informatycznej, instalacja 

pneumatyczna, hydrauliczna albo energetyczna 

oraz wiele innych mediów przenoszących informacje 

Łącze informacyjne

Źródł
o

Nadajnik

(kodowani
e)

Kanał

Odbiornik

(dekodowanie
)

 
Przeznaczenie

  informacji

Informacja

Zakłóceni
a

Sygnał
y

Sygnał
y

Informacja

Informatyka

• Informatyka to dyscyplina nauk 

technicznych zajmująca się zagadnieniami 
pobierania, przechowywania, przesyłania, 
przetwarzania i interpretacji informacji.

• W organizmach zwierząt i u człowieka 

znane są dwa szczególnie ważne kanały 
przesyłowe informacji: system nerwowy i 
krwioobieg.

Łącza informacyjne w 

organizmie

• Jako nadajnik mogą służyć na przykład mózg i 

receptory oraz gruczoły wydzielania 
wewnętrznego.

• Odbiornikami mogą być elementy wykonawcze, 

mózg lub receptory.

• Na przykład: 
• receptory - mózg
• mózg – mięśnie
• Gruczoły wydzielania wewnętrznego - narządy

Miara informacji

• Z punktu widzenia techniki najbardziej 

odpornym na zakłócenia i prostym w 

przetwarzaniu jest system binarny 

(dwójkowy).

• Potwierdza to przyroda, stosując podobny 

system w układzie nerwowym, zasada 

wszystko albo nic.

• W systemie tym możliwe jest również 

prowadzenie rachunku logicznego – algebry 

Boole’a: prawda (tak) – 1, fałsz (nie) – 0.

Bit

• Informacja polegająca na wyborze 

jednego ze stanów:

• 1 lub 0
• tak lub nie
• H lub L
• Ma ilość informacji równą 1 bitowi
•  bit skrót od binary digit

Miara informacji

• Informacja w sensie potocznym 

rozumiana jest jako znajomość 
pewnego stanu otaczającego świata.

• Informację definiuje się jako zdarzenie 

wybrania elementu ze zbioru 
wszystkich możliwych elementów.

Negentropia

• Zdarzenie wybrania elementu ze zbioru wszystkich 

możliwych elementów zachodzi z pewnym 

prawdopodobieństwem.

• Biorąc pod uwagę to prawdopodobieństwo oraz 

liczbę elementów zbioru n możliwych zdarzeń, 

określa się miarę informacji I (zwaną negentropią):

• p

i

 – prawdopodobieństwo wystąpienia i – tego 

elementu zbioru









n

i

i

i

p

p

I

1

2

)

(

log

Negentropia

• Jednostką negentropii jest 1 bit
• 1 bit to wybór spośród dwóch 

jednakowych zdarzeń czyli wybór 
jednego z dwóch równie 
prawdopodobnych zdarzeń jest 
jednostką informacji.

Negentropia

• Wartość negentropii wzrasta wraz ze 

zwiększeniem  liczby stanów, które 
mogą wystąpić oraz ze zwiększeniem 
nieprzewidywalności stanu aktualnego.

• Negentropia wielu niezależnych 

zbiorów stanów jest równa sumie ich 
negentropii.

• Negentropia informacji niezmiennej 

(występuje 1 stan) wynosi 0.

Negentropia

• Negentropia dla p

1 

= p

2

 = 0,5 wynosi I = 1 

bit

• Negentropia,p

1 

= 0,01 p

2

 = 0.99, I = 0.0807 

bita

• Dla równolicznych zbiorów negentropia 

przyjmuje największą wartość gdy 
prawdopodobieństwa wystąpienia każdego 
z elementów są równe:

• I = log

2

(n)

Przepustowość informacji

• Przepustowość informacji to stosunek 

przekazywanych ilości informacji do czasu:

]

1

/

[

bod

s

bit

t

I

L





bod – skrót nazwiska 
Boudot

Gęstość informacji 

(powierzchniowa)

• Gęstość informacji to stosunek ilości 

informacji do powierzchni: 

]

/

[

2

m

bit

S

I

B 

Pojemność informacyjna łącza 

informacyjnego

• Pojemność informacyjna łącza 

informacyjnego to stosunek maksymalnej 
ilości przekazywanych informacji do czasu:

]

/

[

max

s

bit

t

I

C 

0<L≤C

Przepustowość informacji 

żywych organizmów

• Ilość informacji odbieranych, wysyłanych 

lub przetwarzanych przez żywe 
organizmy może być tylko szacunkowa.

• Ilość informacji, które człowiek może 

przyjąć wszystkimi zmysłami ocenia się 
na około 10

9

 bodów.

• Ilość informacji, które człowiek może 

wysłać ocenia się na około 10

7

 bodów.

Przepustowość informacji

•Świadomie przetworzyć 

można co najwyżej 100 
bodów na miliard 
odbieranych, z czego 10 
bodów można zapamiętać na 
krótko, a tylko 1 bod trwale

.

Przepustowość informacyjna 

receptorów [bod]

•Wzrok – 10

10

•Słuch - 5·10

4

•Ucisk – 10

5

•Temperatura – 10

3

•Węch – 10

2

•Smak - 10

Lejek informacyjny

• Ograniczenia przepustowości 

informacji mają miejsce we 
wszystkich zmysłach.

• Ograniczenie przepustowości 

nazywane jest lejkiem 
informacyjnym.

Otoczeni
e 10

9

 

[bod]

Słuch

Wzrok

Węch

Smak

Dotyk

Selekcja 10

7

 

[bod]

10

2

 

[bod]

Świadomość

System dziesiętny

•C

1

10

n

+C

2

10

n-1

+C

3

10

n-2

+……

•1234=1·10

3

+2·10

2

+3·10

1

+4·10

0

System dwójkowy (binarny)

• bit – liczba binarna (binary digit)

• bajt – jednostka miary informacji 

równa 8 bitom (ang. byte)

• bajt to 2

8

=256 informacji

• Zapis binarny:

• b·2

n

+b·2

n-1

+b·2

n-2

+……….

• b=0 lub b=1

Bajt

• Ośmiocyfrowa liczba binarna jest 

podstawą zapisu różnych wielkości w 
pamięci komputera.

• 00000000

 0

• 00000001

 1

• 00000010 

 2

• 11111111

     256

• kilo – 10

3

2

10

 = 1024

• Mega – 10

6

2

20

 = 10487576

• Giga – 10

20

2

30

 = 1073741824