ELEMENTY TEORII
INFORMACJI I
STEROWANIA
Warszawa, 7 grudnia 2007
INFORMATYTKA
• W świecie istnieją dwa główne obiegi:
• Energii
• Informacji
• Dziedziną, która łączy ze sobą w sieć
przyczynowo-skutkową elementy świata
przyrodniczego, jest biocybernetyka. Nauka
ta ukształtowała się w drugiej połowie XX
wieku i zajmuje się badaniem procesów
sterowania, regulacji i przetwarzania
informacji w maszynach i żywych
organizmach (Norbert Wiener, 1948)
Teoria informacji
• Teoria informacji zajmuje się analizą procesów
wytwarzania, przenoszenia, odbioru i przetwarzania
informacji. Nie uwzględnia się zazwyczaj struktury
obiektu ani postaci energii biorącej udział w
procesach.
• Przesyłanie informacji wymaga ustalenia
zrozumiałego zarówno przez nadajnik, jak i
odbiornik zasobu znaków (symboli), co do których są
one zgodne (kodowanie). Mogą to być słowa, litery
obrazy, kształty lub też dźwięki.
• Przesyłanie informacji przebiega kanałem
przesyłowym, którym może być powietrze, próżnia,
przewód sieci informatycznej, instalacja
pneumatyczna, hydrauliczna albo energetyczna
oraz wiele innych mediów przenoszących informacje
Łącze informacyjne
Źródł
o
Nadajnik
(kodowani
e)
Kanał
Odbiornik
(dekodowanie
)
Przeznaczenie
informacji
Informacja
Zakłóceni
a
Sygnał
y
Sygnał
y
Informacja
Informatyka
• Informatyka to dyscyplina nauk
technicznych zajmująca się zagadnieniami
pobierania, przechowywania, przesyłania,
przetwarzania i interpretacji informacji.
• W organizmach zwierząt i u człowieka
znane są dwa szczególnie ważne kanały
przesyłowe informacji: system nerwowy i
krwioobieg.
Łącza informacyjne w
organizmie
• Jako nadajnik mogą służyć na przykład mózg i
receptory oraz gruczoły wydzielania
wewnętrznego.
• Odbiornikami mogą być elementy wykonawcze,
mózg lub receptory.
• Na przykład:
• receptory - mózg
• mózg – mięśnie
• Gruczoły wydzielania wewnętrznego - narządy
Miara informacji
• Z punktu widzenia techniki najbardziej
odpornym na zakłócenia i prostym w
przetwarzaniu jest system binarny
(dwójkowy).
• Potwierdza to przyroda, stosując podobny
system w układzie nerwowym, zasada
wszystko albo nic.
• W systemie tym możliwe jest również
prowadzenie rachunku logicznego – algebry
Boole’a: prawda (tak) – 1, fałsz (nie) – 0.
Bit
• Informacja polegająca na wyborze
jednego ze stanów:
• 1 lub 0
• tak lub nie
• H lub L
• Ma ilość informacji równą 1 bitowi
• bit skrót od binary digit
Miara informacji
• Informacja w sensie potocznym
rozumiana jest jako znajomość
pewnego stanu otaczającego świata.
• Informację definiuje się jako zdarzenie
wybrania elementu ze zbioru
wszystkich możliwych elementów.
Negentropia
• Zdarzenie wybrania elementu ze zbioru wszystkich
możliwych elementów zachodzi z pewnym
prawdopodobieństwem.
• Biorąc pod uwagę to prawdopodobieństwo oraz
liczbę elementów zbioru n możliwych zdarzeń,
określa się miarę informacji I (zwaną negentropią):
• p
i
– prawdopodobieństwo wystąpienia i – tego
elementu zbioru
n
i
i
i
p
p
I
1
2
)
(
log
Negentropia
• Jednostką negentropii jest 1 bit
• 1 bit to wybór spośród dwóch
jednakowych zdarzeń czyli wybór
jednego z dwóch równie
prawdopodobnych zdarzeń jest
jednostką informacji.
Negentropia
• Wartość negentropii wzrasta wraz ze
zwiększeniem liczby stanów, które
mogą wystąpić oraz ze zwiększeniem
nieprzewidywalności stanu aktualnego.
• Negentropia wielu niezależnych
zbiorów stanów jest równa sumie ich
negentropii.
• Negentropia informacji niezmiennej
(występuje 1 stan) wynosi 0.
Negentropia
• Negentropia dla p
1
= p
2
= 0,5 wynosi I = 1
bit
• Negentropia,p
1
= 0,01 p
2
= 0.99, I = 0.0807
bita
• Dla równolicznych zbiorów negentropia
przyjmuje największą wartość gdy
prawdopodobieństwa wystąpienia każdego
z elementów są równe:
• I = log
2
(n)
Przepustowość informacji
• Przepustowość informacji to stosunek
przekazywanych ilości informacji do czasu:
]
1
/
[
bod
s
bit
t
I
L
bod – skrót nazwiska
Boudot
Gęstość informacji
(powierzchniowa)
• Gęstość informacji to stosunek ilości
informacji do powierzchni:
]
/
[
2
m
bit
S
I
B
Pojemność informacyjna łącza
informacyjnego
• Pojemność informacyjna łącza
informacyjnego to stosunek maksymalnej
ilości przekazywanych informacji do czasu:
]
/
[
max
s
bit
t
I
C
0<L≤C
Przepustowość informacji
żywych organizmów
• Ilość informacji odbieranych, wysyłanych
lub przetwarzanych przez żywe
organizmy może być tylko szacunkowa.
• Ilość informacji, które człowiek może
przyjąć wszystkimi zmysłami ocenia się
na około 10
9
bodów.
• Ilość informacji, które człowiek może
wysłać ocenia się na około 10
7
bodów.
Przepustowość informacji
•Świadomie przetworzyć
można co najwyżej 100
bodów na miliard
odbieranych, z czego 10
bodów można zapamiętać na
krótko, a tylko 1 bod trwale
.
Przepustowość informacyjna
receptorów [bod]
•Wzrok – 10
10
•Słuch - 5·10
4
•Ucisk – 10
5
•Temperatura – 10
3
•Węch – 10
2
•Smak - 10
Lejek informacyjny
• Ograniczenia przepustowości
informacji mają miejsce we
wszystkich zmysłach.
• Ograniczenie przepustowości
nazywane jest lejkiem
informacyjnym.
Otoczeni
e 10
9
[bod]
Słuch
Wzrok
Węch
Smak
Dotyk
Selekcja 10
7
[bod]
10
2
[bod]
Świadomość
System dziesiętny
•C
1
10
n
+C
2
10
n-1
+C
3
10
n-2
+……
•1234=1·10
3
+2·10
2
+3·10
1
+4·10
0
System dwójkowy (binarny)
• bit – liczba binarna (binary digit)
• bajt – jednostka miary informacji
równa 8 bitom (ang. byte)
• bajt to 2
8
=256 informacji
• Zapis binarny:
• b·2
n
+b·2
n-1
+b·2
n-2
+……….
• b=0 lub b=1
Bajt
• Ośmiocyfrowa liczba binarna jest
podstawą zapisu różnych wielkości w
pamięci komputera.
• 00000000
0
• 00000001
1
• 00000010
2
• 11111111
256
• kilo – 10
3
2
10
= 1024
• Mega – 10
6
2
20
= 10487576
• Giga – 10
20
2
30
= 1073741824