Entropia (teoria informacji) - Wikipedia, wolna encyklopedia














/**/





/**/
#centralNotice .siteNoticeSmall{display:none;}
#centralNotice .siteNoticeSmallAnon{display:none;}
#centralNotice .siteNoticeSmallUser{display:none;}
#centralNotice.collapsed .siteNoticeBig{display:none;}
#centralNotice.collapsed .siteNoticeSmall{display:block;}
#centralNotice.collapsed .siteNoticeSmallUser{display:block;}
#centralNotice.collapsed .siteNoticeSmallAnon{display:block;}
#centralNotice.anonnotice .siteNoticeSmallUser{display:none !important;}
#centralNotice.usernotice .siteNoticeSmallAnon{display:none !important;}



var wgFlaggedRevsParams = {"tags": {"accuracy": 2}};
var wgFlaggedRevsParams2 = {"tags": {"reliability": 3, "completeness": 2, "npov": 2, "presentation": 1}};
var wgStableRevisionId = 0;
var wgAjaxFeedback = {"sendingMsg": "Zapisywanie...", "sentMsg": "Dziękujemy!"}
var wgAjaxReview = {"sendingMsg": "Zapisywanie...", "sentMsg": "Oznaczanie zakończone!", "actioncomplete": "Operacja wykonana"}


@import "/w/index.php?action=raw&ctype=text/css&title=MediaWiki%3AGadget-btm-actions.css";@import "/w/index.php?action=raw&ctype=text/css&title=MediaWiki%3ANowicjusze.css";





if (wgNotice != '') document.writeln(wgNotice);
/*
Styles for Notices
*/

.notice-wrapper, .notice-collapsed-wrapper {
margin: 0;
padding: 0;
font-family: Arial,Helvetica,Tahoma,sans-serif;
color: #333;
background-color: #ddd;
font-size: 1.2em;
font-weight: 200;
}
.siteNoticeSmallUser {
font-size: 1.2em;
text-align: left;
}

.notice-wrapper a,
.notice-collapsed-wrapper a
{
color: #006699;
}

.notice-wrapper a:hover { text-decoration: underline; }
.notice-collapsed-wrapper a:hover { text-decoration: underline; }

.notice-wrapper
{
border: 1px solid #bbb;
background-color: #fcfcfc;
background-repeat: no-repeat;
height: 115px;
font-size: 1.4em;
padding: 5px 5px;
}

.notice-collapsed-wrapper
{
border: 1px solid #bbb;
text-align: left;
background-color: #fcfcfc;
font-size: 1.7em;
padding: 5px 5px;
}

.toggle-box
{
float: right;
font-size: 0.6em;
}

.notice-text
{
padding: 0 120px;
margin-left: auto;
margin-right: auto;
margin-bottom: 5px;
}

.amount-raised
{
color: #fff;
padding-left: 175px;
font-size: 1em;
float: left;
}

.goal
{
color: #333;
font-size: 1em;
text-align: right;
position: relative;
left: -30px
}

.red-button
{
background-image: url(http://upload.wikimedia.org/centralnotice/images/button-red.png);
width: 158px;
height: 27px;
color: #fff;
font-size: 0.7em;
font-weight: bold;
text-align: center;
display: table-cell;
vertical-align: middle;
font-family: Verdana, Arial, Helvetica,Tahoma,sans-serif;
cursor: pointer;
}

.red-button a
{
color: white;
}





[Ukryj]


Wikipedia ułatwia życie.





Wesprzyj nas �






[Pokaż]


Wesprzyj Wikipedię, społeczny projekt non-profit.



Wesprzyj nas �







[Pokaż]

Wesprzyj Wikipedię, społeczny projekt non-profit. �"

Wesprzyj nas



/* */


         Nauczycieli i wykładowców zapraszamy do współpracy �ó Uruchomiono mechanizm wersji przejrzanych podnoszący jakość artykułów Wikipedii.



Entropia (teoria informacji)[edytuj]

Z Wikipedii
Brak wersji przejrzanej
Skocz do: nawigacji, szukaj
Ten artykuł dotyczy pojęcia z dziedziny teorii informacji. Zobacz też: inne znaczenia tego terminu.






Niektóre informacje zawarte w artykule wymagają weryfikacji.
Do weryfikacji: patrz dyskusja


Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
Wzór na entropię:



gdzie p(i) - prawdopodobieństwo zajścia zdarzenia i. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r =2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat(nit), natomiast dla r=10 - dit lub hartley.
Entropię można interpretować jako niepewność wystąpienia danego
zdarzenia elementarnego w następnej chwili. Jeżeli następujące
zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego
podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo co się
stanie - nie ma niepewności.
Własności entropii:

jest nieujemna
jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1
własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii.
jeśli ze źrodła danych pobierane są k-literowe ciągi, wówczas entropia wynosi H(x(k)) = kH(x)

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.
Pojęcie entropii jest bardzo przydatne w np: dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i ilości znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.
Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

Przykład [edytuj]
Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:



Ogólniej każde źródło dające N równie prawdopodobnych wyników ma log2N bitów na symbol entropii:




Zobacz też [edytuj]

Entropia (termodynamika)
Proces Markowa
Teoria informacji
Kompresja danych (informatyka):




Typy kompresji:




Kompresja bezstratna
Kompresja stratna




Wybrane algorytmy bezstratne:




Kodowanie arytmetyczne
kodowanie Huffmana
Transformata Burrowsa-Wheelera




Program do kompresji plików









Źródło: �śhttp://pl.wikipedia.org/wiki/Entropia_(teoria_informacji)”
Kategoria: Teoria informacjiUkryta kategoria: Strony do weryfikacji



artykułdyskusjaedytujhistoria i autorzy


Widok



Artykuł
dyskusja
edytuj
historia i autorzy



osobiste


Logowanie i rejestracja






if (window.isMSIE55) fixalpha();

Szukaj



 





nawigacja


Strona główna
Kategorie artykułów
Bieżące wydarzenia
Losuj stronę




zmiany


Zgłoś błąd
Zgłoś złą grafikę
Częste pytania (FAQ)
Kontakt z Wikipedią
Wspomóż Fundację




dla edytorów


Ostatnie zmiany
Zasady edycji
Pomoc
Portal wikipedystów




narzędzia


Linkujące
Zmiany w dolinkowanych
Strony specjalne
Wersja do druku Link do tej wersjiCytowanie tego artykułu



W innych językach


Deutsch
Ε��ην�ąκ�Ź
English
Espa�ąol
Fran�żais
�śę���
�
Italiano
�ó�ęרית
Magyar
Nederlands
� Ń�Ń�Ń�ки�ą
Simple English
Svenska
ąą"ą�ą�ó
Ti�żng Vi�t
中ć
�









Tę stronę ostatnio zmodyfikowano 00:39, 11 paź 2008.
Tekst udostępniany na licencji GNU Free Documentation License. (patrz: Prawa autorskie)
Wikipedia® jest zarejestrowanym znakiem towarowym Wikimedia Foundation. Możesz przekazać dary pieniężne Fundacji Wikimedia.
Zasady ochrony prywatności
O Wikipedii
Informacje prawne




if (window.runOnloadHook) runOnloadHook();