Entropia łączna - /joint entropy/ - dla dwóch dyskretnych zmiennych losowych X, Y;

średnia długość słowa potrzebnego dla przekazanie ich wartości

H(X,Y)=ExEy p(x,y)logp(X,Y)

Entropia względna : H=H(X) / Hmax [entropia marginalna/entropia max]

entropia względna jest miarą stosowaną teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa p i q. Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta.

Entropia Shannona - Średnią ilość informacji związaną z rozkładem prawdopodobieństwa p(a) zmiennej losowej A (przyjmującej wartości a), czyli liczbę

H(A) =∑a p(a)I(a)=∑a p(a) log1/p(a)= −∑ap(a) log p(a) nazywamy entr.....

Entropia von Neumanna to w mechanice kwantowej wielkość charakteryzująca nieuporządkowanie układu, zdefiniowana dla macierzy gęstości ρ jako

.
Dla układu kwantowego który jest w stanie czystym entropia von Neumanna wynosi 0.
Ponieważ operator gęstości układu zawsze można przedstawić w postaci diagonalnej w bazie jego wektorów własnych, równoważną definicję entropii von Neumann daje wzór

gdzie
to wartości własne operatora ρ.

Nierówność Krafta jest warunkiem koniecznym i wystarczającym, który musi spełniać kod, aby był jednoznacznie dekodowalny. Dodatkowo jest to warunek konieczny, ale nie wystarczający aby kod był dekodowalny bez opóźnień; tak więc istnieją kody które spełniają tą nierówność, lecz nie są jednoznacznie dekodowalne bez opóźnienia (są jednoznacznie dekodowalne ale z opóźnieniami).

gdzie: r - wartościowość kodu, K - liczba sygnałów elementarnych, l_i - długość i-tego sygnału elementarnego

Kod optymalny- Kod Huffmana, tj. optymalny (najkrótszy) kod prefiksowy otrzymany za pomocą algorytmu Huffmana

Stan kwantowy — informacja o układzie kwantowym pozwalająca przewidzieć prawdopodobieństwa wyników wszystkich pomiarów jakie można na tym układzie wykonać

Informacją wzajemną zmiennych A i B nazywamy wartość I(A;B)=H(A)+H(B)-H(A,B) .

Powyższą definicję łatwo zrozumieć w odniesieniu do Gry w 20 pytań. Przypuścmy, że mamy zidentyfikować obiekt, który jest parą (a,b), gdzie a i b są wartościami zmiennych losowych A i B.

Gramy w dwie niezależne gry „pytania o a” i „pytania o b” (co odpowiada równości H(A)+H(B)).

Jeśli A i B są zależne, możemy wykorzystać tę wzajemną informację do zmniejszenia liczby pytań.

Informację warunkowana przez C :

I(A;B|C)=H(A|C)+H(B|C) - H(A,B|C)=H(A|C)-H(A|B,C),

gdzie H(A,B|C)=H(A|B,C)+H(B|C)

Proces Markowa - ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego.

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Są ciągiem X1, X2, X3, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje Xn to stany w czasie n.

Jeśli rozkład warunkowy Xn+1 jest funkcją wyłącznie zmiennej Xn:

to mówimy, że proces posiada własność Markowa.

Pierwsze Twierdzenie Shannona - dla każdej skończonej przestrzeni probabilistycznej S i

.

Dla danego kodu
, średnią długość kodu definiujemy jako

Dla danego S i parametru
niech
będzie minimum ze wszystkich
dla dowolnego kodu

Kanałem komunikacyjnym
nazywamy trójkę:

• skończony zbiór
  symboli wejściowych

• skończony zbiór
  symboli wyjściowych

• mapowanie
  określające dla każdej pary (a,b) prawdopodobieństwo
  zamiany symbolu a na B, spełniające warunek:

Zmienne losowe A i B o wartościach odpowiednio z
i
stanowią parę wejście-wyjście dla kanału
, jeśli dla dowolnych

Kanał taki możemy zobrazować jako

Możemy od razu zauważyć, że

A więc rozkład (A,B) jest jednoznacznie wyznaczony przez A (dla ustalonego
). W szczególności odpowiednie B zawsze istnieje i jest zdefiniowane jako

Wiedząc to, można bezpośrednio policzyć
,
,
itp. (w zależności od
i A).

Pojemność kanału - określa maksymalną szybkość transmisji informacji

Kod - jest zbiorem wszystkich słów kodowych dla znaków (komunikatów) jakie dane źródło może wytworzyć. Liczba bitów występujących w słowie kodowym jest nazywana długością słowa kodowego

Kanał binarny:

• Wejście X ~ {0,1}

• Wyjście Y -> 0->1 oraz 1->0 z prawdopodobieństwem p

Macierz gęstości to matematyczna reprezentacja stanu układu kwantowego. Jest ogólniejsza od reprezentacji wektorowej, gdyż oprócz stanów czystych (reprezentowanych przez wektor) obejmuje również półklasyczne stany mieszane.

Diagram Venna to schemat, służący ilustrowaniu zależności między zbiorami. Ma postać figur geometrycznych na płaszczyźnie. Zbiory reprezentowane są na ogół przez elipsy. Czasem obrazuje się również przestrzeń, umieszczając elipsy wewnątrz prostokąta. Figurom nadaje się różne tekstury i kolory, co znacznie ułatwia dostrzeżenie relacji pomiędzy zbiorami (inkluzja, suma, iloczyn, itp.)

Kompresja danych polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.

Ślad macierzy - w algebrze liniowej suma elementów na głównej przekątnej macierzy kwadratowej
Niech A będzie macierzą kwadratową stopnia n. Śladem macierzy A nazywamy wielkość

Obserwabla - w mechanice kwantowej mierzalne wielkości fizyczne są reprezentowane przez operatory hermitowskie zwane obserwablami. Aby dany operator był obserwablą jego wektory własne muszą tworzyć bazę przestrzeni Hilberta. Wartości własne operatora hermitowskiego są rzeczywiste. Podczas pomiaru danej wielkości fizycznej otrzymujemy jako wynik jedną z wartości własnych obserwabli przyporządkowanej danej wielkości fizycznej.
wartość obserwabli w danym stanie własnym
wyznaczamy z zagadnienia własnego:

gdzie a jest wartością własną operatora

---