Dla zbioru wszystkich występujących w układzie sygnałów można w umowny sposób określić ilość informacji przypadającej na poszczególny sygnał. Do chwili odebrania sygnału istnieje nieokreśloność, niepewność, który sygnał wystąpi. Odebranie określonego sygnału z danego zbioru usuwa niepewność a tym samym dostarcza pewnej informacji. Ilość informacji odpowiada zlikwidowanej niepewności. Największą ilość informacji otrzymamy, gdy istnieje największa niepewność przed jej uzyskaniem, a nie otrzymamy jej wcale gdy owej niepewności nie mamy. Im liczniejszy jest zbiór tym bardziej niepewny jest wybór z tego zbioru określonego sygnału. Za miarę niepewności wyboru danego sygnału przyjęto ujemny logarytm z prawdopodobieństwa wyboru sygnału:
I= -log p
Każdą dowolnie złożoną wiadomość, liczbę itp. Można przedstawić za pomocą ciągu dwóch tylko różnych znaków, użycie kodu dwójkowego. Przy tym ilość informacji obliczamy ze wzoru:
I= -log2p
Taka ilość informacji wynosi 1 i stanowi dwójkową jednostkę informacji. Nazwano ją bit, nadaje się do określania ilości dowolnej informacji. Z każdej możliwej liczby zdarzeń można przeprowadzić wybór dowolnego zdarzenia drogą wykluczeń przez podziały dwójkowe.
Przy zdarzeniach niejednakowo prawdopodobnych ilość informacji przypadających na sygnał możemy obliczyć ze wzoru Shannona: