Koncentrujemy uwagę wyłącznie na ilości informacji.
Genialny pomysł Shannona polegał na tym, że zamiast próbować definiować informację wprost (co wcześniej bez powodzenia próbowali zrobić między innymi tak sławni badacze jak Harry Nyquist i Ralph Hartley) - postanowił zdefiniować miarę braku informacji, a samą informację wyrazić jako czynnik usuwający ten brak informacji.
Pozornie wygląda to jak próba sięgania lewą ręką do prawej kieszeni, ale okazało się, że jest to właściwa i skuteczna droga.