Kod regula wg ktorej informacjom cyfrowym k- wymiarowym, znaczy tez informacjami pierwotnymi, przyporządkowane sa sygnaly złożone z n sygnalow elementarnych przy czym n>k. W ogolnym ujeciu jest to zwyczajny ciag składników sygnalu oraz regula ich przyporządkowania składnikom wiadomości. Pojemność informacyjna układu N=m^n, kod sklada się wyrazow a wiadomość może być przeslana przez n sygnałów Pojemność informacyjna pamieci Q=nlog2m w rzeczywistości tylko niektóre z kombinacji symboli sa dopuszczalne Nadmiar informacji jest to stopien niewykorzystanej pojemności informacyjnej D=So-S1/So = 1-h gdzie h=S1/So to wzgledna entropia jej odwrotność mowi nam ile razy można zmniejszyc pojemność informacyjna ukladu