Cechy sygnałów oraz metody ich analizy:

Charakterystyczną cechą wszystkich sygnałów o różnej naturze fizycznej jest ich trwanie w czasie. Analiza cech czasowych sygnałów nie jest złożona i wykorzystuje pojęcia matematyki klasycznej. W przypadku sygnałów deterministycznych kompletny opis sygnału zapewnia analiza oparta o przekształcenie Fouriera. Opis sygnałów losowych ma natomiast charakter probabilistyczny czyli wykorzystuje rozkłady prawdopodobieństwa zbiorów sygnałów losowych oraz parametry tych rozkładów. Sygnały mogą być także rozważane według topologiczno-geometrycznej teorii sygnałów gdzie sygnał interpretowany jest jako punkt, wektor bądź linia w uogólnionej przestrzeni sygnałów. Zbiory takich punktów ,wektorów i linii tworzą przestrzenie sygnałów, w których bada się odległość między sygnałami ale w sensie ich podobieństwa i możliwości ich rozróżniania. W przypadku tej teorii wykorzystuje się pojęcia iloczynu skalarnego oraz ortogonalności. Przestrzenie funkcji opisującej te sygnały w szerszym rozumieniu stanowią składnik tzw. Teorii dystrybucji, czyli teorii funkcji uogólnionych.

Pojęcie sygnału intuicyjnie kojarzy się z pojęciem informacji bowiem obiekt informacji we wszelkich systemach możliwy jest dzięki przesyłaniu, przetwarzaniu różnego typu sygnałów jak elektrycznych, optycznych czy akustycznych. Obok sygnałów przesyłających informację w systemach technicznych występują także zakłócenia, które uważamy również za pewien rodzaj sygnałów. Wszystkie istniejące sygnały możemy podzielić na 2 główne grupy:

- sygnały stochastyczne

- sygnały deterministyczne

Zaliczanie sygnału do 1 bądź 2 grupy zależy od zawartości informacji jaką posiada odbiorca sygnału w stosunku do nadawcy informacji. Jeżeli przekazywana jest nam informacja znana to sygnał traktujemy jako deterministyczny a jeżeli przekazywana jest nam informacja, którą możemy jedynie przewidzieć z określonym prawdopodobieństwem traktujemy jako sygnał losowy. Inaczej mówiąc sygnał o przyszłości znanej (opisany np. matematycznie) jest sygnałem deterministycznym a sygnał o przyszłości nieznanej ale przewidywalnej z określonym prawdopodobieństwem jest sygnałem losowym.

Cechy czasowe sygnałów:

Przebieg sygnałów rzeczywistych możemy określić dokonując pomiarów ich wartości x w określonych punktach czasu t. w ten sposób powstała tablica wartości [t,x(t)], która w sposób punktowy charakteryzuje przebieg naszego sygnału. Sygnały rzeczywiste oraz niektóre sygnały modelowe opisuje się przy wykorzystaniu zbiorów ograniczonych, czyli zarówno |t|<∞, |x(t)|<∞.

Jeżeli funkcja czasu opisująca sygnał zanika po za pewnym przedziale [a,b] to mamy do czynienia z sygnałem o ograniczonym trwaniu. Podobnie tworzymy pojęcie sygnału o ograniczonym zakresie wartości.

Klasyfikując sygnały według zakresu wartości, argumentu wartości funkcji otrzymamy następującą tablicę:

Sygnały fizyczne mają zwykle naturę ciągłą jednakże w technice szczególną rolę odgrywają również modele dyskretne sygnałów oparte na zbiorach nieciągłych. Jeżeli przez D oznaczmy skończony zbiór liczb wybranych z pewnego zbioru liczb rzeczywistych R ale w pewien określony sposób to klasyfikując sygnały według ciągłości zbiorów otrzymamy następujące 4 podklasy zgodnie z poniższą tabelą

	x∈R	x∈D
t∈R t∈D	Sygnały ciągłe Sygnały dyskretne	Sygnały dyskretne Sygnały dyskretne

Z czego wynika że sygnał jest ciągły tylko w przypadku kiedy t∈R i x∈R nawet w przypadku jeżeli istnieją punkty nieciągłości funkcji x(t) w pozostałych 3 przypadkach opisane są sygnały dyskretne przy czym występują 3 możliwości nieciągłości zbiorów wartości argumentu i wartości funkcji

a) dyskretny argument funkcji:

rys.

b) dyskretna wartość funkcji:

rys.

c) dyskretny argument i dyskretna wartość funkcji:

rys.

sygnały cyfrowe mogą mieć różne postacie modelowe co przedstawiają poniższe rysunki

a) ciąg całkowito liczbowy

rys.

b) ciąg impulsów delta o wadze całkowitoliczbowej

rys.

c) ciąg wąskich impulsów o amplitudzie całkowitoliczbowej

rys.

d) ciąg szerokich impulsów o amplitudzie całkowitoliczbowej

rys.

zwykle modele sygnałów są rzeczywistymi funkcjami analitycznymi argumentu rzeczywistego.

Cechy takich sygnałów formalizujemy energetycznie wyznaczając moc sygnału prądowego bądź napięciowego na rezystancji jednostkowej. korzystając z cech energetycznych sygnały klasyfikujemy dzieląc je na:

1. sygnały o energii ograniczonej

∫_−∞^∞x²(t)dt < ∞

Średnia moc tych sygnałów jest równa zeru

2. sygnały o nieograniczonej mocy średniej

$$\operatorname{}\frac{1}{2T}\int_{- T}^{T}{x^{2}\left( t \right)dt = \infty}$$

Do tej klasy należą pewne modele specjalne sygnałów np. szum biały

3. sygnały o nieograniczonej mocy średniej

$$0 < \operatorname{}{\frac{1}{2T}\int_{- T}^{T}{x^{2}\left( t \right)dt < \infty}}$$

Na sygnałach w dziedzinie czasu możemy dokonywać różnych operacji analitycznych i algebraicznych a w przypadku sygnałów ciągłych algebra jest konwencjonalna i operację uśredniania czasowego formułujemy całkowo wyznaczając wartość średnią sygnału.

- średnia moc sygnału

$$\overset{\overline{}}{x}\left( t \right) = \operatorname{}{\frac{1}{2T}\int_{- T}^{T}{x\left( t \right)\text{dt}}}$$

- wartość średnio kwadratową

$$\overset{\overline{}}{\text{x~}^{2}\left( t \right)} = \operatorname{}{\frac{1}{2T}\int_{- T}^{T}{x^{2}\left( t \right)\text{dt}}}$$

Oraz wartość skuteczną jako pierwiastek z wartości średniej

$$x_{\text{sk}} = {\lbrack\overset{\overline{}}{x^{2}(t)}\rbrack}^{\frac{1}{2}} = {\lbrack\operatorname{}{\frac{1}{2T}\int_{- T}^{T}{x^{2}\left( t \right)\text{dt}}}\rbrack}^{\frac{1}{2}}$$

Podstawowe operacje analityczne różniczkowanie, całkowanie, uśrednianie, splatanie, przekształcanie Laplasa, Fouriera i Hilberta mogą być wykonywane również na sygnałach dyskretnych jednakże przy wykorzystaniu teorii dystrybucji stanowiącej główną część teorii funkcji uogólnionych.

Analiza częstotliwościowa sygnałów:

Przekształcenie sygnału z dziedziny czasu do dziedziny częstotliwościowej (pulsacji) dokonywane jest metodami analizy Fouriera. Cechą charakterystyczną tej analizy jest niezależność widm od czasu w sensie rozłożenia sygnału na składowe okresowe istniejące w czasie bez ograniczenia. Wykorzystując tę teorię pewien sygnał x(t) możemy przedstawić według całkowitego Fouriera o postaci

$$x\left( t \right) = \frac{1}{2\pi}\int_{- \infty}^{\infty}{x\left( \omega \right)e^{\text{jωt}}\text{dω}}$$

x(ω)=∫_−∞^∞x(t)e^−jωtdt

Najbardziej istotne właściwości przekształcenia Fouriera to liniowość co opisujemy następująco

F[αx₁(t)+βx₂(t)]αX₁(ω) + βX₂(ω)

Gdzie α i β są stałe

Przesunięcie

x(t−a) ↔ (e^−jaωX(ω)

a – liczba rzeczywista

Splot

F[x₁(t)*x₂(t)] = X₁(ω)X₂(ω)

Gdzie

x₁(t) * x₂(t) = ∫_−∞^∞x₁(t−τ)x₂(τ)dτ

Różniczkowanie

F⌊x⁽ⁿ⁾(t)⌋ = (jω)ⁿX(ω)

Tw. Persewala energia

$$\int_{- \infty}^{\infty}\left| x^{2}(t) \right|dt = \frac{1}{2\pi}\int_{- \infty}^{\infty}{\left| X(\omega) \right|^{2}\text{dω}}$$

Występująca w opisie transformata Fouriera x(ω) jest funkcją widmową określoną w dziedzinie częstotliwości (ω) i nazywa się widmem zespolonym sygnału bądź widmem Fourierowskim.

Korzystając ze współrzędnych biegunowych transformatę X(ω) czyli widmo zespolone sygnałów możemy zapisać w postaci

X(ω) = |X(ω)|e^{j * arg[X(ω)]}

Gdzie |X(ω)| nazywamy widmem amplitudowym a arg[X(ω)] nazywamy widmem fazowym i oznaczamy φ(ω)

W przypadku funkcji o energii ograniczonej widmo zespolone i jego składowe są ciągłe i możemy je interpretować jako widmo gęstości amplitud faz. Energię sygnału możemy przedstawić w postaci wyrażenia z którego widzimy

$$\omega = \int_{- \infty}^{\infty}{x^{2}\left( t \right)dt = \frac{1}{2\pi}\int_{- \infty}^{\infty}{\left| X(\omega) \right|^{2}\text{dω}}}$$

Funkcja |X(ω)| ma sens gęstości energii w dziedzinie pulsacji ω i nazywana jest widmem gęstości energii.

Do podstawowych pojęć analizy częstotliwościowej należą również gęstość mocy i widmo mocy.

Aby z sygnałów x(t) o mocy ograniczonej utworzyć sygnał o energii ograniczonej należy pobrać wycinek tego sygnału[-T,T] po czym korzystając z dotychczasowych wcześniejszych zapisów możemy sformułować wyrażenie

$$\int_{- T}^{T}{x^{2}\left( t \right)dt = \frac{1}{2\pi}\int_{- T}^{T}{\left| X_{T}(\omega) \right|^{2}\text{dω}}}$$

Wyznaczając granicę t→∞ odtworzymy całość sygnału x(t) i otrzymamy moc średnią tego sygnału

$$\overset{\overline{}}{P_{x}} = \frac{1}{2\pi}\int_{- \infty}^{\infty}{\operatorname{}{\frac{1}{2T}\left| X_{T}(\omega) \right|^{2}\text{dω}}}$$

Funkcja podcałkowa powyższego wyrażenia nazywana jest widmową gęstością mocy oznaczaną jako s_x(ω)

$$s_{x}\left( \omega \right) = \operatorname{}{\frac{1}{2T}\left| X_{T}(\omega) \right|^{2}}$$

Widzimy zatem że widmowa gęstość mocy i moc średnia sygnału związane są zależnością

$$\overset{\overline{}}{P_{x}} = \frac{1}{2\pi}\int_{- \infty}^{\infty}{s_{x}\left( \omega \right)\text{dω}}$$

Widmo mocy sygnału ciągłego określa własności sygnału w dziedzinie częstotliwości ale w sposób nieznaczny podobnie funkcja korelacji własnej niejednoznacznie opisuje własności w dziedzinie czasu ale funkcje te są ze sobą matematycznie związane.

Funkcje korelacji własnej nazywana również funkcją autokorelacji określona jest zależnością

$$\varphi_{x}\left( \tau \right) = \operatorname{}\frac{1}{2T}\int_{- \infty}^{\infty}{x\left( t \right)*x(t + \tau)}\text{dt}$$

Gdzie x(t + τ)- funkcja x(t) opóźniona o τ

Funkcja autokorelacji jest miarą podobieństwa między wartościami sygnału odległymi o wartość τ. W przypadku braku współzależności między wartościami sygnału dwóch punktach odległych od siebie o τ jeśli sygnał nie posiada składowej stałej to funkcja autokorelacji będzie równa 0.

Rys.

W przypadku rozpatrywania 2 różnych sygnałów x i y, które są przesunięte względem siebie o τ to miarą prawdopodobieństwa między nimi jest funkcja korelacji wzajemnej określona wyrażeniami

$$\varphi_{\text{xy}}\left( \tau \right) = \lim_{T \rightarrow \infty}\frac{1}{2T}\int_{- T}^{T}{x\left( t + \tau \right)*y\left( t \right)\text{dt}}$$

$$\varphi_{\text{yx}}\left( \tau \right) = \lim_{T \rightarrow \infty}\frac{1}{2T}\int_{- T}^{T}{y\left( t + \tau \right)*x\left( t \right)\text{dt}}$$

Funkcja korelacji własnej i widmowa gęstość mocy związane są ze sobą przekształceniem Fouriera co zapisane jest następująco

s_x(ω) = ∫_−∞^∞φ_x(τ)e^−jωτdτ

$$\varphi_{x}\left( \tau \right) = \frac{1}{2\pi}\int_{- \infty}^{\infty}{S_{x}(\omega)e^{\text{jωτ}}\text{dτ}}$$

Korzystając z cech częstotliwościowych sygnały i ich modele możemy klasyfikować według ciągłości nośnika i według szerokości widma otrzymamy wówczas następujący podział:

a) według ciągłości nośnika:

- sygnały rzeczywiste: sygnały o widmie ciągłym, sygnały o widmie prążkowym, sygnały o widmie złożonym

Przykładem sygnałów o widmie złożonym (widmo ciągłe + widmo prążkowe) są sygnały synchroniczne.

b) według szerokości widma:

- sygnały rzeczywiste: sygnały monochromatyczne, sygnały pasmowe, sygnały wszechpasmowe.

Analiza probabilistyczna sygnałów:

Z uwagi na brak możliwości pełnego poznania sygnału losowego których zbiór tworzy sygnał stochastyczny stosujemy analizę umożliwiającą opis wspólnych cech sygnałów poprzez wyznaczenie rozkładów prawdopodobieństwa a także liczb i funkcji charakteryzującej rozkłady.

Analiza probabilistyczna opiera się na teorii prawdopodobieństwa której elementarnymi pojęciami są zasada alternatywy i zasada koniunkcji.

Zasada alternatywy polega na tym, że prawdopodobieństwo wystąpienia 1 z 2 zdarzeń wzajemnie się wykluczających równe jest sumie prawdopodobieństw zdarzeń pojedynczych, czyli

P(A+B)=P(A)+P(B)

Gdzie A i B są wzajemnie rozłączne

Zasada koniunkcji polega na tym, że prawdopodobieństwo jednoczesnego wystąpienia zdarzeń niezależnych równe jest iloczynowi zdarzeń pojedynczych

P(AB)=P(A)*P(B)

Gdzie A i B zdarzenia niezależne

W przypadku gdy zdarzenia są zdarzeniami zależnymi pojawia się prawdopodobieństwo warunkowe i wówczas zasada koniunkcji przybiera postać

P(AB)=P(A)*P(B\A)

P(BA)=P(B)*P(A\B)

Gdzie P(A\B)- prawdopodobieństwo wystąpienia zdarzenia A przy założeniu że zdarzyło się B.

Rozkłady prawdopodobieństw:

Przeprowadzając dowolny eksperyment wiele razy zwykle otrzymamy kilka różnych wyników. Graficzne przedstawienie częstości tych wyników w przypadku dużej liczby powtórzeń tych eksperymentów w funkcji, ich samych nazywamy rozkładem prawdopodobieństwa poszczególnych wyników a zatem rozkład określa nam prawdopodobieństwa różnych zdarzeń w ciągu doświadczeń. Najprostsza postać rozkładu prawdopodobieństwa jest wówczas jeśli eksperyment ma tylko 2 możliwe wyniki czyli sukces bądź porażka. Rozkład taki nazywamy dwumianowym

p- prawdopodobieństwo sukcesu

q- prawdopodobieństwo porażki

p+q=1→q 1-p

n- przeprowadzonych eksperymentów

$$P\left( k \right) = \left( \frac{n}{k} \right)p^{k}*q^{n - k} = \frac{n!}{k!\left( n - k \right)!}p^{k}*q^{n - k}$$

W praktycznych obliczeniach np. w produkcji przy badaniu procesów produkcyjnych znając rozkład prawdopodobieństwa możemy określać ilość wadliwych wyrobów danej serii.

Jeżeli liczba eksperymentów jest bardzo duża (n>>1, n→∞) a prawdopodobieństwo sukcesów jest bardzo małe (p<<1, p→0) to istnieje pewne przybliżenie rozkładu dwumianowego nazywane rozkładem Poissona.

λ = n * p

$$P\left( k \right) = \frac{e^{- rt}{(rt)}^{k}}{k!}$$

Rozkład normalny przypadek dyskretny jest on również przybliżeniem rozkładu dwumianowego i występuje wówczas jeżeli zamiast wykreślania prawdopodobieństwa różnej liczby sukcesów funkcji ich liczby wykreślamy prawdopodobieństwa w funkcji różnic między liczbą sukcesów k a średnią liczbą n*p.

x=k-np

k=x+np

n-k=n-(x+np)

$$P\left( k \right) = \frac{n!}{k!\left( n - k \right)!}p^{k}*{(1 - p)}^{n - k}$$

Przebieg wykresu p(x)

Rys.

Dyskretny rozkład normalny

Ciągłe rozkłady gęstości prawdopodobieństwa

W rozpatrywanych dotychczas rozkładach zmienne przyjmują wyłącznie wartości całkowite natomiast w rzeczywistości zmienne mają naturę ciągłą i mogą przyjmować wartości dowolne. Wobec tego w przypadku zbirów ciągłych prawdopodobieństwo określone jest dla interesujących nas przedziałów wartości zmiennych a nie dla wartości konkretnej zmiennej losowej. W przypadku takim prawdopodobieństwo reprezentowane jest przez pole powierzchni pod krzywą gęstości rozkładu a nie przez wartości współrzędnych, klasycznym przykładem ciągłego rozkładu prawdopodobieństwa może być rozkład ciężary noworodków.

Rys

Prawdopodobieństwo jest określane:

P(G) = ∫₂³P(G)dG

∫₀^∞P(G)dG = 1

P – jest określona

Parametry charakteryzujące ciągłe rozkłady gęstości prawdopodobieństw:

-Wartość średnia rozkładu określona jest zależnością:

$$\overset{\overline{}}{x} = \frac{\int_{- \infty}^{\infty}{x*p\left( x \right)\text{dx}}}{\int_{- \infty}^{\infty}{p\left( x \right)\text{dx}}} = \overset{\overline{}}{x} = \int_{- \infty}^{\infty}{x*p(x)}dx = m_{x1}$$

x- wartość, prawdopodobieństwo osiągnięcia które charakteryzuje p(x).

niekiedy wartość średnią $\overset{\overline{}}{x}$ oznaczamy przez m_x1 gdzie wartość średnia nazywana jest również momentem pierwszego rzędu rozkładu względem 0 i ma znaczenie analogiczne co moment statyczny w mechanice teoretycznej.

Wartość średnia kwadratowa określona jest zależnością: $m_{x2} = {x\ \overline{}}^{2} = \int_{- \infty}^{\infty}{x^{2}p\left( x \right)\text{dx}}$

Wartość średnia kwadratowa

${\overset{\overline{}}{x}}^{2}$nazywamy niekiedy momentem drugiego rzędu rozkładu względem 0 i ma znaczenie analogiczne co moment bezwładności w mechanice teoretycznej.

Wartość modalna (moda) jest to wartość zmiennej x odpowiadająca maksimum krzywej gęstości p(x).

Mediana jest to wartość x odpowiadająca podziałowi pola pod krzywą rozkładu na dwie równe części.

Rys.

Przykład położenia wartości modalnej, mediany i wartości średniej.

W przypadku rozkładu symetrycznego wartość średnia, mediana i wartość modalna będą się pokrywały.

Wariancja jest momentem 2 rzędu rozkładu względem jego wartości średniej $\mathbf{\mu}_{\mathbf{2}} = \int_{- \infty}^{\infty}{{(x - \overset{\overline{}}{x)}}^{2}p(x)dx}$

Jest miarą szerokości rozkładu lub miarą rozrzutu względem wartości średniej

Często oznaczana przez σ_x².

Pierwiastek kwadratowy z wariancji

$\sqrt{\mathbf{\sigma}_{\mathbf{x}}}$ nazywany jest odchyleniem standardowym: istnieje ścisły związek wariancji z wartością średnią i średnio-kwadratową. związek ten ma postać:

$$\sigma_{x}^{2} = \int_{- \infty}^{\infty}{\left( x - \overset{\overline{}}{x} \right)^{2}p\left( x \right)dx = \int_{- \infty}^{\infty}{x^{2}p\left( x \right)dx - 2\overset{\overline{}}{x}\int_{- \infty}^{\infty}{\text{xp}\left( x \right)dx + {(\overset{\overline{}}{x})}^{2}\int_{- \infty}^{\infty}{p(x)dx}}}} = m_{2} - 2({\overset{\overline{}}{x})}^{2} + ({\overset{\overline{}}{x})}^{2} = m_{2} - ({\overset{\overline{}}{x})}^{2} = x^{2} - ({\overset{\overline{}}{x})}^{2}$$

Widzimy że wariancja jest równa różnicy wartości średnio- kwadratowej i kwadratu wartości średniej . W analizie wartości sygnału zamiast funkcji gęstości prawdopodobieństwa używana jest tzw. Dystrybuanta rozkładu określona zależnością:

F(x) = ∫_−∞^xp(x)dx

Wartość F(x) w każdym punkcie równa się prawdopodobieństwu że wartość zmiennej jest mniejsza od x co zapisujemy następująco:

F(x) = P(X < x)

Rozkład normalny wprowadzony został przez Gaussa do określania rozkładów błędów pomiarowych. Z tego tez powodu często zwany jest też prawem rozkładu błędów i opisany zależnością:

$$P\left( x \right)\frac{1}{\sigma\sqrt{2\pi}}exp\lbrack - \frac{\left( x - \overset{\overline{}}{x} \right)^{2}}{2\sigma^{2}}\rbrack$$

Przebieg krzywej rozkładu normalnego ma postać

Rys.

Widać że rozkład jest symetryczny a zatem $\overset{\overline{}}{x}$ wartość średnia, moda i mediana są identyczne co do wartości . Przy wzroście x krzywa rozkładu dąży do 0w przybliżeniu wg funkcji wykładniczej i z przebiegu wynika, że prawdopodobieństwo wystąpienia grubych błędów maleje w miarę wzrostu odległości od wartości średniej. Rozkład Gaussa ma szczególne znaczenie w systemach informacyjnych, transmisyjnych gdyż opisuję również rozkład prawdopodobieństwa przypadkowej amplitudy napięcia szumu(zakłóceń). Pobierając pewną próbkę szumu w danej chwili można określić prawdopodobieństwo że amplituda jego leży w zakresie napięć np. między U₁ i U₂. Korzystamy wówczas z zależności:

$$\int_{U_{1}}^{U_{2}}{p\left( U \right)dU = \frac{1}{\sigma\sqrt{2\pi}}\int_{U_{1}}^{U_{2}}{exp( - \frac{\left( U - \overset{\overline{}}{U} \right)^{2}}{2\sigma^{2}})dU}}$$

Wartość średnia $\overset{\overline{}}{U}$ w powyższym wyrażeniu reprezentuje składową stałą napięcia szumu. W praktycznych obliczeniach składową stałą możemy pominąć otrzymując wyrażenie $p\left( U \right) = \frac{1}{\sigma\sqrt{2\pi}}e^{- (\frac{U^{2}}{2\sigma^{2}})}$

Pominięcie składowej stałej odpowiada sytuacji jej odcięcia przy pomocy kondensatora włączonego w układ.

Szum p:

Rys.

Rys.

pomiar wartości średniej $\overset{\overline{}}{x}$ można dokonać praktycznie bądź obliczyć uśredniając przebieg napięcia U(t) w odpowiednio długim czasie lub obliczyć wykorzystując rozkład gęstości prawdopodobieństwa wg wyrażenia :$\overset{\overline{}}{U} = \operatorname{}{\frac{1}{T}\int_{0}^{T}{U\left( t \right)dt = \int_{- \infty}^{\infty}{\text{Up}\left( U \right)\text{dU}}}}$

Rys.

Zakładamy że źródło informacji wytwarza pewien sygnał μ który w sposób losowy przyjmuje realizację x_i, i=1,… μ. Realizację x_i­ tworzą zatem pewien zbiór Ω μ = {x_i} i każdej realizacji x_i­ ze zbioru Ω μ przyporządkowana jest pewna liczba P μ(x_i) określająca prawdopodobieństwo wysłania ze źródła realizacji x_i sygnału μ.

W ten sposób na zbiorze Ω μ={x_i} określony zostaje {P μ(x_i­)} interpretujemy to graficznie

Rys.

Zbiór P μ(x_i) nazywamy rozkładem prawdopodobieństwa a priori i stanowi on probabilistyczną charakterystykę sygnału wytwarzanego w źródle μ a zatem stanowi on probabilistyczną charakterystykę źródła informacji. Przesyłając kanałem ze źródła μ na wyjściu kanału odbierzemy pewien sygnał ɳ(eta) który zależy od sygnału nadanego oraz od właściwości kanału a w zasadzie od zakłóceń działających kanałów. Odbierany sygnał ɳ składa się z jego realizacji yk przy czym k zmienia się od 1 do N, k=1…N.

Realizacje yk sygnału ɳ tworzą zbiór Ω ɳ i każdej realizacji yk sygnału ɳ przyporządkowana jest pewna liczba.

P ɳ(yk) określająca prawdopodobieństwo odebrania realizacji yk sygnału ɳ

Ω ɳ = {yk}

Prawdopodobieństwa P ɳ(yk) tworzą zbiór {P ɳ (yk)} który stanowią probabilistyczną charakterystykę sygnału ɳ a zatem probabilistyczną charakterystykę odbiornika informacji

Rys.

Ponieważ sygnał odbierany ɳ zależy zarówno od sygnału nadawanego μ oraz od zakłóceń działających w kanale to dla pewnego opisu dyskretnego systemu informacyjnego należy wyznaczyć probabilistyczną charakterystykę kanału transmisyjnego

{P μ(x_i­)}

{Pɳ(yk)}

Załóżmy że na wejście kanału transmisyjnego pewną realizację x_i sygnału μ a ponieważ w kanale działają zakłócenia to nie wiemy jaką realizację yk sygnału ɳ odbierzemy możliwe jest jedynie określenie prawdopodobieństwa warunkowego Pɳ/ μ(yk/x_i­) określającego prawdopodobieństwo odebrania realizacji yk pod warunkiem nadania realizacji x_i­ sygnału μ

Rys.

Z interpretacji powyższej dziedziny że dla każdej realizacji x_i­ sygnału μ własności zakłóceń w kanale opisane są zbiorem prawdopodobieństw warunkowych {P n/ μ(yk/x_i)} a ponieważ ilość realizacji sygnału x_i wynosi M i ilość realizacji sygnału odbieranego ɳ wynosi N to właściwości zakłóceń działających w kanale na pełnym sygnału μ będą opisane za pomocą MxN prawdopodobieństw warunkowym {Pɳ/ μ(yk/x_i)}.

W związku z powyższą probabilistyczną charakterystyką kanału transmisyjnego możemy przedstawić w postaci macierzy prostokątnej posiadającej M kolumn i N wierszy. Macierz ta będzie miała postać:

$$\left\lbrack \frac{Pn}{\mu\left( \frac{\text{yk}}{\text{xi}} \right)} \right\rbrack NM = \begin{bmatrix} Pn/\mu(\frac{y1}{x1}) & Pn/\mu(\frac{y1}{x1}) & Pn/\mu(\frac{y1}{\text{xM}}) \\ Pn/\mu(\frac{\text{yk}}{x1}) & Pn/\mu(\frac{\text{yk}}{x1}) & Pn/\mu(\frac{\text{yk}}{\text{xM}}) \\ Pn/\mu(\frac{\text{yN}}{x1}) & Pn/\mu(\frac{\text{yN}}{x1}) & Pn/\mu(\frac{\text{yN}}{\text{xM}}) \\ \end{bmatrix}$$

Powyższą macierz nazywamy macierzą transmisyjną bądź macierzą przejścia kanału transmisyjnego. Zapisując zbiór {P μ(x_i)} w postaci macierzy kolumnowej oraz zapisując {Pɳ(yk)} w postaci macierzowej:

$${\lbrack Pn(yk)\rbrack}_{(N,1)} = \begin{bmatrix} Pn(y1) \\ Pn\left( \text{yk} \right) \\ Pn(yN) \\ \end{bmatrix}_{(N,1)}$$

I uwzględniając macierz transmisyjną możemy określić model matematyczny systemu informacyjnego który ma postać:

[Pn(yk)]_(N, 1) = [Pn/μ(yk/x_i)]_(N, M)[Pμ(x_i)]_(M, 1)

Ocena ilości informacji

W systemach technicznych zawarta jest informacja której ilość określamy wykorzystując pojęcie entropii. Entropia w tym przypadku jest funkcją probabilistycznej charakterystyki rozpatrywanego sygnału . jeżeli bierzemy pod uwagę źródło informacji to entropia sygnału μ będzie funkcją

H(μ) = H[Pμ(x1), Pμ(x2)…Pμ(x_i)…Pμ(xM)]

W rzeczywistości wyrażenie określające entropie ma postać:

$$H\left( \mu \right) = \sum_{i = 1}^{\mu}{P\mu(x_{i})\operatorname{}{1/P\mu\left( x_{i} \right)}}$$

Podstawą logarytmu jest pewna wartość a i w zależności od tej wartości entropia określana jest w różnych jednostkach. Jeżeli a =e to ilość informacji określana jest w litach, jeżeli a =10 to ilość informacji określana jest w litach, jeżeli a=2 to ilość informacji określana jest w litach.

W procesie transmisji sygnału μ z uwagi na działanie kanału zakłóceń pewna ilość informacji jest tracona. Jeżeli na wejściu kanału odbieramy pewną realizację yk sygnału ɳ to ze względu na losowy charakter sygnału μ, zkłóceń w kanale nie wiemy jaka realizacja sygnału μ w x_i została rzeczywiście nadana możemy jednak określić prawdopodobieństwo warunkowe.

Pμ/ɳ(x_i/yk) określające prawdopodobieństwo wysłania ze źródła realizacji x_i­ pod warunkiem odebrania realizacji yk sygnału ɳ czyli na zbiorze Ωμ dla określonego yk zbiór prawdopodobieństw warunkowych budujemy {Pμ/ɳ(x_i/yk)}

Interpretacja geometryczna:

Rys.

Ilość informacji straconej w kanale przez daną realizację x_i­ jest tym mniejsza im większe jest

Prawdopodobieństwo warunkowe

{Pμ/ɳ(x_i/yk)}

Miara ilości informacji utraconych w kanale przy nadaniu sygnału μ i odbiorze 1 realizacji yk jest funkcja prawdopodobieństwa warunkowego i określana jest zależnością:

$$H\left( \frac{\mu}{\text{yk}} \right) = \sum_{i = 1}^{\mu}{P\mu/n(\frac{x_{i}}{yk)\operatorname{}\frac{1}{P\mu/n(\frac{x_{i}}{yk)}}}}$$

Aby otrzymać ilość informacji utraconej w kanale w przypadku nadania pełnego sygnału μ i odebraniu pełnego sygnału ɳ należy wielkość entropii uzyskanej według powyższego wyrażenia uśrednić na zbiorze Ωɳ w związku z czym otrzymamy wyrażenie:

$$H(\mu/n)\ = \sum_{k = 1}^{N}{Pn\left( \text{Yk} \right)H(\mu/yk)}$$

Otrzymaną entropię nazywamy entropią warunkową a posteriori.