Entropia w układach dynamicznych

Środowiskowe studia doktoranckie

Uniwersytet Jagielloński

Kraków, marzec-kwiecień 2013

Tomasz Downarowicz

Część II

Entropia topologiczna i zasada wariacyjna

1

Wstęp

Zacznijmy od początku.
Zadajemy komuś pytanie, na które możliwa jest pewna skończona liczba

l odpowiedzi. Na przykład. „Jak masz na imię?” Możliwe odpowiedzi, to l-
elementowe rozbicie przestrzeni „wszystkiego, co się może potem wydarzyć”. Jak
wiemy, entropia tego rozbicia (średnia ilość informacji z otrzymanej odpowiedzi)
zależy od rozkładu prawdopodobieństwa na przestrzeni i nie przekracza log l w
przypadku, gdy wszystkie odpowiedzi są jednakowo prawdopodobne.

Wiemy też jednak, że rozkład prawdopodobieństwa jest sprawą subiektywną,

zależną od wiedzy obserwatora o sytuacji. Tak naprawdę w praktyce prawie
nigdy nie jest ono a priori dokładnie zdefiniowane. Jeśli lekarz mówi, po badaniu
USG ciężarnej kobiecie, że „na 80% będzie to dziewczynka”, to podany procent
jest czystą spekulacją, oszacowaniem na oko, tym co się lekarzowi zdaje na
podstwie niewyraźnego obrazka. Równie dobrze mógłby on powiedzieć 70% lub
90%. Jeśli później okaże się, że to jednak chłopiec, prawdopodobnie będzie starał
się przekonać pacjentkę, że mówił 50%.

A zatem dobrze byłoby w praktyce nie opierać się na bliżej nieokreślonym

prawdopodobieństwie lecz na czymś bardziej pewnym. Jedyną rzeczą, którą mo-
żemy ustalić na pewno jest liczba możliwych odpowiedzi l. Można więc przyjąc
log l jako rodzaj kombinatorycznej entropii rozbicia. Zaletą takiego parametru
jest to, że nie zależy ona od rozkładu prawdopodobieńtwa, a mimo to coś nam
mówi o ich entropiach – jest on bowiem równy maksimum entropii przy różnych
rozkładach.

H

comb

(P) = max{H

µ

(P) : µ − miara probabilistyczna na X}.

Otóż, tę samą zależność będziemy próbowali przenieść na topologiczne układy

dynamiczne w odniesieniu do entropii dynamicznej. Zależności tego typu noszą
wspólne miano zasad wariacyjnych.

Pewien problem, na jaki się przy tym natkniemy, to występowanie w ukła-

dach topologicznych efektu tzw. logiki rozmytej. Na przykład gdy ktoś robi sobie
test ciążowy, to ma co prawda tylko dwie możliwości, które powinny być rozpo-
znawalne przy pomocy kolorów próbnika: biały – brak ciąży, czerwony – ciąża.
Ale zdarza się (i to zapewne nader często), że kolor próbnika jest różowy. Jak
obliczyć ilość uzyskanej wtedy informacji?

1

2

Entropia Kołmogorowa–Sinaia – uzupełnienie

Musimy najpierw uzupełnić naszą wiedzę na temat entropii dynamicznej w

układach teorio-miarowych. Przypomnijmy, że teorio-miarowym układem dy-
namicznym nazywamy czwórkę (X, A, µ, T ), gdzie (X, A, µ) jest standardową
przestrzenią probabilistyczną, a T :→ X – transformacją mierzalną zachowu-
jącą miarę. Jeśli w przestrzeni X wprowadzimy skończone rozbicie mierzalne
P = {A

1

, . . . , A

l

}, to dostaniemy faktor symboliczny naszego ukladu zwany

procesem generowanym przez P. Dla takich procesów zdefiniowaliśmy entropię
dynamiczną

h(µ, T, P) = lim

n→∞

1

n

H(µ, P

n

),

gdzie przez P

n

oznaczaliśmy połączenie

W

n
i=0

T

−i

(P). Dla takiej entropii udo-

wodniliśmy Twierdzenie Shannona–McMillana–Breimana.

Chcemy teraz uniezależnić się od rozbicia i określić entropię układu dyna-

micznego. Rolę tę spełnia tzw. entropia Kołmogorowa–Sinaia zdefiniowana na-
stępująco

Definicja 4.1.1

Entropią Kołmogorowa–Sinaja układu dynamicznego

(X, A, µ, T ) nazywamy liczbę

h(µ, T ) = sup

P

h(µ, T, P),

gdzie P przebiega wszystkie A-mierzalne rozbicia skończone (lub, co daję rów-
noważną definicję, rozbicia przeliczalne o skończonej entropii statycznej). Jeśli
transformacja lub miara, lub obie te rzeczy są ustalone, to będziemy używać
alternatywmych oznaczeń h(µ), h(T ), h(A).

Jako interpretację tego pojęcia możemy powiedzieć, że jeśli traktujemy rozbi-

cie jako rodzaj rozdzielczości teorio-miarowej naszej obserwacji układu, i jeśli już
rozumiemy entropię procesu przy ustalonym rozbiciu, to entropia Kołmogorowa–
Sinaja określa maksymalną entropię procesu, jaką możemy uzyskać w układzie
dynamicznym zmieniając dowolnie tę rozdzielczość. Okazuje się bowiem, że cho-
ciaż entropie statyczne rozbić skończonych nie są ograniczone, to jednak ich
entropie dynamiczne mogą okazać się ograniczone. Tak więc h(µ, T ) to maksy-
malna średnia ilość informacji po przestrzeni i czasie, jaką dostacza nam układ
niezależnie od tego z jaką rozdzielczością go obserwujemy.

Jeśli teraz B jest podniezmienniczym sigma-ciałem, to możemy zdefiniować

entropię warunkową układu względem faktora:

Definicja 4.1.5

Entropią warunkową układu dynamicznego (X, A, µ, T )

względem faktora (czyli sigma ciała podniezmienniczego) B nazywamy liczbę

h(µ, T |B) = sup

P

h(µ, T, P|B).

Alternatywne oznaczenia, to h(µ|ν), h(T |S), h(A|B), gdzie ν i S oznaczają
odpowiednio miarę i transformację na faktor-przestrzeni atomów sigma-ciała B.

2

Fakt 4.1.6

h(A|B) + h(B) = h(A).

Dowód: Równość jest trywialna, gdy h(B) = ∞, gdyż jest oczywiste z definicji,
że h(A) ­ h(B). W pozostałych przypadkach mamy udowodnić wzór „substrak-
tywny” h(A|B) = h(A) − h(B). Niech P i Q przebiegają wszystkie rozbicia
skończone odpowiednio A- i B-mierzalne. Wtedy

h(A) − h(B) = sup

P

h(P) − sup

Q

h(Q) = inf

Q

sup

P

(h(P) − h(Q)) =

inf

Q

sup

P

(h(P ∨ Q) − h(Q)) ­ sup

P

inf

Q

(h(P ∨ Q) − h(Q)) =

sup

P

inf

Q

(h(P|Q)) = sup

P

h(P|B) = h(A|B).

Z drugiej strony, mamy też

h(A|B) = sup

P

inf

Q

(h(P ∨ Q) − h(Q)) ­ sup

P

inf

Q

(h(P) − h(Q)) = h(A) − h(B).

Podamy teraz listę własności entropii Kołmogorowa–Sinaja (bez dowodów,

które są natychmiastowymi konsekwencjami analogicznych własności dla entro-
pii procesów). Poniżej, B, C i D są poniezmienniczymi pod-sigma-ciałami A.

Fakt 4.1.7

h(B ∨ C|D) = h(B|C ∨ D) + h(C|D),

B

< C =⇒ h(B|D) ­ h(C|D)

C

< D =⇒ h(B|C) ¬ h(B|D)

h(B ∨ C|D) ¬ h(B|D) + h(C|D),

h(B|D) ¬ h(B|C) + h(C|D).

Mamy też „zasadę potęgową” (tu również dowód wynika natychmiast z ana-

logicznej zasady dla procesów).

Fakt 4.1.14

Dla każdego n ­ 0 (a dla działań odwracalnych również dla

n ujemnych) mamy

h(T

n

) = |n|h(T ).

Dowód wynika natychmiast z Faktu 2.4.19 przez nałożenie supremum po rozbi-
ciach.

Twierdzenie (Kołmogorowa–Sinaja) Jeśli P jest generatorem (tzn. P

N

0

=

A), to

h(µ, T ) = h(µ, T, P).

Dowód wynika natychmiast z Faktu 2.4.1.

3

3

Rozdzielczość topologiczna

Przechodzimy do części topologicznej naszych rozważań. Przez topologiczny

układ dynamiczny będziemy rozumieć parę (X, T ), gdzie X jest przestrzenią
metryczną zwartą, a T : X → X jest transformacją ciągłą. Przede wszystkim,
trzeba wiedzieć, że na mocy twierdzenia o punkcie stałym Bogolubowa–Kryłowa
w takim układzie zawsze istnieje przynajmniej jedna miara (borelowska, proba-
bilistyczna) T -niezmiennicza. Wtedy układ (X, A

µ

, µ, T ) jest teorio-miarowym

układem dynamicznym (A

µ

oznacza sigma-ciało zbiorów borelowskich uzupeł-

nione dla miary µ). Miar niezmienniczych może być wiele (nawet nieprzeliczal-
nie wiele), tak więc jeden układ topologiczny najczęściej integruje w sobie wiele
układów teorio-miarowych.

W zasadzie chcielibyśmy wprowadzić topologiczną funkcję informacji i en-

tropię topologiczną w oparciu o wcześniej zasygnalizowaną ideę entropii kobina-
torycznej, opartej na liczeniu (niepustych) elementów rozbicia odpowiadającego
odpowiedziom na jakieś pytanie (wyniki jakiegoś pomiaru). W pewnych przy-
padkach rzeczywiście można tak zrobić i my wrócimy do tego prostego pomysłu
przy omawianiu entropii ukladów zero-wymiarowych. Jednak w ogólnym przy-
padku przestrzeni metrycznej zwartej patrzenie na rozbicia mierzalne kłóci się
ze strukturą topologiczną przestrzeni – po prostu funkcje charakterystyczne ele-
mentów rozbicia na ogół nie są ciągłe, tak więc rozbicie „rozrywa” przestrzeń
zmieniając niejako jej topologię. Mówiąc ściślej, odwzorowanie faktorujące z na-
szego układu w układ symboliczny uzyskany przy pomocy rozbicia nie jest wtedy
ciągłe. Aby lepiej zrozumieć ideę funkcji informacji i entropii topologicznej mu-
simy omówić dokładniej interpretację pojęcia „rozdzielczości topologicznej”.

Przypuśćmy, że dokonujemy pomiaru jakiejś wielkości, która może przyjmo-

wać wartości z odcinka [0, 1]. Nasze zdolności rozdzielcze są ograniczone, dlatego
nie będziemy odróżniać wyników mało od siebie odległych, powiedzmy bliższych
sobie niż pewien . Wtedy „klasą nierozróżnialności” wyniku x będzie odcinek
otwarty (x − , x + ). Zauważmy, że klasy różnych wyników nie są rozłączne —
relacja nierozróżnialności, choć jest zwrotna i symetryczna, nie jest przechodnia,
a więc nie jest relacją równoważności.

W związku z tym proponowane są dwa sposoby obliczania funkcji informa-

cji z takiego pomiaru. Pierwszy to policzyć ile maksymalnie wyników możemy
rozróżnić i uznać logarytm z tej liczby jako (stałą na całej przestrzeni) funkcję
informacji. Inna możliwość, to policzyć ile minimalnie klas nierozróżnialności
wystarczy, aby pokryć całą przestrzeń (i przyjąć logarytm tej liczby jaką naszą
stałą funkcję informacji). Oba sposoby różnią się nieznacznie (na przykład jeśli
 jest nieco większy od

1
2

to maksymalnie możemy rozróżnić dwa elementy – np.

0 i 1, ale już jedna klasa – np. punktu

1
2

– pokrywa cały odcinek). Inny sposób

liczenia, ktory jast jakby ekstraktem z powyższych dwóch sposobów, poznamy
za chwilę.

4

4

Pokrycia otwarte

Przez pokrycie będziemy rozmumieć rodzinę zbiorów otwartych, których

suma jest całą przestrzenią X. Na przykład U

(1,)

oznaczać będzie pokrycie

wszystkimi kulami o promieniu . Formalnie nie ma przeszkód, aby elemen-
tem pokrycia był zbiór pusty. Podpokryciem pokrycia U nazwiemy każdą pod-
rodzinę V ⊂ U , która jest pokryciem. Ze zwartości wynika, że każde pokrycie
posiada podpokrycie skończone, dlatego można zdefiniować parametr skończony
N (U ) jako minimalną liczność podpokrycia skończonego. Podpokrycie V o tej
liczności spełnia N (U ) = N (V) = #V. Pokrycie spełniające ostatnią równość
N (V) = #V nazwiemy optymalnym. Pokrycie V jest optymalne wtedy i tylko
wtedy, gdy dla każdego V ∈ V istnieje punkt pokryty wyłącznie przez V (oczy-
wiście zbiór pusty nie może być elementem pokrycia optymalnego).

Powiemy, że pokrycie V jest wpisane w pokrycie U (co zapiszemy przez

V < U, jeśli każdy element rozbicia V jest zawarty w pewnym elemencie rozbicia
U . Natomiast połączenie rozbić U , V zdefiniowane jest tak samo jak dla rozbić:

U ∨ V = {U ∩ V : U ∈ U , V ∈ V}.

Zwróćmy uwagę na istotne różnice pomiędzy relacją

< i operacją ∨ dla

rozbić dla pokryć. Po pierwsze jeśli V

< U, to wcale nie musi być tak, że każdy

element U jest sumą elementów V. Co prawda zawsze jest U ∨ V

< U, ale

aby zachodziła tu równość nie wystarczy, żeby V

< U (potrzebny jest o wiele

mocniejszy warunek); na przykład U ∨ U na ogół nie równa się U . Po drugie
liczność V może być mniejsza nić liczność U ; na przykład każde popokrycie
pokrycia U jest weń wpisane. Mamy jednak następujące zależności dotyczące
paramertu N (U ):

Fakt 6.1.2

U < V =⇒ N(U) ­ N(V),

N (U ∨ V) ¬ N (U )N (V),

N (U ∨ U ) = N (U ),

N (T

−1

(U )) ¬ N (U ).

W ostatnim punkcie mamy na myśli transformację ciągłą T : X → X. Za-
uważmy, że przeciwobraz pokrycia jest pokryciem. Ponadto, jeśli T jest surjek-
cją, to N (T

−1

(U )) = N (U ).

Dowody są elementarne.

W kontekście układu dynamicznego zadanego przez transformację T jak wy-

żej będziemy pisać, podobnie jak dla rozbić

U

n

=

n

_

i=0

T

−i

(U ).

Z pokryciem U zwiążemy jeszcze dwa parametry: średnicę i liczbę Lebes-

gue’a:

5

Definicja

Średnicą pokrycia U oznaczoną diam(U ) nazwiemy supremum

średnic jego elementów. Jego liczba Lebesgue’a, oznaczana Leb(U ), to maksy-
malna δ > 0, taki że każda kula o promieniu δ mieści się w całości w którymś
elemencie pokrycia U (nietrudno wykazać, że w przestrzeni zwartej taka liczba
dodatnia istnieje).

Oczywiście Leb(U ) ¬ diam(U ) oraz

U

(1,Leb(U ))

< U < U

(1,diam(U ))

.

5

Informacja i entropia topologiczna – definicje

W układzie dynamicznym (X, T ) wprowadzamy ciąg metryk d

n

wzorem

d

n

(x, y) =

max

i=0,...,n−1

d(T

i

x, T

i

y)

Oczywiście d

1

= d i metryki te rosną wraz n, jednak wszystkie są sobie równo-

ważne. Kule w tej metryce oznaczać będziemy przez B

n

(x, ) i nazywać (n, )-

kulami (Bowena). Pokrycie wszystkimi (n, )-kulami oznaczymy przez U

(n,)

.

Podamy teraz dwie definicje informacji i entropii topologicznej (Dinaburg

1970, Bowen 1971):

Zbiór E nazwiemy (n, )-rozdzielonym, jeśli d

n

(x, y) ­  dla dowolnych

x, y ∈ F , x 6= y. Ze zwartości wynika łatwo, że przy ustalonych n i , licz-
ności zbiorów (n, )-rozdzielonych są wspólnie ograniczone przez pewną liczbę
skończoną, którą oznaczymy przez s(n, ). Zbiór (n, )-rozdzielony o tej liczności
nazwiemy maksymalnym.

Definicja 6.1.1

Definiujemy kolejno

H

1

(n, ) = log s(n, )

h

1

(T, ) = lim sup

n→∞

1

n

H

1

(n, ),

h

1

(T ) = lim

→0

↑ h

1

(T, ).

Interpretujemy to następująco: liczba s(n, ) to maksymalna ilość orbit, jaką

jesteśmy w stanie rozróżnić posługując się urządzeniem obserwacyjnym o roz-
dzielczości . Zatem możemy przyjąć logarytm tej liczby jako (stałą na całej
przestrzeni) funkcję informacji uzyskanej w n krokach. Dalej już postępujemy
dokładnie tak samo jak w przypadku miarowym: H

1

(n, ) jest średnią informa-

cją w n krokach (teraz nie mamy ustalonej miary, ale do uśrednienia stałej nie
trzeba jej ustalać – po prostu jest to ta sam stała), h

1

(T, ) to średni przyrost

entropii w jednym kroku (nie mamy jednak zagwarantowanego istnienia granicy)
— jest to odległy analog entropii dynamicznej procesu przy ustalonym rozbi-
ciu, wreszcie h

1

(T ) to supremum tego, co można uzyskać dowolnie poprawiając

rozdzielczość, a więc analog entropii Kołmogorowa–Sinaja.

6

Kolejna defincja (również tych samych autorów) korzysta z pojęcia rozpina-

nia. Zbiór E nazwiemy (n, )-rozpinającym, jeśli stanowi on -sieć w metryce d

n

,

czyli jeśli dla dowolnego x ∈ X istnieje y ∈ E, taki że d(x, y) < . Innymi słowy
(n, )-kule wokól elementów E pokrywają X (są podpokryciem U

(n,)

). Rzecz

jasna, istnieją skończone zbiory (n, )-rozpinające i ich minimalną liczność ozna-
czymy przez r(n, ). Zbiór rozpinający o tej liczności nazwiemy minimalnym.

Definicja 6.1.2

Definiujemy kolejno

H

2

(n, ) = log r(n, )

h

2

(T, ) = lim sup

n→∞

1

n

H

2

(n, ),

h

2

(T ) = lim

→0

↑ h

2

(T, ).

Interpretacja jest niemal identyczna, jak poprzednio, z tą tylko różnicą, że

liczba r(n, ) to minimalna ilość n-orbit, jaka wystarcza, aby zakwalifikować
dowolną inną n-orbitę jako nierozróżnialną z jedną z nich. To też jest w pewnym
sensie liczba rozróżnialnych n-orbit w układzie.

Podamy teraz trzecią definicję, która jest najogólniejsza, nie korzysta bo-

wiem z pojęcia metryki (a zatem można ją stosować nawet w przestrzeniach
niemetryzowalnych). Historycznie rzecz ujmując pojawia się ona najwcześniej
(Adler–Konheim–McAndrew 1965), jednak dobrze jest widzieć ją jako uogólnie-
nie defincji poprzedniej.

Definicja 6.1.3

Definiujemy kolejno

H

3

(n, U ) = log N (U

n

)

h

3

(T, U ) = lim

n→∞

1

n

H

3

(n, U ),

h

3

(T ) = sup

U

h

3

(T, U ).

Tym razem możemy napisać granicę, gdyż ciąg H

3

(U

n

) jest podaddytywny,

co wynika łatwo z wcześniejszych zależności: N (U ∨ V) ¬ N (U )N (V) oraz
N (T

−1

(U )) ¬ N (U ).

Interpretacja jest następująca: elementy pokrycia U to „klasy nierozróżnial-

ności”. Liczba N (U

n

) to, jak poprzednio, minimalna liczba orbit, jaka wystarcza,

aby zakwalifikować dowolną inną n-orbitę jako nierozróżnialną z jedną z nich.
Poprzednia defnicja jest prawie szczególnym przypadkiem tej pokryciowej, jeśli
U

n

zastąpimy przez U

(n,)

. Nie jest to ściśle szczególny przypadek, gdyż pokrycie

U

(n,)

jest jedynie podpokryciem, a nie tym samym co U

n

(1,)

.

Uwaga. W przestrzeni metrycznej zawsze można znaleźć ciąg pokryć U

k

,

taki że dla każdego innego pokrycia U dostatecznie dalekie U

k

jest weń wpisane.

Dodatkowo możemy żądać, aby U

k+1

< U

k

. Mówimy wtedy o rozdrabniającym

7

ciągu pokryć. W takim przypadku supremum po U w ostatniej definicji można
zastąpić granicą wstępującą po U

k

.

Entropię topologiczną definiuje się w oparciu o następujące twierdzenie, jako

wspólną wartość liczb h

1

(T ), h

2

(T ) i h

3

(T ) i oznacza przez h(T ).

Twierdzenie 6.1.8

W topologicznym układzie dynamicznym zachodzą

równości

h

1

(T ) = h

2

(T ) = h

3

(T ).

Dowód: Jak wiemy, zbiór E jest (n, )-rozpinający, wtedy i tylko wtedy, gdy

(n, )-kule wokół jego elementów stanowią podpokrycie U

(n,)

, które z kolei jest

wpisane (jako podpokrycie) w U

n

(1,)

. Zatem

r(n, ) = N (U

(n,)

) ­ N

n

(U

(1,)

).

Dalej, jeśli dla jakiegoś pokrycia  ¬ Leb(U ), to U

(1,)

< U, więc

N

n

(U

(1,)

) ­ N (U

n

).

Następnie zauważmy, że maksymalny zbiór (n, )-rozdzielony musi być (n, )-
rozpinający, zatem

s(n, ) ¬ r(n, ).

Wreszcie, jeśli diam(V) < , to elementy V

n

zawierają po co najwyżej jednym

elemencie ze zbioru (n, )-rozdzielonego, co implikuje, że

N (V

n

) ­ s(n, ).

Z powyższych nierówności wynika, że

h

3

(T, V) ­ h

1

(T, ) ­ h

2

(T, ) ­ h

3

(T, U ).

Teraz wystarczy nałożyć w suprema: najpierw po V, potem po , na końcu po
U , i dostajemy tezę.

Uwaga: Teraz widać, że jeśli w definicjach h

1

(T, ) i h

2

(T, ) w miejsce

lim sup

n

zastosujemy lim inf

n

, to wartości entropii h

1

(T, ) i h

2

(T ) nie ulegną

zmianie.

6

Własności entropii topologicznej

Podukładem układu (X, T ) nazywamy ddowlny podzbiór domknięty Y ⊂ X

taki, że T (Y ) ⊂ Y (czyli podniezmienniczy). Wtedy (Y, T ) (formalnie powinno
się pisać T |

Y

) jest układem dynamicznym. Z kolei faktorem (topologicznym)

układu (X, T ) nazywamy dowolny inny układ (Y, S) jeśli istnieje odwzorowanie
faktorujące ciągłe z X na Y (defnicja odwzorowania faktorującego jest taka
sama jak w przypadku teorio-miarowym).

8

Fakt 6.2.1, 6.2.2

Entropia podukładu i entropia faktora są nie większe

od entropii danego układu.

Dowód: Maksymalny zbiór (n, )-rodzielony w podukładzie jest (n, )-rodzie-

lony w całym układzie (być może tu już nie jest maksymalny). Przeciwobraz
pokrycia optymalnego w faktorze jest pokryciem optymalnym w rozszerzeniu i
ma tę samą liczność (bo odwzorowanie faktorujące jest surjekcją). Supremum w
definicji entropii w rozszerzeniu uwzględnia między innymi pokrycia podniesione
z faktora (ale nie tylko te). To już implikuje żądaną nierówność.

Fakt 6.2.3

h(T

n

) = |n|h(T ).

Dowód przebiega identycznie jak dla entropii miarowej.

Fakt 6.2.4

h(T, U

n

) = h(T, U ).

Dowód. Co prawda nie zachodzi równość pokryć (U

n

)

m

i U

n+m

, ale pokrycia

te mają tą samą liczbę N (·) (na tego samego powodu, co N (U ∨ U ) = N (U )).
Tak więc dzieląc ich logarytm przez m i przechodząc z m do nieskończoności
otrzymamy tą samą granicę co dla U

m

.

Wniosek (Analog tw. Kołmogorowa–Sinaja): Jeśli U jest generatorem topo-

logicznym (tzn. ciąg U

n

jest rozdrabniający), to h(T ) = h(T, U ).

7

Miary niezmiennicze

Twierdzenie (Bogolubov–Kryłow 1937)

W każdym topologicznym ukła-

dzie dynamicznym (X, T ) istnieje przynajmniej jedna (borelowska probabili-
styczna) miara T -niezmiennicza (tzn., taka że µ(T

−1

(A)) = µ(A) dla każdego

zbioru borelowskiego A).

Dowód: Z twierdzenia Riesza możemy traktować miary probabilistyczne jako

funkcjonały nieujemne unormowane na C(X). Z twierdzenia Banacha-Alaoglu,
zbiór miar probabilistycznych P(X) jest zwarty w *-słabej topologii. Jest on
również wypukły, a T działający na miarach przeprowadza P(X) w siebie i jest
w tej topologii ciągły. Wybieramy dowolną miarę ν ∈ P(X) i patrzymy na ciąg
średnich

µ

n

=

1

n

n−1

X

i=0

T

i

ν.

Są to elementy P(X). Zauważmy, że

kµ

n

− T µ

n

)k = k

ν
n

+

T

n

ν

n

k ¬

2

n

,

Niech µ będzie dowolnym punktem skupienia (w *-słabej topologii) ciągu µ

n

.

Ze zwartości P(X), taka miara probabilistyczna istnieje. Wtedy, dla dowolnej

9

unormowanej funkcji f ∈ C(X) i dowolnego  > 0 istnieje n >

1



, takie że

|

R f dµ − R f dµ

n

| <  oraz |

R f ◦ T dµ − R f ◦ T dµ

n

| < . Przypomnijmy też,

jak działa operator T na miarach:

Z

f dT µ =

Z

f ◦ T dµ.

Zatem, mamy






Z

f dµ −

Z

f dT µ






¬






Z

f dµ −

Z

f dµ

n






+






Z

f dµ

n

−

Z

f dT µ

n






+






Z

f dT µ

n

−

Z

f dT µ






¬

 + kf k · kµ

n

− T µ

n

k +  ¬ 2 +

2

n

< 4.

Ponieważ  jest dowolny, wykazaliśmy, że

R f dµ − R f dT µ = 0. To oznacza, że

µ − T µ jest funkcjonałem zerowym na C(X), co implikuje, że jest to po prostu
miara zerowa, zatem µ = T µ, czyli wskazaliśmy miarę T -niezmienniczą.

Zbiór miar niezmienniczych będziemy oznaczać przez P

T

(X). Jest on rów-

nież wypukły i *-słabo zwarty (i oczywiście niepusty). Metrykę w tym zbiorze
(równoważną z *-słabą topologią) można zadać w następujący sposób. Trzeba
wybrać i ustalić ciąg funkcji unormowanych (f

n

)

n­1

o tej własności, że zbiór

{f

n

◦ T

k

: n ­ 1, k ­ 0} jest liniowo gęsty w C(X). Następnie ustalić ciąg

sumowalny liczb dodatnich (c

n

)

n

­ 1. I wtedy możemy położyć

d

∗

(µ, ν) =

∞

X

n=1

c

n






Z

f

n

dµ −

Z

f

n

dν






.

De facto warunek sumowalności można osłabić. Wystaczy, żeby szereg funkcyjny
P

n

c

n

|f

n

| był zbieżny punktowo i wspólnie ograniczony. Szczegóły uzasadnienia

tego stwierdzenia pominiemy.

Uwaga: Jeśli π : (X, T ) → (Y, S) jest „odwzorowaniem faktorującym” mię-

dzy topologicznymi układami dynamicznymi (czyli ciągłą surjekcją z X na Y
spełniającą π ◦ T = S ◦ π, to odwzorowanie indukowane na miarach (również
oznaczmy je przez π i przypomnijmy, że (πµ)(A) = µ(π

−1

(A)) dla zbioru A

borelowskiego w Y ) jest ciągłą afiniczną surjekcją z P

T

(X) na P

S

(Y ).

Dowód: Niech µ ∈ P

T

(X). Weźmy zbiór A borelowski w Y . Mamy

S(πµ)(A) = µ(π

−1

S

−1

(A)) = µ(T

−1

π

−1

(A)) = µ(π

−1

(A)) = (πµ)(A),

czyli πµ jest S-niezmiennicza. Ciągłość w *-słabych topologiach: Niech µ

n

zbie-

gają słabo do µ. Wtedy dla dowolnej f ∈ C(Y ) mamy

Z

f d(πµ

n

) =

Z

f ◦ π dµ

n

→

Z

f ◦ π dµ =

Z

f d(πµ).

10

Afiniczność jest oczywista. Nietrywialna jest tylko surjektywność. Niech ν ∈
P

S

(Y ). Istnieje miara (niekoniecznie niezmiennicza) µ ∈ P(X), taka że πµ = ν.

Wynika to wprost z twierdzenia Hahna–Banacha o przedłużaniu funkcjonału: ν
zadaje na podprzestrzeni {f ◦ π : f ∈ C(Y )} ⊂ C(X) funkcjonał F

ν

(f ◦ π) =

R f dν. Ten funkcjonał po przedłużeniu do miary nieujemnej unormowanej na
C(X) będzie szukaną miarą µ. Teraz postępujemy tak, jak w dowodzie twierdze-
nia Bogolubova–Kryłowa; średnie µ

n

=

1

n

P

n−1
i=0

T

i

µ mają punkt skupienia µ

0

będący miarą niezmienniczą. Ponieważ πµ jest miarą S-niezmienniczą ν, więc

πµ

n

=

1

n

n−1

X

i=0

πT

i

µ =

1

n

n−1

X

i=0

S

i

πµ =

1

n

n−1

X

i=0

S

i

ν =

1

n

n−1

X

i=0

ν = ν

(dla każdego n), a z ciągłości π na miarach, również πµ

0

= ν, co kończy dowód.

Jeśli µ jest miarą niezmienniczą w topologicznym układzie dynamicznym

(X, T ), to otrzymujemy teorio-miarowy układ dynamiczny (X, A

µ

, µ, T ), gdzie

A

µ

jest sigma-ciałem zbiorów borelowskich uzupełnionym względem miary µ

(uzupełnienie stosujemy tylko po to, żeby otrzymać standardową przestrzeń pro-
babilistyczną). Układ ten posiada swoją entropię Kołmogorowa–Sinaja h(µ, T ).
Pamiętajmy, że na ogół układ topologiczny może posiadać wiele miar niezmien-
niczych. Związek pomiędzy entropią topologiczną układu, a entropiami Kołmo-
gorowa–Sinaja jego miar niezmienniczych ustala poniższe twierdzenie, uważane
za jedno z kluczowych (obok twierdzenia Shannona–McMillana–Breimana) w
teorii entropii układów dynamicznych.

Twierdzenie (Zasada wariacyjna)

h(T ) = sup{h(µ, T ) : µ ∈ P

T

(X)}.

Dowód podamy w kolejnych rozdziałach, ale ograniczymy się do przypadku,

gdy X jest przestrzenią zero-wymiarową.

8

Dynamika i miary niezmiennicze w wymiarze
zero

Aby zrozumieć dynamikę w przestrzenich zero-wymiarowych trzeba przede

wszystkim zrozumieć dynamikę symboliczną.

Definicja

Układem symbolicznym nazwiemy dowolny układ (X, T ), gdzie

X ⊂ Λ

N

0

jest domkniętym zbiorem podniezmienniczym na transformację „prze-

sunięcie” (ang. shift ) σ((x

n

)

n∈N

0

) = (x

n+1

)

n∈N

0

, Λ jest zbiorem skończonym

(zwanym alfabetem), a T jest właśnie tą transformacją (obciętą do X).

Powyżej, w zbiór Λ traktujemy jako przestrzeń dyskretną (jest ona zwarta),

a w Λ

N

0

stosujemy topolgię produktową (która, na mocy tw Tichonowa, też jest

zwarta).

11

Zauważmy, że w tzw. pełnym układzie symbolicznym (w którym X

Λ

= Λ

N

0

)

rozbicie na cylindry nad współrzędną zerową {[a] : a ∈ Λ} (które również ozna-
czymy przez Λ) jest rozbiciem na zbiory otwarto-domknięte, w szczególności jest
to więc pokrycie otwarte. Pokrycie to jest generatorem topologicznym. Jeśli teraz
ograniczymy się do podukładu X (a więc dowolnego układu symbolicznego), to
rozbicie Λ|

X

(Λ zrelatywizowane do X – dalszej części będziemy pomijać pisanie

„|

X

”) jest nadal jego rozbiciem. To samo dotyczy (zrelatywizowanych) pokryć

Λ

n

. Zatem każde z takich pokryć ma jedyne podpokrycie optymalne otrzymane

poprzez odrzucenie zbiorów pustych. Czyli parametr N (Λ

n

) (na X) liczy ile

cylindrów z Λ

n

kroi się niepusto z X. Dlatego wprowadzimy oznaczenie

Λ

n

(X) = {B ∈ Λ

n

: [B] ∩ X 6= ∅}.

Interpretacja tego zbioru jest taka, że są to bloki długości n nad alfabetem Λ
które występują w X (wystarczy aby wystąpił on w co najmniej jednym elemen-
cie (x

n

)

n∈N

0

∈ X na jakiejkowliek pozycji – wtedy stosując wielokrotnie „shift”

zobaczymy go w jakimś elemencie X na pozycjach od zera do n−1, czyli właśnie
[B] ∩ X 6= ∅). Jak już powiedzieliśmy, zbiór Λ

n

(X) stanowi optymalne podpo-

krycie X pokrycia Λ

n

, a ponieważ Λ jest generatorem topologicznym (również

w X), więc mamy poniższy niezwykle prosty wzór na entropię topologiczną:

h(X, T ) = h(X, T, Λ) = lim

n

1

n

log #Λ

n

(X).

Podobnie, jeśli ustalimy dowolną miarę niezmienniczą µ ∈ P

T

(X), to miara ta

jest również miarą niezmienniczą pełnego układu symbolicznego (X

Λ

, σ), i Λ

traktowana teraz jako rozbicie mierzalne jest generatorem (teorio-miarowym).
Zatem mamy wzór

h(µ, T ) = h(µ, σ) = h(µ, σ, Λ).

Tak więc licząc entropię czy to topologiczną, czy to Kołmogorowa–Sinaja jakiejś
miary niezmienniczej, wystarczy patrzeć na „pokrycio-rozbicie” Λ.

Jeśli teraz mamy dowolny układ zero-wymiarowy, to co prawda nie musi on

być układem symbolicznym (do tegu musiałby jeszcze być on ekspanywny), ale
zawsze istnieje w nim ciąg rozbić (pokryć) otwarto-domkniętych, które łącznie
generują zarówno topologię jak i sigma-ciało zbiorów borelowskich. Aby odróżnić
te rozbicia od zwykłych rozbić (które są tylko mierzalne) oznaczymy je przez Λ

k

.

Każde takie rozbicie generuje proces, a zarazem układ symboliczny, w którym
Λ

k

staje się alfabetem. Przez Λ

k

(X) oznaczymy, jak poprzednio, zbiór bloków,

które wstępują w tym układzie symbolicznym. Mamy wtedy podobne wzory na
entropie, jak dla układów symbolicznych, z tym tylko, że we wzorach pojawi się
rozsnąca granica po k:

h(X, T ) = lim

k

↑ h(X, T, Λ

k

) = lim

k

↑ lim

n

1

n

log #Λ

n
k

(X),

oraz, dla każdej miary niezmienniczej µ na X,

h(µ, T ) = lim

k

↑ h(µ, T, Λ

k

).

12

Przyjrzyjmy się jeszcze miarom niezmienniczym w układzie symbolicznym.

Ponieważ są to miary niezmiennicze również w pełnym układzie symbolicznym
nad danym alfabetem, można od razu założyć, że patrzymy na układ (Λ

N

0

, σ).

Każda miara niezmiennicza przypisuje wartości cylindrom nad blokami skończo-
nymi i wartości te nie zależą od miejsca zaczepienia cylindra. Zatem miara jest
zdeterminowana poprzez swoje wartości na cylindrach zaczeopinych na współ-
rzędenej zerowej. Zgodnie z konwencją, zbiór takich cylindrów długości n bę-
dziemy po prostu oznaczać przez Λ

n

. Topologię *-słabą w zbiorze miar nie-

zmienniczych układu symbolicznego można zmetryzować przy pomocy takiej
oto metryki:

d

∗

(µ, ν) = lim

n

X

B∈Λ

n

|µ(B) − ν(B)|

(granica istnieje, gdyż powyższy ciąg jest ograniczony przez 2 i nietrudno prze-
konać się, że jest niemalejący). Wynika z tego następująca interpretacja bliskości
miar: dwie miary µ i ν są „blisko” jeśli wszystkim dostatecznie długim cylindrom
nadają podobne wartości:

∀

>0

∃

n,δ

(∀

B∈Λ

n

|µ(B) − ν(B)| < δ) =⇒ d

∗

(µ, ν) < 

oraz

∀

>0

∃

n,δ

d

∗

(µ, ν) <  =⇒ (∀

B∈Λ

n

|µ(B) − ν(B)| < δ)

(jednak dobór n i δ do  może być w obu przypadkach inny, dlatego nie piszemy
jednego zdania logicznego z równoważnością).

Udowodnimy teraz następujący prosty fakt

Fakt 7.2.4

Funkcja entropii Kołmogorowa–Sinaja µ 7→ h(µ, σ) jest gór-

nie półciągła w topolgii *-słabej na zbiorze wszystkich miar niezmienniczych
pełnego układu symbolicznego (Λ

N

0

, σ).

Dowód: Mamy

h(µ, σ) = h(µ, σ, Λ) = lim

n

↓

1

n

X

B∈Λ

n

η(µ(B)).

Dla każdego cylindra B funkcja µ 7→ µ(B) jest ciągła (gdyż 1

B

jest ciągła jako

funkcja charakterystyczna zbioru otwarto-domkniętego, a µ(B) to całka z tej
funkcji). Funkcja η jest ciągła. Dalej mamy sumę skończoną i dzielenie przez
stałą. Zatem mamy tu granicę malejącą ciągu funkcji ciągłych, a to jest funckja
górnie półciągła.

9

Zasada wariacyjna w wymiarze zero

Podamy teraz dowód zasady wariacyjnej w układach zero-wymiarowych. Do-

wód w przypadku ogólnym jest o wiele bardziej skomplikowany. Istnieje też

13

sposób aby twierdzenie to uogólnić z przypadku zero-wymiarowego na dowolny,
jednak on również wymaga skomplikowanej konstrukcji tzw. zero-wymiarowych
rozszerzeń pryncypialnych. Dlatego w ramach tego kursu ograniczymy się do
przypadku zero-wymiarowego.

Główna część dowodu dotyczy układów symbolicznych.

Dowód zasady wariacyjnej dla układów symbolicznych: Dowód nierówności

w jedną stronę jest natychmiastowy. Mamy pokazać, że entropia Kołmogorowa–
Sinaja dowolnej miary niezmienniczej µ w układzie symbolicznym (X, σ) nad
alfabetem Λ jest nie większa od jego entropii topologicznej. Mamy

h(µ, T ) = h(µ, σ, Λ) = lim

n

1

n

H(µ, Λ

n

).

Ponieważ miara µ jest niesiona przez X (dopełnienie X ma miarę zero), więc
H(µ, Λ

n

) = H(µ, Λ

n

(X)) ¬ log #Λ

n

(X), a co za tym idzie,

h(µ, T ) ¬ lim

n

1

n

log #Λ

n

(X) = h(X, T ).

Dowód w drugą stronę jest nieco trudniejszy. Skonstruujemy miarę µ, taką

że h(µ, T ) = h(X, T ) (czyli miarę o maksymalnej entropii). Ustalmy n i niech
X

n

oznacza zbiór wszystkich ciągów uzyskanych jako nieskończone konkatenacje

bloków z Λ

n

(X), z których pierwszy jest zaczepiony na współrzędnej zerowej.

Oczywiście X ⊂ X

n

. Jak łatwo widać, zbiór X

n

jest niezmienniczy pod dzia-

łaniem σ

n

w sensie równości σ

n

(X

n

) = X

n

natomiast pod działaniem σ mamy

taki oto cykl ciąg surjekcji

X

n

→ σ(X

n

) → σ

2

(X

n

) → · · · → σ

n−1

(X

n

) → X

n

.

Zatem każda z przestrzeni σ

i

(X

n

) jest σ

n

-niezmiennicza.

Na X

n

mamy specjalną miarę σ

n

-niezmienniczą, mianowicie miarę Berno-

ulliego µ

(0)
n

, która wszystkim blokom B ∈ Λ

n

(X) przypisuje równe wartości

(#Λ

n

(X))

−1

(a konkatenacjom m takich bloków wartość (#Λ

n

(X))

−m

). Za-

uważmy, że takie konkatenacje to właśnie połączenie m kolejnych przeciwobra-
zów przez σ

n

rozbicia Λ

n

, co możemy zapisać jako (Λ

n

)

m

(tutaj pierwszy wy-

kładnik – n – odnosi się do działania σ a drugi – m – do działania σ

n

). Entropia

tego rozbicia dla tej miary wynosi zatem

H(µ

(0)
n

, (Λ

n

)

m

) = log(#Λ

n

(X))

m

= m log #Λ

n

(X),

a entropia dynamiczna

h(µ

(0)
n

, σ

n

, Λ

n

) = lim

m

1

m

m log #Λ

n

(X) = log #Λ

n

(X).

Miara µ

(0)

jest przenoszona przez kolejne iteracje σ

i

(i = 1, 2, . . . , n−1) na miary

σ

n

-niezmiennicze µ

(i)

niesione przez zbiory σ

i

(X

n

), a następnie po n iteracjach

wraca jako µ

(0)

na X

n

. Zatem każda z miar µ

(i)

(i = 0, . . . , n − 1) jest faktorem

14

teorio-miarowym każdej innej z tych miar (miary te są słabo izomorficzne). To
wystarcza, aby stwierdzić, że mają one jednakowe entropie (pod działaniem σ

n

).

Miara µ

n

zdefiniowana jako ich średnia

µ

n

=

1

n

n−1

X

i=0

µ

(i)
n

jest zarówno σ

n

-, jak i σ-niezmiennicza. Jej entropię pod działaniem σ

n

wzglę-

dem rozbicia Λ

n

obliczymy z afiniczności entropii dynamicznej

h(µ

n

, σ

n

, Λ

n

) =

1

n

n−1

X

i=0

h(µ

(i)
n

, σ

n

, Λ

n

) = h(µ

(0)
n

, σ

n

, Λ

n

) = log #Λ

n

(X).

Z kolei do obliczenia entropii miary µ

n

pod działaniem σ względem Λ zastosu-

jemy zasadę potęgową:

h(µ

n

, σ, Λ) =

1

n

h(µ

n

, σ

n

, Λ

n

) =

1

n

log #Λ

n

(X).

Ponieważ Λ jest generatorem, to jest to samo, co entropia Kołmogorowa–Sinaja
h(µ

n

, σ). Niech µ oznacza dowlny punkt skupienia ciągu µ

n

(w zwartym zbio-

rze miar σ-niezmienniczych pełnego ukladu symbolicznego nad alfabetem Λ. Z
górnej półciągłości funkcji entropii w układzie symbolicznym wynika, że

h(µ, σ) ­ lim inf

n

h(µ

n

, σ) = lim

n

1

n

log #Λ

n

(X) = h(X, T ).

Jeśli wykażemy, że mira µ jest niesiona przez X, to będzie to koniec dowodu.
Trzeba więc pokazać, że dopełnienie X ma miarę µ zero. Dopełnienie to, jako
zbiór otwarty w przestrzeni ośrodkowej, jest przeliczalną sumą zbiorów bazo-
wych, czyli cylindrów otwarto-domkniętych. Wystarczy więc pokazać, że miara
dowolnego cylindra C (dowolnej długości m) rozłącznego z X, czyli (jako blok)
nie występującego w X (a więc nie należącego do Λ

m

(X)) jest zero. Ponieważ

miara zbioru otwarto-domkniętego jest ciągłą funkcją miary, wystarczy poka-
zać, że µ

n

(C) → 0 po n, czyli, że µ

n

(C) jest małe dla dużego n. Pokażemy o

wiele więcej, że ν(C) jest małe dla dowolnej miary ν niesionej przez zbiór σ-
niezmienniczy X

0

n

= X

n

∪ σ(X

n

) ∪ · · · ∪ σ

n−1

(X

n

). Wystarczy to pokazać dla

miar ergodycznych, gdyż w każdym układzie topologicznym każda miara nie-
zmiennicza jest granicą kombinacji liniowych miar ergodycznych (to wynika z
twierdzenia Kreina–Milmana i tego, że miary ergodyczne, to to samo co punkty
ekstremalne zbioru miar niezmienniczych). Zatem niech ν oznacza miarę ergo-
dyczną na X

0

n

. Do oszacowania liczby ν(C) skorzystamy z twierdzenia ergo-

dycznego. Ponieważ X

n

jest podzbiorem X

0

n

miary dodatniej, istnieje x ∈ X

n

spełniający tezę twierdzenia ergodycznego dla miary µ

n

i zbioru C, tzn. taki,

że ν(C) jest równe średniej częstości odwiedzin orbity punktu x w cylindrze
C. Ale ta częstość, to to samo co częstość, z jaką blok C występuje w ciągu
symbolicznym, jakim jest x. Ponieważ C nie należy do Λ

n

(X), nie może on

występować w żadnym bloku z rodziny Λ

m

(X), a skoro x jest konkatenacją

15

takich bloków, to C może występować tylko na „złączeniach” bloków z rodziny
Λ

m

(X), czyli pozycjach zaczepionych w miejscach poprzedzających takie złącze-

nia (które występują okresowo co n) o co najwyżej m. To oznacza, że częstość
jego występowania nie przekracza

m

n

, co jest, (przy ustalonym m i dowolnie

dużym n) liczbą małą. To kończy cały dowód.

Instytut Matematyki i Informatyki, Politechnika Wrocławska

Wybrzeże Wyspiańskiego 27, 50-370 Wrocław

e-mail: [e-mail]

16