Termodynamika mówi, że entropia układu izolowanego, czyli stopień jego nieuporządkowania, albo po prostu chaos, rośnie w czasie. Jednakże ogólny wzrost nieuporządkowania może lokalnie prowadzić do powstania zorganizowanych struktur, takich jak prądy konwekcyjne w cieczy w podgrzewanym naczyniu, reakcje chemiczne, w których następuje cykliczna zmiana barwy, czy wreszcie zjawisko życia. Chaos (ściślej: dążność do jego maksymalizacji) może zatem rodzić porządek.
Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji. Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli zdarzenie występuje z prawdopodobieństwem równym 1, to jego entropia wynosi 0, gdyż z góry wiadomo, co się stanie - nie ma niepewności.
Własności entropii:
1. jest nieujemna
2. jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
3. jest równa 0, gdy stany systemu przyjmują wartości tylko 0 albo tylko 1
4. własność superpozycji - gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii.
Chaos deterministyczny - w matematyce i fizyce, własność równań lub układów równań, polegająca na dużej wrażliwości rozwiązań na dowolnie małe zaburzenie parametrów. Jeśli takie równanie opisuje zmiany jakiegoś układu w czasie, to niewielkie zaburzenie warunków początkowych powoduje rosnące wykładniczo z czasem zmiany w zachowaniu układu. Popularnie nazywane jest to efektem motyla -znikoma różnica na jakimś etapie może po dłuższym czasie urosnąć do dowolnie dużych rozmiarów. Powoduje to, że choć model jest deterministyczny, w dłuższej skali czasowej wydaje się zachowywać w sposób losowy. W roku 1960 Edward Lorenz pracował nad komputerowym prognozowaniem pogody. Stworzył do tego celu układ 12 równań wyrażających relacje między temperaturą, ciśnieniem, prędkością wiatru itd. Sądził, jak większość ówczesnych naukowców, że prawie dokładne dane wejściowe, dają prawie dokładne wyliczenia. To przekonanie okazało się jednak błędne. Kiedy Lorenz wprowadził do komputera dwie liczby wejściowe - najpierw 0,506127 a później 0,506 - otrzymał w rezultacie dwa coraz bardziej różniące się od siebie, w miarę upływu symulowanego czasu, wykresy. Różnica na wejściu programu rzędu
10 (0, 000127) okazała się bardzo znacząca na wyjściu. Takie zachowanie jakiegoś układu nazywa się wrażliwością na warunki początkowe lub efektem motyla. Dlatego też niemożliwe jest prawidłowe prognozowanie pogody na więcej niż kilka kolejnych dni. Nigdy nie znamy przecież chwilowych warunków pogodowych na tyle dokładnie, aby błąd w długookresowych obliczeniach był niezauważalny.
Niewielka zmiana, ogromny efekt na podstawie powstawania materii.
Każda cząstka materialna, za wyjątkiem fotonu, posiada swoją antycząstkę, o jednakowej masie lecz przeciwnych pewnych właściwościach, np. ładunku. (...) Ta daleko posunięta symetria właściwości pomiędzy materią i antymaterią stoi w jaskrawej sprzeczności z faktem, że w zasadzie cały obserwowany Wszechświat zbudowany jest z materii, nie zaś z antymaterii (tę ostatnią można otrzymywać w niewielkich ilościach w ziemskich laboratoriach). Naturalne wydaje się oczekiwanie, że będą występować równe ilości materii i antymaterii, albo że cała materia anihiluje przy zetknięciu z antymaterią, a pusty Wszechświat zostanie wypełniony jedynie powstałym w wyniku tej reakcji promieniowaniem.
Aby zrozumieć ten pozorny paradoks, musimy ponownie cofnąć się do najwcześniejszych etapów ewolucji Wszechświata. Zgodnie z powiedzianym powyżej, w czasie pierwszych sekund swego istnienia był on bardzo mały, gęsty i gorący. Przestrzeń wypełniała wtedy wysoce skondensowana mieszanka materii (oraz antymaterii) i promieniowania, będących między sobą w równowadze termicznej. Właściwości materii i antymaterii różnią się mianowicie bardzo nieznacznie. Tak nieznacznie, że różnice te jest bardzo trudno zauważyć. One to jednak zadecydowały o zaistnieniu Wszechświata w znanej nam postaci. Materia i antymateria nie tylko powstają (w równych ilościach) w procesie kreacji z promieniowania. Mogą one także przekształcać się jedna w drugą, przy czym w przemianie tej pośredniczą tzw. cząstki X. Sedno sprawy stanowi fakt, iż materia powstaje z antymaterii nieznacznie szybciej, niż antymateria z materii. Różnica ta jest tak znikoma, że w chwili, kiedy szybkość anihilacji zaczęła przewyższać szybkość kreacji, przewaga materii nad antymaterią wynosiła jedynie jedną część na dziesięć miliardów (1010). Proces anihilacji z antymaterią przeżyła zatem jedynie skrajnie mikroskopijna "nadwyżka" materii, taka mniej więcej, jaką stanowi milimetr na dziesięć tysięcy kilometrów (czyli jedną czwartą obwodu równika Ziemi). Z tej niewyobrażalnie małej nadwyżki powstało jednak potem wszystko, co obecnie istnieje pod postacią materii, a mianowicie galaktyki, gwiazdy i planety.
Między informacją a chaosem można zauważyć sprzężenie zwrotne: informacja zmienia nieokreśloność zdarzenia, daje wiedzę, co zmniejsza entropię (nieuporządkowanie) układu, pozwala lepiej go poznać. Informacja naukowa akceptując teorię chaosu, chce pokazać, że badanie tyko wyizolowanego fragmentu rzeczywistości daje tylko wycinkową informację, nie daje całościowego obrazu, a przecież suma poszczególnych, pojedynczych elementów może nie równać się całości.
W nauce, a właściwie w przekazywaniu informacji naukowej przez jej przedstawicieli, zachodzą różne zdarzenia. Pewne teorie szybko zdobywają swoich zwolenników, zaś niektóre pozostają niezauważone. Chaologom i informatologom przeszkadza fragmentaryczny sposób rozchodzenia się informacji w nauce.
Wartość teorii chaosu w informacji naukowej polega na tym, że możemy stawiać pytania:
1. jak coś działa?
2. jak dana informacja wypływa na coś
3. jakie czynniki wpływają na to, że dana informacja jest odbierana pozytywnie lub negatywnie
4. jak sterować informacją, aby osiągnąć z góry założony cel.
Nie stawiamy pytań czym coś jest, czyli nie pytam o naturę rzeczy, ale o stosunki między rzeczami.