Plaskota L Trzynaście wykładów z matematyki obliczeniowej

Trzynaście Wykładów

z Matematyki Obliczeniowej

Leszek Plaskota

Instytut Matematyki Stosowanej i Mechaniki

Uniwersytet Warszawski

Spis treści

1 Specyﬁka obliczeń numerycznych

1.1 Zadania numeryczne, przykłady . . . . . . . . . . . . . .

1.2 Model obliczeniowy . . . . . . . . . . . . . . . . . . . . .

1.3 Arytmetyka ﬂ

. . . . . . . . . . . . . . . . . . . . . . .

2 Algorytmy i ich własności

2.1 Rozkład algorytmu względem informacji . . . . . . . . . 11
2.2 Problem wyboru algorytmu . . . . . . . . . . . . . . . . 12
2.3 Numeryczna poprawność algorytmu . . . . . . . . . . . . 13
2.4 Rola uwarunkowania zadania . . . . . . . . . . . . . . . . 15
2.5 Przykłady . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.5.1 Iloczyn skalarny . . . . . . . . . . . . . . . . . . . 17
2.5.2 Całkowanie . . . . . . . . . . . . . . . . . . . . . 18

3 Układy równań liniowych

3.1 Układy z macierzą trójkątną . . . . . . . . . . . . . . . . 25
3.2 Eliminacja Gaussa . . . . . . . . . . . . . . . . . . . . . 26
3.3 Rozkład trójkątny macierzy . . . . . . . . . . . . . . . . 28

4 Analiza błędów w eliminacji Gaussa

4.1 Układy z macierzą trójkątną . . . . . . . . . . . . . . . . 39
4.2 Poprawność rozkładu trójkątnego . . . . . . . . . . . . . 40
4.3 Poprawność rozwiązywania układu . . . . . . . . . . . . 44
4.4 Uwarunkowanie macierzy, a błąd w ﬂ

. . . . . . . . . .

5 Zadanie wygładzania liniowego

5.1 Układ normalny . . . . . . . . . . . . . . . . . . . . . . . 51

SPIS TREŚCI

5.2 Odbicia Hauseholdera . . . . . . . . . . . . . . . . . . . . 54
5.3 Algorytm dla zadania wygładzania . . . . . . . . . . . . 56

6 Interpolacja wielomianowa

6.1 Sformułowanie zadania interpolacji . . . . . . . . . . . . 65
6.2 Wybór bazy wielomianowej . . . . . . . . . . . . . . . . 67
6.3 Algorytm różnic dzielonych . . . . . . . . . . . . . . . . 69
6.4 Przypadek węzłów wielokrotnych . . . . . . . . . . . . . 71

7 Interpolacja a aproksymacja funkcji

7.1 Błąd interpolacji wielomianowej . . . . . . . . . . . . . . 77
7.2 Wielomiany Czebyszewa . . . . . . . . . . . . . . . . . . 80
7.3 Interpolacja kawałkami wielomianowa . . . . . . . . . . . 83

8 Interpolacja funkcjami sklejanymi

8.1 Co to są funkcje sklejane? . . . . . . . . . . . . . . . . . 89
8.2 Interpolacja i gładkość . . . . . . . . . . . . . . . . . . . 90
8.3 Kubiczne funkcje sklejane . . . . . . . . . . . . . . . . . 94

9 Całkowanie numeryczne

103

9.1 Co to są kwadratury? . . . . . . . . . . . . . . . . . . . . 103
9.2 Błąd kwadratur interpolacyjnych . . . . . . . . . . . . . 105
9.3 Kwadratury złożone . . . . . . . . . . . . . . . . . . . . 108
9.4 Przyspieszanie zbieżności kwadratur . . . . . . . . . . . . 110

10 Całkowanie a aproksymacja

117

10.1 Rząd kwadratury . . . . . . . . . . . . . . . . . . . . . . 117
10.2 Ciągi wielomianów ortogonalnych . . . . . . . . . . . . . 119
10.3 Kwadratury Gaussa . . . . . . . . . . . . . . . . . . . . . 123

11 Iteracje dla równań liniowych

131

11.1 Kiedy stosujemy iteracje? . . . . . . . . . . . . . . . . . 132
11.2 Metoda Czebyszewa . . . . . . . . . . . . . . . . . . . . . 134
11.3 Metoda najszybszego spadku . . . . . . . . . . . . . . . . 139

12 Iteracje dla równań nieliniowych

145

12.1 Bisekcja . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
12.2 Iteracje proste . . . . . . . . . . . . . . . . . . . . . . . . 147

SPIS TREŚCI

iii

12.3 Metody interpolacyjne . . . . . . . . . . . . . . . . . . . 149
12.4 Obliczanie zer wielomianów . . . . . . . . . . . . . . . . 153

SPIS TREŚCI

Rozdział 1

Specyﬁka obliczeń
numerycznych

Matematyka obliczeniowa jest dziedziną wiedzy zajmującą się proble-
mami obliczeniowymi i konstrukcją algorytmów rozwiązywania zadań
matematycznych.

Aby w ogóle mówić w problemie obliczeniowym, musimy najpierw

• określić dane początkowe i cel obliczeń, czyli dokładnie sformuło-

wać zadanie,

• określić środki obliczeniowe dzięki którym chcemy osiągnąć cel,

czyli zdeﬁniować model obliczeniowy.

1.1 Zadania numeryczne, przykłady

Sformułowanie zadania polega na sprecyzowaniu tego, co mamy i co
chcemy uzyskać. Formalnie polega to na zdeﬁniowaniu przestrzeni da-
nych F , przestrzeni wyników G i wskazaniu zależności f 7→ g, gdzie
f

∈ F i g ∈ G, między danymi a wynikami. Zależność tę repezentuje

operator rozwiązania

: F −→ G.

Będziemy zainteresowani przede wszystkim zadaniami numerycz-

nymi. Są to zadania, dla których wynikiem g jest zawsze skończony

ROZDZIAŁ 1. SPECYFIKA OBLICZEŃ NUMERYCZNYCH

ciąg liczb rzeczywistych, czyli

⊂ ∪

∞

n=0

(przyjmujemy przy tym, że R

= pusty). Zbiór danych może być w

zasadzie dowolny, ale my będziemy dla uproszczenia rozpatrywać tylko
zadania dla których F ⊂ R

, albo ogólniej, dla których F jest pewną

klasą funkcji zdeﬁniowanych na ustalonym zbiorze D ⊂ R

Przykład 1.1 (Równanie kwadratowe.) Załóżmy, że chcemy obliczyć
wszystkie rzeczywiste pierwiastki równania

− 2p + q = 0,

dla danych liczb rzeczywistych p i q. Wtedy F = R

, G = R

∪R

oraz

(p, q) =










pusty

∆ < 0,

∆ = 0,

(p +

√

∆, p −

√

∆)

∆ > 0,

(1.1)

gdzie ∆ = p

− q.

Przykład 1.2 (Układ równań liniowych.) Rozpatrzmy zadanie roz-
wiązywania układu równań liniowych

A~x

= ~b,

dla nieosobliwej macierzy A = (a

i,j

)

i,j=1

i wektora ~b = (b

)

j=1

. Wtedy

= { (A,~b) ∈ R

: det A 6= 0 },

= R

, oraz

(A,~b) = A

−1

~b.

Przykład 1.3 (Całkowanie.) Dla danej funkcji ciągłej f : [a, b]

→ R,

chcemy obliczyć całkę oznaczoną

(f) =

(x) dx.

W tym przypadku G = R, ale dane stanowi pewna klasa funkcji cią-
głych określonych na odcinku [a, b], tzn. F ⊂ C([a, b]). Oczywiście S

jest operatorem całkowania, S = I.

1.2. MODEL OBLICZENIOWY

1.2 Model obliczeniowy

Aby zdeﬁniować nasz model obliczeniowy, posłużymy się pojęciem pro-
gramu. Zastosujemy przy tym notację podobną do tej z języka progra-
mowania Pascal.

Program składa się z deklaracji, czyli opisu obiektów, których bę-

dziemy używać, oraz z poleceń (instrukcji), czyli opisu akcji, które bę-
dziemy wykonywać.

Dostępnymi obiektami są stałe i zmienne typu całkowitego (inte-

ger), rzeczywistego (real), albo logicznego (Boolean). Zmienne mogą
być grupowane w wektory albo tablice.

Polecenia dzielimy na proste i złożone. Poleceniem prostym jest

•

Podstawienie

:= W;

gdzie z jest zmienną, a W jest wyrażeniem o wartościach tego samego

typu co z.

Wyrażeniem jest pojedyncza stała lub zmienna, albo złożenie skoń-

czonej liczby operacji elementarnych na wyrażeniach. Operacje elemen-
tarne to:

arytmetyczno–arytmetyczne: x

7→ −x, (x, y) 7→ x + y, (x, y) 7→

− y, (x, y) 7→ x ∗ y, (x, y) 7→ x/y, y 6= 0, gdzie x, y są stałymi

lub zmiennymi liczbowymi,

arytmetyczno–logiczne: (x, y)

7→ x < y, (x, y) 7→ x ≤ y, (x, y) 7→

= y, (x, y) 7→ x 6= y, gdzie x, y są stałymi lub zmiennymi

liczbowymi,

logiczno–logiczne: p

7→ not p, (p, q) 7→ p and q, (p, q) 7→ p or q, gdzie

p, q

są stałymi lub zmiennymi logicznymi.

Dla niektórych zadań wygodnie jest (a czasem koniecznie) uzu-

pełnić ten zbiór o dodatkowe operacje, takie jak obliczanie wartości
niektórych funkcji standardowych (√ , cos(), sin(), exp(), log(), itp.),

ROZDZIAŁ 1. SPECYFIKA OBLICZEŃ NUMERYCZNYCH

czy nawet funkcji bardziej skomplikowanych. Na przykład, zastosowa-
nie “szkolnych” wzorów na obliczanie pierwiatków równania kwadrato-
wego z Przykładu 1.1 byłoby niemożliwe, gdyby pierwiastkowanie było
niemożliwe. Należy jednak przy tym pamiętać, że w praktyce funk-
cje standardowe (o ile są dopuszczalne) są obliczane używając czterech
podstawowych operacji arytmetycznych.

Mamy trzy podstawowe polecenia złożone.

•

Warunkowe

W then A

else

;

gdzie W jest wyrażeniem o wartościach logicznych, a A

i A

są pole-

ceniami, przy czym dopuszczamy polecenia puste.

•

Powtarzane

while

W do A;

gdzie W jest wyrażeniem o wartościach logicznych, a A jest poleceniem.

•

Kombinowane

begin

; A

; . . . ; A

end;

gdzie A

są poleceniami.

Na podstawie tych trzech poleceń można tworzyć inne, takie jak

pętle for i repeat, czy case, itd.

Mamy też dwa szczególne polecenia, które odpowiadają za ”wejście”

i ”wyjście”.

•

Wprowadzanie danych

IN (x, t);

gdzie x jest zmienną rzeczywistą, a t “adresem” pewnego funkcjonału
L

: F → R należącym to pewnego zbioru T . W wyniku wykonania tego

polecenia w zmiennej x zostaje umieszczona wartość L

(f).

Polecenie to pozwala zdobyć informację o danej f. Jeśli F = R

zwykle mamy T = {1, 2, . . . , n} i L

(f) = f

, co w praktyce odpowiada

1.3. ARYTMETYKA FL

wczytaniu i-tej współrzędnej wektora danych. W szczególności, ciąg po-
leceń IN (x[i], i), i = 1, 2, . . . , n, pozwala uzyskać pełną informację o
f

. Jeśli zaś F jest pewną klasą funkcji f : [a, b] → R, to możemy mieć

np. T = [a, b] i L

(f) = f(t). W tym przypadku, wykonanie polecenia

IN (x, t) odpowiada w praktyce skorzystaniu ze specjalnej procedury

(albo urządzenia zewnętrznego) obliczającej (mierzącego) wartość funk-
cji f w punkcie t.

•

Wyprowadzanie wyników

OUT (W);

gdzie W jest wyrażeniem o wartościach rzeczywistych. Polecenie to po-

zwala “wskazać” kolejną współrzędną wyniku.

Zakładamy, że na początku procesu obliczeniowego wartości wszyst-

kich zmiennych są nieokreślone, oraz że dla dowolnych danych wykona-
nie programu wymaga wykonania skończonej liczby operacji elementar-
nych. Wynikiem obliczeń jest skońćzony ciąg liczb rzeczywistych (albo
puste

), którego kolejne współrzędne pokazywane są poleceniem OUT .

1.3 Arytmetyka

ﬂ ν

Przedstawiony model obliczeniowy jest modelem idealistycznym, tzn.
zakłada on, że wszystkie operacje są wykonywane bezbłędnie. Dlatego
w tym przypadku będziemy mówić o arytmetyce idealnej. W praktyce
jednak, np. wykonując obliczenia na maszynie cyfrowej, operacje aryt-
metyczne na liczbach rzeczywistych wykonywane są z pewnym błędem.
Matematycznym modelem arytmetyki maszyny cyfrowej jest arytme-
tyka ﬂ

(albo arytmetyka zmiennoprzecinkowa), którą teraz przedsta-

wimy.

Dowolną liczbę rzeczywistą x 6= 0 można przedstawić w postaci

= s · 10

· m,

gdzie s ∈ {−1, 1} jest znakiem, c ∈ Z cechą, a m ∈ [0.1, 1.0) mantysą

liczby x. Zauważmy, że taki rozkład jest jednoznaczny i odpowiada prze-
suwaniu przecinka w rozwinięciu dziesiętnym liczby do pierwszej cyfry

ROZDZIAŁ 1. SPECYFIKA OBLICZEŃ NUMERYCZNYCH

znaczącej, tj. różnej od zera. Mantysa ma w ogólności nieskończenie
wiele cyfr c

w swoim rozwinięciu dziesiętnym,

∞

j=1

−j

gdzie c

∈ {0, 1, 2, . . . , 9} i c

6= 0. Jako taka nie może więc być zapa-

miętana dokładnie w pamięci maszyny cyfrowej. Zakładając, że pamię-
tamy tylko t cyfr znaczących i ostatnią cyfrę zaokrąglamy, zamiast m
pamiętamy

j=1

−j

+ d

−j

gdzie

(

gdy 0 ≤ c

t+1

≤ 4},

gdy 5 ≤ c

t+1

≤ 9}.

Stąd x będzie reprezentowana przez liczbę

rd (x) = s

· 10

· m

Między liczbą x (x 6= 0) a jej reprezentacją rd(x) zachodzi więc

nierówność

|x − rd(x)|

|x|

= |

− m

|m|

≤

5 · 10

−(t+1)

−1

= 5 · 10

−t

charakteryzująca dokładność arytmetyki. Liczby rzeczywiste są więc w
arytmetyce ﬂ

reprezentowane z dokładnością względną ν = 5·10

−t

. (We

współczesnych maszynach cyfrowych w pojedynczej precyzji mamy co
najmniej t = 8.) Zauważmy, że t jest największą spośród liczb natural-
nych j spełniających bierówność rd(1 + 10

−j

) > 1.

Ostatnią nierówność wygodnie jest zapisać w równoważny sposób

jako

rd (x) = x(1 + ε),

gdzie |ε| ≤ ν.

W arytmetyce ﬂ

zakładamy ponadto, że działania arytmetyczne na

liczbach rzeczywistych (a raczej na ich reprezentacjach) są wykonywane
dokładnie i tylko wynik jest zaokrąglany. Mamy więc

ﬂ

(x 2 y) = rd ( rd(x) 2 rd(y) ) ,

1.3. ARYTMETYKA FL

gdzie 2 ∈ {+, −, ∗, /}, Ogólniej, jeśli W

i W

są wyrażeniami o war-

tościach rzeczywistych, to dla dowolnych wartości zmiennych

ﬂ

) = rd ( ﬂ

) 2 ﬂ

)) .

Zwykle dla prostoty będziemy również zakładać podobną zależność dla
niektórych funkcji standardowych, o ile należą one do zbioru operacji
elementarnych (chociaż w rzeczywistości są one obliczane przez pro-
cedury używające czterech podstawowych operacji arytmetycznych). I
tak będziemy mieć np.

ﬂ

√

ﬂ

(W)

(1 + β

ﬂ

(W) = (cos(ﬂ

(W))) (1 + β

gdzie |ε

| ≤ ν, oraz β

≤ K

i K

są “niewielkimi” stąłymi.

Podobnie, jeśli △ jest operatorem porównania, △ ∈ {<, ≤, =, 6=},

to wartością wyrażenia logicznego W

△W

w ﬂ

jest dokładna wartość

wyrażenia ﬂ

)△ﬂ

Uwagi i uzupełnienia

U. 1.1 W maszynie cyfrowej cecha c liczby rzeczywistej nie może oczywi-
ście mieć dowolnie dużej wartości bezwzględnej, |c| ≤ c

max

. Powoduje to

powstanie zjawiska nadmiaru gdy c > c

max

, oraz zjawiska niedomiaru gdy

c <

−c

max

. W pierwszym przypadku liczba jest tak duża (co do modułu),

że nie zawiera się w przedziale liczb reprezentowalnych, a w drugim jest tak
mała, że musi być reprentowana przez zero, przy czym błąd względny repre-
zentacji wynosi wtedy 1 a nie ν. W dalszych rozważaniach zjawiska nadmiaru
i niedomiaru będziemy dla uproszczenia zaniedbywać.

U. 1.2 W następnych rozdziałach często będziemy się posługiwać normami
wektorów ~x = (x

)

j=1

∈ R

i macierzy A = (a

i,j

)

i,j=1

∈ R

n×n

, a w szcze-

gólności błędami reprezentacji wektorów i macierzy w normie. Najczęściej
używanymi normami wektorowymi będą normy p-te,

k~xk = k~xk





j=1





1/p

1 ≤ p < +∞,

ROZDZIAŁ 1. SPECYFIKA OBLICZEŃ NUMERYCZNYCH

oraz

k~xk

∞

= lim

p→+∞

k~xk

= max

1≤j≤n

Normą macierzową jest norma euklidesowa (albo Frobeniusa)

kAk

i,j=1

i,j

a także normy indukowane przez normy wektorowe (np. przez normy p-te)

kAk = sup

x6=0

kA~xk

k~xk

= sup

kxk=1

kA~xk.

Jeśli norma macierzowa jest indukowana przez normę wektorową, to dla
dowolnego wektora mamy

kA~xk ≤ kAkk~xk.

U. 1.3 Przypomnijmy, że w przestrzeniach liniowych skończenie wymiaro-
wych (a więc także w R

i w przestrzeni macierzy wymiaru n × n) każde

dwie normy są równoważne. To znaczy, że jeśli mamy dwie normy k · k i k · k

′

w przestrzeni skończenie wymiarowej X, to istnieją stałe 0 < K

≤ K

∞

takie, że

kxk ≤ kxk

′

≤ K

kxk,

∀x ∈ X.

W szczególności dla ~x ∈ R

mamy

k~xk

∞

≤ k~xk

≤ n k~xk

∞

(1.2)

k~xk

∞

≤ k~xk

≤

√

k~xk

∞

(1.3)

√

k~xk

≤ k~xk

(1.4)

a dla A = (a

i,j

)

i,j=1

mamy

kAk

≤ k |A| k

≤ kAk

≤

√

kAk

(1.5)

gdzie |A| = (|a

i,j

i,j=1

1.3. ARYTMETYKA FL

Ćwiczenia

Ćw. 1.1 Podać przykłady liczb x i y, które są dokładnie reprezentowane w
ﬂ

, ale ﬂ

(x2y) 6= x2y, gdzie 2 ∈ {+, −, ∗, /}.

Ćw. 1.2 Uzasadnić, że jeśli x ≤ y to rd(x) ≤ rd(y) oraz ﬂ

(x/y) ≤ 1.

Podać przykład wyrażenia W takiego, że dla pewnych wartości zmiennych
W < 0, ale ﬂ

(W) > 0.

Ćw. 1.3 Jak zabezpieczyć się przed powstaniem nadmiaru albo niedomiaru
przy obliczaniu wyrażenia

+ y

, gdy x i y leżą w przedziale liczb repre-

zentowalnych w ﬂ

, ale x

lub y

nie?

Ćw. 1.4 Uzasadnić nierówności (1.2)–(1.5).

Ćw. 1.5 Pokazać, że dla macierzy A = (a

i,j

)

i.j=1

∈ R

n×n

mamy

kAk

∞

= max

1≤i≤n

j=1

i,j

oraz

kAk

= kA

∞

= max

1≤j≤n

i=1

i,j

Ćw. 1.6 Dla wektora ~x = (x

)

j=1

∈ R

, niech rd(~x) = (rd(x

))

j=1

. Poka-

zać, że

k~x − rd(~x)k

≤ ν k~xk

dla 1 ≤ p ≤ ∞.

Ćw. 1.7 Dla macierzy A = (a

i,j

)

i,j=1

, niech rd(A) = (rd(a

i,j

))

i,j=1

. Poka-

zać, że

kA − rd(A)k

≤ ν kAk

dla p = 1, ∞, oraz

kA − rd(A)k

≤ kA − rd(A)k

≤ ν kAk

≤

√

n ν

kAk

ROZDZIAŁ 1. SPECYFIKA OBLICZEŃ NUMERYCZNYCH

Rozdział 2

Algorytmy i ich własności

Algorytm to dokładnie określona i dozwolona w danym modelu oblicze-
niowym sekwencja akcji, pozwalająca na rozwiązanie danego zadania
(w sposób dokładny lub przybliżony).

2.1 Rozkład algorytmu względem infor-

macji

Z każdym algorytmem związany jest operator

Φ : F −→ G,

taki że Φ(f) jest wynikiem działania algorytmu w arytmetyce idealnej
dla danej f.

Zauważmy, że wynik Φ(f) działania algorytmu nie zależy bezpo-

średnio od f, ale raczej od informacji o f (uzyskanej dzięki poleceniu
IN ). Informacja ta może być pełna albo tylko częściowa. Informacja

jest pełna gdy, np. f = (f

, . . . , f

) ∈ R

i wczytamy wszystkie współ-

rzędne f

. Informacja może być częściowa, gdy f jest funkcją. Wtedy

wiele danych może posiadać tę samą informację, co łatwo zaobserwować
na przykładzie zadania całkowania.

Niech N : F → ∪

∞

n=0

będzie operatorem informacji, tzn.

(f) = (y

, y

, . . . , y

)

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

jest informacją o f zebraną przy idealnej realizacji algorytmu. Za-
uważmy, że nformacja jest pełna gdy N jest przekształceniem różnowar-
tościowym, tzn. jeśli f

6= f

implikuje N(f

) 6= N(f

). W przeciwnym

przypadku mamy do czynienia z informacją częściową.

Każdy algorytm Φ może być przedstawiony jako złożenie operatora

informacji i pewnego operatora ϕ : N(F ) → G zdeﬁniowanego równo-

ścią

(N(f)) = Φ(f).

Zauważmy, że w przypadku informacji częściowej zwykle nie istnieje

algorytm dający dokładne rozwiązanie zadania dla każdej danej f ∈ F ,

ponieważ dla danych o tej samej informacji mogą istnieć różne rozwią-
zania.

2.2 Problem wyboru algorytmu

Wybór algorytmu jest najistotniejszą częścią całego procesu numerycz-
nego rozwiązywania zadania. Kierujemy się przy tym przede wszystkim
następującymi kryteriami:

• dokładnością algorytmu,

• złożonością algorytmu,

• własnościami numerycznymi algorytmu.

Przez dokładność algorytmu rozumiemy różnicę między rozwiąza-

niem dokładnym S(f), a rozwiązaniem Φ(f) dawanym przez algorytm
w arytmetyce idealnej. Jeśli Φ(f) = S(f), ∀f ∈ F , to algorytm nazy-

wamy dokładnym.

Mówiąc o złożoności, mamy na myśli złożoność pamięciową (zwy-

kle jest to liczba stałych i zmiennych używanych przez algorytm), jak
również złożoność obliczeniową. Na złożoność obliczeniową algorytmu
dla danej f składa się koszt uzyskania infomacji y = N(f) (zwykle jest
on proporcjonalny do liczby wywołań polecenia IN ), oraz koszt kombi-
natoryczny przetworzenia tej informacji, aż do uzyskania wyniku ϕ(y).
Koszt kombinatoryczny zwykle mierzymy liczbą operacji arytmetycz-
nych wykonywanych przez algorytm.

2.3. NUMERYCZNA POPRAWNOŚĆ ALGORYTMU

Przez własności numeryczne algorytmu rozumiemy jego własności

przy realizacji w arytmetyce ﬂ

. Temu ważnemu tematowi poświęcimy

teraz osobny paragraf.

2.3 Numeryczna poprawność algorytmu

Pożądane jest, aby algorytm dawał “dobry” wynik zarówno w arytme-
tyce idealnej, jak i w arytmetyce ﬂ

. Niestety, jak zobaczymy, nie zawsze

jest to możliwe. Nawet jeśli algorytm jest dokładny to w wyniku jego
realizacji w ﬂ

możemy otrzymać wynik ﬂ

(Φ(f)) daleko odbiegający

od S(f). W szczególności, prawie zawsze mamy

(f) 6= ﬂ

(Φ(f)) .

Zauważmy również, że o ile z reguły znamy dokładne zachowanie się al-
gorytmu w arytmetyce idealnej dla danej informacji, to nie można tego
samego powiedzieć o jego zachowaniu się w arytmetyce ﬂ

. W związku

z tym powstaje pytanie, jak kontrolować błąd algorytmów wynikający z
błędów zaokrągleń i jakie algorytmy uznamy za te o najwyższej jakości
numerycznej.

Istnienie błędów reprezentacji liczb rzeczywistych powoduje, że in-

formacja y = N(f) o danej f nie jest w ogólności reprezentowana do-
kładnie. Znaczy to, że zamiast na informacji dokładnej, dowolny al-
gorytm będzie operować na informacji nieco zaburzonej y

, tzn. zabu-

rzonej na poziomie błędu reprezentacji. Tak samo wynik dawany przez
algorytm będzie w ogólności zaburzony na poziomie błędu reprezenta-
cji. W najlepszym więc wypadku wynikiem działania algorytmu w ﬂ

będzie (ϕ(y

))

zamiast ϕ(y). Algorytmy dające tego rodzaju wyniki

uznamy za posiadające najlepsze własności numeryczne w arytmetyce
ﬂ

i nazwiemy numerycznie poprawnymi.

Dokładniej, powiemy, że ciąg rzeczywisty a

= (a

ν,1

, . . . , a

ν,n

) (a

właściwie rodzina ciągów {a

}

) jest nieco zaburzonym ciągiem a =

, . . . , a

), jeśli istnieje stała K taka, że dla wszystkich dostatecznie

małych ν zachodzi

ν,j

− a

| ≤ K ν |a

1 ≤ j ≤ n,

(2.1)

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

albo ogólniej

− ak ≤ K ν kak,

(2.2)

gdzie k · k jest pewną normą w R

. W pierwszym przypadku mówimy

o zaburzeniu “po współrzędnych”, a w drugim o zaburzeniu w normie
k · k.

Zauważmy, że niewielkie zaburzenia po współrzędnych pociągają za

sobą niewielkie zaburzenia w normie. Rzeczywiście, jeśli (2.1) to również

− ak

∞

= max

1≤j≤n

ν,j

− a

| ≤ K ν max

1≤j≤n

| = K ν kak

∞

i korzystając z faktu, że w przestrzeni skończenie wymiarowej wszystkie
normy są równoważne otrzymujemy dla pewnych stałych K

i K

− ak ≤ K

− ak

∞

≤ K

K ν

kak

∞

≤ K

K ν

kak,

czyli nierówność (2.2) ze stałą K

zamiast K.

Deﬁnicja 2.1 Algorytm Φ rozwiązywania zadania nazywamy nume-
rycznie poprawnym w zbiorze danych F

⊂ F , jeśli dla każdej danej

∈ F

wynik ﬂ

(Φ(f)) działania algorytmu w arytmetyce ﬂ

można

zinterpretować jako nieco zaburzony wynik algorytmu w arytmetyce
idealnej dla nieco zaburzonej informacji y

= (N(f))

∈ N(F ) o f,

przy czym poziom zaburzeń nie zależy od f.

Formalnie znaczy to, że istnieją stałe K

, K

, oraz ν

0 takie, że

spełniony jest następujący warunek. Dla dowolnej ν ≤ ν

oraz informa-

cji y ∈ N(F

) można dobrać y

∈ N(F ) oraz (ϕ(y

))

takie, że

− yk ≤ K

kyk,

k (ϕ(y

))

− ϕ(y

)k ≤ K

kϕ(y

)k,

oraz

ﬂ

(Φ(f)) = ﬂ

(ϕ(N(f))) = (ϕ(y

))

Zauważmy,że jeśli f ∈ R

, N(f) = (f

, . . . , f

), oraz algorytm jest

dokładny, Φ ≡ ϕ ≡ S, to numeryczną poprawność algorytmu można

równoważnie zapisać jako

ﬂ

(Φ(f)) = (S(f

))

2.4. ROLA UWARUNKOWANIA ZADANIA

2.4 Rola uwarunkowania zadania

Niech Φ(·) = ϕ(N(·)) będzie algorytmem numerycznie poprawnym dla

danych F

⊂ F . Wtedy jego błąd w ﬂ

można oszacować następująco:

kS(f) − ﬂ

(Φ(f))k = kS(f) − (ϕ(y

))

≤ kS(f) − ϕ(y)k + kϕ(y) − ϕ(y

)k + kϕ(y

) − (ϕ(y

))

≤ kS(f) − Φ(f)k + kϕ(y) − ϕ(y

)k + K

kϕ(y

≤ kS(f) − Φ(f)k + (1 + K

)kϕ(y) − ϕ(y

)k + K

kϕ(y)k,

przy czym ky

− yk ≤ K

kyk. Stąd w szczególności wynika, że jeśli

algorytm jest numerycznie poprawny i ciągły ze względu na informację
y

, to

lim

ν→0

kS(f) − ﬂ

(Φ(f))k = kS(f) − Φ(f)k.

To znaczy, że dla dostatecznie silnej arytmetyki algorytm będzie się
zachowywał w ﬂ

prawie tak jak w arytmetyce idealnej.

Z powyższych wzorów wynika, że błąd w ﬂ

algorytmu numerycznie

poprawnego zależy w dużym stopniu od:

• dokładności algorytmu w arytmetyce idealnej,

• dokładności ν arytmetyki ﬂ

• wrażliwości algorytmu na małe względne zaburzenia informacji y.
Ponieważ dwa pierwsze punkty są raczej oczywiste, poświęcimy tro-

chę więcej uwagi jedynie trzeciemu.

Jeśli ϕ spełnia warunek Lipschitza ze stałą L, a dokładniej

kϕ(y

) − ϕ(y)k ≤ L ky

− yk,

kS(f) − ﬂ

(Φ(f))k

≤ kS(f) − Φ(f)k + (1 + K

)Lky

− yk + K

kϕ(y)k

≤ kS(f) − Φ(f)k + (1 + K

)LK

kyk + K

kϕ(y)k.

W tym przypadku błędy zaokrągleń zwiększają błąd bezwzględny al-
gorytmu proporcjonalnie do ν.

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

Bardziej jednak interesuje nas błąd względny. Wybierzmy “małe”

≥ 0 i przypuśćmy, że

kϕ(y

) − ϕ(y)k ≤ M K

max(η, kϕ(y)k),

dla pewnej M niezależnej od y, tzn. błąd względny informscji, ky

−

k ≤ K

kyk, przenosi się na błąd względny wyniku (w arytmetyce

idealnej) ze “współczynnikiem wzmocnienia” M, albo na błąd bez-
względny ze współczynnikiem Mη. (Zauważmy, że gdybyśmy wzięli
η

= 0 to dla y takiej, że ϕ(y) = 0 musiałoby być ϕ(y

) = 0, co zwykle,

choć nie zawsze, nie jest prawdą.) Wtedy

kS(f) − ﬂ

(Φ(f))k

≤ kS(f) − Φ(f)k + (1 + K

)MK

max(η, kϕ(y)k) + K

kϕ(y)k

= kS(f) − Φ(f)k + ν

M K

(1 + K

) + K

max(η, kϕ(y)k).

W szczególności, gdy algorytm jest dokładny i korzysta z pełnej infor-
macji o f, tzn. S ≡ Φ ≡ ϕ, to błąd

kS(f) − ﬂ

(Φ(f))k

max(η, kS(f)k)

≤

M K

(1 + K

) + K

≈ (M K

+ K

) ν.

Stąd wynika, że jeśli (MK

+ K

)ν ≪ 1 to błąd względny algorytmu w

ﬂ

jest mały, o ile kS(f)k ≥ η. Błąd względny jest proporcjonalny do

dokładności ν, arytmetyki ﬂ

, współczynników proporcjonalności K

algorytmu numerycznie poprawnego, oraz do wrażliwości M zadania S
na małe względne zaburzenia danych.

Zwróćmy uwagę na istotny fakt, że interesują nas właściwie tylko

te zaburzenia danych (informacji), które powstają przy analizie algo-
rytmu numerycznie poprawnego. I tak, jeśli algorytm jest numerycznie
poprawny z pozornymi zaburzeniami danych w normie, to trzeba zba-
dać wrażliwość zadania ze względu na zaburzenia danych w normie.
Jeśli zaś mamy pozorne zaburzenia “po współrzędnych” (co oczywiście
implikuje pozorne zaburzenia w normie) to wystarczy zbadać uwarun-
kowanie zadania ze względu na zaburzenia “po współrzędnych”, itd.

Zadania, które nie są zbyt wrażliwe na “małe” względne zaburze-

nia danych, tzn. dla których M jest “niewielkie”, nazywamy ogólnie
zadaniami dobrze uwarunkowanymi.

2.5. PRZYKŁADY

2.5 Przykłady

Podamy teraz proste przykłady zadań, które mogą być rozwiązane al-
gorytmami mumerycznie poprawnymi. Oszacujemy też błędy tych al-
gorytmów.

2.5.1 Iloczyn skalarny

Załóżmy. że dla danych ciągów rzeczywistych o ustalonej długości n,
a

, b

, 1 ≤ j ≤ n, chcemy obliczyć

(a, b) =

j=1

Rozpatrzymy algorytm dokładny zdeﬁniowany powyższym wzorem i
korzystający z pełnej informacji o kolejnych współrzednych.

Oznaczmy przez ˜a

i ˜b

reprezentacje liczb a

i b

w ﬂ

, ˜a

= a

(1 +

), ˜b

= b

(1 + β

), oraz przez γ

i δ

błędy względne powstałe przy

kolejnych mnożeniach i dodawaniach. Oczywiście |α

|, |β

|, |γ

|, |δ

| ≤ ν.

Otrzymujemy

ﬂ





j=1





(ﬂ

(

n−1

j=1

) + ˜a

˜b

(1 + γ

)

(1 + δ

) = . . .

· · ·

˜a

˜b

(1 + γ

) + ˜a

˜b

(1 + γ

)

(1 + δ

)

+ · · · + ˜a

˜b

(1 + γ

)

(1 + δ

)

= ˜a

˜b

(1 + γ

)(1 + δ

) · · · (1 + δ

)

+ · · · + ˜a

˜b

(1 + γ

)(1 + δ

) · · · (1 + δ

)

j=1

(1 + e

gdzie w przybliżeniu (tzn. gdy ν → 0) mamy |e

| ˜

≤ (n+2)ν i |e

| ˜

≤ (n−

+4)ν, 2 ≤ j ≤ n. Algorytm naturalny jest więc numerycznie poprawny

w całym zbiorze danych, gdyż wynik otrzymany w ﬂ

można zinterpre-

tować jako dokładny wynik dla danych a

ν,j

= a

i b

ν,j

= b

(1 + e

), przy

czym kb

− bk

≤ (n + 2)νkbk

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

Zobaczmy teraz, jak błąd we współrzędnych b

wpływa na błąd

wyniku. Mamy

j=1

− ﬂ

j=1

−

j=1

(1 + e

)

j=1

≤

j=1

||a

≤ (n + 2)ν

j=1

Stąd dla η ≥ 0

j=1

− ﬂ

(

j=1

max(η, |

j=1

≤ K

(n + 2) ν,

gdzie

= K

(a, b) =

j=1

max(η, |

j=1

Zauważmy, że jeśli iloczyny a

są wszystkie dodatnie albo wszyst-

kie ujemne, to K

= 1, tzn. zadanie jest dobrze uwarunkowane, a błąd

względny jest zawsze na poziomie co najwyżej nν. W tym przypadku
algorytm zachowuje się bardzo dobrze, o ile liczba n składników nie
jest horendalnie duża. W ogólności jednak K

może być liczbą dowol-

nie dużą i wtedy nie możemy być pewni uzyskania dobrego wyniku w
ﬂ

2.5.2 Całkowanie

Zadanie całkowania z Przykładu 1.3 często rozwiązuje się (a raczej przy-
bliża) stosując formułę

Φ(f) = ϕ(y) =

j=1

gdzie informacja y

= f(t

). t

są tu ustalonymi punktami z [a, b], a c

ustalonymi współczynnikami rzeczywistymi, niezależnymi od f. Algo-

2.5. PRZYKŁADY

rytmy korzystające z takich formuł nazywamy kwadraturami, a przy-
kładem jest zwykła suma Riemanna,

(f) =

j=1

∗

gdzie t

∗

należy do przedziału [a + (j − 1)(b − a)/n, a + j(b − a)/n],

1 ≤ j ≤ n.

Z analizy algorytmu obliczającego iloczyn skalarny wynika, że kwa-

dratura jest algorytmem numerycznie poprawnym. Mamy bowiem

ﬂ





j=1

)





j=1

(1 + e

gdzie |e

| ˜

≤ (n + 1)ν. (W porównaniu z iloczynem skalarnym mamy tu

+ 1 zamiast n + 2, bo c

nie jest daną i nie podlega zaburzeniu.) Stąd

błąd bezwzględny kwadratury w ﬂ

można oszacować następująco:

(x) dx − ﬂ

j=1

)

≤

(x) dx −

j=1

)

+ (n + 1) ν

j=1

)|.

Uwagi i uzupełnienia

U. 2.1 Wprowadzimy teraz formalną deﬁnicję zastosowanej już wcześniej
przybliżonej nierówności ˜

≤ . Dla dwóch funkcji piszemy

(ν)| ˜≤ |h

(ν)|

gdy

lim sup

ν→0

(ν)|/|h

(ν)| ≤ 1.

Na przykład, jeśli |h(ν)| ≤

j=1

> 0), to

|h(ν)| ˜

≤ K

ν, co już

zauważyliśmy w przykładzie z iloczynem skalarnym. Zapis ten wyraża prosty
fakt, że dla praktycznych wartości ν (ν ≤ 10

−8

) wyrazy typu ν

, ν

, itd. są

tak małe w porównaniu z ν, że można je zaniedbać.

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

Łatwo sprawdzić, że przy notacji ˜

≤ zachodzą następujące fakty. Jeśli

|ε| ˜

≤ Kν, |ε

| ˜

≤ K

ν i

|ε

| ˜

≤ K

ν (gdzie ε, ε

, ε

są funkcjami ν), to

(1 + ε

)(1 + ε

) = (1 + δ),

gdzie

|δ| ˜

≤ (K

+ K

)ν, (2.3)

(1 + ε)

−1

= (1 + δ),

gdzie

|δ| ˜

≤ Kν,

(2.4)

(1 + ε)

1/2

= (1 + δ),

gdzie

|δ| ˜

≤

1
2

Kν,

(2.5)

i ogólnie

(1 + ε)

= (1 + δ),

gdzie

|δ| ˜

≤ |p|ν.

(2.6)

U. 2.2 Rozpatrzymy teraz zadanie obliczenia wszystkich pierwiastków rze-
czywistych równania kwadratowego z Przykładu 1.1. Będziemy zakładać, że
model obliczeniowy dopuszcza obliczanie pierwiastków kwadratowych z liczb
nieujemnych oraz ﬂ

(√x) = rd(

rd (x)).

Okazuje się, że nie umiemy pokazać numerycznej poprawności “szkol-

nego” algorytmu obliczającego pierwiastki równania bezpośrednio ze wzorów
(1.1). Można jednak pokazać numeryczną poprawność drobnej jego modyﬁ-
kacji wykorzystującej wzory Viete’a.

∆ := p ∗ p − q;

if (∆ = 0) then OUT (p) else

if (∆ > 0) then
begin

∆1 := sqrt(d);
if (p ≥ 0) then

begin

x1 := p + ∆1;
x2 := q/x1;

end else
begin

x2 := p

− ∆1;

x1 := q/x2;

end;
OUT (x1); OUT (x2)

end.

Mamy bowiem

ﬂ

(∆(p, q)) =

(1 + α)

(1 + ε

) − q(1 + β)

(1 + ε

)

2.5. PRZYKŁADY

− q

(1 + β)

(1 + α)

(1 + ε

)

(1 + ε

)(1 + α)

(1 + ε

)

− q(1 + δ)

(1 + γ) = ∆(p, q(1 + δ))(1 + γ),

gdzie |δ|, |γ| ˜≤ 4ν. Wyróżnik obliczony w ﬂ

jest więc nieco zaburzonym wy-

różnikiem dokładnym dla danych p i q

= q(1 + δ). W szczególności

sgn(ﬂ

(∆(p, q))) = sgn(∆(p, q

)).

Jeśli p ≥ 0 to

ﬂ

(x1(p, q)) =

p(1 + α) +

ﬂ

(∆(p, q))(1 + ε

)

(1 + ε

)

p(1 + α) +

∆(p, q

)(1 + γ)(1 + ε

)

(1 + ε

)

p +

∆(p, q

)

√

1 + γ(1 + ε

)

1 + α

(1 + ε

)(1 + α)

p +

∆(p, q

)

(1 + e

gdzie |e

| ˜

≤ 6ν. Zauważmy, że ostatnia równość zachodzi dlatego, że doda-

jemy liczby tego samego znaku. (Inaczej |e

| mogłaby być dowolnie duża i

tak byłoby w algorytmie szkolnym.) Dla drugiego pierwiastka mamy

ﬂ

(x2(p, q)) =

q(1 + β)

ﬂ

(x1(p, q))

(1 + ε

) =

ﬂ

(x1(p, q))

(1 + e

gdzie |e

| ≤ 8ν.

Podobny wynik otrzymalibyśmy dla p < 0. Algorytm zmodyﬁkowany

jest więc numerycznie poprawny, gdyż otrzymane w ﬂ

pierwiastki są nieco

zaburzonymi dokładnymi pierwiatkami dla danych p

= p i q

= q(1 + δ).

Aby oszacować błąd algorytmu, wystarczy zbadać uwarunkowanie zada-

nia ze względu na zaburzenie danej q, ponieważ pokazaliśmy, że zaburzenia
p można przenieść na zaburzenia q i wyniku. Niestety, choć algorytm jest nu-
merycznie poprawny, zaburzenia q mogą sprawić, że nawet znak wyróżnika
∆ może być obliczony nieprawidłowo. Na przykład dla p = 1 i q = 1 ± 10

t+1

mamy ∆(p, q) = ∓10

t+1

, ale ∆(rd(p), rd(q)) = ∆(1, 1) = 0. Ogólnie

|ﬂ

(∆(p, q)) − ∆(p, q)| ˜≤ 4ν(p

+ 2|q|),

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

a więc tylko dla |∆(p, q)| = |p

− q| > 4ν(p

+ 2|q|) możemy być pewni

obliczenia właściwego znaku ∆. Przy tym warunku oraz ∆ > 0 błąd danych
przenosi się w normie euklidesowej na błąd wyniku następująco:

(x1(p, q) − x1(p, q

))

+ (x2(p, q) − x2(p, q

))

1/2

√

2|δq|

− q +

− q

≤ 2

√

2ν

|q|

− q

= 2

√

2ν

|q|/p

1 − q/p

max(η/|p|,

2(1 + (1 − q/p

)))

· max(η, (x1(p, q)

+ x2(p, q)

)

1/2

Stąd widać, że zadanie jest dobrze uwarunkowane dla q/p

≪ 1 i może być

źle uwarunkowane dla q/p

≈ 1. W ostatnim przypadku nie możemy być

pewni otrzymania dobrego wyniku w ﬂ

Ćwiczenia

Ćw. 2.1 Pokazać równości (2.3)–(2.6).

Ćw. 2.2 Niech 0 < a

< a

· · · a

. Czy z punktu widzenia błędów w ﬂ

lepiej jest policzyć sumę tych liczb w kolejności od najmniejszej do najwięk-
szej czy odwrotnie?

Ćw. 2.3 Aby obliczyć S(a, b) = a

− b

można zastosować dwa algorytmy:

(a, b) = a ∗ a − b ∗ b oraz Φ

(a, b) = (a + b) ∗ (a − b). Pokazać, że oba

algorytmy są numerycznie poprawne, ale drugi z nich wywołuje mniejszy
błąd względny wyniku w przypadku, gdy rd(a) = a i rd(b) = b.

Ćw. 2.4 Pokazać, że naturalny algorytm obliczania cosinusa kąta między
dwoma wektorami ~a,~b ∈ R

cos(a, b) =

j=1

jest numerycznie poprawny. Oszacować błąd względny wyniku w ﬂ

2.5. PRZYKŁADY

Ćw. 2.5 Pokazać, że naturalny algorytm obliczania kA~xk

dla danej ma-

cierzy A ∈ R

n×n

i wektora ~x ∈ R

jest numerycznie poprawny. Dokładniej,

ﬂ

(kA~xk

) = (A + E)~x,

gdzie kEk

≤ 2(n + 2)

√

nν

kAk

. Ponadto, jeśli A jest nieosobliwa to

|ﬂ

(kA~xk

) − kA~xk

| ˜

≤ 2(n + 2)

√

n ν

kAk

−1

kA~xk

Ćw. 2.6 Niech Φ będzie algorytmem numerycznie poprawnym w zbiorze
danych f ∈ F

, przy czym dla małych ν, ﬂ

(Φ(f)) = ϕ(y

), gdzie ky

−yk ≤

Kν

kyk i K nie zależy od ν i f (y = N(f)). Pokazać, że w ogólności Φ nie

musi być “numerycznie poprawny po współrzędnych”, tzn. w ogólności nie
istnieje bezwzględna stała K

taka, że dla małych ν i dla dowolnej f ∈ F

ν,j

− y

| ≤ K

1 ≤ j ≤ n,

gdzie y = (y

, . . . , y

æ ææ

ROZDZIAŁ 2. ALGORYTMY I ICH WŁASNOŚCI

Rozdział 3

Układy równań liniowych

Rozpoczynamy analizę metod dokładnych rozwiązywania układów rów-
nań liniowych postaci

A ~x

= ~b,

(3.1)

gdzie A = (a

i,j

)

i,j=1

jest macierzą nieosobliwą (det A 6= 0) wymiaru

× n, a ~b = (b

)

i=1

jest wektorem z R

. Zakładamy, że informacja

o zadaniu dana jest przez współczynniki a

i,j

macierzy i współrzędne

wektora. W wyniku powinniśmy uzyskać współrzędne x

∗

wektora

rozwiązania ~x

∗

= (x

∗

)

j=1

∗

= A

−1

~b.

Przypomnijmy, że nieosobliwość macierzy A zapewnia, że rozwiązanie
~x

∗

istnieje i jest wyznaczone jednoznacznie.

3.1 Układy z macierzą trójkątną

Szczególnym przypadkiem (3.1) jest układ z macierzą trójkątną A.
Będą nas szczególnie interesować macierze trójkątne górne, dla których
a

i,j

= 0 gdy i > j, oraz macierze trójkątne dolne z jedynkami na prze-

kątnej, tzn. a

i,j

= 0, i < j, oraz a

i,i

= 1. Macierze pierwszego rodzaju

będziemy oznaczać przez R, a drugiego rodzaju przez L.

Układ z macierzą trójkątną górną

R ~x

= ~c,

(3.2)

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

= (r

i,j

), ~c = (c

), można rozwiązać stosując algorytm:

∗

:= c

n,n

;

for i := n

− 1 downto 1 do

∗

−

j=i+1

i,j

∗

i,i

(Algorytm ten jest wykonalny, ponieważ nieosobliwość macierzy impli-
kuje, że r

i,i

6= 0, ∀i.) Podobnie, układ L~x = ~c rozwiązujemy algoryt-

mem:

∗

:= c

;

for i := 2 to n do
x

∗

:= c

−

i−1

j=1

i,j

∗

Oba algorytmy wymagają rzędu n

2 mnożeń lub dzieleń i n

2 doda-

wań lub odejmowań, a więc rzędu n

wszystkich działań arytmetycz-

nych.

3.2 Eliminacja Gaussa

Eliminacja Gaussa jest algorytmem dokładnym rozwiązywania ukła-
dów równań z macierzą pełną A, polegającym na sprowadzeniu układu
wyjściowego (3.1) do układu trójkątnego (3.2).

W postaci rozwiniętej układ (3.1) ma postać

1,1

+ a

1,2

+ · · · + a

1,n

= b

2,1

+ a

2,2

+ · · · + a

2,n

= b

. . .
a

n,1

+ a

n,2

+ · · · + a

n,n

= b

Zauważmy, że jeśli od i-tego wiersza tego układu odejmiemy wiersz
pierwszy pomnożony przez l

i,1

= a

i,1

1,1

, dla i = 2, 3, . . . , n (zakła-

damy, że a

1,1

6= 0) to otrzymamy układ równoważny A

(1)

= ~b

(1)

1,1

+ a

1,2

+ · · · + a

1,n

= b

(1)
2,2

+ · · · + a

(1)
2,n

= b

(1)
2

. . .
a

(1)
n,2

+ · · · + a

(1)

n,n

= b

(1)

3.2. ELIMINACJA GAUSSA

z wyrugowaną zmienną x

z równań od drugiego do n-tego. Teraz z

kolei możemy od i-tego wiersza odjąć wiersz drugi pomnożony przez
l

i,2

= a

(1)
i,2

(1)
2,2

, dla i = 3, 4, . . . , n (o ile a

(1)
2,2

6= 0), aby otrzymać układ

(2)

= ~b

(2)

z wyrugowanymi zmiennymi x

i x

z równań od trzeciego

do n-tego. Postępując tak dalej otrzymujemy po n − 1 krokach układ
A

(n−1)

= ~b

(n−1)

postaci

(0)
1,1

+ a

(0)
1,2

+ · · · + a

(0)
1,n

= b

(1)
2,2

+ · · · + a

(1)
2,n

= b

(1)
2

...

(n−1)

n,n

= b

(n−1)

Układ ten jest trójkątny górny, R~x = ~c, z macierzą R = A

(n−1)

wektorem ~c = ~b

(n−1)

, można go więc rozwiązać znaną już metodą.

Kolejne operacje w eliminacji Gaussa można zapisać następująco:

for k := 1 to n

− 1 do

for i := k + 1 to n do
begin

i,k

:= a

(k−1)
i,k

(k−1)
k,k

;

(k)
i

:= b

(k−1)
i

− l

i,k

∗ b

(k−1)
k

;

for j := k + 1 to n do

(k)
i,j

:= a

(k−1)
i,j

− l

i,k

∗ a

(k−1)
k,j

end.

Zauważmy, że k-ty krok wymaga rzędu (n − k)

dodawań lub odejmo-

wań i tyle samo mnożeń lub dzieleń. Koszt całej eliminacji wynosi więc
2

n−1

k=1

(n − k)

≈ (2/3)n

operacji arytmetycznych. Ponieważ układ

trójkątny potraﬁmy rozwiązać kosztem n

, całkowity koszt rozwiązania

układu A~x = ~b jest również rzędu (2/3)n

Opisany powyżej proces eliminacyjny załamie się gdy dla pewnego

element a

(k−1)
k,k

będzie zerem. W takim przypadku prosta modyﬁkacja

polegająca na przestawieniu wiersza k-tego układu z wierszem s

-tym

(k + 1 ≤ s

≤ n) dla którego a

(k−1)
s

6= 0, pozwala kontynuować elimi-

nację. Taki niezerowy element oczywiście istnieje, bo inaczej macierz
A

(k−1)

, a tym samym i macierz A, byłaby osobliwa.

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

Najczęściej wybieramy s

tak, aby

(k−1)
s

| = max

k+1≤i≤n

(k−1)
i,k

co wymaga dodatkowo rzędu n

2 porównań liczb rzeczywistych i żad-

nych operacji arytmetycznych. Taki wybór elementu niezerowego pro-
wadzi do eliminacji Gaussa z wyborem elementu głównego w kolumnie.
Wtedy współczynniki l

i,k

= a

(k−1)
i,k

(k−1)
k,k

są wszystkie co do modułu

nie większe od jedności co, jak się przekonamy później, ma niebaga-
telne znaczenie dla własności numerycznych całego algorytmu.

3.3 Rozkład trójkątny macierzy

Podamy teraz ważne twierdzenia wiążące eliminację Gaussa z rozkła-
dem trójkątno-trójkątnym macierzy A.

Twierdzenie 3.1 Eliminacja Gaussa bez przestawień wierszy (o ile
jest wykonalna) jest równoważna rozkładowi macierzy A na iloczyn ma-
cierzy trójkątnej dolnej L = (l

i,j

) (z jedynkami na przekątnej) i trójkąt-

nej górnej R = (r

i,j

). Dokładniej,

= L · R,

gdzie

i,j










(i−1)
i,j

(i−1)
i,i

i > j,

= j,

i < j,

oraz

i,j

(

(i−1)
i,j

i < j,

≥ j.

Dowód Zauważmy, że rugowanie elementów pod główną przekątną
w k-tej kolumnie (k = 1, 2, . . . , n − 1) odpowiada mnożeniu układu

3.3. ROZKŁAD TRÓJKĄTNY MACIERZY

(k−1)

= ~b

(k−1)

z lewej strony przez macierz







...

−l

k+1,k

...

−l

n,k







Stąd

n−1

n−2

· · · L

= R

= (L

−1

· · · L

−1

n−2

−1

n−1

) R.

Łatwo sprawdzić, że macierz L

−1

różni się od L

tylko tym, że ele-

menty −l

i,k

dla k + 1 ≤ i ≤ n zmieniają się na l

i,k

. Ponadto, mnożenie

macierzy L

−1

przez siebie w podanej kolejności odpowiada ”przepisy-

waniu” elementów l

i,k

do macierzy wynikowej tak, że ostatecznie mamy

−1

· · · L

−1

n−1

= L i A = LR.

Zobaczmy teraz jak wybór elementu głównego w kolumnie i prze-

stawianie odpowiednich wierszy macierzy układu wpływa na rozkład
macierzy A z Twierdzenia 3.1.

Przestawienie wiersza k-tego z s-tym w danej macierzy jest formal-

nie równoważne pomnożeniu tej macierzy z lewej strony przez macierz
permutacji elementarnej P

k,s

. Jest to macierz, która powstaje z macie-

rzy jednostkowej przez przestawienie jej k-tego wiersza z s-tym (albo
k

-tej kolumny z s-tą). Eliminacja Gaussa z wyborem elementu głów-

nego w kolumnie odpowiada więc mnożeniu macierzy A z lewej strony
kolejno przez macierze permutacji elementarnej P

k,s

i macierze “elimi-

nacji” L

tak, że

n−1

n−1,s

n−1

n−2

n−2,s

n−2

· · · L

2,s

1,s

= R.

Ponieważ P

k,l

= I (identyczność), mamy

2,s

1,s

= (P

2,s

)(P

2,s

1,s

) = L

(1)
1

2,s

1,s

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

gdzie L

(1)
1

różni się od L

tym, że zostały przestawione elementy (2, 1)

i (s

1). Następnie,

3,s

(1)
1

2,s

1,s

)

= (P

3,s

)(P

3,s

(1)
1

3,s

)(P

3,s

2,s

1,s

)

= L

(2)
2

(2)
1

3,s

2,s

1,s

gdzie L

(2)
1

różni się od L

(1)
1

tym, że zostały przestawione elementy (3, 1)

i (s

1), a L

(2)
2

różni się od L

przestawieniem elementów (3, 2) i (s

2).

Postępując tak dalej otrzymujemy

n−1

n−1,s

n−1

· · · L

2,s

1,s

= L

(n−1)
n−1

· · · L

(n−1)
2

(n−1)
1

n−1,s

n−1

· · · P

2,s

1,s

)A = R,

gdzie L

(n−1)
k

różni się od L

jedynie pewną permutacją elementów w

-tej kolumnie pod główną przekątną,

(n−1)
k

= P

n−1,s

n−1

· · · P

k+1,s

k+1

k+1,s

k+1

· · · P

n−1,s

n−1

Postępując dalej tak, jak w przypadku eliminacji bez przestawień wier-
szy, otrzymujemy następujący wniosek.

Wniosek 3.1 Eliminacja Gaussa z wyborem elementu głównego w ko-
lumnie jest wykonalna i jest równoważna rozkładowi

· A = L · R,

gdzie P = P

n−1,s

n−1

· · · P

2,s

1,s

jest macierzą permutacji, a L i R są

macierzami konstruowanymi tak jak w Twierdzeniu 3.1, ale dla macie-
rzy P A zamiast A. Ponadto wszystkie elementy macierzy L są co do
modułu nie większe od jedności.

Dodajmy, że znalezienie czynników rozkładu P A = LR dla danej

macierzy A kosztuje tyle samo co eliminacja Gaussa z wyborem ele-
mentu głównego, czyli (2/3)n

operacji arytmetycznych i n

2 porów-

nań.

W praktycznej realizacji rozkładu P A = LR oczywiście nie musimy

przy przestawieniu wierszy dokonywać ﬁzycznie przepisań elementów

3.3. ROZKŁAD TRÓJKĄTNY MACIERZY

danego wiersza do innego. Wystarczy mieć dodatkowy n-wymiarowy
wektor permutacji p[] interpretowany w ten sposób, że p[i] jest wskaź-
nikiem do i-tego wiersza macierzy A. Przestawienie wierszy możemy
wtedy realizować po prostu przez zamianę wskaźników, czyli elemen-
tów wektora p. (Zob. U. 3.5.)

Twierdzenie 3.1 i Wniosek 3.1 mają nie tylko teoretyczne znaczenie.

Rozkładu macierzy na czynniki trójkątne (co w praktyce sprowadza się
do pamiętania kolejnych permutacji i mnożników l

i,j

) opłaca się doko-

nywać w przypadku, gdy zadanie polega na rozwiązaniu nie jednego,
ale wielu układów równań z tą samą macierzą A i ze zmieniającym się
wektorem prawej strony,

A ~x

= ~b

dla 1 ≤ s ≤ k.

Jeśli każdy z tych układów rozwiązujemy “od początku” to musimy
wykonać (2/3)n

operacji arytmetycznych. Koszt ten możemy znacz-

nie zredukować, jeśli dokonamy wstępnego rozkładu P A = LR. Wtedy
układ A~x = ~b

jest równoważny układowi LR~x = P~b

, a więc jego

rozwiązanie sprowadza się do rozwiązania dwóch znanych już układów
trójkątnych:

L ~y

= P ~b

R ~x

= ~y.

Taki sposób postępowania wymaga tylko (2/3)n

+2n

= 2n

(n/3+k)

operacji arytmetycznych, co np. przy k = n powoduje obniżenie rzędu
kosztu z n

do n

Uwagi i uzupełnienia

U. 3.1 Zaproponowany algorytm dla układów R~x = ~c z macierzą trójkątną
R ma prawie optymalną złożoność kombinatoryczną (n

) wśród algorytmów

dokładnych. Zauważmy bowiem, że jeśli algorytm jest dokładny to wykorzy-
stuje wszystkie dane r

i,j

i c

, 1 ≤ i, j ≤ n (zob. Ćw.3.1). Ponieważ każda

kolejna operacja arytmetyczna (+, −, ∗, /) może wykorzystywać co najwyżej

dwie nowe dane, a wszystkich danych jest n(n + 1)/2 + n ≈ n

/2, algorytm

dokładny musi wykonywać co najmniej n

/4 działań.

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

U. 3.2 Znane są algorytmy dokładne, które rozwiązują układ równań z ma-
cierzą pełną kosztem proporcjonalnym do n

, gdzie p < 3, a więc mniejszym

niż w eliminacji Gaussa. Algorytmy te są jednak nieużyteczne ze względu na
skomplikowaną konstrukcję, zwykle dużą stłą przy n

, a także ze względu na

złe własności numeryczne. Oczywiście, ograniczeniem dolnym na wykładnik
p w koszcie rozwiązania układu z macierzą pełną jest 2 (bo mamy rzędu n

danych), ale nie wiadomo, czy może on być osiągnięty przez jakiś algorytm.

U. 3.3 Układy równań z tą samą macierzą, ale ze zmieniającą się prawą
stroną równania powstają często przy rozwiązywaniu, np. równań różniczko-
wych cząstkowych, gdzie prawa strona układu odpowiada zmieniającym się
warunkom brzegowym. Z wieloma układami tego typu mamy również do czy-
nienia gdy chcemy znaleźć macierz odwrotną do danej macierzy A ∈ R

n×n

Rzeczywiście, kolejne kolumny macierzy A

−1

są rozwiązaniami układów

A ~x = ~e

1 ≤ j ≤ n,

gdzie ~e

oznacza j-ty wersor.

U. 3.4 Obok wyboru elementu głównego w kolumnie dokonuje się również
wyboru elementu gównego w całej macierzy. To znaczy, w k-tym kroku eli-
minacyjnym wybiera się element a

(k−1)
s

, k ≤ s

, t

≤ n, taki, że

(k−1)
s

| = max

k≤i,j≤n

(k−1)
i,j

a następnie przestawia się wiersze k-ty z s

-tym i kolumny k-tą z t

-tą w

macierzy A

(k−1)

. Zauważmy, że przestawienie kolumn macierzy odpowiada

mnożeniu jej z prawej strony przez macierz permutacji P

k,t

. Przyjmując

P = P

1,t

2,t

· · · P

n−1,t

n−1

i korzystając z Twierdzenia 3.1 i Wniosku 3.1

mamy, że eliminacja Gaussa z wyborem elementu głównego w całej macierzy
jest równoważna rozkładowi

P A P = L R.

U. 3.5 Podamy teraz jedną z możliwych implementacji algorytmu rozkładu
macierzy na iloczyn macierzy trójkątnych, P A = LR. W poniższym pro-
gramie współczynniki macierzy wyjściowej są pamiętane w tablicy a[, ]. Po
wykonaniu programu, informacja o permutacji wierszy zapamiętana będzie
w wektorze p[]. W a[p[i], j] będą elementy (i, j) macierzy L dla i > j, oraz
macierzy R dla i ≤ j.

3.3. ROZKŁAD TRÓJKĄTNY MACIERZY

{ inicjacja wskaźników }

for i := 1 to n do p[i] := i;
for j := 1 to n − 1 do

begin

{ wybór elementu głównego }
im := j;

val := abs(a[p[j], j]);

for i := j + 1 to n do
begin

v := abs(a[p[i], j]);
if v > val then
begin

im := i;

val := i

end;
{ zamiana wskaźników }
s := p[im];

p[im] := p[j];

p[j] := s;

{ eliminacja }
v := a[s, j];
for i := j + 1 to n do
begin

im := p[i];
l := a[im, j]/v;
a[im, j] := l;
for k := j + 1 to n do
a[im, k] := a[im, k]

− l ∗ a[s, k]

end;

end.

U. 3.6 Przedstawiony algorytm eliminacji Gaussa rozwiązuje układy z ma-
cierzami dowolnej postaci. Jeśli macierz A jest szczególnej postaci to czasem
proste jego modyﬁkacje pozwalają znacznie zmniejszyć koszt uzyskania roz-
wiązania. Na przykład, niech A będzie macierzą trójdiagonalną postaci

A =







... ... ...







Wtedy układ A~x = ~e można rozwiązać stosując tzw. algorytm “przegania-
nia”:

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

:= a

;

:= e

;

for i := 2 to n do
begin

l := b

i−1

;

:= a

− l ∗ c

i−1

;

:= e

− l ∗ f

i−1

end;
x

∗

:= f

;

for i := n − 1 downto 1 do
x

∗

:= f

− c

∗ x

∗

i+1

Okazuje się, że jeśli macierz A ma dominującą przekątną, tzn.

| ≥ |b

| + |c

1 ≤ i ≤ n,

(3.3)

= 0 = c

) i przynajmniej dla jednego i mamy powyżej nierówność <,

to algorytm przeganiania jest wykonalny bez przestawień wierszy. Ponadto
wymaga on 7n operacji arytmetycznych, a więc jest prawie optymalny.

U. 3.7 Innym ważnym przykładem macierzy szczególnej postaci są macierze
symetryczne i dodatnio określone. Są to macierze spełniające A = A

oraz

A~x > 0,

∀~x 6= 0.

Dla takich macierzy można nieco zmniejszyć koszt kombinatoryczny i zużycie
pamięci przeprowadzając eliminację tak, aby otrzymać rozkład

A = L

· D · L

zamiast P A = LR, przy czym L jest tu jak zwykle macierzą trójkątną
dolną z jedynkami na przekątnej, a D jest macierzą diagonalną z dodatnimi
elementami na diagonali.

Rozkład taki przeprowadzamy mnożąc macierz A przez znane już ma-

cierze eliminacji nie tylko z lewej, ale też i z prawej strony, bez przestawień
wierszy. Bez zmniejszenia ogólności rozpatrzymy tylko pierwszy krok. W
tym celu, zauważmy najpierw, że a

1,1

= ~e

A~e

> 0 (gdzie ~e

jest pierw-

szym wersorem), a więc nie musimy przestawiać wierszy, bo element na
diagonali jest niezerowy. W pierwszym kroku mnożymy macierz A z lewej
strony przez odpowiednią macierz L

, a potem z prawej przez L

. Kluczem

do zrozumienia algorytmu jest uwaga, że efektem mnożenia macierzy L

3.3. ROZKŁAD TRÓJKĄTNY MACIERZY

z prawej strony przez L

jest wyzerowanie elementów pierwszego wiersza

poza a

1,1

i pozostawienie niezmienionych pozostałych elementów. Ponadto

macierz A

(1)

= L

jest symetryczna i dodatnio określona. Rzeczywiście,

(1)

= (L

)

= (L

)

= L

oraz dla ~x 6= 0

(1)

~x = ~x

~x = (L

~x)

A(L

~x) > 0,

bo ~x 6= 0 implikuje L

6= 0. Stąd a

(1)
2,2

= ~e

(1)

> 0. Postępując tak dalej

otrzymujemy

n−1

n−2

· · · L

n−2

n−1

= D,

przy czym macierz D jest diagonalna i dodatnio określona, a więc wyrazy
na diagonali są dodatnie. Oznaczając

L = L

−1

· · · L

−1

n−1

dostajemy żądany rozkład.

Zauważmy, że przy praktycznej realizacji rozkładu A = LDL

wystarczy

modyﬁkować jedynie wyrazy pod i na głównej przekątnej macierzy wyjścio-
wej, ponieważ, jak zauważyliśmy, wszystkie kolejne macierze A

(k)

są syme-

tryczne. Pozwala to zmniejszyć koszt kombinatoryczny o połowę do n

operacji arytmetycznych. Opisany sposób rozkładu macierzy A = A

> 0

nosi nazwę metody Banachiewicza-Choleskiego. (Zob. Ćw. 3.9.)

U. 3.8 Rozkład trójkątno-trójkątny macierzy może być zastosowany rów-
nież do policzenia wyznacznika macierzy A. Jeśli bowiem P A = LR to

detA = (−1)

1,1

2,2

· · · r

n,n

gdzie s jest liczbą przestawień wierszy w eliminacji.

Ćwiczenia

Ćw. 3.1 Pokazać, że jeśli algorytm rozwiązywania układu równań z ma-
cierzą pełną (lub trójkątną) nie wykorzystuje wszystkich współczynników
macierzy i wektora, to istnieją macierz A i wektor ~b takie, że algorytm dla
tych danych nie daje dokładnego rozwiązania w arytmetyce idealnej.

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

Ćw. 3.2 Znaleźć macierz odwrotną do macierzy trójkątnej.

Ćw. 3.3 Pokazać, że iloczyn elementarnych macierzy permutacji jest ma-
cierzą, która w każdym wierszu i w każdej kolumnie ma dokładnie jedną
jedynkę. I odwrotnie, jeśli pewna macierz ma w każdym wierszu i kolumnie
dokładnie jedną jedynkę to jest ona iloczynem pewnej liczby elementarnych
macierzy permutacji.

Ćw. 3.4 Pokazać, że jeśli dla danej macierzy A i permutacji P istnieje co
najwyżej jeden rozkład P A = LR na macierz trójkątną dolną L z jedynkami
na przekątnej i na macierz trójkątną górną R.

Ćw. 3.5 Pokazać, że w algorytmie eliminacji Gaussa (bez przestawień) ele-
menty l

i,j

i r

i,j

obliczane są według wzorów

i,j

= (a

i,j

−

j−1

k=1

i,k

k,j

)/r

j,j

j = 1, 2 . . . , i

− 1,

i,j

= a

i,j

−

i−1

k=1

i,k

k,j

j = i, i + 1, . . . , n,

dla i = 1, 2, . . . , n. Wywnioskować stąd rozkład A = LR z Twierdzenia 3.1.

Ćw. 3.6 Pokazać, że przy spełnieniu warunku (3.3) algorytm “przegania-
nia” z U. 3.6 jest wykonalny bez przestawień wierszy. Opracować algorytm
rozwiązywania układu z macierzą trójdiagonalną nie spełniającą warunku
(3.3).

Ćw. 3.7 Pokazać, że jeśli macierz pełna A ma dominującą przekątną, tzn.

2|a

i,i

| >

j=1

i,j

1 ≤ i ≤ n,

to jest to macierz dodatnio określona, ~x

A~x > 0 dla ~x

6= 0. Ponadto, elimi-

nacja Gaussa jest dla takich macierzy wykonalna bez przestawień wierszy.

Ćw. 3.8 Opracować algorytm eliminacyjny dla rozwiązywania układów li-
niowych z macierzą Hessembega, czyli macierzą dla której a

i,j

= 0, o ile

≥ j + 2.

3.3. ROZKŁAD TRÓJKĄTNY MACIERZY

Ćw. 3.9 Opracować program rozkładający macierz symetryczną i dodatnio
określoną A na iloczyn A = LDL

według metody Banachiewicza-Choleskie-

go z U. 3.7. Obliczenia przeprowadzać w tej samej macierzy A pozostawiając
elementy na i nad diagonalą nie zmienione i otrzymując w wyniku macierz
L pod główną diagonalą macierzy A, a macierz D jako dodatkowy wektor.

ROZDZIAŁ 3. UKŁADY RÓWNAŃ LINIOWYCH

Rozdział 4

Analiza błędów w eliminacji
Gaussa

Zastanowimy się teraz, jak przebiega w arytmetyce ﬂ

realizacja algo-

rytmu eliminacji Gaussa z wyborem elementu głównego w kolumnie.

4.1 Układy z macierzą trójkątną

Najpierw pokażemy, że algorytmy rozwiązywania układów trójkątnych
zaprezentowane w Rozdziale 3.1 są numerycznie poprawne. Rozpatrzmy
najpierw układ trójkątny górny, R~x = ~c. Wykorzystując fakt, że licze-
nie iloczynu skalarnego jest numerycznie poprawne, mamy

ﬂ

∗

) =

(1 + β

)

n,n

(1 + α

n,n

)

(1 + δ

) =

n,n

i dla i = n − 1, n − 2, . . . , 1,

ﬂ

∗

)

(1 + β

) −

j=i+1

i.j

(1 + α

i,j

)ﬂ

∗

)(1 + γ

i,j

)

(1 + ω

)

i,i

(1 + α

i,i

)(1 + δ

)

−1

−

j=i+1

i,j

ﬂ

∗

)

i,i

gdzie c

= c

(1 + β

), r

i,i

= r

i,i

(1 + α

i,i

)(1 + δ

)

−1

, r

i,j

= r

i,j

(1 + α

i,j

)(1 +

i,i

), czyli |c

− c

| ≤ ν|c

| i |r

i,j

− r

i,j

| ˜

≤ (n + 1)ν|r

i,j

|. Stąd otrzymane w

40 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

ﬂ

rozwiązanie jest dokładnym rozwiązaniem dla danych R

= (r

i,j

)

i,j

i ~c

= (c

)

, przy czym

− Rk

∞

≤ (n + 1) ν kRk

∞

k~c

− ~ck

∞

≤ ν k~ck

∞

Zauważmy, że macierz zaburzona R

jest nieosobliwa. Powyższy algo-

rytm jest więc numerycznie poprawny w klasie nieosobliwych macierzy
trójkątnych górnych.

Zauważmy również, że jeśli wektor prawej strony ~c jest reprezento-

wany dokładnie (β

= 0), to błąd pochodzący z odejmowania można

przenieść na zaburzenia r

i,i

tak, że ~c

= ~c. Fakt ten wykorzystamy

później.

Przeprowadzając podobną analizę dla układu L~x = ~c z macierzą

trójkątną dolną z jedynkami na przekątnej dostajemy, że otrzymane w
ﬂ

rozwiązanie jest dokładnym rozwiązaniem układu L

= ~c

, gdzie

− Lk

∞

≤ (n + 1) ν kLk

∞

k~c

− ~ck

∞

≤ ν k~ck

∞

4.2 Poprawność rozkładu trójkątnego

Zajmiemy się teraz jakością numeryczną rozkładu macierzy na iloczyn
trójkątno-trójkątny. W poniższym twierdzeniu norma macierzy jest do-
wolna, ale ustalona.

Twierdzenie 4.1 Niech A

∈ R

n×n

będzie macierzą nieosobliwą. Dla

dostatecznie silnej arytmetyki (tzn. dla dostatecznie małego ν) rozkład
trójkątno-trójkątny macierzy za pomocą eliminacji Gaussa z wyborem
elementu głównego w kolumnie jest wykonalny w arytmetyce ﬂ

. Otrzy-

mane w wyniku macierze permutacji P

, trójkątna górna R

i trójkątna

dolna L

(z jedynkami na przekątnej i elementami co do modułu nie

większymi od jedności) spełniają równość

· (A + E) = L

· R

gdzie

kEk ≤ K(n) ν kAk,

a K(n) jest pewną stałą niezależną od ν i A.

4.2. POPRAWNOŚĆ ROZKŁADU TRÓJKĄTNEGO

Dowód Załóżmy najpierw dla uproszczenia, że eliminacja jest w ﬂ

wykonalna i że nie musimy dokonywać przestawień wierszy, tzn. w
k

-tym kroku elementem głównym jest obliczona wartość a

(k−1)
k,k

Zobaczmy jak zmieniają się elementy a

(k)
i,j

przy realizacji algorytmu

Gaussa w arytmetyce ﬂ

. Dla uniknięcia nadmiaru indeksów, będziemy

oznaczać przez ˜

wartość w obliczoną w ﬂ

. Rozpatrzymy dwa przy-

padki, i ≤ j i i > j.

Niech najpierw i ≤ j. Niech ε

(s)
i,j

będzie błędem bezwzględnym wy-

tworzonym przy obliczaniu wartości a

(s)
i,j

mając obliczone a

(s−1)
i,j

, l

i,s

(s−1)
s,j

. (Błąd ten oszacujemy później). Ponieważ a

(k)
i,j

= a

(k−1)
i,j

−l

i,k

(k−1)
k,j

otrzymujemy

˜a

(k)
i,j

= ˜a

(k−1)
i,j

− ˜l

i,k

˜a

(k−1)
k,j

+ ε

(k)
i,j

(4.1)

= ˜a

(k−2)
i,j

− ˜l

i,k−1

˜a

(k−2)
k−1,j

+ ε

(k−1)
i,j

− ˜l

i,k

˜a

(k−1)
k,j

+ ε

(k)
i,j

= . . .

= ˜a

(0)
i,j

k−1

s=1

−˜l

i,s

˜a

(s−1)
s,j

+ ε

(s)
i,j

Wobec tego, że a

(0)
i,j

= a

i,j

, mamy ˜a

(0)
i,j

= a

i,j

+ ε

(0)
i,j

z |ε

(0)
i,j

| ≤ ν|a

i,j

Ponadto ˜a

(i−1)
i,j

= ˜r

i,j

, bo i-ty wiersz jest modyﬁkowany tylko w krokach

od 1-go do (i − 1)-szego. Stąd, podstawiając k = i − 1, otrzymujemy

˜r

i,j

= ˜a

(i−1)
i,j

= a

i,j

i−1

s=0

(s)
i,j

−

i−1

s=1

˜l

i,s

˜r

s,j

albo

i,j

+ e

i,j

= ˜r

i,j

i−1

s=1

˜l

i,s

˜r

s,j

(4.2)

gdzie e

i,j

i−1

s=0

(s)
i,j

Dla i > j mamy podobnie

˜a

(j−1)
i,j

= a

i,j

+ ε

(0)
i,j

j−1

s=1

−˜l

i,s

˜a

(s−1)
s,j

+ ε

(s)
i,j

(4.3)

Wobec tego, że

˜l

i,j





˜a

(j−1)
i,j

˜a

(j−1)
j,j





(1 + δ

i,j

42 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

otrzymujemy

˜a

(j−1)
i,j

= ˜l

i,j

˜a

j−1
j,j

+ ε

(j)
i,j

|ε

(j)
i,j

| ≤ ν|˜a

(j−1)
i,j

a stąd, (4.3) i z faktu, że ˜a

(s−1)
s,j

= ˜r

i,j

+ e

i,j

s=1

˜l

i,s

˜r

s,j

(4.4)

gdzie e

i,j

j
s=0

(s)
i,j

Z (4.2) i (4.4) wynika równość

(A + E) = ˜

· ˜

(4.5)

z macierzą E = (e

i,j

). Ponadto elementy ˜l

i,j

są co do modułu nie większe

od jedności, ponieważ |˜a

(j−1)
i,j

| ≤ |˜a

(j−1)
j,j

| (zob. Ćw. 1.2).

Aby zakończyć dowód, trzeba jeszcze oszacować błąd |e

i,j

|. W tym

celu zauważmy, że dla k ≥ 1

˜a

(k)
i,j

˜a

(k−1)
i,j

− ˜l

i,k

˜a

(k−1)
k,j

(1 + ω

)

(1 + ω

, ω

≤ ν. Stąd i z (4.1) otrzymujemy

(k)
i,j

= ˜a

(k)
i,j

− ˜a

(k−1)
i,j

+ ˜l

i,k

˜a

(k−1)
k,j

= ˜a

(k)
i,j

−

˜a

(k)
i,j

1 + ω

+ ω

˜l

i,k

˜a

(k−1)
k,j

1 + ω

˜a

(k)
i,j

+ ω

˜l

i,k

˜a

(k−1)
k,j

oraz

|ε

(k)
i,j

| ≤

1 − ν

(|˜a

(k)
i,j

| + |˜a

(k−1)
k,j

|).

Niech teraz G

= max

i,j

= max

i,j

|˜a

(k)
i,j

oraz G = max

0≤k≤n−1

. Dla i ≤ j mamy

i,j

| ≤

i−1

s=0

|ε

(s)
i,j

| ≤

1 − ν

i−1

s=1

s−1

+ G

)

1 − ν

i−1

+ 2

i−2

s=0

≤

1 − ν

(2i − 1)G,

4.2. POPRAWNOŚĆ ROZKŁADU TRÓJKĄTNEGO

a dla i > j

i,j

| ≤

s=0

|ε

(s)
i,j

| ≤

1 − ν

s=1

s−1

+ G

)

1 − ν

+ 2

j−1

s=0

≤

1 − ν

(2j + 1)G.

W obu przypadkach

i,j

| ≤

2ν

1 − ν

nG.

(4.6)

Łatwo zauważyć, że ˜a

(1)
i,j

≤ (|a

i,j

| + |a

k,j

|)(1 + 2ν) oraz

|˜a

(k)
i,j

| ≤ (|˜a

(k−1)
i,j

| + |˜a

(k−1)
k,j

|)(1 + ν),

co implikuje G

≤ 2G

k−1

, a w konsekwencji

G ˜

≤ 2

n−1

max

i,j

Ostatnia nierówność oraz (4.6) dają

i,j

| ˜

≤ n2

max

i,j

a ponieważ dla dowolnej macierzy B ∈ R

n×n

mamy

kBk

∞

≤ max

i,j

| ≤ kBk

∞

kEk

∞

≤ K(n) ν kAk

∞

gdzie K(n) jest na poziomie n

. Z równoważności norm w R

n×n

wy-

nika, że podobna nierówność zachodzi dla dowolnej, innej niż k · k

∞

normy, ale być może z inną stałą K(n).

Oczywiście, ewentualne permutacje wierszy nie zmieniają tych osza-

cowań, a powodują jedynie przemnożenie lewej strony równości (4.5)
przez pewną macierz permutacji.

44 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

Aby zakończyć dowód, trzeba jeszcze pokazać, że dla dostatecznie

małych ν rozkład jest wykonalny, co jest równoważne temu, że macierz
(A + E) jest nieosobliwa. Rzeczywiście, weźmy ν > 0 spełniające

ν K

(n) kAk

∞

−1

∞

(4.7)

Jeśliby macierz (A + E) była osobliwa to dla pewnego niezerowego
wektora ~x mielibyśmy (A+E)~x = A(I +A

−1

)~x = 0, a w konsekwencji

−1

E~x

∞

= k~xk

∞

1 ≤ kA

−1

∞

≤ kA

−1

∞

kEk

∞

≤ K(n)νkAk

∞

−1

∞

co przeczy (4.7).

Zauważmy, że warunek (4.7) na wykonalność rozkładu w ﬂ

zależy

od macierzy A poprzez wielkość

cond(A) = kAk kA

−1

Wielkość tą nazywa się uwarunkowaniem macierzy. Z Twierdzenia 4.1
oraz warunku (4.7) wynika ważny wniosek o numerycznej poprawności
rozkładu w klasie macierzy o uwarunkowaniu wspólnie ograniczonym
przez pewną stałą.

Wniosek 4.1 Niech M > 0. W klasie macierzy nieosobliwych A ta-
kich, że

cond(A) =

kAk kA

−1

k ≤ M

rozkład P A = LR jest numerycznie poprawny. Dokładniej, dla ν <
1/(MK(n)) rozkład w ﬂ

jest wykonalny, a otrzymane macierze P

i R

pochodzą z dokładnego rozkładu macierzy (A+E), gdzie

kEk ≤

(n)νkAk.

4.3 Poprawność rozwiązywania układu

Przypomnijmy, że algorytm eliminacji Gaussa rozwiązywania układów
równań A~x = ~b polega na rozkładzie macierzy na iloczyn P A = LR, a
następnie na rozwiązaniu dwóch układów trójkątnych (albo, równoważ-
nie, na sprowadzeniu układu do postaci trójkątnej i rozwiązaniu go).
Numeryczna poprawność każdego z tych etapów algorytmu daje nam
również numeryczną poprawność całego algorytmu.

4.3. POPRAWNOŚĆ ROZWIĄZYWANIA UKŁADU

Twierdzenie 4.2 Niech M > 0. Algorytm eliminacji Gaussa z wybo-
rem elementu głównego w kolumnie zastosowany do rozwiązania układu
równań

A~x

= ~b

jest numerycznie poprawny w klasie danych wektorów ~b

∈ R

oraz ma-

cierzy nieosobliwych A

∈ R

n×n

spełniających

cond(A)

≤ M.

Dowód Dla dostatecznie silnej arytmetyki, rozkład macierzy A daje
w ﬂ

(A + E

) = L

, gdzie kE

k ≤ K

kAk. W drugim kroku,

otrzymane w ﬂ

rozwiązanie ~y

układu L

= P

~b jest dokładnym roz-

wiązaniem układu (L

+ E

)~y = P

(~b + ~e), gdzie kE

k ≤ K

oraz k~ek ≤ K

k~bk. Z kolei w ostatnim kroku algorytmu, rozwiązując

układ R

= ~y

dostajemy w ﬂ

rozwiązanie ~x

, które jest dokład-

nym rozwiązaniem układu (R

+ E

)~x = ~y

, gdzie kE

k ≤ K

(Zauważmy, że wektor ~y

nie jest zaburzony, bo jest on reprezentowany

dokładnie, zob. Rozdział 4.1). Stąd otrzymane w ﬂ

rozwiązanie ~x

jest

dokładnym rozwiązaniem układu

= ~b

gdzie ~b

= ~b + ~e, a A

= A + E spełnia równanie

(A + E) = (L

+ E

) (R

+ E

Aby zakończyć dowód, należy teraz oszacować kEk. Ponieważ P

(A +

) = L

, mamy

= P

+ L

+ E

Stąd

kEk

∞

≤ kE

∞

+ kL

∞

+ kE

∞

+ kE

∞

≤ νK

kAk

∞

+ kL

∞

νK

∞

+ kR

∞

νK

∞

= ν

kAk

∞

+ (K

+ K

)kL

∞

Ponieważ elementy macierzy L

są co do modułu nie większe od jedno-

ści, mamy kL

∞

≤ n. Jak zauważyliśmy wcześniej, mamy też kR

∞

≤

46 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

n−1

kAk

∞

. Przyjmując K = K

+ (K

+ K

n−1

ostatecznie otrzy-

mujemy

kEk

∞

≤ K ν kAk

∞

czyli numeryczną poprawność, ponieważ stała K nie zależy od ν i A.
2

4.4 Uwarunkowanie macierzy, a błąd w

ﬂ

Pokazaliśmy, że eliminacja Gaussa jest numerycznie poprawna w klasie
macierzy A ∈ R

n×n

takich, że

cond(A) ≤ M,

gdzie M < ∞ jest jakąkolwiek stałą niezależną od A. Okazuje się, że

wielkość uwarunkowania macierzy, cond(A), ma też zasadniczy wpływ
na błąd zadania rozwiązywania układu równań. Rzeczywiście, mamy
bowiem następujące twierdzenie. (Poniżej norma wektorowa jest do-
wolna, ale ustalona, a norma macierzowa jest przez nią indukowana,
zob. U. 1.2.)

Twierdzenie 4.3 Niech E i ~e będą zaburzeniami odpowiednio macie-
rzy A i wektora ~b takimi, że

kEk ≤ K

kAk

k~ek ≤ K

k~bk,

Jeśli

νcond(A) < 1

to układ zaburzony (A + E)~x = (~b + ~e) ma jednoznaczne rozwiązanie ~z

∗

spełniające

k~z

∗

− ~x

∗

k ≤ (K

+ K

) ν

cond(A)

1 − K

νcond(A)

k~x

∗

4.4. UWARUNKOWANIE MACIERZY, A BŁĄD W FL

Dowód Zauważmy najpierw, że jeśli F jest macierzą taką, że

kF k < 1

to macierz (I − F ) (gdzie I jest macierzą identycznościową) jest nie-

osobliwa oraz

k(I − F )

−1

k ≤

1 − kF k

(4.8)

Rzeczywiście, gdyby (I−F ) była osobliwa to istniałby niezerowy wektor
~x

taki, że (I − F )~x = 0, co implikuje kF~xk/k~xk = 1 i w konsekwencji

kF k ≥ 1. Aby pokazać (4.8) zauważmy, że

1 = kIk = k(I − F )(I − F )

−1

≥ k(I − F )

−1

k − kF k k(I − F )

−1

= (1 − kF k) k(I − F )

−1

skąd bezpośrednio wynika (4.8).

Po podstawieniu F = −A

−1

mamy teraz

kF k ≤ kA

−1

k kEk ≤ K

kAk kA

−1

k < 1,

co wobec równości A + E = A(I + A

−1

) daje, że macierz (A + E)

jest nieosobliwa i układ zaburzony ma jednoznaczne rozwiązanie ~z

∗

Przedstawmy to rozwiązanie w postaci ~z

∗

= ~x

∗

+ (~z

∗

− ~x

∗

). Rozpisując

układ zaburzony i wykorzystując równość A~x

∗

= ~b otrzymujemy, że

(A + E)(~z

∗

− ~x

∗

) = ~e − E~x

∗

, czyli

∗

− ~x

∗

= (I + A

−1

)

−1

(~e − E~x

∗

a stąd

k~z

∗

− ~x

∗

k ≤ k(I + A

−1

)

−1

k kA

−1

k (k~ek + kEk k~x

∗

≤

−1

1 − K

kAk kA

−1

k~bk + K

kAk k~x

∗

≤

kAk kA

−1

1 − K

kAk kA

−1

+ K

) ν k~x

∗

co kończy dowód.

Podsumowując Twierdzenia 4.2 i 4.3 otrzymujemy wniosek, który

jest końcowym wynikiem tego rozdziału.

48 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

Wniosek 4.2 Niech A będzie macierzą nieosobliwą. Dla dostatecznie
silnej arytmetyki,

ν K

(n) cond(A) ≪ 1

(gdzie K(n) jest pewną stłą niezależną od A i ν), eliminacja Gaussa z
wyborem elementu głównego w kolumnie, zastosowana do rozwiązania
układu A~x = ~b, jest w ﬂ

wykonalna i daje wynik ﬂ

(~x

∗

) spełniający

nierówność

kﬂ

(~x

∗

) − ~x

∗

k ˜

≤ K(n) ν cond(A) k~x

∗

Uwagi i uzupełnienia

U. 4.1 Jak zauważyliśmy w dowodzie Twierdzenia 4.1 stała kumulacji K(n)
zależy zasadniczo od wzrostu maksymalnego elementu G

w macierzach A

(k)

powstających w kolejnych krokach eliminacji. Okazuje się, że uzyskane, pe-
symistyczne oszacowanie G = max

≤ 2

n−1

jest praktycznie nie spo-

tykane, choć teoretycznie może być osiągnięte. Przykładem jest macierz







0 · · ·

0 1

−1

... 1

−1 −1

... 1

...

1 1

−1 −1 −1 · · · −1 1







dla której G

= 2

, 0 ≤ k ≤ n − 1, oraz G = 2

n−1

U. 4.2 Eliminacja Gaussa bez przestawień wierszy jest numerycznie po-
prawna, gdy element maksymalny w kolejnych macierzach A

(k)

wzrasta w

sposób niezależny od A. Na przykład, gdy G

≤ mG

k−1

to G ≤ m

k−1

i w

Twierdzeniu 4.1 mamy K(n) = 2n

k−1

. Ma to miejsce wtedy gdy A jest

symetryczna i dodatnio określona, albo ma dominującą główną przekątną,
zob. U. 4.3 oraz Ćw. 4.5 i 4.6.

U. 4.3 Dla macierzy symetrycznych i dodatnio określonych, A = A

> 0,

eliminacja Gaussa jest wykonalna bez przestawień wierszy, zob. U. 3.7. W
klasie tych macierzy eliminacja bez przestawień wierszy jest też numerycz-
nie poprawna, a więc w szczególności algorytm Banachiewicza-Choleskiego

4.4. UWARUNKOWANIE MACIERZY, A BŁĄD W FL

jest numerycznie popeawny. Wykażemy to pokazując, że maksymalny ele-
ment w kolejnych macierzach A

(k)

wzrasta co najwyżej dwukrotnie, tzn.

≤ 2G

k−1

, 1 ≤ k ≤ n. W tym celu wykorzystamy fakt, że dla dowolnej

symetrycznej i dodatnio określonwj macierzy B = (b

i,j

) mamy b

i,i

> 0, oraz

spełniona jest nierówność

i,j

< b

i,i

j,j

∀i, j

(4.9)

(zob. Ćw. 4.1). Jak wykazaliśmy w U. 3.7, każda z macierzy A

(k)

jest syme-

tryczna i dodatnio określona, Stąd

(k)
i,j

| = |a

(k−1)
i,j

− l

i,k

(k−1)
k,j

≤ |a

(k−1)
i,j

| +

(k−1)
i,k

(k−1)
k,k

(k−1)
k,j

≤

(k−1)
i,i

(k−1)
j,j

(k−1)
i,i

(k−1)
k,k

(k−1)
j,j

(k−1)
k,k

= 2

(k−1)
i,i

(k−1)
j,j

≤ 2 max(a

(k−1)
i,i

, a

(k−1)
j,j

a w konsekwencji G

≤ 2G

k−1

Ćwiczenia

Ćw. 4.1 Wykazać, że macierz symetryczna 2 × 2

a c

c b

jest dodatnio określona wtedy i tylko wtedy, gdy a > 0 i ab > c

. Wywnio-

skować stąd nierównosc (4.9) dla macierzy symetrycznych i dodatnio określo-
nych dowolnego wymiaru. Ponadto, największy co do modułu element takiej
macierzy leży na głównej diagonali.

Ćw. 4.2 Wykazać, że macierz A jest dodatnio określona wtedy i tylko wtedy
gdy dla każdego ~x ∈ R

wektory A~x i ~x tworzą w R

kąt ostry.

50 ROZDZIAŁ 4. ANALIZA BŁĘDÓW W ELIMINACJI GAUSSA

Ćw. 4.3 Pokazać, że jeśli eliminację Gaussa z wyborem elementu głównego
w kolumnie zastosujemy do macierzy trójdiagonalnej, to wzrost elementu
maksymalnego macierzy nie będzie zależał od n. Dokładniej,

max

i,j,k

(k)
i,j

| ≤ 2 max

i,j

Ćw. 4.4 Pokazać, że dla macierzy Hessenberga (a

i,j

= 0 dla i ≥ j + 2)

eliminacja Gaussa z wyborem elementu głównego w kolumnie daje

max

i,j,k

(k)
i,j

| ≤ (k + 1) max

i,j

Ćw. 4.5 Pokazać numeryczną poprawność algorytmu przeganiania z U. 3.6.

Ćw. 4.6 Wykazać numeryczną poprawność eliminacji Gaussa bez przesta-
wień wierszy dla macierzy z dominującą przekątną, tzn. gdy

2|a

i,i

| >

j=1

i,j

1 ≤ i ≤ n.

Wskazówka. Zauważyć, że max

i,j

(k)
i,j

| ≤ 2 max

i,j

(k−1)
i,j

Ćw. 4.7 Jeśli

(A + E)~z = ~b,

(4.10)

gdzie kEk

≤ KνkAk

, to oczywiście dla residuum ~r = ~b − A~z mamy

k~rk

≤ KνkAk

k~zk

(4.11)

Pokazać, że dla p = 1, 2, ∞ zachodzi też twierdzenie odwrotne, tzn. jeśli

spełniony jest warunek (4.11) to istnieje macierz pozornych zaburzeń E taka,
że kEk

≤ KνkAk

oraz spełniona jest równość (4.10).

Wskazówka. Rozpatrzyć E = ~r(sgn z

)

1≤i≤n

k~zk

dla p = 1, E = ~r~z

k~zk

dla p = 2, oraz E = ~r(sgn z

)~e

k~zk

∞

dla p = ∞, gdzie k jest indeksem dla

którego |z

| = k~zk

∞

Rozdział 5

Zadanie wygładzania
liniowego

W tym rozdziale zajmiemy się zadaniem wygładzania liniowego, na-
zywanym też liniowym zadaniem najmniejszych kwadratów. Jest ono
uogólnieniem zadania rozwiązywania kwadratowych układów równań
liniowych do przypadku, gdy układ jest nadokreślony.

5.1 Układ normalny

Niech A będzie daną macierzą o m wierszach i n kolumnach, A ∈ R

m×n

taką, że

≥ n = rank(A),

albo równoważnie, taką że jej wektory kolumny są liniowo niezależne.
Niech także dany będzie wektor ~b ∈ R

. Jasne jest, że wtedy układ

równań A~x = ~b nie zawsze ma rozwiązanie - mówimy, że układ jest
nadokreślony.

Zadanie wygładzania liniowego polega na znalezieniu wektora ~x

∗

∈

, który minimalizuje wektor residualny ~r = ~b −A~x w normie drugiej,

tzn.

k~b − A~x

∗

= min

x∈

k~b − A~xk

Przykład 5.1 Przypuśćmy, że dla pewnej funkcji f : [a, b]

→ R ob-

serwujemy jej wartości f

(dokładne lub zaburzone) w punktach t

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

1 ≤ i ≤ m. Funkcję tą chcielibyśmy przybliżyć inną funkcją w nale-

żącą do pewnej n wymiarowej przestrzeni liniowej W , np. przestrzeni
wielomianów stopnia mniejszego niż n. Jakość przybliżenia mierzymy
wielkością

i=1

− w(t

))

(5.1)

Wybierając pewną bazę (w

)

j=1

w W i rozwijając w w tej bazie, w(t) =

j=1

(t), sprowadzamy problem do minimalizacji

i=1





−

j=1

)





względem c

, a więc do zadania wygładzania liniowego. Rzeczywiście,

kładąc A = (a

i,j

) ∈ R

m×n

z a

i,j

= w

), ~b = (f

)

i=1

i ~x = (c

)

j=1

wielkość (5.1) jest równa k~b − A~xk

Lemat 5.1 Zadanie wygładzania liniowego ma jednoznaczne rozwiąza-
nie ~x

∗

, które spełnia układ równań

A~x

= A

~b.

(5.2)

Dowód Niech P

⊂ R

będzie obrazem A jako odwzorowania liniowego

z R

w R

= { A~x : ~x ∈ R

Ponieważ kolumny macierzy A są liniowo niezależne, tworzą one bazę
w P . Stąd dim(P ) = n i odwzorowanie A : R

→ P jest różnowar-

tościowe. Ponadto przestrzeń R

z normą drugą jest przestrzenią uni-

tarną. Residuum jest więc minimalizowane dla wektora ~x

∗

∈ R

ta-

kiego, że A~x

∗

jest rzutem prostopadłym wektora ~b na podprzestrzeń P .

(Przypomnijmy, że skończony wymiar P zapewnia, że taki rzut istnieje
i jest wyznaczony jednoznacznie.) Równoważnie można powiedzieć, że
residuum ~b − A~x

∗

jest prostopadłe do P ,

(A~x)

(~b − A~x

∗

) = 0,

∀~x ∈ R

albo

( ~

~b − A

A~x

∗

) = 0.

∀~x ∈ R

5.1. UKŁAD NORMALNY

Otrzymaliśmy więc, że wektor A

~b − A

A~x

∗

jest prostopadły w R

każdego innego wektora. Ponieważ jedynym wektorem o tej własności
jest wektor zerowy, to A

A~x

∗

= A

~b.

Zauważmy, że jeśli macierz A jest kwadratowa, m = n, to rozwią-

zaniem jest ~x

∗

= A

−1

~b i residuum jest zerem. Zadanie wygładzania li-

niowego jest więc uogólnieniem rozwiązywania kwadratowych układów
równań liniowych.

Równanie (5.2) nazywa się układem normalnym. Może ono nam

sugerować sposób rozwiązania zadania wygładzania liniowego. Wystar-
czy bowiem pomnożyć macierz A

przez A i rozwiązać układ normalny.

Zauważmy ponadto, że macierz A

jest symetryczna i dodatnio okre-

ślona, bo (A

)

= A

i dla ~x 6= 0 mamy ~x

)~x = (A~x)

(A~x) =

kA~xk

0, przy czym ostatnia nierówność wynika z faktu, że kolumny

macierzy A są liniowo niezależne i dlatego A~x 6= ~0. Przy mnożeniu A

przez A wystarczy więc obliczyć tylko elementy na głównej przekątnej
i pod nią, a do rozwiązania równania z macierzą A

można zastoso-

wać algorytm Banachiewicza-Choleskiego opisany w U. 3.7. Jak łatwo
się przekonać, koszt takiego algorytmu wynosi n

(k + n/3), przy czym

dominuje koszt mnożenia obliczenia macierzy A

Ma on jednak pewne wady. Mnożenie macierzy powoduje w ﬂ

po-

wstanie “po drodze” dodatkowych błędów, które mogą nawet zmienić
rząd macierzy. Na przykład, dla macierzy







1 1 1 1
ε







mamy







1 + ε







Jeśli ε

< ν

to ﬂ

(1+ε

) = 1, co implikuje rank(ﬂ

)) = 1, podczs

gdy rank(ﬂ

(A)) = 4.

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

Poniżej przedstawimy inną metodę rozwiązywania zadania wygła-

dzania liniowego, która oparta jest na specjalnych przekształceniach
zwanych odbiciami Hauseholdera.

5.2 Odbicia Hauseholdera

Dla danego wektora ~

∈ R

o normie k~wk

√

= 1, odbicie

(macierz) Hauseholdera zdeﬁniowane jest jako

= I − 2~w ~w

Zauważmy, że

H~x

= ~x − 2(~w

) ~

a ponieważ ( ~

) ~

= h~x, ~wi

jest rzutem prostopadłym ~x na kieru-

nek wektora ~

(h·, ·i

oznacza iloczyn skalarny), to H~x jest odbiciem

lustrzanym wektora ~x względem hiperpłaszczyzny (wymiaru m − 1)

prostopadłej do ~

Odbicia Hauseholdera są przekształceniami nieosobliwymi spełnia-

jącymi

−1

= H = H

Rzeczywiście, ponieważ ~

ma normę jednostkową, mamy

= (I − 2~w ~w

)

= I − 4~w ~w

+ 4 ~

( ~

) ~

= I,

oraz

= (I − 2~w ~w

)

= I − 2(~w

)

= I.

W szczególności H jest więc przekształceniem ortogonalnym, H

−1

, czyli nie zmienia długości wektora,

kH~xk

(H~x)

(H~x) =

)~x =

√

= k~xk

Odbicia Hauseholdera zastosujemy do przeprowadzenia danego wek-

tora ~a 6= ~0 na kierunek innego niezerowego wektora, powiedzmy ~e, tzn.

H~a

= (I − 2~w ~w

)~a = α ~e.

5.2. ODBICIA HAUSEHOLDERA

Załóżmy dla uproszczenia, że k~ek

= 1. Aby wyznaczyć H zauważmy,

że

− α~e

2( ~

)

a ponieważ α = ±k~ak

i k~wk

= 1 to

∓ k~ak

k~a ∓ k~ak

W szczególności, jeśli ~e = ~e

jest pierwszym wersorem to powyższe

wzory dają

= I −

~u~u

gdzie

(

∓ k~ak

= 1,

2 ≤ i ≤ m,

oraz

1
2k

1
2

∓ k~ak

)

i=2

1
2

i=1

+ k~ak

∓ 2a

kak

= kak

∓ a

kak

Otrzymaliśmy dwa odbicia Hauseholdera przekształcające dany wektor

na kierunek pierwszego wersora, w zależności od wybranego znaku

przy k~ak

. Ustalimy ten znak na plus gdy a

≥ 0, oraz na minus gdy

0, co pozwoli na obliczenie u

i γ z małym błędem względem w

ﬂ

. Wtedy bowiem mamy

(

+ kak

≥ 0,

− kak

oraz γ = k~ak

+ |a

| k~ak

, czyli zawsze dodajemy liczby tych samych

znaków. Ponadto pierwsza współrzędna wektora H~a jest równa −k~ak

dla a

≥ 0, oraz +k~ak

dla a

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

5.3 Algorytm dla zadania wygładzania

Odbić Hauseholdera można użyć do rozkładu macierzy A ∈ R

m×n

iloczyn ortogonalno-trójkątny.

Niech A = (~a

, ~a

, . . . , ~a

), gdzie ~a

są wektorami-kolumnami macie-

rzy A. Wybierzmy pierwsze odbicie Hauseholdera H

= I

− ~u

/γ

tak, aby przekształcało pierwszy wektor-kolumnę macierzy A na kieru-
nek ~e

. Efektem pomnożenia macierzy A z lewej strony przez H

będzie

wtedy macierz

(1)

= (~a

(1)
1

, . . . , ~a

(1)

) = (H

, . . . , H

w której pierwsza kolumna ~a

(1)
1

ma niezerową tylko pierwszą współ-

rzędną. W następnym kroku wybieramy drugie przekształcenie Hause-
holdera ¯

= I

m−1

− ~v

/γ

wymiaru m − 1 tak, aby przeprowadzało

wektor (a

(1)
i,2

)

i=2

na kierunek pierwszego wersora w R

m−1

. Rozszerzając

∈ R

m−1

do wektora ~u

∈ R

przez dodanie zera jako pierwszej

współrzędnej, ~u

= (0, ~v

)

, otrzymujemy przekształcenie (macierz)

Hauseholdera H

= I

− ~u

/γ

w R

postaci

1 ~0

~0 ¯

Pomnożenie macierzy A

(1)

z lewej strony przez H

spowoduje teraz

wyzerowanie drugiej kolumny macierzy pod elementem a

(1)
2,2

, przy czym

pierwszy wiersz i pierwsza kolumna pozostaną niezmienione. Postępując
tak dalej n razy (albo n − 1 razy gdy m = n) otrzymujemy

n−1

· · · H

= R,

gdzie R ∈ R

m×n

jest uogólnioną macierzą trójkątną górną, tzn. r

i,j

= 0

dla i > j. Stąd, podstawiając Q = H

· · · H

, dostajemy rozkład

macierzy na iloczyn ortogonalno-trójkątny

= Q · R.

(5.3)

Rzeczywiście, macierz Q ∈ R

m×m

jest ortogonalna, bo

−1

= (H

· · · H

)

−1

= H

−1

· · · H

−1

= H

· · · H

= (H

· · · H

)

= Q

5.3. ALGORYTM DLA ZADANIA WYGŁADZANIA

Dyspunując rozkładem (5.3) zadanie wygładzania liniowego można

rozwiązać następująco. Ponieważ mnożenie przez macierz ortogonalną
nie zmienia normy drugiej wektora, mamy

k~rk

= k~b − A~xk

= k~b − QR~xk

= kQ(Q

~b − R~x)k

= k~c − R~xk

gdzie ~c = Q

~b = H

· · · H

~b. Rozbijając wektor ~c na ~c = (~c

, ~c

)

gdzie ~c

∈ R

i ~c

∈ R

m−n

, oraz macierz R na

gdzie R

∈ R

n×n

jest macierzą trójkątną górną, a 0 jest macierzą zerową

wymiaru (m − n) × n, otrzymujemy

k~rk

= k~c

− R

+ k~c

Rozwiązanie ~x

∗

zadania wygładzania jest więc rozwiązaniem układu

liniowego trójkątnego,

∗

= R

−1

oraz k~r

∗

= k~b − A~x

∗

= k~c

Zastanówmy się nad praktyczną realizacją tego algorytmu. Każde z

kolejnych przekształceń Hauseholdera H

wyznaczamy przez obliczenie

oraz współrzędnych wektora ~u

. Wektor ten ma tylko m − k + 1

współrzędnych niezerowych, a ponadto u

k,i

= a

(k−1)
i,k

dla k + 1 ≤ i ≤ m.

Dzięki takiej reprezentacji H

, mnożenia H

możemy dla dowolnego

realizować według wzoru

)

= x

− s u

k,i

gdzie s = ~u

~x/γ

Uwzględnizjąc obecność zerowych elementów w ~u

, przejście od ma-

cierzy A

(k−1)

do A

(k)

kosztuje rzędu 4(m−k+1)(n−k) operacji arytme-

tycznych i obliczenie jednego pierwiastka kwadratowego. Cały rozkład
A

= QR kosztuje więc rzędu (dla dużych m i n)

k=1

4(m − k + 1)(n − k) ≈

4
3

+ 2n

(m − n) = 2n

(m − n/3)

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

operacji arytmetycznych i n pierwiastków kwadratowych. Zauważmy,
że w przypadku m = n, a więc dla kwadratowego układu równań, koszt
ten wynosi (4/3)n

i jest dwa razy większy od kosztu eliminacji Gaussa.

Uwagi i uzupełnienia

U. 5.1 Pokazaliśmy, że rozwiązaniem zadania wygładzania liniowego jest
wektor ~x

∗

= A

~b, gdzie

= (A

−1

Macierz A

∈ R

n×m

nazywa się macierzą pseudoodwrotną do A ∈ R

m×n

rank(A) = n. Dla nieosobliwych macierzy kwadratowych mamy oczywiście
A

= A

−1

, ponieważ wtedy ~x

∗

= A

−1

U. 5.2 Pokażemy, że każdą macierz A

m×n

, rank(A) = n, można rozłożyć

na iloczyn

A = U Σ V

(5.4)

gdzie U ∈ R

m×m

i V ∈ R

n×n

są macierzami ortogonalnymi, a Σ ∈ R

m×n

jest macierzą diagonalną (tzn. σ

i,j

= 0 dla i 6= j) o dodatnich wyrazach σ

i,i

Ponieważ macierz A

A jest symetryczna i dodatnio określona, znane

twierdzenie z algebry liniowej mówi, że istnieje w R

baza ortonormalna

(~ξ

)

j=1

wektorów własnych tej macierzy, a odpowiadające im wartości własne

są rzeczywiste i dodatnie, tzn.

h~ξ

, ~

(

6= j,

i = j,

oraz (A

A)~

= λ

, gdzie

≥ λ

≥ · · · ≥ λ

> 0.

Zauważmy, że wektory ~η

= λ

−1/2
i

(A~ξ

) są ortonormalne w R

, bowiem

h~η

, ~η

= (λ

)

−1/2

hA~ξ

, A~

= (λ

)

−1/2

h(A

A)~

, ~

= (λ

)

−1/2

h~ξ

, ~

(

6= j,

i = j.

5.3. ALGORYTM DLA ZADANIA WYGŁADZANIA

Wektory ~η

, 1 ≤ i ≤ n, można uzupełnić m − n dodatkowymi wektorami

tak, aby cały układ (~η

)

i=1

był bazą ortonormalną w R

. Zdeﬁniujmy teraz

macierze ortogonalne U o kolumnach ~η

, 1 ≤ i ≤ m, oraz V o kolumnach

, 1 ≤ j ≤ n. Bezpośredni rachunek pokazuje, że macierz U

AV jest dia-

gonalna z wyrazami na przekątnej

. Stąd A = UΣV

z σ

j,j

1 ≤ j ≤ n.

Liczby

nazywa się wartościami szczególnymi macierzy A, a rozkład

(5.4) rozkładem macierzy według wartości szczególnych.

Zauważmy jeszcze, że jeśli A = UΣV

to A

= V Σ

oraz Σ

∈

n×m

jest macierzą diagonalną z wyrazami na diagonali równymi 1/

Rozwiązanie zadania wygładzania liniowego można więc zapisać jako

∗

= V Σ

~b.

U. 5.3 Przedstawimy teraz jedną z możliwych implementacji algorytmu
Hauseholdera rozkładu macierzy na iloczyn A = QR. Po wykonaniu poniż-
szego programu wyrazy r

i,j

macierzy R dla 1 ≤ i ≤ j zostaną zapamiętane

na miejscach a[i, j], współrzędne u

j,i

wektora ~u

dla j + 1 ≤ i ≤ m na miej-

scach a[i, k], a współrzędna u

j,j

i liczba γ

odpowiednio na u[j] i gam[j],

1 ≤ j ≤ n.

for k := 1 to n do
begin

{ obliczanie kolejnego odbicia Hauseholdera }
norm2 := 0.0;
for l := k to m do
begin

aa := a[l, k];
norm2 := norm2 + aa

∗ aa

end;
norm := sqrt(norm2);
aa := a[k, k];
if (aa ≥ 0.0) then

begin

uu := aa + norm;
akk :=

−norm

end

else

begin

uu := aa

− norm;

akk := norm

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

end;
gamma := norm2 + abs(aa)

∗ norm;

u[k] := uu;
gam[k] := gamma;
{ modyﬁkacja kolumn macierzy }
a[k, k] := akk;
for j := k + 1 to n do
begin

s := uu

∗ a[k, j];

for l := k + 1 to m do

s := s + a[l.k]

∗ a[l, j];

s := s/gamma;
a[k, j] := a[k, j]

− s ∗ uu;

for l := k + 1 to m do

a[l, j] := a[l, j]

− s ∗ a[l, k]

end;

end.

U. 5.4 Można pokazać, że przedstawiony algorytm Hauseholdera rozkładu
macierzy na iloczyn ortogonalno-trójkątny jest numerycznie poprawny. To
znaczy, otrzymane w ﬂ

macierz trójkątna górna R

i ortogonalna Q

(re-

prezentowana przez n wektorów ~u

i liczb γ

) spełniają (A + E) = Q

gdzie kEk ≤ K(m, n)νkAk.

U. 5.5 Zadanie wygładzania liniowego można również rozwiązać stosując
innego rodzaju rozkład ortogonalno-trójkątny macierzy A ∈ R

m×n

; miano-

wicie przez zastosowanie ortogonalizacji Grama-Schmidta do wektorów ko-
lumn ~a

macierzy A. W wyniku otrzymujemy ciąg wektorów ~q

, 1 ≤ j ≤ n,

tworzący układ ortonormalny w R

, oraz spełniający

span{~q

, ~q

, . . . , ~q

} = span{~a

, ~a

, . . . , ~a

1 ≤ j ≤ n.

(5.5)

Zauważmy, że jeśli z wektorów ~q

stworzymy macierz Q = (~q

, ~q

, . . . , ~q

) ∈

m×n

, to (5.5) implikują istnienie kwadratowej macierzy trójkątnej górnej

∈ R

n×n

takiej, że

A = Q

· R.

(W odróżnieniu od efektu działania algorytmu Hauseholdera, macierz Q nie
jest tu kwadratowa, ale za to kwadratowa jest macierz R.)

5.3. ALGORYTM DLA ZADANIA WYGŁADZANIA

Wektory ortonormalne ~q

oraz współczynniki r

i,j

macierzy R można wy-

znaczyć z układu równań

s=1

s,j

1 ≤ j ≤ n.

Mnożąc j-te równanie skalarnie przez ~q

, 1 ≤ i ≤ j, otrzymujemy r

i,j

h~a

, ~q

= ~q

, a stąd wzory rekurencyjne

for j := 1 to n do
begin

for i := 1 to j − 1 do r

i,j

:= h~q

, ~a

;

:= ~a

−

j−1
s=1

s,j

;

j,j

:= k~p

;

:= ~p

j,j

end.

Dysponując rozkładem A = QR, rozwiązanie ~x

∗

zadania wygładzania

wyznaczamy z równania R~x = Q

~b. Rzeczywiście, układ (~q

)

j=1

można for-

malnie uzupełnić do układu ortonormalnego w R

dodając do niego pewne

wektory ~q

dla n+1 ≤ j ≤ m. Tworząc macierz ortogonalną Q = (~q

, . . . , ~q

)

i rozszerzając macierz R ∈ R

n×n

do macierzy R ∈ R

m×n

przez dodanie do

niej (m−n) zerowych wierszy, otrzymujemy A = Q R, a więc rozkład taki jak

w algorytmie Hauseholdera. Postępując dalej tak, jak w analizie algorytmu
Hauseholdera, otrzymujemy żądany wynik.

U. 5.6 Okazuje się, że algorytm ortogonalizacyjny Grama-Schmidta z U.
5.5 ma niedobre własności numeryczne, gdy wektory-kolumny macierzy wyj-
ściowej A są “słabo liniowo niezależne”; tzn. otrzymane w ﬂ

wektory ~q

(1)

mogą być wtedy “słabo” ortogonalne. W takim wypadku należy stosować
podwójną ortogonalizację, najpierw do wektorów ~a

, a potem do ~q

(1)

, 1 ≤

≤ n. (Zob. Ćw. 5.7.)

Ćwiczenia

Ćw. 5.1 Pokazać, że dla macierzy pseudoodwrotnej A

do danej macierzy

∈ R

m×n

, rank(A) = n, macierz A

A = I

jest identycznością w R

n×n

natomiast

∈ R

m×m

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

czyli AA

jest rzutem prostopadłym na podprzestrzeń rozpiętą na pierw-

szych n wersorach w R

Ćw. 5.2 Niech A ∈ R

m×n

. Uzasadnić, że jądro macierzy A

ker(A

) = { ~y ∈ R

: A

~y = ~0

jest podprzestrzenią prostopadłą do obrazu A,

im(A) = { A~x ∈ R

: ~x ∈ R

Ćw. 5.3 Pokazać, że macierze A

A i AA

mają takie same niezerowe war-

tości własne, a podprzestrzenie własne im odpowiadające mają ten sam wy-
miar.

Ćw. 5.4 Uzasadnić, że dana macierz kwadratowa Q ∈ R

m×m

jest ortogo-

nalna wtedy i tylko wtedy gdy jej kolumny (wiersze) tworzą bazę ortonor-
malną w R

Ćw. 5.5 Niech ~u będzie niezerowym wektorem w R

oraz γ = k~uk

/2.

Uzasadnić, że algorytm obliczania

H~x = ~x

− s~u,

s = (~u

~x)/γ,

według powyższego wzoru, jest numerycznie poprawny ze względu na dany
wektor ~x ∈ R

Ćw. 5.6 Policzyć złożoność algorytmu ortogonalizacyjnego opisanego w U.
5.5 rozwiązania zadania wygładzania liniowego.

Ćw. 5.7 Zastosujmy ortogonalizację Grama-Schmidta do dwóch wektorów
liniowo niezależnych ~a i ~b o normach k~ak

= 1 = k~bk

. Załóżmy dla uprosz-

czenia, że w obliczeniach jedynie iloczyn skalarny tych wektorów s = h~a,~bi

liczy się z błędem, ﬂ

(s) = s(1 + ε), gdzie |ε| jest dodatnie i na poziomie

ν. Pokazać, że wtedy dla otrzymanej w wyniku ortogonalizacji unormowanej
pary wektorów ~a i ~c mamy

h~a,~ci

−εs

1 − s

(1 − ε

)

Wywnioskować stąd, że gdy ~a i ~b są “prawie liniowo zależne”, to ~a i ~c są
dalekie od ortogonalnych.

5.3. ALGORYTM DLA ZADANIA WYGŁADZANIA

Ćw. 5.8 Zaprogramować algorytm Grama-Schmidta z U. 5.5 (z podwójną
ortogonalizacją) rozwiązujący zadanie wygładzania.

Ćw. 5.9 Zaprogramować algorytm obliczający macierz odwrotną do danej
nieosobliwej macierzy A ∈ R

n×n

wykorzystujący rozkład Hauseholdera A =

QR.

ROZDZIAŁ 5. ZADANIE WYGŁADZANIA LINIOWEGO

Rozdział 6

Interpolacja wielomianowa

Dotychczas rozpatrywaliśmy zadania, w których danymi są ciągi liczb
rzeczywistych. Teraz zajmiemy się zadaniami, w których danymi są
funkcje o wartościach rzeczywistych. Pierwszym z nich jest zadanie in-
terpolacji wielomianowej.

6.1 Sformułowanie zadania interpolacji

Niech D ⊂ R i niech F będzie pewnym zbiorem funkcji f : D → R.

Niech x

, x

, . . . , x

będzie ustalonym zbiorem parami różnych punktów

z D, zwanych później węzłami.

Powiemy, że wielomian w interpoluje funkcję f ∈ F w węzłach x

gdy

) = f(x

0 ≤ j ≤ n.

Oznaczmy przez Π

przestrzeń liniową wielomianów stopnia co naj-

wyżej n o współczynnikach rzeczywistych,

= { w(x) = a

+ a

n−1

+ · · · + a

+ a

: a

∈ R, 0 ≤ j ≤ n }.

Lemat 6.1 Dla dowolnej funkcji f : D

→ R istnieje dokładnie jeden

wielomian w

∈ Π

interpolujący f w węzłach x

, 0

≤ j ≤ n.

Dowód Wybierzmy w Π

dowolną bazę wielomianów ϕ

, 0 ≤ j ≤ n,

= span{ ϕ

, ϕ

, . . . , ϕ

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

Wtedy każdy wielomian z Π

można jednoznacznie przedstawić w po-

staci rozwinięcia względem wybranej bazy. Warunkiem koniecznym i
dostatecznym na to, aby wielomian w

(·) =

j=0

(·) interpolował

jest spełnienie układu n + 1 równań liniowych

j=0

) = f(x

0 ≤ i ≤ n,

z n + 1 niewiadomymi c

, który w postaci macierzowej wygląda nastę-

pująco:







) ϕ

) · · · ϕ

)

) ϕ

) · · · ϕ

)

...

) ϕ

) · · · ϕ

)













...













)

...

)







(6.1)

Aby wykazać, że układ ten ma jednoznaczne rozwiązanie wystarczy, aby
wektor zerowy był jedynym rozwiązaniem układu jednorodnego. Rze-
czywiście, układ jednorodny odpowiada interpolacji danych zerowych,
f

) = 0, ∀i. Istnienie niezerowego rozwiązania byłoby więc równo-

ważne istnieniu niezerowego wielomianu stopnia nie większego od n,
który miałby n + 1 różnych zer x

, co jest niemożliwe.

Zadanie znalezienia dla danej funkcji f jej wielomianu interpolacyj-

nego stopnia co najwyżej n jest więc dobrze zdeﬁniowane, tzn. rozwią-
zanie istnieje i jest wyznaczone jednoznacznie. Zauważmy, że wielomian
interpolacyjny w

jako taki nie może być wynikiem obliczeń w naszym

modelu obliczeniowym, możemy natomiast wyznaczyć jego współczyn-
niki c

w wybranej bazie.

Deﬁnicja 6.1 Niech (ϕ

)

j=0

będzie bazą w przestrzeni Π

wielomianów

stopnia co najwyżej n. Zadanie (obliczeniowe) interpolacji wielomino-
wej polega na obliczeniu dla danej funkcji f współczynników c

takich,

że wielomian

(·) =

j=0

(·)

(6.2)

interpoluje f w punktach x

, 0

≤ j ≤ n.

6.2. WYBÓR BAZY WIELOMIANOWEJ

6.2 Wybór bazy wielomianowej

Można powiedzieć, że trudność zadania interpolacji jest zdetermino-
wana przez trudność rozwiązania układu (6.1), ta zaś zależy w istotny
sposób od wybranej bazy (ϕ

)

j=0

. W naturalny sposób powstaje więc

problem wyboru “wygodnej” bazy w Π

. Rozpatrzymy trzy bazy: La-

grange’a, potęgową i Newtona.

Baza Lagrange’a (kanoniczna)

Zdeﬁniujmy dla 0 ≤ j ≤ n wielomiany

(x) =

(x − x

)(x − x

) · · · (x − x

j−1

)(x − x

j+1

) · · · (x − x

)

− x

)(x

− x

) · · · (x

− x

j−1

)(x

− x

j+1

) · · · (x

− x

)

(6.3)

Zauważmy, że każdy z l

jest stopnia dokładnie n oraz

) =

(

6= j,

= j.

Stąd łatwo widać, że wielomiany te stanowią bazę w Π

, którą nazy-

wamy bazą Lagrange’a. Macierz układu (6.1) jest identycznością i w
konsekwencji c

= f(x

), ∀j. Wielomian interpolacyjny dla funkcji f

można więc w tym przypadku zapisać jako

(·) =

j=0

(·).

Koszt kombinatoryczny rozwiązania zadania interpolacji jest przy tym
zerowy.

Przypuśćmy, że chcielibyśmy obliczyć wartość wielomianu interpo-

lacyjnego w

w punkcie x różnym od x

, 0 ≤ j ≤ n. Podstawiając

− x

)(x

− x

) · · · (x

− x

j−1

)(x

− x

j+1

) · · · (x

− x

)

oraz a(x) = (x − x

) · · · (x − x

) mamy

(x) = a(x)

j=0

)

− x

(6.4)

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

albo

(x) =

j=0

(x)f(x

)

j=0

(x)

gdzie q

(x) = a

(x − x

). W ostatniej równości wykorzystaliśmy fakt,

że a(x) ≡ (

j=0

(x))

−1

, co wynika z (6.4) po podstawieniu f ≡ 1.

Baza potęgowa (naturalna)

Znacznie prościej można obliczyć wartość wielomianu interpolacyj-

nego, (a także jego pochodnych), gdy jest on dany w najczęściej uży-
wanej bazie potęgowej, ϕ

(x) = x

, ∀j. Jeśli bowiem

(x) = a

+ a

+ · · · + a

to również

(x) = (· · · (a

+ a

n−1

)x + a

n−2

)x + · · · + a

)x + a

co sugeruje zastosowanie następującego schematu Hornera do obliczenia
w

(x):

:= a

;

for j := n

− 1 downto 0 do

:= v

j+1

∗ x + a

Po wykonaniu tego algorytmu w

(x) = v

. Schemat Hornera wymaga

wykonania tylko n mnożeń i n dodawań. Ma on również głębszy sens,
zob. Ćw. 6.2.

Zauważmy jednak, że w przypadku bazy potęgowej macierz (x

j
i

)

i,j=0

układu (6.1) jest pełna. Jest to tzw. macierz Vandermonde’a. Obli-
czenie współczynników wielomianu interpolacyjnego w bazie potęgowej
bezpośrednio z tego układu, stosując jedną ze znanych nam już metod,
kosztowałoby rzędu n

operacji arytmetycznych.

Baza Newtona

Rozwiązaniem pośrednim, które łączy prostotę obliczenia współ-

czynników z prostotą obliczenia wartości w

(x) jest wybór bazy New-

tona,

(x) = 1,

(x) = (x − x

)(x − x

) · · · (x − x

j−1

1 ≤ j ≤ n.

6.3. ALGORYTM RÓŻNIC DZIELONYCH

W tym przypadku współczynniki rozwinięcia wielomianu interpolacyj-
nego będziemy oznaczać przez b

j=0

Zwróćmy od razu uwagę na ważną własność bazy Newtona. Jeśli w

f,j

∈

jest wielomianem interpolacyjnym dla funkcji f opartym na węzłach

, x

, . . . , x

, 0 ≤ j ≤ n, to w

f,0

= b

oraz

f,j

= w

f,j−1

+ b

1 ≤ j ≤ n.

(6.5)

Wartość w

(x) można obliczyć stosując prostą modyﬁkację algo-

rytmu Hornera:

:= b

;

for j := n

− 1 downto 0 do

:= v

j+1

∗ (x − x

) + b

Ponadto układ równań (6.1) jest trójkątny dolny (tzn. p

) = 0 dla

i < j

), co pozwala na obliczenie b

algorytmem z Rozdziału 3.1 o koszcie

:= f(x

);

for j := 1 to n do

) −

j−1
s=0

)

Zwykle jednak do obliczania współczynników b

stosuje się nieco

inny algorytm, który teraz predstawimy.

6.3 Algorytm różnic dzielonych

Różnicę dzieloną funkcji f opartą na różnych węzłach t

, t

, . . . , t

, gdzie

≥ 1, deﬁniuje się indukcyjnie jako

, t

, . . . , t

) =

, t

, . . . , t

) − f(t

, t

, . . . , t

s−1

)

− t

(6.6)

Zachodzi następujące ważne twierdzenie.

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

Twierdzenie 6.1 Współczynniki b

wielomianu interpolacyjnego New-

tona dla danej funkcji f dane są przez różnice dzielone f w węzłach
x

, x

, . . . , x

, tzn.

= f(x

, x

, . . . , x

0 ≤ j ≤ n.

Dowód Dla 0

≤ i ≤ j ≤ n, oznaczmy przez w

i,j

wielomian z Π

j−i

in-

terpolujący f w węzłach x

, x

i+1

, . . . , x

. Wtedy ma miejsce następująca

równość (i < j):

i,j

(x) =

(x − x

i+1,j

(x) − (x − x

i,j−1

(x)

− x

∀x.

(6.7)

Aby ją pokazać wystarczy, że prawa strona tej równości, którą ozna-
czymy przez v(x), przyjmuje wartości f(x

) dla x = x

, i ≤ s ≤ j.

Rzeczywiście, jeśli i + 1 ≤ s ≤ j − 1 to

) =

− x

)f(x

) − (x

− x

)f(x

)

− x

= f(x

Ponadto

) = −

− x

)

− x

) = f(x

oraz podobnie v(x

) = f(x

). Stąd v jest wielominem z Π

j−i

interpolu-

jącym f w węzłach x

, i ≤ s ≤ j, czyli w

i,j

= v.

Dalej postępujemy indukcyjnie ze względu na stopień n wielomianu

interpolacyjnego. Dla n = 0 mamy oczywiście b

= f(x

). Niech n ≥ 1.

Ponieważ, jak łatwo zauważyć,

0,n

(x) = w

0,n−1

(x) + b

(x),

z założenia indukcyjnego mamy b

= f(x

, . . . , x

) dla 0 ≤ j ≤ n − 1.

Aby pokazać podobną równość dla b

, wykorzystamy równość (6.7) z

= 0 i j = n, która ma wtedy postać

0,n

(x) =

(x − x

1,n

(x) − (x − x

0,n−1

(x)

− x

Zauważmy teraz, że b

jest współczynnikiem przy x

w wielomianie

0,n

. Z założenia indukcyjnego wynika, że współczynniki przy x

n−1

6.4. PRZYPADEK WĘZŁÓW WIELOKROTNYCH

wielomianach w

1,n

i w

0,n−1

są ilorazami różnicowymi opartymi odpo-

wiednio na węzłach x

, . . . , x

i x

, . . . , x

n−1

. Stąd

, . . . , x

) − f(x

, . . . , x

n−1

)

− x

= f(x

, x

, . . . , x

co kończy dowód.

Różnicę dzieloną f(x

, x

, . . . , x

) można łatwo obliczyć na podsta-

wie wartości f(x

), 0 ≤ j ≤ n, budując następującą tabelkę:

)

) f(x

, x

)

) f(x

, x

)

, x

)

... ...

...

) f(x

n−1

, x

) f(x

n−2

, x

n−1

, x

) · · · f(x

, x

, . . . , x

Zauważmy przy tym, że “po drodze” obliczamy f(x

, x

i+1

, . . . , x

) dla

wszystkich 0 ≤ i < j ≤ n, a więc w szczególności również interesu-

jące nas różnice dzielone f(x

, x

, . . . , x

). Stąd i z Twierdzenia 6.1 na-

tychmiast wynika algorytm obliczania współczynników b

wielomianu

interpolacyjnego Newtona. Po wykonaniu następującego programu,

for j := 0 to n do b[j] := f (x[j]);
for j := 1 to n do
for k := n downto j

[k] := (b[k] − b[k − 1])/(x[k] − x[k − j]),

współczynniki b

zostaną umieszczone w tablicy b[j].

6.4 Przypadek węzłów wielokrotnych

Uogólnieniem rozpatrzonego zadania interpolacji jest zadanie interpo-
lacji Hermite’a. Zakładamy, że oprócz (różnych) węzłów x

dane są

również ich krotności n

, 0 ≤ j ≤ k, przy czym

j=0

= n + 1. Należy

skonstruować wielomian w

∈ Π

taki, że

(i)

) = f

(i)

)

dla

0 ≤ i ≤ n

− 1, 0 ≤ j ≤ k.

Oczywiście zakładamy przy tym, że odpowiednie pochodne funkcji f
istnieją.

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

Lemat 6.2 Zadanie interpolacji Hermite’a ma jednoznaczne rozwiąza-
nie.

Dowód Istnienie i jednoznaczność rozwiązania można uzasadnić tak
samo jak w przypadku węzłów jednokrotnych. Przedstawiając wielo-
mian w dowolnej bazie otrzymujemy układ n + 1 równań z n + 1 nie-
wiadomymi, który dla zerowej prawej strony ma jedynie rozwiązanie
zerowe. Inaczej bowiem istniałby wielomian niezerowy stopnia nie więk-
szego niż n, który miałby zera o łącznej krotności większej niż n.

Nas oczywiście interesuje konstrukcja wielomianu w

. W tym celu

ustawimy węzły x

w ciąg

(¯x

¯x

, . . . ,

¯x

) = (x

, . . . , x

}

, x

, . . . , x

}

, . . . , x

}

)

i zdeﬁniujemy uogólnioną bazę Newtona w Π

jako

(x) = 1,

(x) = (x − ¯x

)(x − ¯x

) · · · (x − ¯x

j−1

1 ≤ j ≤ n.

Uogólnimy również pojęcie różnicy dzielonej na węzły powtarzające

się kładąc

(¯x

¯x

i+1

, . . . ,

¯x

) =

(j−i)

(¯x

)

(j − i)!

dla ¯x

= ¯x

i+1

= · · · = ¯x

, oraz

(¯x

¯x

i+1

, . . . ,

¯x

) =

(¯x

i+1

, . . . ,

¯x

) − f(¯x

, . . . , x

j−1

)

¯x

− ¯x

dla ¯x

6= ¯x

. Zauważmy, że przy tej deﬁnicji różnice f(¯x

, . . . ,

¯x

) mo-

żemy łatwo obliczyć stosując schemat podobny do tego z przypadku
węzłów jednokrotnych.

Twierdzenie 6.2 Współczynniki b

wielomianu interpolacyjnego Her-

mite’a w bazie Newtona,

(·) =

j=0

(·),

dane są przez odpowiednie różnice dzielone, tzn.

= f(¯x

¯x

, . . . ,

¯x

0 ≤ j ≤ n.

6.4. PRZYPADEK WĘZŁÓW WIELOKROTNYCH

Dowód Dowód przeprowadzimy podobnie jak dla węzłów jednokrot-
nych. Niech w

i,j

∈ Π

j−i

oznacza wielomian interpolacyjny Hermite’a

oparty na (być może powtarzających się) węzłach ¯x

¯x

i+1

, . . . ,

¯x

. To

znaczy, w

i,j

interpoluje f w węzłach x

takich, że x

występuje w ciągu

¯x

, . . .

¯x

, a jego krotność jest liczbą powtórzeń x

w tym ciągu.

Zauważmy najpierw, że dla ¯x

6= ¯x

zachodzi znany nam już wzór

(6.7),

i,j

(x) =

(x − ¯x

i+1,j

(x) − (x − ¯x

i,j−1

(x)

¯x

− ¯x

(6.8)

Rzeczywiście, oznaczmy przez v(x) prawą stronę powyższej równości.
Dla k mniejszego od krotności danego węzła x

w ciągu ¯x

, . . .

¯x

, mamy

(k−1)

i+1,j

) = w

(k−1)

i,j−1

), a ponieważ

(k)

(x) =

(k−1)

i+1,j

(x) − w

(k−1)

i,j−1

(x))

¯x

− ¯x

(x − ¯x

(k)

i+1,j

(x) − (x − ¯x

(k)

i,j−1

(x)

¯x

− ¯x

(k)

) =

− ¯x

(k)

i+1,j

) − (x

− ¯x

(k)

i,j−1

)

¯x

− ¯x

Korzystając z tego wzoru sprawdzamy, że v spełnia odpowiednie wa-
runki interpolacyjne, a stąd w

i,j

= v.

Dalej postępujemy indukcyjnie ze względu na n. Dla n = 0 mamy

= f(x

). Dla n ≥ 1 wystarczy pokazać, że b

= f(¯x

¯x

, . . . ,

¯x

). W

tym celu rozpatrzymy dwa przypadki.

Jeśli ¯x

= ¯x

to mamy jeden węzeł x

o krotności n + 1. Wielomian

interpolacyjny jest wtedy postaci

(x) =

j=0

(j)

)

(x − x

)

a stąd b

= f

(n)

)/(n!) = f(x

, . . . , x

}

n+1

). Jeśli zaś ¯x

6= ¯x

to równość

= f(¯x

¯x

, . . . ,

¯x

) wynika z (6.8) po podstawieniu i = 0 i j = n,

oraz z założenia indukcyjnego.

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

Uwagi i uzupełnienia

U. 6.1 Algorytm Hornera okazuje się optymalny. Każdy inny algorytm ob-
liczający dokładną wartość wielomianu znając jego współczynniki wymaga
wykonania co najmniej n mnożeń i n dodawań. Algorytm Hornera jest też
numerycznie poprawny, zob. Ćw. 6.1.

U. 6.2 Mając obliczone współczynniki b

wielomianu interpolacyjnego w

postaci Newtona, można łatwo przejść do jego współczynników a

w bazie

potęgowej. Algorytm wynika bowiem z następującego wzoru rekurencyjnego.

Dla i = n, n − 1, . . . , 0, niech a

(i)
j

, i ≤ j ≤ n, będą odpowiednimi współ-

czynnikami w rozwinięciu

i+1

(x−x

)+· · ·+b

(x−x

) · · · (x−x

n−1

) = a

(i)
i

(i)
i+1

· · ·+a

(i)

n−i

Wtedy a

(i)

= b

oraz

(i)
j

= a

(i+1)
j

− x

∗ a

(i+1)
j+1

≤ j ≤ n − 1.

Uwzględniając fakt, że poszukiwanymi współczynnikami są a

= a

(0)
j

, 0 ≤

≤ n, algorytm może być zrealizowany następująco:

for j := 0 to n do a[j] := b[j];
for i := n − 1 downto 0 do

for j := i to n − 1 do

a[j] := a[j]

− x[i] ∗ a[j + 1].

U. 6.3 Okazuje się, że przy realizacji w ﬂ

algorytmu różnic dzielonych

istotną rolę odgrywa porządek węzłów. Można pokazać, że algorytm liczenia
f (t

, . . . , t

) jest numerycznie poprawny ze względu na dane interpolacyjne

(i)

), o ile węzły są uporządkowane nierosnąco lub niemalejąco, zob. Ćw.

6.5.

U. 6.4 Zauważmy, ze pojęcie różnicy dzielonej formalnie zdeﬁniowaliśmy je-
dynie dla ciągu węzłów postaci x

, . . . , x

, x

, . . . , x

, gdzie x

są parami różne. Tą deﬁnicję można rozszerzyć do dowolnego ciągu węzłów.
Można bowiem powiedzieć, że f(t

, t

, . . . , t

) jest współczynnikiem przy x

wielomianu w

,...,t

∈ Π

interpolującego f w węzłach t

(uwzględniając

krotności). Równoważnie,

f (t

, t

, . . . , t

) =

(n)

,...,t

6.4. PRZYPADEK WĘZŁÓW WIELOKROTNYCH

Ćwiczenia

Ćw. 6.1 Pokazać numeryczną poprawność algorytmu Hornera obliczania
wartości wielomianu ze względu na dane współczynniki a

tego wielomianu.

Ćw. 6.2 Pokazać, że algorytm Hornera obliczania wartości w(ξ) wielomianu
danego w postaci potęgowej jest jednocześnie algorytmem dzielenia tego wie-
lomianu przez jednomian (x − ξ). Dokładniej, jeśli w(x) =

j=0

w(x) =

j=1

j−1

∗ (x − ξ) + v

gdzie v

są zdeﬁniowane tak jak w algorytmie Hornera.

Ćw. 6.3 Zaproponować możliwie tani algorytm obliczający współczynniki
wielomianu w bazie Newtona, dysponując współczynnikami tego wielomianu
w bazie potęgowej.

Ćw. 6.4 Pokazać, że dla różnych węzłów t

, . . . , t

mamy

f (t

, t

, . . . , t

) =

j=0

f (t

)

− t

) · · · (t

− t

j−1

)(t

− t

j+1

) · · · (t

− t

)

Ćw. 6.5 Niech t

< t

< . . . < t

. Pokazać, że realizując w ﬂ

algo-

rytm różnic dzielonych, zamiast dokładnej wartości f(t

, t

, . . . , t

) otrzymu-

jemy ﬂ

f (t

, t

, . . . , t

)

, która jest dokładną różnicą dzieloną dla danych

f (t

)(1 + ε

), gdzie |ε

| ≤ Kν, 0 ≤ j ≤ n.

Wskazówka Rozpatrzyć najpierw proste przypadki n = 1, 2. Dla dowolnego
n skorzystać z Ćw. 6.4.

Ćw. 6.6 Uzasadnić, że iloraz różnicowy jest funkcją symetryczną, tzn. dla
dowolnej permutacji t

, . . . , t

węzłów t

, . . . , t

mamy

f (t

, . . . , t

) = f(t

, . . . , t

Ćw. 6.7 Niech w będzie wielomianem stopnia dokładnie n. Pokazać, że dla
ustalonych t

, t

, . . . , t

funkcja

,...,t

(t) = w(t, t

, t

, . . . , t

∈ R,

jest wielomianem stopnia dokładnie n − s dla s ≤ n, oraz jest zerem dla
s

≥ n + 1.

ROZDZIAŁ 6. INTERPOLACJA WIELOMIANOWA

Ćw. 6.8 Pokazać, że jeśli funkcja f : D → R jest n-krotnie różniczkowalna

na D w sposób ciągły, f ∈ C

(n)

(D), to

f (t

, t

, . . . , t

n−1

, t

) = lim

→t

f (t

, t

, . . . , t

n−1

, t

Ćw. 6.9 Stosując algorytm różnic dzielonym znależć wielomian w postaci
Hermite’a interpolujący funkcję f(x) = x

w trzech dwukrotnych węzłach

równych 0, 1 i 2.

Rozdział 7

Interpolacja a aproksymacja
funkcji

Gdy mamy do czynienia z funkcją, która jest “skomplikowana” to często
dobrze jest zastąpić ją funkcją “prostszą”. Mówimy wtedy o aproksyma-
cji (przybliżaniu) funkcji. Funkcję musimy również aproksymać wtedy,
gdy nie jesteśmy w stanie uzyskać pełnej o niej informacji. Na przykład,
gdy funkcja reprezentuje pewien proces ﬁzyczny to często zdarza się,
że dysponujemy jedynie ciągiem próbek, czyli wartościami tej funkcji
w pewnych punktach. Jasne jest, że chcielibyśmy przy tym, aby błąd
aproksymacji był możliwie mały.

Z tego punktu widzenia, intepolacja wielomianowa może być trak-

towana jako jeden ze sposobów aproksymacji funkcji, opartym na prób-
kowaniu. Naturalnym staje się więc pytanie o błąd takiej aproksymacji.

7.1 Błąd interpolacji wielomianowej

Niech x

, x

, . . . , x

będą (niekoniecznie różnymi) węzłami należącymi

do pewnego (być może nieskończonego) przedziału D ⊂ R. Dla da-

nej funkcji f : D → R, przez w

oznaczymy, tak jak w poprzednim

rozdziale, wielomian interpolacyjny stopnia co najwyżej n interpolu-
jący f w zadanych węzłach. W przypadku węzłów wielokrotnych jest
to oczywiście wielomian interpolacyjny Hermite’a.

78ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

Lemat 7.1 Dla dowolnego punktu ¯

∈ D błąd interpolacji w ¯x wyraża

się wzorem

(¯x) − w

(¯x) = (¯x − x

)(¯x − x

) · · · (¯x − x

)f(x

, x

, . . . , x

¯x). (7.1)

Jeśli ponadto f

∈ C

(n+1)

(D), czyli pochodna f

(n+1)

w D istnieje i jest

ciągła, to

(¯x) − w

(¯x) = (¯x − x

)(¯x − x

) · · · (¯x − x

)

(n+1)

(ξ)

(n + 1)!

gdzie ξ = ξ(¯

) jest pewnym punktem należącym do najmniejszego prze-

działu zawierającego punkty x

, x

, . . . , x

¯x.

Dowód Możemy założyć, że ¯

nie jest żadnym z węzłów x

, 0 ≤ j ≤

. Niech ¯

∈ Π

n+1

będzie wielomianem interpolacyjnym funkcji f

opartym na węzłach x

, . . . , x

i dodatkowo na węźle ¯x. Mamy wtedy

(x) = w

(x) + (x − x

)(x − x

) · · · (x − x

)f(x

, x

, . . . , x

¯x),

a ponieważ z warunku interpolacyjnego f(¯x) = ¯

(¯x), to mamy też

(7.1).

Aby pokazać drugą część lematu, rozpatrzmy funkcję ψ : D → R,

(x) = f(x) − ¯

(x)

= f(x) − w

(x) − (x − x

)(x − x

) · · · (x − x

)f(x

, . . . , x

¯x).

Z warunków interpolacyjnych na ¯

∈ Π

n+1

wynika, że funkcja ψ ma

punkty zerowe o łącznej krotności co najmniej n + 2. Wykorzystując
twierdzenie Rolle’a wnioskujemy stąd, że ψ

′

ma zera o łącznej krotności

co najmniej n + 1, ψ

′′

ma zera o łącznej krotności co najmniej n, itd. W

końcu funkcja ψ

(n+1)

zeruje się w co najmniej jednym punkcie ξ = ξ(¯x)

należącym do najmniejszego przedziału zawierającego x

, x

, . . . , x

¯x.

Wobec tego, że w

(n+1)

≡ 0, a (n + 1)-sza pochodna wielomianu (x −

) · · · (x − x

) wynosi (n + 1)!, mamy

0 = ψ

(n+1)

(ξ) = f

(n+1)

(ξ) − (n + 1)!f(x

, . . . , x

¯x).

Stąd

, x

, . . . , x

¯x) =

(n+1)

(ξ)

(n + 1)!

7.1. BŁĄD INTERPOLACJI WIELOMIANOWEJ

co kończy dowód.

Zwykle interesuje nas nie tyle błąd w ustalonym punkcie ¯x ∈ D, ale

na całym przedziale D. Zakładając teraz, że przedział D jest domknięty,
czyli

= [a, b]

dla pewnych −∞ < a < b < +∞, błąd ten będziemy mierzyć w normie
jednostajnej (Czebyszewa). Dla funkcji ciągłej g : [a, b]

→ R, norma ta

jest zdeﬁniowana jako

kgk

([a,b])

= max

x∈D

|g(x)|.

Niech F

([a, b]), gdzie r ≥ 0, będzie klasą funkcji

([a, b]) = { f ∈ C

(r+1)

([a, b]) : kf

(r+1)

([a,b])

≤ M },

gdzie 0 < M < ∞. Mamy następujące twiedzenie.

Twierdzenie 7.1 Załóżmy, że każdą funkcję f

∈ F

([a, b]) aproksy-

mujemy jej wielomianem interpolacyjnym w

∈ Π

opartym na r + 1

węzłach x

, . . . , x

∈ [a, b]. Wtedy maksymalny błąd takiej aproksymacji

wynosi

([a, b]); x

, x

, . . . , x

) =

max

f ∈F

([a,b])

kf − w

([a,b])

(r + 1)! ·

max

a≤x≤b

|(x − x

) · · · (x − x

)|.

Dowód Oszacowanie górne wynika bezpośrednio z Lematu 7.1, bo-
wiem dla f ∈ F

([a, b]) mamy

kf − w

([a,b])

= max

a≤x≤b

|f(x) − w

(x)|

= max

a≤x≤b

|(x − x

) · · · (x − x

(r+1)

(ξ(x))|

(r + 1)!

≤

(r + 1)!

max

x∈D

|(x − x

) · · · (x − x

)|.

80ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

Z drugiej strony zauważmy, że dla wielomianu v(x) = Mx

r+1

(r+1)!

mamy v ∈ F

([a, b]) oraz

kv − w

([a,b])

(r + 1)! ·

max

a≤x≤b

|(x − x

) · · · (x − x

)|,

co kończy dowód.

Zauważmy, że błąd aproksymacji e(F

([a, b]); x

, . . . , x

) w istotny

sposób zależy od wyboru węzłów x

. Naturalne jest więc teraz następu-

jące pytanie. W których punktach x

przedziału [a, b] należy obliczać

wartości funkcji, aby błąd był minimalny? Problem ten sprowadza się
oczywiście do minimalizacji wielkości max

a≤x≤b

|(x − x

) · · · (x − x

względem węzłów x

Twierdzenie 7.2 Błąd aproksymacji F

([a, b])(x

· · · , x

) jest mini-

malny gdy węzły

∗

− a

2 ·

cos

2j + 1
2r + 2

+ b

0 ≤ j ≤ r.

Ponadto, dla węzłów optymalnych x

∗

mamy

([a, b]); x

∗

, . . . , x

∗

) =

(r + 1)!

− a

r+1

Dowód tego twierdzenia opiera się na własnościach pewnego waż-

nego ciągu wielomianów, który teraz przedstawimy.

7.2 Wielomiany Czebyszewa

Ciąg {T

}

k≥0

wielomianów Czebyszewa (pierwszego rodzaju) zdeﬁnio-

wany jest indukcyjnie jako

(x) = 1,

(x) = x,

k+1

(x) = 2xT

(x) − T

k−1

(x),

dla

≥ 1.

7.2. WIELOMIANY CZEBYSZEWA

Zauważmy, że T

jest wielomianem stopnia dokładnie k o współ-

czynniku przy x

równym 2

k−1

(k ≥ 1). Ponadto wielomian T

można

dla |x| ≤ 1 przedstawić w postaci

(x) = cos(k arccos x).

(7.2)

Rzeczywiście, łatwo sprawdzić, że jest to prawdą dla k = 0, 1. Stosując
podstawienie cos t = x, 0 ≤ t ≤ π, oraz wzór na sumę cosinusów

otrzymujemy dla k ≥ 1

cos((k + 1)t) = 2 · cos t cos(kt) − cos((k − 1)t),

co jest równoważne formule rekurencyjnej dla T

k+1

Ze wzoru (7.2) wynikają również inne ważne własności wielomianów

Czebyszewa. Norma wielomianu Czebyszewa na [−1, 1] wynosi

([−1,1])

= max

−1≤x≤1

(x)| = 1

i jest osiągana w k + 1 punktach tego przedziału równych

= cos

0 ≤ j ≤ k,

(7.3)

przy czym T

) = (−1)

W końcu, k-ty wielomian Czebyszewa T

ma dokładnie k pojedyn-

czych zer w [−1, 1] równych

= cos

2j + 1

0 ≤ j ≤ k − 1.

Konsekwencją wymienionych własności jest następujący lemat, któ-

ry jest kluczem do dowodu Twierdzenia 7.2.

Przez Π

oznaczymy klasę wielomianów stopnia k o współczynniku

wiodącym równym 1, tzn.

= { w ∈ Π

: w(x) = x

+ · · · }.

Lemat 7.2 Niech k

≥ 1. W klasie Π

minimalną normę jednostajną

na przedziale [

−1, 1] ma wielomian w

∗

= 2

1−k

, tzn.

min

w∈Π

kwk

([−1,1])

= kw

∗

([−1,1])

k−1

82ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

Dowód Zauważmy najpierw, że w

∗

∈ Π

oraz kw

∗

([−1,1])

= 2

1−k

Wystarczy więc pokazać, że norma każdego wielomianu z Π

jest nie

mniejsza niż 2

1−k

Załóżmy, że jest przeciwnie, tzn. istnieje wielomian w ∈ Π

taki, że

kwk

([−1,1])

k−1

= kw

∗

([−1,1])

Rozpatrzmy funkcję ψ = w

∗

− w. Ponieważ dla punktów “maksy-

malnych” zdeﬁniowanych w (7.3) mamy w

∗

k−j

) = (−1)

1−k

oraz

|w(y

k−j

)| < 2

1−k

, to

k−j

)

(

-parzyste,

-nieparzyste.

0 ≤ j ≤ k. Stąd ψ ma co najmniej jedno zero w każdym z przedziałów

, y

i+1

) dla 0 ≤ i ≤ k − 1, czyli w sumie k zer. Z drugiej strony, ψ jest

wielomianem stopnia co najwyżej k − 1 (bo współczynniki przy x

wielomianach w

∗

i w redukują się), a więc ψ = 0 i w

∗

= w.

Dowód Twierdzenia 7.2 wynika teraz bezpośrednio z Lematu 7.2. Za-
uważmy bowiem, że wielomian (x − x

)(x − x

) · · · (x − x

) jest w klasie

r+1

. Stąd dla [a, b] = [−1, 1] optymalnymi węzłami są zera z

wielo-

mianu Czebyszewa, przy których

(x − z

)(x − z

) · · · (x − z

) =

r+1

(x)

Jeśli przedział [a, b] jest inny niż [−1, 1], należy dokonać liniowej za-

miany zmiennych tak, aby przeszedł on na [−1, 1]. Bezpośrednie spraw-

dzenie pokazuje, że w klasie Π

r+1

minimalną normę Czebyszewa na

przedziale [a, b] ma wielomian

∗

a,b

(x) =

− a

r+1

∗

2x − (a + b)

− a

Stąd

∗

a,b

([a,b])

− a

r+1

= 2

− a

r+1

i węzły x

∗

są optymalne.

7.3. INTERPOLACJA KAWAŁKAMI WIELOMIANOWA

7.3 Interpolacja kawałkami wielomiano-

W praktyce interesuje nas konstrukcja nie jednej, a raczej ciągu aprok-
symacji, które przybliżałyby daną funkcję f z coraz większą dokładno-
ścią. Cel ten można spróbować osiągnąc przez wzięcie jako n-tej aprok-
symacji wielomianu interpolacyjnego w

f,n

∈ Π

opartego na pewnych

węzłach x

, 0 ≤ j ≤ n. Rzeczywiście, jeśli f jest na [a, b] nieskończenie

wiele razy różniczkowalna to n-ty błąd dla dowolnego układu węzłów
jest ograniczony przez

kf − w

f,n

([a,b])

≤

(n+1)

([a,b])

(n + 1)!

(b − a)

n+1

(7.4)

a więc szybko dąży zera wraz z n → ∞, gdy np. wszystkie pochodne

funkcji f są wspólnie ograniczone przez pewną stałą. Tak jest np. dla
f

(x) = e

. Jeszcze lepsze oszacowanie dostaniemy, gdy wybierzemy

węzły Czebyszewa.

Podejście to ma jednak pewne wady. Zwiększając stopień wielo-

mianu interpolacyjnego sprawiamy, że aproksymacja, a także obliczenie
współczynników wielomianu interpolacyjnego, stają się coraz bardziej
skomplikowane, a tego chcielibyśmy uniknąć. Poza tym, założenie o
istnieniu i wspólnej ograniczoności wszystkich pochodnych funkcji nie
zawsze jest spełnione (np. w rozpatrywanej już klasie F

([a, b])), co po-

woduje, że oszacowanie (7.4) nie zawsze jest prawdziwe, a nawet błąd
kf − w

f,n

([a,b])

może nie maleć do zera, zob. U. 7.1.

Podamy teraz inny sposób konstrukcji ciągu aproksymacji, który

zapewnia zbieżność w klasie F

([a, b]), ale nie wymaga nadmiernego

zwiększania stopnia wielomianu interpolacyjnego.

Postąpimy zgodnie ze znaną zasadą “dziel i rządź”. Podzielimy

przedział [a, b] na k równych podprzedziałów [t

i−1

, t

], 1 ≤ i ≤ k, i

zastosujemy na każdym z nich interpolację wielomianową stopnia r.
Dokładniej, dla każdego i wybieramy (być może wielokrotne) węzły
x

i,j

∈ [t

i−1

], 0 ≤ j ≤ r, po czym aproksymujemy f na [t

i−1

, t

] jej

wielomianem interpolacyjnym opartym na tych węzłach. Tak skonstru-
owaną kawałkami wielomianową aproksymację funkcji f : [a, b] → R

84ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

oznaczymy przez ¯

. Zauważmy, że ¯

wykorzystuje na całym [a, b]

węzły o łącznej krotności n spełniającej nierówność

≤ k(r + 1).

(7.5)

Twierdzenie 7.3 Błąd aproksymacji kawałkami wielomianowej w kla-
sie funkcji F

([a, b]) jest ograniczony przez

max

f ∈F

([a,b])

kf − ¯

([a,b])

≤

(r + 1)!

− a

r+1

≤ C ·

r+1

gdzie

(b − a)

r+1

(r + 1)

r+1

(r + 1)!

Jeśli ponadto węzły x

i,j

, 0

≤ j ≤ r, są na każdym przedziale [t

i−1

, t

]

węzłami Czebyszewa, to dla odpowiedniej aproksymacji ¯

∗

mamy

max

f ∈F

([a,b])

kf − ¯

∗

([a,b])

(r + 1)!

− a

r+1

= C

∗

r+1

gdzie

∗

1
2

2r+1

2M(b − a)

r+1

(r + 1)

r+1

(r + 1)!

Dowód Niech f

∈ F

([a, b]) i x ∈ [t

i−1

, t

]. Z Lematu 7.1 wynika, że

|f(x) − ¯

(x)| =

(r+1)

(ξ(x))|

(r + 1)!

|(x − x

i,0

)(x − x

i,1

) · · · (x − x

i,r

)|,

a ponieważ |x − x

i,j

| ≤ t

− t

i−1

= (b − a)/k, to

|f(x) − ¯

(x)| ≤

(r + 1)!

− a

r+1

Ta nierówność wraz z (7.5) dowodzi pierwszą część twierdzenia.

Dla dowodu drugiej części wystarczy wykorzystać Twierdzenie 7.2,

aby zauważyć, że

kf − ¯

∗

([a,b])

= max

a≤x≤b

|f(x) − ¯

∗

(x)| ≤

(r + 1)!

− a

r+1

7.3. INTERPOLACJA KAWAŁKAMI WIELOMIANOWA

oraz, że dla f(x) = Mx

r+1

(r + 1)! mamy powyżej równość.

Otrzymaliśmy, że interplacja kawałkami wielomianami stopnia r ko-

rzystająca z n wartości funkcji daje w klasie funkcji F

([a, b]) błąd

rzędu n

−(r+1)

. Błąd ten zbiega więc do zera, gdy liczba n wartości funk-

cji rośnie do nieskończoności, przy czym charakter zbieżności (tzn. przy
zaniedbaniu stałej przy n

−(r+1)

) nie zależy ani od długości przedziału

[a, b], ani od doboru “wewnętrznyh” węzłów x

i,j

, 0 ≤ j ≤ r.

Można pokazać, że powyższa aproksymacja jest w klasie F

([a, b])

optymalna, tzn. błąd dowolnej innej metody aproksymacji korzystającej
z wartości funkcji w n punktach dąży do zera nie szybciej niż n

−(r+1)

;

zob. U.7.2.

Uwagi i uzupełnienia

U. 7.1 Niech f(x) = (1 + x

)

−1

. Okazuje się, że jeśli w

f,n

jest wielomia-

nem interpolacyjnym dla f opartym na węzłach równoodległych przedziału
[−5, 5], tzn. x

= −5 + 10j/n, 0 ≤ j ≤ n, to ciąg w

f,n

(x) jest zbieżny do

f (x) dla

|x| < 3.63... i rozbieżny dla |x| > 3.63.... To znaczy, błąd interpo-

lacji funkcji f na całym przedziale [−5, 5] nie maleje do zera, gdy stopień

wielomianu interpolacyjnego rośnie do ∞.

U. 7.2 Pokażemy teraz, że aproksymacja funkcjami kawałkami wielomia-
nowymi jest optymalna w F

([a, b]) ze względu na rząd zbieżności błędu.

Dokładniej pokażemy, że dla dowolnej aproksymacji A(f) funkcji f wykorzy-
stującej wartości f lub jej pochodnych w co najwyżej n różnych punktach,
tzn. dla A postaci

A(f ) = φ(f (x

), . . . , f

(r+1)

), . . . , f(x

), . . . , f

(r+1)

))

mamy

sup

f ∈F

([a,b])

kf − A(f)k

([a,b])

≥ C

M n

−(r+1)

(7.6)

gdzie C

> 0 jest pewną stałą niezależną od A, M i n.

W tym celu wybierzmy dowolną niezerową funkcję ψ : R → R spełnia-

jącą warunki:

1. ψ ∈ F

(R),

86ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

2. ψ(x) = 0 dla x 6∈ [0, 1].

Niech s będzie takim indeksem, że h

= x

s+1

− x

≥ (b − a)/(n + 1). Wtedy

dla funkcji ψ

, i = 1, 2, zdeﬁniowanych jako

(x) = −ψ

(x) = Mh

r+1

− x

mamy ψ

∈ F

([a, b]) oraz informacja o ψ

jest zerowa, ψ

(p)

) = 0 dla

0 ≤ p ≤ r + 1, 1 ≤ j ≤ n. Stąd φ

= φ(0, . . . , 0

}

n(r+2)

) jest aproksymacją dla obu

funkcji ψ

i z nierówności trójkąta dla norm dostajemy

max{kψ

− φ

([a,b])

kψ

− φ

([a,b])

}

≥ kψ

− ψ

([a,b])

/2 =

kψ

([a,b])

= Mh

r+1

kψk

([0,1])

≥ M

− a

n + 1

r+1

kψk

([0.1])

Nierówność (7.6) zachodzi więc z C

= (2(b − a))

r+1

kψk

([0.1])

. (Zob. też

Ćw. 8.3.)

U. 7.3 Załóżmy, że funkcje z klasy F

([a, b]) chcemy aproksymować z do-

kładnością ε > 0 w normie Czebyszewa używając możliwie mało obliczeń
wartości funkcji. Z Twierdzenia 7.3 i U. 7.2 wynika, że musimy wtedy obli-
czać co najmniej rzędu (1/ε)

r+1

wartości funkcji. Co więcej, aproksymacja

kawałkami wielomianowa daje błąd ε obliczając właśnie tyle wartości funkcji.
Mówimy, że złożoność informacyjna zadania jest rzędu (1/ε)

r+1

Ćwiczenia

Ćw. 7.1 Niech dane będą ε > 0 i funkcja f : [a, b] → R, która jest nieskoń-

czenie wiele razy różniczkowalna i wszystkie jej pochodne są na [a, b] ograni-
czone przez M. Napisać program znajdujący stopień n oraz współczynniki
w bazie Newtona wielomianu w

f,n

∈ Π

interpolacyjnego f z błędem

kf − w

f,n

([a,b])

≤ ε.

Rozpatrzyć dwa przypadki: gdy węzły interpolacji są równoodległe, oraz gdy
węzły są czebyszewowskie.

7.3. INTERPOLACJA KAWAŁKAMI WIELOMIANOWA

Ćw. 7.2 Pokazać, że dla k ≥ 1 mamy

(x) =

(x +

√

− 1)

+ (x −

√

− 1)

gdzie T

jest k-tym wielomianem Czebyszewa.

Ćw. 7.3 Pokazać, że wielomiany Czebyszewa tworzą układ ortogonalny w
przestrzeni L

(−1, 1), gdzie waga ρ(x) = (1 − x

)

−1/2

, tzn. iloczyn skalarny

, T

i =

−1

(x)T

(x)

√

1 − x

dx =










i = j = 0,

π/2

i = j

6= 0,

6= j.

Ćw. 7.4 Wielomiany Czebyszewa T

, 0 ≤ k ≤ n, tworzą bazę w przestrzeni

. Podać algorytm obliczający współczynniki danego wielomianu w bazie

Czebyszewa na podstawie jesgo współczynników w bazie potęgowej, albo w
bazie Newtona.

Ćw. 7.5 Podać algorytm typu algorytmu Hornera oblicząjący wartość wie-
lomianu w(x) danego przez jego współczynniki w bazie Czebyszewa {T

}

k≥0

Ćw. 7.6 Niech w będzie wielomianem, którego rozwinięciem w bazie Cze-
byszewa jest w(x) =

k=0

(x). Pokazać, że wielomian

(x) =

n−1

k=0

(x)

najlepiej przybliża w w normie Czebyszewa na przedziale [−1, 1] spośród

wszystkich wielomianów stopnia co najwyżej n − 1, oraz

kw − w

([−1,1])

= |a

Czy w

(x) =

n−2

k=0

(x) najlepiej przybliża w w tej samej normie w

klasie Π

n−2

Ćw. 7.7 Załóżmy, że wielomian w(x) =

k=0

(x) aproksymujemy wie-

lomianem w

(x) =

n−i

k=0

(x). Uzasadnić, że

kw − w

([−1,1])

≤

k=n−i+1

Kiedy w tej nierówności mamy równość?

88ROZDZIAŁ 7. INTERPOLACJA A APROKSYMACJA FUNKCJI

Ćw. 7.8 Niech dany będzie przedział skończony [a, b] nie zawierający zera,
oraz liczba c. Niech

= { w ∈ Π

: w(0) = c }.

Pokazać, że w klasie ˜

najmniejszą normę Czebyszewa na [a, b] ma wielo-

mian

w(x) = c

2x−(a+b)

b−a

a+b
a−b

i wynosi ona

kwk

([a,b])

a+b
a−b

Jakie jest rozwiązanie, gdy 0 ∈ [a, b]?

Rozdział 8

Interpolacja funkcjami
sklejanymi

Interpolacja kawałkami wielomianami interpolacyjnymi daje mały błąd
aproksymacji, ma jednak również pewne wady. Zauważmy, że w punk-
tach t

podziału przedziału [a, b] na podprzedziały funkcja aproksymu-

jąca ¯

nie jest w ogólności ciągła. W najlepszym wypadku, nawet gdy

węzły x

i,j

na przedziale [t

i−1

, t

] wybierzemy tak, że x

i,0

= t

i−1

i x

i,r

= t

∀i, to ¯

(x) co prawda będzie ciągła, ale nie będzie różniczkowalna w

. Ta własność jest niepożądana w przypadku gdy wiemy, że funk-

cja którą aproksymujemy jest “gładka”. Wtedy lepiej jest zastosować
innego rodzaju interpolację, np. posługując się funkcjami sklejanymi.

8.1 Co to są funkcje sklejane?

W ogólności przez funkcję sklejaną rozumie się każdą funkcję przedzia-
łami wielomianową. Nas będą jednak interesować szczególne funkcje
tego typu i dlatego termin funkcje sklejane zarezerwujemy dla funk-
cji przedziałami wielomianowych i posiadających dodatkowe własności,
które teraz określimy.

Niech dany będzie przedział skończony [a, b] i węzły

= x

< x

· · · < x

= b,

przy czym n ≥ 1.

ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

Deﬁnicja 8.1 Funkcję s : R

→ R nazywamy funkcją sklejaną rzędu

r (r

≥ 1) odpowiadającą węzłom x

, 0

≤ j ≤ n, jeśli spełnione są

następujące dwa warunki:

(i) s jest wielomianem stopnia co najwyżej 2r

− 1 na każdym z prze-

działów [x

j−1

, x

], tzn. s

|[x

j−1

]

∈ Π

2r−1

, 1

≤ j ≤ n,

(ii) s jest (2r

− 2)-krotnie różniczkowalna w sposób ciągły na całej

prostej, tzn. s

∈ C

(2r−2)

(R).

Jeśli ponadto

(iii) s jest wielomianem stopnia co najwyżej r

− 1 poza (a, b), tzn.

|(−∞,a]

, s

|[b,+∞)

∈ Π

r−1

to s jest naturalną funkcją sklejaną.

Klasę naturalnych funkcji sklejanych rzędu r opartych na węzłach x

będziemy oznaczać przez S

, . . . , x

), albo po prostu S

, jeśli węzły

są ustalone.

Na przykład, funkcją sklejaną rzędu pierwszego (r = 1) jest funkcja

ciągła i liniowa na poszczególnych przedziałach [x

j−1

, x

]. Jest ona na-

turalna, gdy poza (a, b) jest funkcją stała. Tego typu funkcje nazywamy
liniowymi funkcjami sklejanymi.

Najważniejszymi a praktycznego punktu widzenia są jednak funkcje

sklejane rzędu drugiego odpowiadające r = 2. Są to funkcje, które są
na R dwa razy różniczkowalne w sposób ciągły, a na każdym z pod-
przedziałów są wielomianami stopnia co najwyżej trzeciego. W tym
przypadku mówimy o kubicznych funkcjach sklejanych. Funkcja skle-
jana kubiczna jest naturalna, gdy poza (a, b) jest wielomianem linio-
wym.

8.2 Interpolacja i gładkość

Pokażemy najpierw ważny lemat, który okaże się kluczem do dowodu
dalszych twierdzeń.

8.2. INTERPOLACJA I GŁADKOŚĆ

Niech W

(a, b) będzie klasą funkcji f : [a, b] → R takich, że f jest

(r−1) razy różniczkowalna na [a, b] w sposób ciągły oraz f

(r)

(x) istnieje

prawie wszędzie na [a, b] i jest całkowalna z kwadratem, tzn.

(a, b) = { f ∈ C

(r−1)

([a, b]) : f

(r)

(x) istnieje p.w. na [a, b]

oraz f

(r)

∈ L

(a, b) }.

Oczywiście każda funkcja sklejana rzędu r (niekoniecznie naturalna)
należy do W

(a, b).

Lemat 8.1 Niech f

∈ W

(a, b) będzie funkcją zerującą się w węzłach,

tzn.

) = 0,

0 ≤ j ≤ n.

Wtedy dla dowolnej naturalnej funkcji sklejanej s

∈ S

mamy

(r)

(x)s

(r)

(x) dx = 0.

Dowód Dla r = 1 funkcja s

′

jest przedziałami stała. Oznaczając przez

jej wartość na [x

j−1

, x

] dostajemy

′

(x)s

′

(x) dx =

j=1

j−1

′

(x)a

j=1

(f(x

) − f(x

j−1

)) = 0,

ponieważ f zeruje się w t

Rozpatrzmy teraz przypadek r ≥ 2. Ponieważ

(r−1)

(r)

)

′

= f

(r)

+ f

(r−1)

(r+1)

(r)

(x)s

(r)

(x) dx = f

(r−1)

(x)s

(r)

(x)

−

(r−1)

(x)s

(r+1)

(x) dx.

Wobec tego, że s jest poza przedziałem (a, b) wielomianem stopnia co
najwyżej r − 1 oraz s

(r)

jest ciągła na R, mamy s

(r)

(a) = 0 = s

(r)

(b), a

stąd

(r−1)

(x)s

(r)

(x)

= 0.

ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

Postępując podobnie, tzn. całkując przez części r −1 razy otrzymujemy

w końcu

(r)

(x)s

(r)

(x) dx = (−1)

r−1

′

(x)s

(2r−1)

(x) dx.

Funkcja s

(2r−1)

jest przedziałami stała, a więc możemy teraz zastosować

ten sam argument jak dla r = 1, aby pokazać, że ostatnia całka jest
równa zeru.

Funkcje sklejane chcielibyśmy zastosować do interpolacji funkcji.

Ważne jest więc, aby odpowiednie zadanie interpolacyjne miało jed-
noznaczne rozwiązanie.

Twierdzenie 8.1 Jeśli n+1

≥ r, to dla dowolnej funkcji f : [a, b] → R

istnieje dokładnie jedna naturalna funkcja sklejana s

∈ S

interpolu-

jąca f w węzłach x

, tzn. taka, że

) = f(x

0 ≤ j ≤ n.

Dowód Pokażemy najpierw, że jedyną naturalną funkcją sklejaną in-
terpolującą dane zerowe jest funkcja zerowa. Rzeczywiście, jeśli s(x

) =

0 dla 0 ≤ j ≤ n, to podstawiając w Lemacie 8.1 f = s otrzymujemy

(r)

(x)

= 0.

Stąd s

(r)

jest funkcją zerową, a więc s jest wielomianem stopnia co

najwyżej r − 1 zerującym się w co najmniej n + 1 punktach x

. Wobec

tego, że n + 1 > r − 1, otrzymujemy s ≡ 0.

Zauważmy teraz, że problem znalezienia naturalnej funkcji skleja-

nej s interpolującej f można sprowadzić do rozwiązania kwadratowego
układu równań liniowych. Na każdym przedziale [x

i−1

, x

], 1 ≤ i ≤ n,

jest ona postaci

(x) = w

(x) =

2r−1

j=0

i,j

dla pewnych współczynników a

i,j

∈ R, a na (−∞, a] i [b, ∞) mamy

odpowiednio

(x) = w

(x) =

r−1

j=0

0,j

8.2. INTERPOLACJA I GŁADKOŚĆ

(x) = w

n+1

(x) =

r−1

j=0

n+1,j

Aby wyznaczyć s, musimy więc znaleźć ogółem 2r(n + 1) współczynni-
ków a

i,j

, przy czym są one związane (2r − 1)(n + 1) warunkami jedno-

rodnymi wynikającymi z gładkości,

(k)

) = w

(k)

i+1

)

dla 0 ≤ i ≤ n i 0 ≤ k ≤ 2r − 2, oraz n + 1 niejednorodnymi warunkami

interpolacyjnymi,

) = f(x

)

dla 0 ≤ i ≤ n. Otrzymujemy więc układ 2r(n + 1) równań liniowych ze

względu na 2r(n + 1) niewiadomych a

i,j

Naturalna funkcja sklejana interpolująca f jest wyznaczona jedno-

znacznie wtedy i tylko wtedy, gdy układ ten ma jednoznaczne roz-
wiązanie. To zaś zachodzi, gdy zero jest jedynym rozwiązaniem układu
jednorodnego. Rzeczywiście, układ jednorodny odpowiada zerowym wa-
runkom interpolacyjnym, przy których, jak pokazaliśmy wcześniej, ze-
rowa funkcja sklejana (której odpowiada a

i,j

= 0, ∀i, j) jest jedynym

rozwiązaniem zadania interpolacyjnego.

Naturalne funkcje sklejane możemy więc używać do interpolacji

funkcji. Pokażemy teraz inną ich własność, która jest powodem dużego
praktycznego zainteresowania funkcjami sklejanymi.

Twierdzenie 8.2 Niech f

∈ W

(a, b) i niech s

∈ S

będzie naturalną

funkcją sklejaną rzędu r interpolującą f w węzłach x

, 0

≤ j ≤ n.

Wtedy

(r)

(x)

≥

(r)
f

(x)

dx.

(8.1)

Dowód Jeśli przedstawimy f w postaci f = s

+ (f − s

), to

(r)

(x)

(r)
f

(x)

(f − s

)

(r)

(x)

(r)
f

(x)(f − s

)

(r)

(x) dx.

ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

Funkcja f −s

jest w klasie W

(a, b) i zeruje się w węzłach x

, 0 ≤ j ≤ n.

Z Lematu 8.1 wynika więc, że

(r)
f

(x)(f −s

)

(r)

(x)dx = 0, a stąd (8.1).

Wartość całki

(r)

(x))

może być w ogólności uważana za miarę

gładkości funkcji. Nierówność (8.1) możemy więc zinterpretować w na-
stępujący sposób. Naturalna funkcja sklejana jest w klasie W

(a, b) naj-

gładszą funkcją spełniającą dane warunki interpolacyjne w wybranych
węzłach x

Konsekwencją Lematu 8.1 są również inne aproksymacyjne własno-

ści naturalnych funkcji sklejanych, zob. U. 8.2.

Jak już wspomnieliśmy, najczęściej używanymi są kubiczne funkcje

sklejane. Dlatego rozpatrzymy je oddzielnie.

8.3 Kubiczne funkcje sklejane

Jeśli zdecydowaliśmy się na użycie kubicznych funkcji sklejanych to
powstaje problem wyznaczenia s

∈ S

interpolującej daną funkcję f,

tzn. takiej, że s

) = f(x

) dla 0 ≤ i ≤ n. W tym celu, na każdym

przedziale [x

, x

i+1

] przedstawimy s

w postaci jej rozwinięcia w szereg

Taylora w punkcie x

(x) = w

(x) = a

+ b

(x − x

) + c

(x − x

)

+ d

(x − x

)

i podamy algorytm obliczania a

, b

, c

, d

dla 0 ≤ i ≤ n − 1.

Warunki brzegowe i warunki ciągłości dla s

′′

dają nam w

′′

) =

0 = w

′′

n−1

) oraz w

′′

i+1

) = w

′′

i+1

), czyli

= 0,

+ d

= c

i+1

0 ≤ i ≤ n − 2,

n−1

+ d

n−1

= 0,

gdzie h

= x

i+1

− x

. Stąd, przyjmując dodatkowo c

= 0, otrzymujemy

i+1

− c

1 ≤ i ≤ n − 1.

(8.2)

8.3. KUBICZNE FUNKCJE SKLEJANE

Z warunków ciągłości dla s

′

dostajemy z kolei

+ c

+ d

2 = b

i+1

0 ≤ i ≤ n − 2,

i uwzględniając (8.2)

i+1

= b

+ h

i+1

+ c

)/2,

0 ≤ i ≤ n − 2.

(8.3)

Warunki ciągłości s

dają w końcu

+ b

+ c

2 + d

6 = a

i+1

0 ≤ i ≤ n − 2.

(8.4)

Równania (8.2),(8.3) i (8.4) deﬁniują nam na odcinku [a, b] naturalną
kubiczną funkcję sklejaną. Ponieważ poszukiwana funkcja sklejana s

ma interpolować f, mamy dotatkowych n + 1 warunków interpolacyj-
nych w

) = f(x

), 0 ≤ i ≤ n − 1, oraz w

n−1

) = f(x

), z których

= f(x

0 ≤ i ≤ n − 1.

(8.5)

Teraz możemy (8.4) przepisać jako

i+1

) = f(x

) + b

+ c

+ d

przy czym wzór ten zachodzi również dla i = n − 1. Po wyrugowaniu
b

i podstawieniu d

z (8.2), mamy

= f(x

, x

i+1

) + h

i+1

+ 2c

)/6,

0 ≤ i ≤ n − 1,

(8.6)

gdzie f(x

, x

i+1

) jest odpowiednią różnicą dzieloną. Możemy teraz po-

wyższe wyrażenie na b

podstawić w równaniach (8.3), aby otrzymać

6 + c

i+1

+ h

i+1

)/3 + c

i+1

6 = f(x

i+1

, x

i+2

) − f(x

, x

i+1

Wprowadzając oznaczenie

∗

= c

(8.7)

możemy to równanie przepisać jako

+ h

i+1

∗

+ 2 c

∗

i+1

+ h

i+1

∗

i+2

= f(x

, x

i+1

, x

i+2

ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

0 ≤ i ≤ n − 2, albo w postaci macierzowej







2 w

... ...

...

n−2

n−1













∗

...

∗

n−2

∗

n−1













...

n−2

n−1







(8.8)

gdzie

i−1

+ h

i−1

+ h

= f(x

i−1

, x

i+1

Ostatecznie, aby znaleźć współczynniki a

, b

, c

, d

należy najpierw roz-

wiązać układ równań (8.8), a potem zastosować wzory (8.7), (8.2), (8.6)
i (8.5).

Zauważmy, że macierz układu (8.8) jest trójdiagonalna i ma domi-

nującą przekątną. Układ można więc rozwiązać kosztem proporcjonal-
nym do wymiaru n używając algorytmu przeganiania z U. 3.6. Koszt
znalezienia wszystkich współczynników kubicznej funkcji sklejanej in-
terpolującej f jest więc też proporcjonalny do n.

Na końcu oszacujemy jeszcze błąd interpolacji naturalnymi kubicz-

nymi funkcjami sklejanymi na przedziale [a, b]. Będziemy zakładać, że
f

jest dwa razy różniczkowalna w sposób ciągły.

Twierdzenie 8.3 Jeśli f

∈ F

([a, b]) to

kf − s

([a,b])

≤ 5 M max

1≤i≤n

− x

i−1

)

W szczególności, dla podziału równomiernego x

= a + (b − a)i/n, 0 ≤

≤ n, mamy

kf − s

([a,b])

≤ 5 M

− a

8.3. KUBICZNE FUNKCJE SKLEJANE

Dowód Wykorzystamy obliczoną wcześniej postać interpolującej funk-
cji sklejanej s

. Dla x ∈ [x

, x

i+1

] mamy

(x) = f(x

) +

i+1

) − f(x

)

− h

∗

i+1

+ 2c

∗

)

(x − x

)

+ 3c

∗

(x − x

)

∗

i+1

− c

∗

(x − x

)

Z rozwinięcia f w szereg Taylora w punkcie x

dostajemy f(x) = f(x

′

)(x − x

) + f

′′

(ξ

)(x − x

)

2 oraz (f(x

i+1

) − f(x

))/h

= f

′

) +

′′

(ξ

)/2. Stąd

(x) − s

(x) = f(x) − w

(x)

′′

(ξ

)

(x − x

)

−

′′

(ξ

)

− (c

∗

i+1

+ 2c

∗

)

(x − x

)

−3c

∗

(x − x

)

−

∗

i+1

− c

∗

(x − x

)

oraz

|f(x) − s

(x)| ≤ (M + 2|c

∗

i+1

| + 6|c

∗

|)h

= (M + 8 max

1≤i≤n−1

∗

|)h

Niech teraz max

1≤i≤n−1

∗

| = |c

∗

|. Z postaci układu (8.8) otrzymujemy

∗

| = 2|c

∗

| − |c

∗

|(u

+ w

) ≤ |u

∗

s−1

+ 2c

∗

+ w

s+1

= |f(x

s−1

, x

s+1

)| ≤

′′

(ξ

)

≤

1
2

a stąd i z (8.9)

|f(x) − s

(x)| ≤ 5Mh

co kończy dowód.

Uwagi i uzupełnienia

U. 8.1 Zamiast terminu funkcje sklejane używa się też często terminów
splajny (ang. spline-sklejać), albo funkcje gięte.

ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

U. 8.2 W Rozdziale 7 pokazaliśmy, że aproksymacja kawałkami wielomia-
nowa stopnia r jest optymalna (co do rzędu zbieżności) w klasie F

([a, b]),

wśród wszystkich aproksymacji korzystających jedynie z informacji o warto-
ściach funkcji w danej liczbie n punktów. Okazuje się, że podobne optymalne
własności wykazują funkcje sklejane, ale w innych klasach funkcji.

Niech

(a, b) =

∈ W

(a, b) :

(r)

(x)

≤ M

Ustalmy węzły a = x

· · · < x

= b. Dla f ∈ W

(a, b), niech s

będzie

naturalną funkcją sklejaną interpolującą f w x

, 0 ≤ j ≤ n, a a

dowolną

inną aproksymacją korzystającą jedynie z informacji o wartościach f w tych
węzłach , tzn.

= φ(f(x

), . . . , f(x

)).

Załóżmy, że błąd aproksymacji mierzymy nie w normie Czebyszewa, ale w
normie średniokwadratowej, zdeﬁniowanej jako

kgk

(a,b)

(g(x))

dx.

Wtedy

sup

f ∈W

(a,b)

kf − s

(a,b)

≤

sup

f ∈W

(a,b)

kf − a

(a,b)

Aproksymacja naturalnymi funkcjami sklejanymi jest więc optymalna w kla-
sie W

(a, b).

Można również pokazać, że interpolacja s

∗

naturalnymi funkcjami skle-

janymi na węzłach równoodległych x

= a + (b − a)j/n, 0 ≤ j ≤ n, jest

optymalna co do rzędu w klasie W

(a, b), wśród wszystkich aproksymacji

korzystających jedynie z informacji o wartościach funkcji w n + 1 dowolnych
punktach, oraz

max

f ∈W

(a,b)

kf − s

∗

(a,b)

≍ n

−r

U. 8.3 Tak jak wielomiany, naturalne funkcje sklejane interpolujące dane
funkcje można reprezentować przez ich współczynniki w różnych bazach.
Do tego celu można na przykład użyć bazy kanonicznej K

, 0 ≤ j ≤ n,

zdeﬁniowanej równościami

) =

(

6= j,

i = j,

8.3. KUBICZNE FUNKCJE SKLEJANE

przy której s

(x) =

j=0

f (x

(x). Baza kanoniczna jest jednak niewy-

godna w użyciu, bo funkcje K

w ogólności nie zerują się na żadnym pod-

przedziale, a tym samym manipulowanie nimi jest utrudnione.

Częściej używa się bazy B-sklejanej B

, 0 ≤ j ≤ n. W przypadku funkcji

kubicznych, r = 2, jest ona zdeﬁniowana przez następujące warunki:

) = 1,

dla 0 ≤ j ≤ n,

(x) = 0,

dla x ≤ x

j−2

, j

≥ 2, oraz dla x ≥ x

j+2

, j

≤ n − 2.

Dla B

i B

dodatkowo żądamy, aby

′′

) = 0 = B

′′

) = 0,

a dla B

n−1

i B

podobnie

′′

n−1

) = 0 = B

′′

n−1

) = 0.

Wtedy B

nie zeruje się tylko na przedziale (x

j−2

, x

j+2

), Wyznaczenie współ-

czynników rozwinięcia w bazie {B

}

i=0

funkcji sklejanej interpolującej f wy-

maga rozwiązania układu liniowego z macierzą trójdiagonalną {B

)}

i,j=0

a więc koszt obliczenia tych współczynników jest proporcjonalny do n.

U. 8.4 Oprócz naturalnych funkcji sklejanych często rozpatruje się też okre-
sowe funkcje sklejane. Są to funkcje ˜

s : R

→ R spełniające warunki (i), (ii)

z Rozdziału 8.1, oraz warunek:

(iii)’ ˜s

(i)

jest dla 0 ≤ i ≤ r − 1 funkcją okresową o okresie (b − a), tzn.

˜s

(i)

(x) = ˜s

(i)

(x + (b − a)), ∀x.

Klasę okresowych funkcji sklejanych rzędu r oznaczymy przez ˜

. Funkcje

te mają podobne własności jak naturalne funkcje sklejane. Dokładniej, niech

(a, b) = { f ∈ W

(a, b) : f

(i)

(a) = f

(i)

(b), 0 ≤ i ≤ r − 1 },

(8.9)

tzn. ˜

(a, b) jest klasą funkcji z W

(a, b), które można przedłużyć do funkcji,

krórych wszystkie pochodne do rzędu r − 1 włącznie są (b − a)-okresowe na

R. Wtedy dla dowolnej funkcji f ∈ ˜

(a, b) zerującej się w węzłach x

, oraz

dla dowolnej ˜s ∈ ˜

mamy

(r)

(x)˜s

(r)

(x) dx = 0.

(8.10)

100 ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

Jest to odpowiednik Lematu 8.1 w przypadku okresowym. W szczególno-
ści wynika z niego jednoznaczność rozwiązania zadania interpolacyjnego dla
okresowych funkcji f (tzn. takich, że f(a) = f(b)), jak również odpowiednia
własność minimalizacyjna okresowych funkcji sklejanych. Dokładniej, jeśli
f

∈ ˜

(a, b) oraz ˜s

∈ ˜

interpoluje f w węzłach x

, 0 ≤ j ≤ n, to

(r)

(x)

≥

˜s

(r)
f

(x)

dx.

U. 8.5 Klasyczne zadanie aproksymacyjne w przestrzeniach funkcji deﬁ-
niuje się w następujący sposób.

Niech F będzie pewną przestrzenią liniową funkcji f : [a, b] → R, w

której określona została norma k · k. Niech V

⊂ F będzie podprzestrzenią

w F wymiaru n. Dla danej f ∈ F , należy znaleźć funkcję v

∈ F taką, że

kf − v

k = min

v∈V

kf − vk.

Okazuje się, że tak postawione zadanie ma rozwiązanie v

, choć nie zawsze

jest ono wyznaczone jednoznacznie, zob. Ćw. 8.6.

Jako przykład, rozpatrzmy F = W

(a, b). Utożsamiając funkcje f

, f

∈

(a, b) takie, że f

(x) − f

(x) ∈ Π

r−1

, zdeﬁniujemy w W

(a, b) normę

kfk =

(r)

(x)

dx.

Dla ustalonych węzłów a = x

· · · < x

= b, niech

n+1

= S

będzie podprzestrzenią w W

(a, b) naturalnych funkcji sklejanych rzędu r

opartych węzłach x

, 0 ≤ j ≤ n. Oczywiście dimS

= n + 1, co wynika z

jednoznaczności rozwiązania w S

zadania interpolacji. Okazuje się, że wtedy

optymalną dla f ∈ W

(a, b) jest naturalna funkcja sklejana s

interpolująca

f w węzłach x

, tzn.

kf − s

k = min

s∈S

kf − sk.

Rzeczywiście, ponieważ norma w przestrzeni W

(a, b) generowana jest

przez iloczyn skalarny

, f

i =

(r)

(x)f

(r)

(x) dx,

8.3. KUBICZNE FUNKCJE SKLEJANE

101

jest to przestrzeń unitarna. Znane twierdzenie mówi, że w przestrzeni uni-
tarnej najbliższą danej f funkcją w dowolnej domkniętej podprzestrzeni V
jest rzut prostopadły f na V , albo równoważnie, taka funkcja v

∈ V

n+1

, że

iloczyn skalarny

hf − v

, v

i = 0,

∀v ∈ V.

W naszym przypadku, ostatnia równość jest równoważna

(f − v

)

(r)

(x)s

(r)

(x) dx = 0,

∀s ∈ S

To zaś jest na mocy Lematu 8.1 prawdą gdy v

interpoluje f w punktach

, czyli v

= s

Dodajmy jeszcze, że nie zawsze interpolacja daje najlepszą aproksymację

w sensie klasycznym, zob. Ćw. 8.7.

Ćwiczenia

Ćw. 8.1 Dla z ∈ R, niech

= max(0, z) =

(

≥ 0,

z < 0.

Pokazać, że każdą funkcję sklejaną s rzędu r można przedstawić w postaci

s(x) = w(x) +

j=0

(x − x

)

2r−1

gdzie a

są pewnymi współczynnikami rzeczywistymi, a w ∈ Π

2r−1

. Ponadto,

jeśli s jest naturalna, to w ∈ Π

r−1

, a współczynniki a

spełniają równania

j=0

= 0,

0 ≤ i ≤ r − 1.

Ćw. 8.2 Niech h > 0 i c ∈ R. Wyznaczyć współczynniki kubicznej funkcji

sklejanej s opartej na pięciu węzłach −2h, −h, 0, h, 2h i spełniającej dodat-

kowo następujące warunki interpolacyjne:

s(0) = c,

(k)

(±2h) = 0,

k = 0, 1, 2,

102 ROZDZIAŁ 8. INTERPOLACJA FUNKCJAMI SKLEJANYMI

Ćw. 8.3 Wykorzystując Ćw. 8.2 wykazać, że dla dowolnego układu węzłów
a

≤ x

· · · x

≤ b mamy

max{ kf

′′

([a,b])

: f ∈ F

([a, b]), f(x

) = 0, 1 ≤ i ≤ n } ≥

− a

n + 1

Stąd i z U. 7.6 wywnioskować, że dla każdej aproksymacji a

korzystającej

jedynie z wartości f w n punktach,

max

f ∈F

([a,b])

kf − a

([a,b])

≥

− a

n + 1

Ćw. 8.4 Pokazać, że funkcje B

, 0 ≤ j ≤ n, zdeﬁniowane w U. 8.3 istnieją

i tworzą bazę w przestrzeni S

Ćw. 8.5 Pokazać jednoznaczność rozwiązania zadania interpolacyjnego w
przypadku okresowych funkcji sklejanych (zob. U. 8.4), oraz własność mini-
malizacyjną (8.9).
Wskazówka. Zastosować technikę dowodową podobną do tej z przypadku
naturalnych funkcji sklejanych.

Ćw. 8.6 Pokazać, że ogólnie postawione zadanie aproksymacyjne z U. 8.5
ma rozwiązanie.
Wskazówka. Zauważyć, że jeśli v

istnieje to kv

k ≤ 2kfk, oraz wykorzystać

ciągłość odwzorowania v 7→ kf − vk, v ∈ V , oraz fakt, że dimV < ∞.

Ćw. 8.7 Niech F = C([a, b]) z normą Czebyszewa, albo F = L

(a, b) z

normą średniokwadratową. Niech V

n+1

= Π

. Uzasadnić na przykładach, że

w ogólności nie istnieją węzły x

, 0 ≤ j ≤ n, o następującej własności: dla

każdej funkcji f ∈ F , wielomian w

∈ Π

interpolujący f w węzłach x

jest

elementem optymalnym w sensie aproksymacji klasycznej, zdeﬁniowanej w
U. 8.5.

Rozdział 9

Całkowanie numeryczne

Zajmiemy się teraz zadaniem całkowania numerycznego. Polega ono na
obliczeniu (a raczej przybliżeniu) całki oznaczonej

(f) =

(x) dx,

gdzie −∞ < a < b < +∞, a f należy do pewnej klasy F funkcji

rzeczywistych określonych i całkowalnych w sensie Riemanna na całym
przedziale [a, b].

Będziemy zakładać, że mamy możliwość obliczania wartości funkcji

, a w niektórych przypadkach również jej pochodnych, o ile istnieją.

Dokładna całka S(f) będzie więc w ogólności przybliżana wartością
A

(f), która zależy tylko od wartości f i ew. jej pochodnych w skończo-

nej liczbie punktów.

9.1 Co to są kwadratury?

Kwadraturami nazywamy funkcjonały liniowe Q : F

→ R postaci

(f) =

i=0

albo ogólniej

(f) =

i=0

−1

j=0

i,j

(j)

(9.1)

103

104

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

gdzie x

są punktami z [a, b], a a

(albo a

i,j

) są pewnymi współczyn-

nikami rzeczywistymi. Zauważmy, że obliczenia kwadratur są dopusz-
czalne w naszym modelu obliczeniowym, mogą więc służyć jako sposób
przybliżania całki.

Jeden z możliwych sposobów konstrukcji kwadratur jest następu-

jący. Najpierw wybieramy węzły x

(pojedyncze lub wielokrotne), bu-

dujemy wielomian interpolacyjny odpowiadający tym węzłom, a na-
stępnie całkujemy go. Ponieważ postać wielomianu interpolacyjnego
zależy tylko od danej informacji o f, otrzymana w ten sposób wartość
też będzie zależeć tylko od tej informacji, a w konsekwencji funkcjonał
wynikowy będzie postaci (9.1). Są to tzw. kwadratury interpolacyjne.

Deﬁnicja 9.1 Kwadraturę Q

opartą na węzłach o łącznej krotności

+ 1 nazywamy interpolacyjną, jeśli

(f) =

(x) dx,

gdzie w

jest wielomianem interpolacyjnym funkcji f stopnia co najwy-

żej n, opartym na tych węzłach.

Współczynniki kwadratur interpolacyjnych można łatwo wyliczyć.

Rozpatrzmy dla uproszczenia przypadek, gdy węzły są jednokrotne.
Zapisując wielomian interpolacyjny w postaci jego rozwinięcia w bazie
kanonicznej Lagrange’a l

(zob. (6.3)), otrzymujemy

(f) =

i=0

(x) dx =

i=0

)

(x) dx,

a stąd i z postaci l

(x − x

) · · · (x − x

i−1

)(x − x

i+1

) · · · (x − x

)

− x

) · · · (x

− x

i−1

)(x

− x

i+1

) · · · (x

− x

)

dx,

0 ≤ i ≤ n.

Podamy teraz kilka przykładów.

Kwadratura prostokątów jest oparta na jednym węźle x

= (a + b)/2,

(f) = (b − a)f

+ b

9.2. BŁĄD KWADRATUR INTERPOLACYJNYCH

105

Kwadratura trapezów jest oparta na jednokrotnych węzłach x

= a,

= b i jest równa polu odpowiedniego trapezu,

(f) = T (f) =

− a

(a) + f(b)

Kwadratura parabol (Simpsona) jest oparta na jednokrotnych węzłach
x

= a, x

= b, x

= (a + b)/2, i jest równa polu pod parabolą interpo-

lującą f w tych węzłach,

(f) = P (f) =

− a

(a) + 4f

+ b

+ f(b)

Zauważmy, że kwadratury trapezów i parabol są oparte na węzłach

jednokrotnych i równoodległych, przy czym x

= a i x

= b. Ogólnie,

kwadratury interpolacyjne oparte na węzłach równoodległych x

= a +

(b − a)i/n, 0 ≤ i ≤ n, nazywamy kwadraturami Newtona–Cotesa.

9.2 Błąd kwadratur interpolacyjnych

Zajmiemy się teraz błędem kwadratur interpolacyjnych. Przypomnijmy,
że F

([a, b]) oznacza klasę funkcji (n + 1) razy różniczkowalnych w

sposób ciągły i takich, że |f

(n+1)

(x)| ≤ M, ∀x.

Twierdzenie 9.1 Niech Q

będzie kwadraturą interpolacyjną opartą

na (jednokrotnych lub wielokrotnych) węzłach x

, 0

≤ i ≤ n. Jeśli f ∈

([a, b]) to

|S(f) − Q

(f)| ≤

(n + 1)!

(b − a)

n+2

(9.2)

W klasie F

([a, b]), maksymalny błąd kwadratury Q

wynosi

sup

f ∈F

([a,b])

|S(f)−Q

(f)| =

(n + 1)!

|(x−x

)(x−x

) · · · (x−x

)| dx.

Dowód Korzystając ze znanego nam już wzoru na błąd interpolacji
wielomianowej z Lematu 7.1, mamy

(f) − Q

(f) =

(x − x

)(x − x

) · · · (x − x

)f(x

, x

, . . . , x

, x

) dx.

106

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

Stąd, jeśli f ∈ F

([a, b]) to

|S(f) − Q

(f)| ≤

(b − a)

n+1

(n + 1)!

= (b − a)

n+2

(n + 1)!

Ograniczenie górne w dokładnej formule na błąd w klasie F

([a, b])

wynika bezpośrednio z oszacowania (9.2). Aby pokazać ograniczenie
dolne zauważmy, że dla funkcji g takiej, że g

(n+1)

przyjmuje na prze-

działach (a, x

), (x

, x

), . . ., (x

, b

) naprzemiennie wartości M i −M

mamy

|S(g) − Q

(g)| =

(n + 1)!

|(x − x

)(x − x

) · · · (x − x

)| dx.

Co prawda, g nie jest w F

[a, b], ale może być dla dowolnego ε > 0

przybliżana funkcjami f

∈ F

([a, b]) w ten sposób, że całka

|(x − x

) · · · (x − x

)(f − g)

(n+1)

(x)| dx ≤ ε (n + 1)!.

Zapisując f

= g + (f

− g) mamy

|S(f

) − Q

)| ≤ |S(g) − Q

(g)| + |S(f

− g) − Q

− g)|

≤

(n + 1)!

|(x − x

) · · · (x − x

)| dx + ε,

co wobec dowolności ε daje dowód twierdzenia.

W szczególnych przypadkach kwadratur trapezów T i parabol P

możemy otrzymać innego rodzaju formuły na błąd.

Twierdzenie 9.2 (i) Jeśli f

∈ C

(2)

([a, b]) to dla kwadratury trapezów

mamy

(f) − T (f) = −

(b − a)

(2)

(ξ

(ii) Jeśli f

∈ C

(4)

([a, b]) to dla kwadratury parabol mamy

(f) − P (f) = −

(b − a)

2280

(4)

(ξ

, ξ

∈ [a, b]).

9.2. BŁĄD KWADRATUR INTERPOLACYJNYCH

107

Dowód (i) Ze wzoru (9.2)

(f) − T (f) =

(x − a)(x − b)f(a, b, x) dx.

Ponieważ funkcja x 7→ f(a, b, x) jest ciągła, a wielomian (x − a)(x − b)

przyjmuje jedynie wartości nieujemne, można zastosować twierdzenie o
wartości średniej dla całki, aby otrzymać

(f) − T (f) = f(a, b, c)

(x − a)(x − b) dx

= −

(2)

(ξ

)

(b − a)

dla pewnych c, ξ

∈ [a, b].

(ii) Niech w

f,2

∈ Π

i w

f,3

∈ Π

będą wielomianami interpolacyjnymi

funkcji f odpowiednio dla węzłów a, b, (a + b)/2 oraz a, b, (a + b)/2, (a +
b

)/2. Wtedy

f,3

(x) = w

f,2

(x) + f

a, b,

+ b

(x − a)

−

+ b

(x − b).

Wobec

(x − a)

+ b

(x − b) dx = 0

mamy

(f) =

f,2

(x) dx =

f,3

(x) dx.

Stąd i ze wzoru na błąd interpolacji Hermite’a otrzymujemy

(f) − P (f) =

(f − w

f,3

)(x) dx

(x − a)

−

+ b

(x − b)f

a, b,

+ b

, x

dx.

Ponieważ wielomian (x − a)(x − (a + b)/2)

(x − b) jest niedodatni na

[a, b], możemy znów zastosować twierdzenie o wartości średniej. Mamy

(f) − P (f) = f

a, b,

+ b

, c

(x − a)

−

+ b

(x − b) dx

= −

(4)

(ξ

)

(b − a)

120

108

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

co kończy dowód.

9.3 Kwadratury złożone

Podobnie jak w przypadku zadania interpolacji chcielibyśmy, aby błąd
kwadratur malał do zera, gdy liczba węzłów rośnie do nieskończoności.
Można to osiągnąć stosując np. kwadratury złożone. Są to kwadratury,
które powstają przez scałkowanie funkcji kawałkami wielomianowej in-
terpolującej f.

Prostym przykładem kwadratury złożonej jest suma Riemanna,

(f) =

i=0

i+1

− t

)f(x

gdzie a = t

< t

· · · < t

n+1

= b oraz x

∈ [t

, t

i+1

]. Jeśli średnica

podziału, max

0≤i≤n

− t

i−1

), maleje do zera to lim

n→∞

(f) = S(f).

Będziemy rozpatrywać kwadratury złożone postaci

(f) =

(x) dx,

gdzie ¯

jest kawałkami wielomianem z Rozdziału 7.3. To znaczy, dla

danego n kładziemy t

= a + (b − a)i/k, 0 ≤ i ≤ k, a następnie dla

każdego i wybieramy dowolne węzły x

i,j

∈ [t

i−1

, t

], 0 ≤ j ≤ r. Wtedy

jest na każdym przedziale wielomianem interpolacyjnym funkcji f

stopnia co najwyżej r opartym na węzłach x

i,j

. Kwadratura ¯

korzysta

z węzłów o łącznej krotności n ≤ k(r + 1).

Twierdzenie 9.3 Błąd kwadratury złożonej ¯

(f) w klasie F

([a, b])

jest ograniczony przez

sup

f ∈F

([a,b])

|S(f) − ¯

(f)| ≤

(b − a)

r+2

r+1

(r + 1)! ≤

r+1

gdzie

(r + 1)

r+1

(b − a)

r+2

(r + 1)!

9.3. KWADRATURY ZŁOŻONE

109

Dowód Twierdzenie to jest bezpośrednim wnioskiem z Twierdzenia
9.1. Mamy bowiem

|S(f) − ¯

(f)| ≤

i=1

i−1

|f(x) − ¯

(x)| dx

≤

i=1

− a

r+2

(r + 1)!

(b − a)

r+2

r+1

(r + 1)!

co kończy dowód.

W klasie F

([a, b]), błąd kwadratur złożonych jest rzędu n

−(r+1)

czyli jest taki sam jak błąd interpolacji kawałkami wielomianowej. I
tak jak przy interpolacji można pokazać, że błąd każdej innej metody
całkowania korzystającej jedynie z wartości funkcji w n punktach nie
może w klasie F

([a, b]) maleć szybciej niż n

−(r+1)

, zob. U. 9.1. Podane

kwadratury złożone mają więc optymalny rząd zbieżności.

Zajmiemy się teraz błędem szczególnych kwadratur złożonych, mia-

nowicie złożonych kwadratur trapezów ¯

i parabol ¯

. Powstają one

przez zastosowanie na każdym przedziale [t

i−1

, t

] odpowiednio kwadra-

tur trapezów T i parabol P . Jak łatwo się przekonać,

(f) =

− a





(a) + f(b)

k−1

j=1





oraz

(f) =

− a





(a) + f(b)

k−1

j=1

+ 2

j=1

2j − 1





Twierdzenie 9.4 (i) Jeśli f

∈ C

(2)

([a, b]) to

(f) − ¯

(f) = −

(b − a)

12 k

(2)

(ξ

(ii) Jeśli f

∈ C

(4)

([a, b]) to

(f) − ¯

(f) = −

(b − a)

2280 k

(4)

(ξ

110

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

Dowód Dla kwadratury trapezów mamy

(f) − ¯

(f) = −

i=1

(b − a)

12k

(2)

(α

)

= −

(b − a)

12k

i=1

− a

(2)

(α

) = −

(b − a)

12k

(2)

(ξ

a dla kwadratury parabol podobnie

(f) − ¯

(f) = −

i=1

(b − a)

2280k

(4)

(β

)

= −

(b − a)

2280k

i=1

− a

(4)

(β

) = −

(b − a)

2280k

(4)

(ξ

). 2

Kwadratura parabol ma więc optymalny rząd zbieżności nie tylko

w klasie F

([a, b]), ale też w F

([a, b]).

9.4 Przyspieszanie zbieżności kwadratur

W praktyce często stosuje się obliczanie kwadratur poprzez zagęszcza-
nie podziału przedziału [a, b]. Na przykład, dla złożonej kwadratury
trapezów zachodzi następujący wygodny wzór rekurencyjny:

1
2

(f) +

− a

i=1

2i − 1

(9.3)

Pozwala on obliczyć ¯

(f) na podstawie ¯

(f) poprzez “doliczenie”

wartości funkcji w punktach “gęstszej” siatki. W ten sposób możemy
obserwować zachowanie się kolejnych przybliżeń ¯

(f) (s ≥ 0) całki

(f). Jest to szczególnie istotne wtedy, gdy nie mamy żadnej informa-

cji a priori o kf

′′

([a,b])

, a przez to nie potraﬁmy oszacować liczby n

węzłów, dla której osiągniemy pożądaną dokładność, zob. U. 9.2.

Jeśli funkcja jest więcej niż dwa razy różniczkowalna to użycie złożo-

nych kwadratur trapezów zdaje się tracić sens. Wtedy istnieją przecież
kwadratury, których błąd maleje do zera szybciej niż n

−2

. Okazuje się

9.4. PRZYSPIESZANIE ZBIEŻNOŚCI KWADRATUR

111

jednak, że kwadratury ¯

mogą być podstawą dla prostej rekurencyjnej

konstrukcji innych kwadratur posiadających już optymalną zbieżność.
Konstrukcja ta bazuje na następującym ważnym lemacie.

Lemat 9.1 (Formuła Eulera-Maclaurina)
Dla funkcji f

∈ C

(2m+2)

([a, b]), błąd złożonej kwadratury trapezów ¯

wyraża się wzorem

(f) − ¯

(f) =

i=1

(2i−1)

(b) − f

(2i−1)

(a)

+ c

m+1

2m+2

(b − a)f

(2m+2)

(ξ

m,k

gdzie h = (b

− a)/k, ξ

m,k

∈ [a, b], a c

są pewnymi stałymi liczbowymi.

Mamy c

= −1/12, c

= −1/720 i, ogólnie, c

= B

(2i)!, gdzie B

są

tzw. liczbami Bernoulliego.

Dowód tego lematu pominiemy.
Formułę Eulera-Maclaurina można przepisać w postaci

(f) − ¯

(f) =

i=1

(0)
i

(f) k

−2i

+ c

(0)
m+1,k

(f) k

−(2m+2)

gdzie c

(0)
i

(f) = c

(b − a)

(2i−1)

(b) − f

(2i−1)

(a)), 1 ≤ i ≤ m, oraz

(0)
m+1,k

(f) = c

m+1

(b − a)

2m+2

(2m+2)

(ξ

m+1,k

). Zauważmy przy tym, że

jeśli f ∈ F

2m+1

([a, b]) to współczynniki c

(0)
m+1,k

(f) są wspólnie ograni-

czone przez c

m+1

(b − a)

2m+2

Deﬁniując teraz kwadraturę

(f) =

4 ¯

(f) − ¯

(f)

dla f ∈ C

(4)

([a, b]) mamy

(f) − ¯

(f) =

4 (S(f) − ¯

(f) − (S(f) − ¯

(f))

4
3





(0)
1

(f)

(0)
2,2k

(f)





−

1
3





(0)
1

(f)

(0)
2,k

(f)





(1)
2,k

(f)

112

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

gdzie c

(1)
2,k

(f) = (1/12)c

(0)
2,2k

(f) − (1/3)c

(0)
2,k

(f) i jest wspólnie ograniczone

dla f ∈ F

([a, b]). Kwadratura T

ma więc optymalny w F

([a, b]) rząd

zbieżności k

−4

. Proces ten można kontynuować dalej tworząc kolejne

kwadratury o coraz to wyższym rzędzie zbieżności. Dokładniej, połóżmy

(f) = ¯

(f) oraz, dla s ≥ 1,

(f) =

s−1

(f) − ¯

s−1

(f)

− 1

(9.4)

Wtedy, dla f ∈ F

2m+1

([a, b]), rząd zbieżności kwadratury ¯

wynosi

−(2m+2)

. Rzeczywiście, sprawdziliśmy, że jest to prawdą dla m = 0, 1.

Niech m ≥ 2. Postępując indukcyjnie ze względu na s = 1, 2, . . . , m

mamy

(f) − ¯

(f) =

(S(f) − ¯

s−1

(f)) − (S(f) − ¯

s−1

(f))

− 1

i=s

(s−1)
i

(f)(2k)

−2i

+ c

(s−1)
m+1,2k

(f)(2k)

−(2m+2)

−

i=s

(s−1)
i

(f)k

−2i

+ c

(s−1)
m+1,k

(f)k

−(2m+2)

− 1

i=s+1

(s)
i

(f)k

−2i

+ c

(s)
m+1,k

(f)k

−(2m+2)

ponieważ współczynniki przy k

−2s

redukują się. c

(s)
i

(f) są tutaj pew-

nymi nowymi stałymi, a c

(s)
m+1,k

(f) może być w klasie F

2m+1

([a, b]) ogra-

niczona przez stałą niezależną od f. Ostatecznie, dla s = m mamy więc

(f) − ¯

(f) = c

(m)
m+1,k

(f)k

−(2m+2)

i w klasie F

2m+1

([a, b])

|S(f) − ¯

(f)| ≤ c

−(2m+2)

dla pewnej stałej c

niezależnej od f.

Zauważmy jeszcze, że ¯

wykorzystuje n = k2

+ 1 wartości f

w punktach równoodległych na [a, b] co oznacza, że w terminach n
rząd zbieżności wynosi też n

−(2m+2)

, a więc jest optymalny w klasie

2m+1

([a, b]).

9.4. PRZYSPIESZANIE ZBIEŻNOŚCI KWADRATUR

113

Kwadratury ¯

nazywane są kwadraturami Romberga. Dla danej

funkcji f, można je łatwo konstruować budując następującą tablicę trój-
kątną:

(f)

...

(f) ¯

s−1

(f) ¯

s−2

(f) ¯

s−3

(f) · · · ¯

(f),

(9.5)

w której pierwsza kolumna jest tworzona indukcyjnie zgodnie ze wzorem
(9.3), a kolejne zgodnie z (9.4).

Uwagi i uzupełnienia

U. 9.1 Pokażemy, że jeśli dowolny algorytm A daje przybliżoną wartość
całki S(f) =

f (x)dx na podstawie jedynie wartości lub pochodnych funk-

cji f w n różnych punktach, tzn.

A(f ) = φ(f (x

), . . . , f

(r+1)

), . . . , f(x

), . . . , f

(r+1)

))

dla pewnych x

∈ [a, b], to błąd takiego przybliżenia w klasie F

([a, b]),

sup

f ∈F

([a,b])

|S(f) − A(f)| ≥ C

M n

−(r+1)

(9.6)

gdzie C

jest pewną stałą dodatnią niezależną od A i n.

W tym celu, podobnie jak w U. 7.2, wybierzmy dowolną nieujemną funk-

cję ψ : R → R spełniającą warunki:

1. ψ ∈ F

(R),

2. ψ(x) = 0 dla x 6∈ [0, 1].

Oznaczmy x

= a, x

n+1

= b, h

= x

i+1

− x

, 0 ≤ i ≤ n, oraz zdeﬁniujmy

funkcje

(x) = Mh

r+1

− x

114

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

Wtedy dla g

(x) = −g

(x) =

i=0

(x) mamy g

∈ F

([a, b]) oraz infor-

macja o g

jest zerowa, g

(p)

) = 0 dla 0 ≤ p ≤ r + 1, 1 ≤ j ≤ n. Stąd

= φ(0, . . . , 0

}

n(r+2)

) jest aproksymacją dla całek obu funkcji ψ

max{|S(g

) − φ

|, |S(g

) − φ

|} ≥ |S(g

) − S(g

)|/2 = S(g

)

i=0

i−1

(x) dx = M

i=0

r+1

i−1

− x

= M

ψ(x) dx +

i=0

r+2

Zauważmy jeszcze, że suma

i=0

r+2

jest minimalna dla h

= (b−a)/(n+1),

∀i, a stąd

S(g

) ≥ M

(b − a)

r+2

(n + 1)

r+1

ψ(x) dx.

Nierówność (9.6) zachodzi więc z C

= (2(b − a))

r+1

ψ(x)dx.

U. 9.2 Jeśli f ∈ C

(2)

([a, b]) i f

′

(a) 6= f

′

(b) to dla dużych k mamy

S(f )

− ¯

(f) ≈ c(f)k

−2

gdzie c(f) = −(b − a)

′

(b) − f

′

(a))/12. Stąd

(f) − ¯

k/2

(f) = (S(f) − ¯

k/2

(f)) − (S(f) − ¯

(f))

≈

c(f )

−

c(f )

(k/2)

= −

3c(f)

≈ −3 (S(f) − ¯

(f)),

a więc

S(f )

− ¯

(f) ≈

1
3

( ¯

k/2

(f) − ¯

(f)),

gdy k → ∞. Ostatnia przybliżona równość może sugerować kryterium koń-

czenia obliczeń, gdy chcemy otrzymać przybliżenie całki S(f) z zadaną do-
kładnością ε > 0. Mianowicie, obliczając kolejne kwadratury ¯

(f) dla

s = 0, 1, . . ., sprawdzamy jednocześnie, czy

| ¯

s−1

(f) − ¯

(f)| ≤ 3 ε.

Jeśli ten warunek jest spełniony dla kilku kolejnych s to z dużym prawdo-
podobieństwem możemy stwierdzić, że |S(f) − ¯

(f)| ≤ ε.

Oczywiście, podobne kryteria kończenia obliczeń mogą być konstruowane

dla innych ciągów kwadratur, jeśli tylko znamy teoretyczne zachowanie się
błędu.

9.4. PRZYSPIESZANIE ZBIEŻNOŚCI KWADRATUR

115

Ćwiczenia

Ćw. 9.1 Pokazać, że w kwadraturze Newtona-Cotesa opartej na n + 1 rów-
noodległych węzłach x

= a + (b − a)i/n, współczynniki a

dane są wzorami

(−1)

n−i

(b − a)

n i!(n

− i)!

x(x

− 1) · · · (x − (i − 1))(x − (i + 1)) · · · (x − n) dx.

Ćw. 9.2 Pokazać, że jeśli f ∈ C

(2)

([a, b]) to dla kwadratury prostokątów

(f) = f((a + b)/2)(b − a)/2 mamy

S(f )

− Q

(f) =

(b − a)

(2)

(ξ

∈ [a, b]), a w konsekwencji

max

f ∈F

([a,b])

|S(f) − Q

(f)| =

M (b

− a)

Błąd w klasie F

([a, b]) jest więc dla kwadratury prostokątów dwa razy

mniejszy niż dla kwadratury trapezów. Wywnioskować stąd, że złożona kwa-
dratura prostokątów,

(f) =

− a

i=1

2i − 1

ma optymalny rząd zbieżności nie tylko w klasie F

([a, b]), ale też w klasie

([a, b]).

Ćw. 9.3 Rozpatrzmy kwadratury interpolacyjne oparte na dwóch węzłach
x

, x

∈ [a, b]. Pokazać, że wśród tych kwadratur najmniejszy błąd w klasie

([a, b]) jest osiągany przez kwadraturę

(f) =

− a

3a + b

+ f

a + 3b

a jej błąd

sup

f ∈F

([a,b])

|S(f) − Q

(f)| =

M (b

− a)

116

ROZDZIAŁ 9. CAŁKOWANIE NUMERYCZNE

Ćw. 9.4 Uzasadnić, że jeśli kwadratura interpolacyjna Q

oparta jest na

węzłach Czebyszewa

a + b

− a

cos

2i + 1

2r + 2

0 ≤ i ≤ r,

to dla f ∈ F

([a, b]) błąd

|S(f) − Q

(f)| ≤

M (b

− a)

r+2

2r+1

(r + 1)!

a dla odpowiadającej węzłom Czebyszewa kwadratury złożonej

|S(f) − ¯

(f)| ≤

M (b

− a)

r+2

2r+1

(r + 1)!

r+1

Ćw. 9.5 Rozpatrzmy kwadraturę

(f) = ¯

(f) −

(b − a)

12k

′

(b) − f

′

(a)).

Pokazać, nie korzytając z formuły Eulera-Maclaurina, że jeśli f ∈ F

([a, b])

to błąd |S(f) − ¯

(f)| zbiega do zera co najmniej tak szybko jak k

−4

, gdy

→ ∞. W szczególności, dla funkcji spełniających f

′

(a) = f

′

(b) rząd zbież-

ności złożonej kwadratury trapezów wynosi k

−4

Ćw. 9.6 Opracować ekonomiczny algorytm obliczania ciągu kolejnych zło-
żonych kwadratur parabol ¯

(f) dla s = 0, 1, 2, . . ..

Ćw. 9.7 Opracować kryterium kończenia obliczeń analogiczne do tego z U.
9.2, dla ciągu złożonych kwadratur parabol ¯

(f), s = 0, 1, . . ..

Ćw. 9.8 Pokazać, że drugą kolumnę tabeli (9.5) kwadratur Romberga two-
rzą złożone kwadratury parabol, tzn.

(f) =

4 ¯

(f) − ¯

(f)

Ćw. 9.9 Opracować program obliczający wartość ¯

(f) kwadratury Rom-

berga, korzystając ze wzorów (9.3) i budując tabelę (9.4).

Rozdział 10

Całkowanie a aproksymacja

W poprzednim rozdziale badaliśmy kwadratury ze względu na kryte-
rium błędu w pewnych klasach funkcji. W tym rozdziale zajmiemy się
badaniem kwadratur ze względu na inne, bardziej klasyczne kryterium,
którym jest rząd kwadratury. Będziemy przy tym rozpatrywać nieco
ogólniejsze zadanie całkowania, tzw. całkowanie z wagą,

(f) = S

(f) =

(x)ρ(x) dx,

gdzie waga ρ jest prawie wszędzie dodatnia i jest całkowalna,

|ρ(x)| dx < +∞.

Dopuścimy również możliwość nieskończonych przedziałów całkowania,
a więc −∞ ≤ a < b ≤ +∞.

10.1 Rząd kwadratury

Zaczniemy od deﬁnicji.

Deﬁnicja 10.1 Rzędem kwadratury Q nazywamy taką liczbę r, że

(i) kwadratura Q daje dokładną wartość całki dla wszystkich wielomia-

nów stopnia mniejszego niż r,

(w) = S

(w),

∀w ∈ Π

r−1

117

118

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

(i) istnieje wielomian stopnia r dla którego kwadratura nie jest równa

całce,

∃w

∗

∈ Π

∗

) 6= S

∗

Rząd kwadratury Q oznaczymy przez rz(Q). Dla przykładu, za-

łóżmy, że ρ ≡ 1 i przedział [a, b] jest skończony. Wtedy rząd kwa-

dratury prostokątów wynosi 2, tak jak rząd kwadratury trapezów T ,
natomiast rząd kwadratury parabol P wynosi 4. Rzeczywiście, to wy-
nika bezpośrednio ze wzorów na błędy tych kwadratur danych w Ćw.
9.2 i Twierdzeniu 9.2. Ogólniej, mamy następujące twierdzenie, które
przytaczamy bez dowodu.

Twierdzenie 10.1 Niech waga ρ

≡ 1 i niech przedział [a, b] będzie

skończony. Rząd kwadratury Newtona-Cotesa Q

N C

, tzn. opartej na jed-

nokrotnych węzłach równoodległych x

= a + (b − a)i/n, 0 ≤ i ≤ n,

wynosi

rz(Q

N C

) =

(

+ 1

dla n nieparzystych,

+ 2

dla n parzystych.

Jasne jest, że interesują nas kwadratury o jak najwyższym rzędzie.

Chcielibyśmy wiedzieć, jaki jest maksymalny rząd kwadratury korzy-
stającej z ustalonej liczby węzłów i jak konstruować kwadratury o mak-
symalnym rzędzie. Jak przekonamy się później, nie jest to tylko aka-
demickie pytanie, bowiem kwadratury o maksymalnym rzędzie mają
również dobre własności ze względu na błąd.

Częściową odpowiedź na pytanie o maksymalny rząd kwadratur

daje następujący lemat.

Lemat 10.1 Niech Q będzie kwadraturą opartą na węzłach o łącznej
krotności n + 1.
(i) Jeśli rz(Q)

≥ n + 1 to Q jest kwadraturą interpolacyjną.

(ii) Jeśli Q jest kwadraturą interpolacyjną to

+ 1 ≤ rz(Q) ≤ 2(n + 1).

10.2. CIĄGI WIELOMIANÓW ORTOGONALNYCH

119

Dowód (i) Dla dowolnej funkcji f , niech w

będzie wielomianem inter-

polacyjnym dla f stopnia co najwyżej n, opartym na tej samej informa-
cji o f, z jakiej korzysta kwadratura Q. Wtedy mamy Q(f) = Q(w

a ponieważ rz(Q) ≥ n + 1 to również Q(w

) = S

). Stąd

(f) = S

a to oznacza, że Q jest interpolacyjna.
(ii) Jeśli Q jest interpolacyjna to dla każdego w ∈ Π

mamy Q(w) =

(w), bo w jest dla siebie wielomianem interpolacyjnym. Stąd rz(Q) ≥

+ 1.

Dla dowodu drugiej nierówności załóżmy, że Q korzysta z węzłów

, x

, . . . , x

(być może powtarzających się). Wtedy dla wielomianu

(x) = (x − x

)

(x − x

)

· · · (x − x

)

mamy w

∈ Π

2(n+1)

oraz S

) > 0, bo w

jest prawie wszędzie do-

datni. Z drugiej strony, Q(w

) = 0, bo informacja o w

jest zerowa.

Stąd

) 6= S

)

i w konsekwencji rz(Q) ≤ 2(n + 1). 2

Lemat 10.1 mówi nam, że w poszukiwaniu kwadratur o najwyż-

szym rzędzie możemy ograniczyć się do kwadratur interpolacyjnych.
Ponadto, maksymalny rząd jest na pewno nie mniejszy niż n + 1 i na
pewno nie większy niż 2(n + 1). Aby jednak odpowiedzieć na pytanie
jaki jest rzeczywisty maksymalny rząd, musimy odwołać się do pewnych
faktów z teorii aproksymacji w przestrzeniach unitarnych, a ściślej, do
własności ciągów wielomianów ortogonalnych.

10.2 Ciągi wielomianów ortogonalnych

Waga ρ deﬁniuje nam przestrzeń L

2,ρ

(a, b) funkcji ciaągłych o warto-

ściach rzeczywistych, określonych na przedziale (a, b) i takich, że całka

(x)ρ(x) dx istnieje i jest skończona. W L

2,ρ

(a, b) wprowadzimy ilo-

czyn skalarny

hf, gi =

(x)g(x)ρ(x) dx

120

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

i generowaną przez ten iloczyn normę

kfk =

hf, fi =

(x)ρ(x) dx.

W ten sposób, L

2,ρ

(a, b) jest przestrzenią unitarną i można mówić o

ortogonalności (prostopadłości) elementów w tej przestrzeni.

Deﬁnicja 10.2 Ciąg wielomianów p

, k = 0, 1, 2, . . ., nazywamy cią-

giem wielomianów ortogonalnych w przestrzeni

2,ρ

(a, b) jeśli

(i) wielomian p

jest stopnia dokładnie k,

deg p

= k,

∀k ≥ 0,

(ii) wielomiany te są wzajemnie ortogonalne w przestrzeni

2,ρ

(a, b),

tzn.

, p

i =

(x)p

(x)ρ(x) dx = 0,

6= j.

Pokażemy, że ta deﬁnicja ma sens.

Lemat 10.2 Ciąg wielomianów ortogonalnych

}

k≥0

w przestrzeni

unitarnej

2,ρ

(a, b) istnieje. Jeśli dodatkowo założymy, że p

(x) = x

. . ., tzn. współczynnik przy najwyższej potędzie wielomianu p

wynosi

1, to ciąg taki jest wyznaczony jednoznacznie.

Dowód Wielomiany p

można skonstruować stosując proces ortogo-

nalizacji Grama-Schmidta, tzn. ortogonalizując dowolny ciąg wielomia-
nów {w

}

k≥0

spełniający deg w

= k. Rzeczywiście, weźmy np. w

(x) =

. Jeśli położymy p

= w

i dalej indukcyjnie

= w

−

k−1

j=0

, p

≥ 1,

to, jak łatwo bezpośrednio sprawdzić, {p

}

k≥0

będzie ciągiem wielomia-

nów ortogonalnych i p

(x) = x

+ . . ..

Aby pokazać jednoznaczność załóżmy, że istnieje inny ciąg {q

}

k≥0

wielomianów ortogonalnych, w którym współczynniki przy najwyższych

10.2. CIĄGI WIELOMIANÓW ORTOGONALNYCH

121

potęgach wynoszą 1. Ponieważ deg p

= k, ∀k, wielomiany p

, p

, . . . , p

tworzą bazę ortogonalną w Π

(ze względu na iloczyn skalarny h·, ·i), a

stąd

j=0

, p

Z drugiej strony, dla 0 ≤ j ≤ k−1, mamy hq

, p

i = 0, bo ortogonalność

do wielomianów bazowych q

, 0 ≤ j ≤ k − 1, jest równoważna

ortogonalności do całej przestrzeni Π

k−1

, a w szczególności do p

. Stąd

= h

, p

a ponieważ współczynniki przy x

w wielomianach q

i p

są takie same,

to q

= p

. To kończy dowód.

Pokazaliśmy, że ciąg wielomianów ortogonalnych jest wyznaczony

jednoznacznie z dokładnością do współczynników przy najwyższych po-
tęgach x

. Podamy teraz kilka przykładów takich ciągów.

Wielomiany Legendre’a L

Jest to najbardziej naturalnie zdeﬁniowany ciąg wielomianów ortogo-
nalnych, bowiem w tym przypadku [a, b] = [−1, 1] i waga jest jednost-

kowa, ρ ≡ 1. Mamy

(x) =

− 1)

albo

(x) = 1,

(x) = x,

(x) =

2k − 1

k−1

(x) −

− 1

k−2

(x),

≥ 2.

Wielomiany Czebyszewa T

Ten ciąg wielomianów poznaliśmy już w Rozdziale 7.2. Są one ortogo-
nalne w przedziale [−1, 1] z wagą ρ(x) = (1 − x

)

−1/2

. Przypomnijmy,

że T

(x) = cos(k arccos(x)) albo

(x) = 1,

(x) = x,

(x) = 2xT

k−1

(x) − T

k−2

(x),

≥ 2.

122

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

Wielomiany Hermite’a H

Jest to przykład wielomianów ortogonalnych na całej prostej rzeczywi-
stej, a więc (a, b) = (−∞, +∞), przy czym waga ρ(x) = e

−x

. Wielo-

miany Hermite’a dane są wzorami

(x) = (−1)

−x

albo

(x) = 1,

(x) = 2x,

(x) = 2xH

k−1

(x) − (2k − 2)H

k−2

(x),

≥ 2.

Zauważmy, że we wszystkich tych przykładach kolejny wielomian

ortogonalny zależał tylko od dwóch poprzednich. Nie jest to przypadek,
ale ogólna reguła. Wielomiany ortogonalne spełniają bowiem formułę
trójczłonową, zob. U. 10.1.

Ciągi wielomianów ortogonalnych mają również szereg innych cie-

kawych własności, co powoduje, że często używane są jako narzędzie
do aproksymacji funkcji wielomianami, zob. U. 10.2. Teraz pokażemy
tylko jedną bardzo ważną ich własność, a dokładniej, własność zer tych
wielomianów, która będzie nam potrzebna do rozwiązania problemu
kwadratur maksymalnego rzędu.

Lemat 10.3 Wielomian ortogonalny p

ma dokładnie k pojedynczych

i różnych zer w przedziale otwartym (a, b).

Dowód Niech y

, y

, . . . , y

będą wszystkimi punktami z przedziału

(a, b), w których wielomian p

zmienia znak. Gdyby lemat nie był praw-

dziwy to mielibyśmy s < k. Wtedy, kładąc

(x) = (x − y

)(x − y

) · · · (x − y

mamy hw, p

i = 0, bo w ∈ Π

i s < k. Z drugiej strony,

hw, p

i =

(x)p

(x)ρ(x) dx 6= 0,

bo funkcja podcałkowa jest albo stale dodatnia, albo stale ujemna (z
wyjątkiem zbioru miary zero). Ta sprzeczność kończy dowód.

10.3. KWADRATURY GAUSSA

123

10.3 Kwadratury Gaussa

Dla dowolnej n, niech x

∗

, x

∗

, . . . , x

∗

będą (różnymi) zerami (n+1)-szego

wielomianu p

n+1

w ciągu wielomianów ortogonalnych w przestrzeni uni-

tarnej L

2,ρ

(a, b), tzn.

n+1

(x) = (x − x

∗

)(x − x

∗

) · · · (x − x

∗

(10.1)

Ponieważ x

∗

leżą w przedziale (a, b), możemy mówić o kwadraturze

interpolacyjnej opartej na tych węzłach.

Deﬁnicja 10.3 Kwadraturę interpolacyjną Q

opartą na zerach wie-

lomianu ortogonalnego p

n+1

nazywamy kwadraturą Gaussa.

Okazuje się, że właśnie kwadratury Gaussa mają najwyższy rząd.

Dokładniej, mamy następujące twierdzenie.

Twierdzenie 10.2 Kwadratura Gaussa Q

ma najwyższy rząd spo-

śród wszystkich kwadratur opartych na węzłach o łącznej krotności n+1,
oraz

rz(Q

) = 2n + 2.

Dowód Wobec Lematu 10.1(ii) wystarczy pokazać, że kwadratura Q

jest dokładna dla każdego wielomianu stopnia nie większego niż 2n + 1.
Niech f ∈ Π

2n+1

. Niech w

∈ Π

będzie wielomianem interpolującym

w węzłach-zerach x

∗

, . . . , x

∗

wielomianu p

n+1

. Jeśli deg f ≤ n to

oczywiście w

= f i Q

(f) = S

) = S

(f). Jeśli zaś

+ 1 ≤ deg f ≤ 2n + 1,

to f − w

jest wielomianem stopnia tego samego co f i zeruje się w x

∗

0 ≤ j ≤ n. Stąd

(x) − w

(x) = (x − x

∗

)(x − x

∗

) · · · (x − x

∗

)g(x),

gdzie g jest wielomianem,

deg g = deg f − (n + 1) ≤ (2n + 1) − (n + 1) = n.

124

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

Korzystając z (10.1) i faktu, że p

n+1

jest prostopadły do Π

, ostatecznie

otrzymujemy

(f) − Q

(f) =

(f(x) − w

(x))ρ(x) dx

(x − x

∗

) · · · (x − x

∗

)g(x)ρ(x) dx

n+1

(x)g(x)ρ(x) = hp

n+1

, g

i = 0,

co kończy dowód.

Zajmiemy się teraz błędem kwadratur Gaussa. Pokażemy, że również

ze względu na błąd mają one dobre własności.

Twierdzenie 10.3 Jeśli f

∈ C

2n+2

([a, b]) to błąd kwadratury Gaussa

wyraża się wzorem

(f) − Q

(f) = kp

n+1

(2n+2)

(ξ)

(2n + 2)!

gdzie ξ

∈ [a, b]. Stąd, w szczególności,

max

f ∈F

n+1

([a,b])

(f) − Q

(f)| =

n+1

(2n + 2)!

Dowód Niech w

∈ Π

będzie wielomianem interpolującym f w zerach

∗

wielomianu p

n+1

. Niech ˜

∈ Π

2n+1

będzie z kolei wielomianem

(Hermite’a) interpolującym f w dwukrotnych węzłach x

∗

, tzn. takim,

że ˜

∗

) = f(x

∗

) i ˜

′

∗

) = f

′

∗

), 0 ≤ j ≤ n. Ponieważ rz(Q

) =

2n + 2 to Q

( ˜

) = S

( ˜

), a stąd i ze wzoru na błąd interpolacji

Hermite’a mamy

(f) − Q

(f) = S

(f) − Q

) = S

(f) − Q

( ˜

)

= S

(f) − S

( ˜

) =

(f(x) − ˜

(x))ρ(x) dx

(x − x

∗

)

· · · (x − x

∗

)

∗

, . . . , x

∗

, x

)ρ(x) dx

n+1

(x)ρ(x)f(x

∗

, . . . , x

∗

, x

) dx.

10.3. KWADRATURY GAUSSA

125

Ponieważ funkcja p

n+1

(x)ρ(x) jest prawie wszędzie dodatnia, możemy

teraz zastosować twierdzenie o wartości średniej, aby ostatecznie otrzy-
mać

(f) − Q

(f) =

(2n+2)

(ξ)

(2n + 2)!

n+1

(x)ρ(x) dx

(2n+2)

(ξ)

(2n + 2)! k

n+1

co kończy dowód.

Na końcu, zwrócimy jeszcze uwagę na inną, bardzo ważną własność

kwadratur Gaussa, a mianowicie, że ich współczynniki są dodatnie.
Rzeczywiście, zapisując

(f) =

j=0

)

i podstawiając

(x) = (x − x

∗

)

· · · (x − x

∗

j−1

)

(x − x

∗

j+1

)

· · · (x − x

∗

)

mamy, że f

∈ Π

i f

jest prawie wszędzie dodatnia. Stąd

0 < S

) = Q

) = a

∗

)

i a

0, bo f

∗

) > 0. Przypomnijmy, że dodatniość współczynni-

ków kwadratury ma duże znaczenie przy numerycznym ich obliczaniu,
zwłaszcza gdy funkcja podcałkowa f ma stały znak, zob. Rozdział 2.5.2.

Mimo niewątpliwych zalet kwadratur Gaussa, ich stosowalność ogra-

niczają trudności w wyliczeniu pierwiastków wielomianów ortogonal-
nych, gdy stopień wielomianu jest duży. Wyjątkiem są tutaj kwadra-
tury interpolacyjne oparte na zerach wielomianów Czebyszewa, zob. U.
10.3.

Uwagi i uzupełnienia

U. 10.1 Pokażemy teraz, że wielomiany ortogonalne {p

}

k≥0

w danej prze-

strzeni L

2,ρ

(a, b) spełniają następującą formulę trójczłonową. Załóżmy dla

126

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

uproszczenia, że współczynnik przy x

w wielomianie p

jest dla każdego k

jednością. Wtedy istnieją liczby β

(dla k ≥ 1) i γ

> 0 (dla k

≥ 2) takie, że

(x) = 1,

(x) = (x − β

(10.2)

(x) = (x − β

k−1

(x) − γ

k−2

(x),

≥ 2.

Aby to pokazać zauważmy, że p

można dla k ≥ 1 przedstawić w postaci

rozwinięcia

(x) = (x − c

k−1

(x) +

k−2

j=0

(x).

Mnożąc skalarnie obie strony tego równania przez p

dla 0 ≤ s ≤ k − 3,

otrzymujemy

0 = hp

(x), p

(x)i = h(x − c

k−1

(x), p

(x)i + c

(x), p

(x)i.

Wobec tego, że (x−c

k−1

(x) jest wielomianem stopnia mniejszego niż k−1,

mamy

h(x − c

k−1

(x), p

(x)i = hp

k−1

(x), (x − c

k−1

(x)i = 0,

a stąd c

(x), p

(x)i = 0 i c

= 0. Możemy więc napisać, że dla k = 1

mamy p

(x) = (x − β

), a dla k ≥ 2,

(x) = (x − β

k−1

(x) − γ

k−2

(x),

(10.3)

gdzie β

= c

k−1

i γ

= c

k−2

. Aby jawnie wyznaczyć β

i γ

, pomnożymy

skalarnie obie strony równania (10.3) kolejno przez p

k−1

i p

k−2

. Otrzymujemy

0 = hp

(x), p

k−1

= h(x − β

k−1

(x), p

k−1

(x)i − γ

k−2

(x), p

k−1

(x)i

= hxp

k−1

(x), p

k−1

(x)i − β

k−1

(x), p

k−1

(x)i,

czyli

= h

k−1

(x), p

k−1

(x)i

k−1

(x), p

k−1

(x)i

oraz

0 = hp

(x), p

k−2

(x)i

= h(x − β

k−1

(x), p

k−2

(x)i − γ

k−2

(x), p

k−2

(x)i

= hp

k−1

(x), xp

k−2

(x)i − γ

k−2

(x), p

k−2

(x)i,

10.3. KWADRATURY GAUSSA

127

a stąd i z równości hp

k−1

(x), xp

k−2

(x)i = hp

k−1

(x), p

k−1

(x)i,

= h

k−1

(x), p

k−1

(x)i

k−2

(x), p

k−2

(x)i

Zauważmy, że z formuły trójczłonowej wynika w szczególności algorytm

wyznaczenia ciągu wielomianów ortogonalnych. Wystarczy bowiem wyzna-
czać kolejne współczynniki β

i γ

(obliczając odpowiednie iloczyny skalarne

hxp

(x), p

(x)i i hp

(x), p

(x)i) i stosować wzór rekurencyjny (10.2). Do-

dajmy jeszcze, że w obliczeniach numerycznych najlepiej jest przechowywać
informację o ciągu {p

}

k≥0

po prostu w postaci liczb β

i γ

U. 10.2 Wygodnie jest posłużyć się wielomianami ortogonalnymi w przy-
padku, gdy chcemy znaleźć najlepszą aproksymację danej funkcji f wielomia-
nem ustalonego stopnia n, i błąd mierzymy w normie przestrzeni L

2,ρ

(a, b).

Rzeczywiście, jak wiadomo, najlepszą aproksymacją dla f w przestrzeni Π

jest jej rzut prostopadły na Π

. Ponieważ n + 1 początkowych wielomianów

ortogonalnych p

, 0 ≤ k ≤ n, tworzy bazę w Π

, rzut ten wyraża się wzorem

∗

k=0

hf, p

, p

U. 10.3 Zachodzi następujące twierdzenie Łuzina. Niech przedział [a, b] bę-
dzie skończony. Niech Q

(f) =

j=0

(n)
j

f (x

(n)
j

) będzie takim ciągiem kwa-

dratur, że:

(i) wszystkie współczynniki a

(n)
j

są dodatnie,

(ii) rząd kwadratur Q

rośnie do nieskończoności gdy n → ∞.

Wtedy ciąg Q

(f) zbiega do

f (x)dx dla każdej funkcji ciągłej f .

Zauważmy, że twierdzenie to stosuje się do ciągu kwadratur Gaussa Q

ale nie do ciągu kwadratur Newtona-Cotesa Q

N C

, ponieważ w tych ostatnich

pojawiają się dla dużych n współczynniki ujemne.

W praktyce, najczęściej stosuje się ciąg kwadratur interpolacyjnych opar-

tych na zerach kolejnych wielomianów Czebyszewa, ponieważ zera te dane są
jawnie i “zagęszczają się”, tzn. zera wielomianu Czebyszewa T

są też zerami

wielomianu T

. Powstające w ten sposób kwadratury noszą nazwę formuł

Clanshow-Curtis’a. Są one w pewnym sensie uniwersalne, bowiem posiadają
optymalną szybkość zbieżności n

−(r+1)

w klasach F

([a, b]) dla dowolnych

r i M .

128

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

U. 10.4 Jeśli przedział całkowania jest skończony i waga jest jednostkowa
to kwadratury Gaussa (a dokładniej kwadratury Legendre’a) można użyć
do tworzenia kwadratur złożonych ¯

r,k

, gdzie k oznacza liczbę podprzedzia-

łów. Łatwo widać, że dla f ∈ F

2r+1

([a, b]), błąd takiej kwadratury można

oszacować przez

|S(f) − ¯

r,k

| ≤

M (b

− a)

2r+3

(2r + 2)!

2r+2

czyli jest on porównywalny do błędu “zwykłej” złożonej kwadratury interpo-
lacyjnej. Jednak złożona kwadratura Legendre’a korzysta z dwa razy mniej-
szej liczby węzłów.

U. 10.5 Błąd złożonej kwadratury Legendre’a w klasie F

2r+1

([a, b]) można

podać dokładnie. Wystarczy wykorzystać wzory z Ćw. 10.4 i 10.5, aby otrzy-
mać

max

f ∈F

r+1

([a,b])

|S(f) − ¯

r,k

| = C

2r+2

gdzie

C =

M 2

2r+3

(r + 1)

2r+2

(2r + 3)!

(r + 2) · · · (2r + 2)

1 · 2 · · · (r + 1)

i n = k(r + 1) jest ogólną liczbą węzłów na [a, b].

Ćwiczenia

Ćw. 10.1 Uzasadnić, że:
(a) jeśli kwadratura jest dokładna dla dowolnych n + 1 wielomianów tworzą-
cych bazę w Π

, to jest ona rzędu co najmniej n + 1, oraz

(b) jeśli kwadratura jest rzędu n + 1 to jest ona niedokładna dla każdego
wielomianu stopnia dokładnie n + 1.

Ćw. 10.2 Uzasadnić, że kwadratura prostokątów jest kwadraturą Legen-
dre’a, natomiast żadna z kwadratur Newtona-Cotesa Q

N C

nie jest kwadra-

turą Gaussa.

Ćw. 10.3 Załóżmy, że dane są liczby β

i γ

deﬁniujące ciąg wielomia-

nów ortogonalnych przez formułę trójczłonową. Zaproponować ekonomiczny
(tzn. o koszcie proporcjonalnym do n) algorytm obliczania wartości n-tego
wielomianu ortogonalnego w danym punkcie x, wykorzystujący formułę trój-
członową.

10.3. KWADRATURY GAUSSA

129

Ćw. 10.4 Niech x

, 0 ≤ j ≤ n, będą zerami (n + 1)-szego wielomianu

Legendre’a. Pokazać, że

−1

(x − x

)

(x − x

)

· · · (x − x

)

2n+3

2n + 3

1 · 2 · · · n · (n + 1)

(n + 2)(n + 3) · · · (2n + 2)

Wskazówka. Wykorzystać fakt, że dla n-tego wielomianu Legendre’a mamy

−1

(x)dx = (2n + 1)

−1

Ćw. 10.5 Niech

(f) =

j=0

f (x

)

będzie kwadraturą interpolacyjną opartą na zerach (n+1)-ezego wielomianu
Legendre’a. Niech −∞ < a < b < ∞. Pokazać, że wtedy kwadratura

(f) =

− a

j=0

a +

+ 1

(b − a)

jest kwadraturą Gaussa opartą na n + 1 węzłach, dla całki na przedziale
(a, b) z wagą jednostkową. Ponadto, jeśli f ∈ C

(2n+2

)([a, b]), to

f (x) dx

− ˜

(f) =

− a

2n+3

1 · 2 · · · (n + 1)

(n + 2) · · · (2n + 2)

(2n+2)

(ξ)

(2n + 3)!

Ćw. 10.6 Niech ρ ≡ 1 i −∞ < a < b < +∞. Pokazać, że jeśli kwadratura
Q oparta na n + 1 węzłach jest rzędu r

≥ n + 1, to odpowiadająca jej

kwadratura złożona ¯

ma następującą własność. Jeśli f ∈ C

(r)

([a, b]) to

|S(f) − ¯

(f)| ≤

r−1

(b − a)

(r)

([a,b])

Ćw. 10.7 Niech x

, 0 ≤ j ≤ n, będą zerami (n + 1)-szego wielomianu

ortogonalnego Legendre’a (tzn. na przedziale [−1, 1] z wagą 1). Niech dla

0 ≤ j ≤ n,

−1

(x − x

) · · · (x − x

j−1

)(x − x

j+1

) · · · (x − x

)

− x

) · · · (x

− x

j−1

)(x

− x

j+1

) · · · (x

− x

)

dx.

Pokazać, że jeśli f i g są wielomianami stopnia nie większego niż n, to ich
iloczyn skalarny w L

2,1

(−1, 1),

hf, gi =

−1

f (x)g(x) dx =

j=0

f (x

)g(x

130

ROZDZIAŁ 10. CAŁKOWANIE A APROKSYMACJA

Rozdział 11

Iteracje dla równań
liniowych

Algorytmy rozwiązywania układów równań liniowych postaci

A~x

= ~b,

gdzie A jest nieosobliwą macierzą rzeczywistą n × n, a ~b jest wektorem

rzeczywistym w R

, które rozpatrywaliśmy w Rozdziałach 3, 4 i 5, na-

leżą do grupy algorytmów dokładnych albo bezpośrednich. To znaczy, że
po wykonaniu skończonej liczby dopuszczalnych operacji elementarnych
dostajemy w arytmetyce idealnej dokładne rozwiązanie

∗

= A

−1

~b.

W tym rozdziale zajmiemy się algorytmami iteracyjnymi rozwiązy-

wania układów równań liniowych. Polegają one na tym, że, startując
z pewnego przybliżenia początkowego ~x

, konstruuje się ciąg kolejnych

przybliżeń

= Φ

(A,~b; ~x

= 1, 2, . . . ,

które w granicy osiągają rozwiązanie dokładne,

lim

k→∞

= ~x

∗

131

132

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

11.1 Kiedy stosujemy iteracje?

Jasne jest, że algorytmy iteracyjne stosujemy wtedy, gdy są one konku-
rencyjne w stosunku do algorytmów bezpośrednich. Dlatego przekształ-
cenia Φ

należy wybierać tak, aby kolejne przybliżenia można było ła-

two obliczać i jednocześnie kolejne błędy k~x

− ~x

∗

k szybko zbiegały do

zera.

Zwykle zakłada się również, że dokładne rozwiązanie ~x

∗

jest punk-

tem stałym przekształcenia Φ

(A,~b; ·). Wtedy kolejne błędy spełniają

zależność

− ~x

∗

= Φ

(A,~b; ~x

) − Φ

(A,~b; ~x

∗

Jeśli teraz Φ

(A,~b; ·) są lipschitzowskie ze stałymi m

+∞, tzn. dla

pewnej normy wektorowej k · k mamy

kΦ

(~x) − Φ

(~y)k ≤ m

k~x − ~yk,

∀~x, ~y,

k~x

− ~x

∗

k ≤ m

k~x

− ~x

∗

Warunek lim

k→∞

= 0 jest więc dostateczny na to, aby metoda była

zbieżna dla dowolnego przybliżenia początkowego ~x

, przy czym szyb-

kość zbieżności zależy od tego, jak szybko m

maleją do zera. Dla więk-

szości stosowanych metod Φ

jest funkcją liniową błędu początkowego,

tzn.

(A,~b; ~x

− ~x

∗

) = M

(~x

− ~x

∗

gdzie M

jest pewną macierzą. Wtedy jako m

można przyjąć normę

tej macierzy,

= kM

k = sup

xk=1

Dla ilustracji, rozpatrzmy ogólną metodę iteracji prostej, w której

= B~x

k−1

+ ~c,

(11.1)

dla pewnej macierzy B wymiaru n × n i wektora ~c ∈ R

. W tym

przypadku

− ~x

∗

= B

(~x

− ~x

∗

11.1. KIEDY STOSUJEMY ITERACJE?

133

a stąd i z nierówności kB

k ≤ kBk

, mamy

k~x

− ~x

∗

k ≤ kBk

k~x

− ~x

∗

Warunkiem dostatecznym zbieżności iteracji prostych jest więc kBk <

1. Mówimy, że metoda jest zbieżna liniowo z ilorazem kBk.

Przykład 11.1 Rozkładając macierz A = (a

i,j

)

i,j=1

na sumę

= D + C,

gdzie D jest macierzą diagonalną składającą się z wyrazów stojących
na głównej przekątnej macierzy A, układ A~x = ~b jest równoważny
układowi

D~x

= −C~x + ~b,

a stąd (o ile na przekątnej macierzy A nie mamy zera) otrzymujemy
metodę iteracyjną

= B~x

k−1

+ ~c,

gdzie B = −D

−1

i ~c = D

−1

~b, zwaną metodą Jacobiego.

W metodzie Jacobiego warunek dostateczny zbieżności, kBk < 1,

jest spełniony wtedy, gdy macierz A ma dominującą przekątną, tzn.
gdy

2|a

i,i

| >

j=1

i,j

1 ≤ i ≤ n.

(11.2)

Rzeczywiście, ponieważ wyraz (i, j) macierzy D

−1

wynosi 0 dla i = j

i a

i,j

i,i

dla i 6= j, to

−1

∞

= max

1≤i≤n

j=1,j6=i

i,j

|/|a

i,i

= max

1≤i≤n

j=1

i,j

|/|a

i,i

| − 1 < 1,

przy czym ostatnia nierówność wynika z (11.2).

Inne przykłady iteracji prostych podane są w U. 11.3 i Ćw. 11.2.
Zastanówmy się teraz nad złożonością metod iteracyjnych. Ponieważ

możemy jedynie znaleźć pewne przybliżenie rozwiązania dokładnego ~x

∗

134

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

przez złożoność metody będziemy rozumieli koszt kombinatoryczny ob-
liczenia ~x

z zadaną dokładnością ε > 0. Dla uproszczenia założymy, że

medoda jest zbieżna liniowo z ilorazem m. Zauważmy, że aby zreduko-
wać błąd początkowy do ε > 0, wystarczy wykonać k = k(ε) iteracji,
gdzie k spełnia

k~x

− ~x

∗

k ≤ ε,

czyli

≥

log(1/ε) − log(1/k~x

− ~x

∗

log(1/m)

Liczba ta zależy więc w istotny sposób od błędu początkowego i (przede
wszystkim) od stałej Lipschitza m, natomiast zależność od dokładności
ε

i wymiaru n układu jest dużo mniej istotna. Zakładając, że koszt jed-

nej iteracji wynosi c = c(n) (zwykle c(n) jest tym mniejszy, im mniejsza
jest liczba niezerowych elementów macierzy A), złożoność metody jest
proporcjonalna do

(n)

log(1/ε)

log(1/m)

Stąd oczywisty wniosek, że metody iteracyjne warto stosować zamiast
metod bezpośrednich w przypadku gdy

• wymiar n układu A~x = ~b jest “duży”, oraz

• macierz A układu jest “rozrzedzona”, tzn. ma stosunkowo nie-

wielką liczbę elementów niezerowych, np. proporcjonalną do n.

Układy o tych własnościach powstają często przy numerycznym roz-
wiązywaniu równań różniczkowych cząstkowych.

Zaletą metod iteracyjnych jest również ich prostota, przez co są one

łatwe do zaprogramowania.

11.2 Metoda Czebyszewa

Zauważyliśmy, że ze względu na szybkość zbieżności metody iteracyjnej
ważne jest, aby stałe lipschitzowskie m

odwzorowań Φ

malały jak

najszybciej. Metoda Czebyszewa, którą przedstawimy w tym rozdziale,
jest właśnie próbą minimalizacji tych stałych.

11.2. METODA CZEBYSZEWA

135

Przy opisie metody będziemy korzystać z następujących dwóch fak-

tów, które sformułujemy jako lematy.

Lemat 11.1 Jeśli macierz A jest symetryczna, to istnieje ortonor-
malna w R

baza jej wektorów własnych ~

, 1

≤ j ≤ n, tzn.

h~ξ

, ~

= ~ξ

(

6= j,

= j,

a odpowiadające im wartości własne λ

, A~

= λ

, są rzeczywiste.

Jeśli ponadto A jest dodatnio określona to λ

są dodatnie.

Lemat 11.2 Niech macierz A będzie symetryczna i niech

|λ

| ≥ |λ

| ≥ · · · ≥ |λ

będą jej wartościami własnymi. Wtedy

kAk

= sup

x6=~0

kA~xk

k~xk

= |λ

Jeśli ponadto A jest nieosobliwa, tzn.

|λ

| > 0, to

−1

|λ

Lemat 11.1 jest znanym faktem z algebry liniowej, więc dowód po-

miniemy. Dowód Lematu 11.2 podany jest w U. 11.1.

Zakładamy, że macierz A wyjściowego układu równań jest syme-

tryczna i dodatnio określona.

= A

a jej wartości własne λ

leżą w znanym przedziale [a, b],

0 < a ≤ λ

≤ · · · ≤ λ

= kAk

≤ b < ∞.

W metodzie Czebyszewa kolejne przybliżenia ~x

konstruujemy tak,

aby była spełniona równość

(~x

− ~x

∗

) = W

(A)(~x

− ~x

∗

(11.3)

136

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

gdzie W

(A) jest macierzą, która wielomianowo zależy od A,

(A) =

j=0

(k)
j

i ma możliwie małą normę. (Dalej będziemy również używać tego sa-
mego symbolu W

do oznaczenia wielomianu zmiennej rzeczywistej,

tzn. dla t ∈ R mamy W

(t) =

j=0

(k)
j

.) Możemy więc napisać, że

= W

(A)~x

+ (I − W

(A))~x

∗

Aby zapewnić konstruowalność przybliżenia ~x

, musimy umieć obliczać

(I − W

(A))~x

∗

. Ponieważ

(I − W

(A))~x

∗

= −

j=1

(k)
j

∗

+ (1 − a

(k)
0

)~x

∗

= −

k−1

j=0

(k)
j+1

~b + (1 − a

(k)
0

)~x

∗

dla konstruowalności ~x

wystarczy założyć, że a

(k)
0

= 1, co odpowiada

warunkowi

(0) = 1,

∀k.

(11.4)

Z nierówności (11.3) mamy

k~x

− ~x

∗

≤ kW

(A)k

k~x

− ~x

∗

Idea metody polega teraz na wyborze wielomianów W

tak, aby miały

one jak najmniejszą normę kW

(A)k

. W tym celu zauważmy, że ma-

cierz W

(A) jest symetryczna, a jej wartości własne wynoszą W

(λ

gdzie λ

są wartościami własnymi macierzy A, zob. Ćw. 11.1. Stąd

(A)k

≤ max

a≤t≤b

(t)| = kW

([a,b])

Rozwiązanie problemu minimalizacji ostatniego maksimum ze względu
na wszystkie wielomiany W

∈ Π

takie, że W

(0) = 1, jest podane

w Rozdziale 7 (zob. Ćw. 7.8). Przypomnijmy, że optymalny wielomian
dany jest wzorem

∗

(t) =

(h(t))

(h(0))

11.2. METODA CZEBYSZEWA

137

gdzie T

jest k-tym wielomianem Czebyszewa, a

(t) =

2t − (b + a)

− a

Przypomnijmy również, że wielomiany Czebyszewa spełniają formułę
trójczłonową, T

(t) = 1, T

(t) = t, oraz T

(t) = 2tT

k−1

(t)−T

k−2

dla k ≥

2. Pozwala to na rekurencyjną konstrukcję kolejnych ~x

w zależności od

k−1

i ~x

k−2

. Dokładniej, dla pierwszego przybliżenia mamy

∗

(A) =

(h(A))

(h(0))

2A−(b+a)I

b−a

−

b+a
b−a

= I −

+ a

a stąd

= W

∗

(A)~x

+ (I − W

(A))~x

∗

= ~x

+ a

(~b − A~x

)

= ~x

+ a

gdzie ~r

= ~b − A~x

jest początkowym residuum.

Dla k ≥ 2 wykorzystamy formułę rekurencyjną dla wielomianów

Czebyszewa. Oznaczając t

= T

(h(0)), j ≥ 0, mamy

∗

(A) =

(h(A))

2h(A)T

k−1

(h(A)) − T

k−2

(h(A))

= 2

k−1

(A)

k−1

(h(A))

k−1

−

k−2

(h(A))

k−2

= 2

k−1

(A)W

∗

k−1

(A) −

k−2

∗

k−2

(A).

Stąd

− ~x

∗

= W

∗

(A)(~x

− ~x

∗

)

= 2

k−1

(A)W

∗

k−1

(~x

− ~x

∗

) −

k−2

∗

k−2

(A)(~x

− ~x

∗

)

= 2

k−1

(A)(~x

k−1

− ~x

∗

) −

k−2

(~x

k−2

− ~x

∗

)

138

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

= 2

k−1

− a

−

+ a

− a

(~x

k−1

− ~x

∗

) −

k−2

(~x

k−2

− ~x

∗

)

= −

− a

k−1

− 2

k−1

+ a

− a

k−1

−

k−2

k−1

+ a

− a

k−2

∗

Wykorzystując wynikającą z formuły trójczłonowej równość

= −2

− a

+ a

k−1

− t

k−2

otrzymujemy ostatecznie

= (1 + α

)~x

k−1

− α

k−2

− β

k−1

gdzie α

= t

k−2

i β

= (4t

k−1

)/(t

(b + a)). Algorytm wynikający z

metody Czebyszewa można więc zapisać następująco.

:= {dowolne};

:= ~b − A~x

;

:= ~x

+ 2~r

(b + a);

:= ~b − A~x

;

:= 1;

:= −(b + a)/(b − a);

:= −4/(b − a);

for j = 2, 3, . . .

begin

:= 2t

k−1

− t

k−2

;

:= t

k−2

;

:= (1 + α

)~x

k−1

− α

k−2

+ β(t

k−1

)~r

k−1

;

:= ~b − A~x

end.

Zauważmy, że opisana metoda Czebyszewa jest metodą dwupunktową,
bowiem do konstrukcji kolejnego przybliżenia ~x

wykorzystuje się dwa

poprzednie przybliżenia ~x

k−1

i ~x

k−2

Zastanowimy się jeszcze nad szybkością zbieżności metody Czeby-

szewa. Wobec

(A)k

= k

(h(·))k

([a,b])

(h(0))|

b+a
b−a

11.3. METODA NAJSZYBSZEGO SPADKU

139

mamy

k~x

− ~x

∗

≤

k~x

− ~x

∗

b+a
b−a

Aby oszacować T

−1

((b + a)/(b − a)), wykorzystamy jawną formułę na

(t) z Ćw. 7.2. Oznaczając t = (b + a)/(b − a) mamy dla dużych k

(t)

(t +

√

− 1)

+ (t −

√

− 1)

≈

(t +

√

− 1)

b−a
b+a

(b+a)

−(b−a)

(b−a)

2(b − a)

(

√

+ √a)

= 2

√

−

√

+ √a

a stąd w przybliżeniu

k~x

− ~x

∗

≤ 2





b/a

− 1

b/a

+ 1





k~x

− ~x

∗

Metoda Czebyszewa jest więc zbieżna co najmniej liniowo z ilorazem
(

b/a

− 1)/(

b/a

+ 1). Zauważmy jeszcze, że jeśli a i b są odpowiednio

najmniejszą i największą wartością własną macierzy A, to b = kAk

1/a = kA

−1

, a stąd b/a = kAk

−1

= cond(A) i metoda jest

zbieżna z ilorazem

cond(A) − 1

cond(A) + 1

Po raz kolejny widzimy tu ważną rolę uwarunkowania macierzy. Im
uwarunkowanie jest gorsze tym gorsza zbieżność metody Czebyszewa.

11.3 Metoda najszybszego spadku

Tak jak poprzednio, będziemy zakładać, że macierz A układu jest sy-
metryczna i dodatnio określona. Wtedy zachodzi następujący fakt.

140

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

Lemat 11.3 Rozwiązanie ~x

∗

układu A~x = ~b jest jedynym wektorem

minimalizującym formę kwadratową

(~x) =

1
2

A~x

− ~x

~b.

Dowód Zauważmy, że dla dowolnych ~x i ~z mamy

(~x + ~z) =

1
2

(~x

+ ~z

)A(~x + ~z) − (~x

+ ~z

)~b

1
2

A~x

− ~x

~b +

1
2

(~z

A~x

+ ~x

A~z

) − ~z

~b +

1
2

A~z

= Q(~x) − z

(~b − ~

A~x

) +

1
2

A~z,

przy czym w ostatniej równości wykorzystaliśmy symetrię macierzy A.
Stąd dla ~x = ~x

∗

i ~z 6= ~0 dostajemy

(~x

∗

+ ~z) = Q(~x

∗

) +

1
2

A~z > Q

(~x

∗

co z kolei wynika z dodatniej określoności A.

W metodzie najszybszego spadku konstruuje się kolejne przybliżenie

przesuwając się od ~x

k−1

w kierunku przeciwnym do gradientu formy

tak długo jak długo wartość tej formy maleje. (Przypomnijmy, że

minus gradient wyznacza kierunek lokalnie najszybszego spadku.) Po-
nieważ gradient Q w punkcie ~x

k−1

wynosi

∂Q

∂x

(~x

k−1

)

i=1

= A~x

k−1

−~b = −~r

k−1

metoda ma postać

= ~x

k−1

+ γ

k−1

(11.5)

gdzie γ

jest dobrane tak, aby zminimalizować Q(~x

). Jak łatwo się

przekonać,

(~x

) = Q(~x

k−1

+ γ~r

k−1

)

= Q(~x

k−1

) +

1
2

k−1

A~r

k−1

+ γ~r

k−1

A~x

k−1

− γ~r

k−1

= Q(x

k−1

) +

1
2

k−1

A~r

k−1

− γ~r

k−1

11.3. METODA NAJSZYBSZEGO SPADKU

141

jest jako funkcja γ parabolą, która przyjmuje minimum w

k−1

A~r

k−1

(11.6)

Wzory (11.5) i (11.6) deﬁniują już w pełni metodę najszybszego spadku.

Pokażemy jeszcze zbieżność metody. W tym celu zauważmy, że

(~x

) = Q(~x

k−1

) −

1
2

(~r

k−1

)

k−1

A~r

k−1

≤ Q(~x

k−1

Ciąg Q(~x

) jest nierosnący i ograniczony z dołu przez Q(~x

∗

), a więc

jest zbieżny. To wymusza

lim

k→∞

(~r

k−1

)

k−1

A~r

k−1

= 0,

co z kolei oznacza, że ~r

= ~b − A~x

zbiega do zera i w konsekwencji

lim

k→∞

= ~x

∗

Uwagi i uzupełnienia

U. 11.1 (Dowód Lematu 11.2) Jeśli (~ξ

)

j=1

jest ortonormalną bazą wek-

torów własnych macierzy A, to dla dowolnego wektora ~x =

j=1

mamy

kA~xk

= hA~x, A~xi

i=1

A(~

j=1

A(~

)

i=1

j=1

≤ λ

j=1

= λ

k~xk

a stąd kA~xk

≤ |λ

|k~xk

. Z drugiej strony,

kA~ξ

= kλ

= |λ

|k~ξ

= |λ

a więc kAk

= |λ

Aby pokazać drugą część lematu zauważmy, że macierz A

−1

jest też sy-

metryczna. Ma ona te same wektory własne co A, a wartości własne wynoszą
1/λ

, przy czym |1/λ

| ≥ · · · ≥ |1/λ

|. Stąd kA

−1

= |1/λ

142

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

U. 11.2 Pokazaliśmy, że warunkiem dostatecznym zbieżności metody ite-
racji prostej ~x

= B~x

k−1

+ ~c jest kBk < 1. Okazuje się, że można podać

warunek konieczny i dostateczny. Metoda iteracji prostej jest zbieżna dla
dowolnego przybliżenia początkowego ~x

wtedy i tylko wtedy, gdy promień

spektralny macierzy B jest nie większy od jedności, tzn.

ρ(A) = max

|λ| < 1,

gdzie maksimum wzięte jest po wszystkich wartościach własnych macierzy
A.

U. 11.3 Przedstawiając macierz A w postaci A = L + U, gdzie L jest ma-
cierzą trójkątną dolną elementów występujących na i pod główną przekątną
A, układ równań A~x = ~b jest równoważny układowi L~x =

−U~x + ~b. Stąd

wynika metoda iteracji prostej

= −L

−1

U~x

k−1

+ L

−1

~b,

zwana metodą Seidla. Można pokazać, że metoda ta jest zbieżna gdy macierz
A jest symetryczna i dodatnio określona.

U. 11.4 Pokazana metoda Czebyszewa dla macierzy A = A

> 0 o war-

tościach własnych z przedziału [a, b], 0 < a < b < ∞, jest metodą dwu-

punktową. Rozpatruje się też jednopunktowe, cykliczne metody Czebyszewa
postaci

= ~x

k−1

+ α

k−1

gdzie parametry α

są wybierane cyklicznie, α

j+m

= α

dla wszystkich j i

pewnej ustalonej m, oraz tak, aby zminimalizować normę macierzy przejścia
w każdym cyklu. Dokładniej, mamy ~x

− ~x

∗

= (I − α

A)(~x

k−1

− ~x

∗

), a stąd

− ~x

∗

= W

(A)(~x

− ~x

∗

gdzie

(A) = (I − α

A)(I

− α

m−1

· · · (I − α

A).

Wielomian W

(t) jest więc stopnia m, a jego pierwiastki wynoszą t

= 1/α

1 ≤ j ≤ m. Ponadto W

(0) = 1. Jak już wiemy, norma macierzy kW

(A)k

jest minimalna gdy W

(t) = W

∗

(t) = T

(h(t))/T

(h(0)), gdzie h(t) =

(2x − (a + b))/(b − a). Stąd parametry α

j+m

najlepiej jest wybrać tak, aby

były odwrotnościami pierwiastków W

∗

(t), czyli

b + a

−

− a

cos

2j − 1

−1

1 ≤ j ≤ m.

11.3. METODA NAJSZYBSZEGO SPADKU

143

U. 11.5 Metoda najszybszego spadku należy do rodziny metod gradiento-
wych postaci

= ~x

k−1

+ α

k−1

gdzie parametr α

wybiera się tak, aby zminimalizować normę

k~x

− ~x

∗

(~x

− ~x

∗

)

B(~x

− ~x

∗

a B jest pewną macierzą, B = B

> 0. Zwykle przyjmuje się B = A

. Jak

łatwo się przekonać, metodę najszybszego spadku otrzymujemy w przypadku
p = 1, czyli B = A.

Można pokazać, że dla metod gradientowych

k~x

− ~x

∗

≤

cond(A) − 1
cond(A) + 1

k~x

− ~x

∗

Ćwiczenia

Ćw. 11.1 Niech A będzie macierzą symetryczną o wartościach własnych
λ

, 1 ≤ j ≤ n. Pokazać, że dla dowolnego wielomianu W (t) =

j=0

macierz

W (A) =

j=1

jest też symetryczna. Ponadto wektory własne A i W (A) są takie same, a
wartości własne W (A) wynoszą W (λ

) dla 1 ≤ j ≤ n.

Ćw. 11.2 Niech A = A

> 0. Rozpatrzmy metodę Richardsona postaci

= (I − αA)~x

k−1

+ α~b.

gdzie α dobieramy tak, aby zminimalizować normę macierzy kI − αAk

Zauważyć, że jest to metoda iteracji prostej, ale równocześnie jednopunktowa
metoda Czebyszewa z U. 11.4 przy m = 1. Pokazać, że optymalne α wyraża
się wzorem

opt

+ λ

gdzie λ

i λ

są odpowiednio największą i najmniejszą wartością własną A.

Ponadto

kI − α

opt

− λ

+ λ

cond(A) − 1
cond(A) + 1

gdzie cond(A) = kAk

−1

144

ROZDZIAŁ 11. ITERACJE DLA RÓWNAŃ LINIOWYCH

Ćw. 11.3 Pokazać, że warunkiem koniecznym i dostatecznym zbieżności
metody Richardsona z Ćw. 11.2, dla dowolnego przybliżenia początkowego
~x

, jest

0 < α <

kAk

(11.7)

Ponadto dla α spełniającego (11.7) iloraz zbieżności wynosi

kI − αAk

(

αλ

− 1

opt

< 2/λ

1 − αλ

0 < α ≤ α

opt

gdzie α

opt

= 2/(λ

+ λ

Ćw. 11.4 Wykazać, że m-cykliczna jednopunktowa metoda Czebyszewa z
U. 11.4 jest zbieżna liniowo z ilorazem równym (b − a)/(b + a) dla m = 1 i

dążącym do (

√

−

√

a)/(

√

b +

√

a), gdy m

→ ∞.

Ćw. 11.5 Niech A = A

> 0 i niech

Q(~x) =

1
2

A~x + ~x

~b.

Pokazać, że zbiór

{ ~x ∈ R

: Q(~x) = const. }

tworzy hiperelipsoidę w R

o środku A

−1

~b i osiach w kierunkach wektorów

własnych macierzy A o długościach proporcjonalnych do 1/

, gdzie λ

są

wartościami własnymi A.
Wskazówka. Wykorzystać Lemat 11.1.

Rozdział 12

Iteracje dla równań
nieliniowych

W Rozdziale 11 analizowaliśmy metody iteracyjne dla rozwiązywania
równań liniowych A~x = ~b. Teraz zajmiemy się równaniami nielinio-
wymi, w których zamiast operatora liniowego (macierzy) A mamy od-
wzorowanie nieliniowe f : D → R

, gdzie D jest podzbiorem w R

. Dla

uproszczenia będziemy zakładać, że ~b = ~0, gdyż w przeciwnym przy-
padku możemy zastąpić f funkcją f

(~x) = f(~x) −~b. Będziemy również

zakładać, że f należy do pewnej znanej klasy F funkcji przekształcają-
cych D w R

i mających co najmniej jedno zero w D. Zadanie polega

więc na znalezieniu rozwiązania ~x

∗

= ~x

∗

(f) równania nieliniowego

(~x) = ~0,

dla

∈ F.

(12.1)

Jak zwykle w przypadku, gdy danymi są funkcje zakładamy, że jedyną
informacją “a priori” o f jest, że f ∈ F . Dodatkową informację mo-

żemy zdobyć przez obliczanie wartości, a niekiedy i pochodnych f (o
ile istnieją) w wybranych punktach. Zauważmy, że metody iteracyjne
Czebyszewa i najszybszego spadku z Rozdziału 11 dla równań linio-
wych korzystały właśnie z takiej (częściowej) informacji o macierzy A,
chociaż formalnie zakładaliśmy, że dostępna jest pełna informacja o jej
współczynnikach. Dla równań nieliniowych możliwość obliczenia jedy-
nie informacji częściowej jest założeniem modelowym, a to wymusza
już fakt, że każda metoda rozwiązywania równania (12.1) może dawać
co najwyżej wynik przybliżony.

145

146 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

12.1 Bisekcja

Metoda bisekcji, czyli połowienia, jest dość naturalną metodą obliczania
zer skalarnych funkcji ciągłych określonych na danym przedziale [a, b] i
zmieniających znak. Dokładniej, rozpatrzmy klasę funkcji

= { f ∈ C([a, b]) : f(a) < 0 < f(b) }.

(12.2)

Oczywiście, każda funkcja f ∈ F ma co najmniej jedno zero w [a, b].

Startując z przedziału [a, b], w kolejnych krokach metody bisekcji obli-
czamy informację o wartości f w środku przedziału, co pozwala nam,
w zależności od znaku obliczonej wartości, zmniejszyć o połowę prze-
dział, w którym na pewno znajduje się zero funkcji. Bisekcję realizuje
następujący ciąg poleceń, po wykonaniu którego x jest przybliżeniem
zera funkcji f z zadaną dokładnością ε.

:= a; xr := b;

:= (a + b)/2; e := (b − a)/2;

while (e > ε) do
begin

(f(x) < 0) then xr := x else xl := x;

= (xl + xr)/2; e := e/2

end.

Z konstrukcji metody łatwo wynika, że po wykonaniu k iteracji (albo

po obliczeniu k wartości funkcji) otrzymujemy x = x

, które odległe jest

od pewnego rozwiązania x

∗

o co najwyżej

− x

∗

| ≤

1
2

− a

(12.3)

Metoda bisekcji jest więc zbieżna liniowo z ilorazem 1/2. Choć ta zbież-
ność nie jest imponująca, bisekcja ma kilka istotnych zalet. Oprócz jej
prostoty, należy podkreślić fakt, że bisekcja jest w pewnym sensie uni-
wersalna. Dla jej zbieżności wystarcza bowiem jedynie ciągłośc funkcji.
Poza tym możemy łatwo kontrolować jej błąd. Konsekwencją (12.3) jest
bowiem następujący wniosek.

12.2. ITERACJE PROSTE

147

Wniosek 12.1 Dla znalezienia zera z dokładnością ε > 0, wystarczy
obliczyć w metodzie bisekcji

= k(ε) =

log

(b − a)

− 1

wartości funkcji.

Dodajmy jeszcze, że bisekcja minimalizuje błąd najgorszy w klasie

zdeﬁniowanej przez (12.2), wśród wszystkich algorytmów korzysta-

jących z określonej liczby obliczeń wartości funkcji, zob U. 12.1.

12.2 Iteracje proste

Przedstawimy teraz metodę iteracji prostych dla rozwiązywania rów-
nań nieliniowych, którą można traktować jako uogólnienie iteracji pro-
stych dla równań liniowych. Najpierw równanie (12.1) przekształcamy
do równania równoważnego (tzn. mającego te same rozwiązania)

= φ(~x).

(12.4)

Następnie, startując z pewnego przybliżenia początkowego ~x

, konstru-

ujemy ciąg kolejnych przybliżeń ~x

według wzoru

= φ(~x

k−1

≥ 1.

Twierdzenie 12.1 Niech D

będzie domkniętym podzbiorem dziedziny

= D

⊂ D,

w którym φ jest odwzorowaniem zwężającym. To znaczy, φ(D

) ⊂ D

oraz istnieje stała 0

≤ L < 1 taka, że

kφ(~x) − φ(~y)k ≤ L k~x − ~yk,

∀~x, ~y ∈ D

Wtedy równanie (12.4) ma dokładnie jedno rozwiązanie ~x

∗

, oraz

∗

= lim

k→∞

dla dowolnego przybliżenia początkowego ~x

∈ D

148 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

Dowód Wobec

k~x

− ~x

k−1

k = kφ(~x

k−1

) − φ(~x

k−2

)k ≤ L k~x

k−1

− ~x

k−2

≤ · · · ≤ L

k−1

k~x

− ~x

dla k ≥ s mamy

k~x

− ~x

k ≤

j=s+1

k~x

− ~x

j−1

k ≤

j=s+1

j−1

k~x

− ~x

= L

(1 + L + · · · + L

k−s−1

)k~x

− ~x

k ≤

1 − L

k~x

− ~x

Ciąg {~x

}

jest więc ciągiem Couchy’ego. Stąd istnieje granica ~α =

lim

k→∞

, która należy do D

, wobec domkniętości tego zbioru. Po-

nieważ lipschitzowskość φ implikuje jej ciągłość, mamy też

(~α) = φ

lim

k→∞

= lim

k→∞

(~x

) = lim

k→∞

= ~α,

tzn. ~α jest punktem stałym odwzorowania φ. Dla jednoznaczności za-
uważmy, że jeśliby istniał drugi, różny od ~α, punkt stały ~β, to mieliby-
śmy

k~α − ~βk = kφ(~α) − φ(~β)k ≤ L k~α − ~βk.

Stąd 1 < L, co jest sprzeczne z założeniem, że φ jest zwężająca.

Z powyższych rozważań otrzymujemy natychmiastowy wniosek do-

tyczący zbieżności iteracji prostych.

Wniosek 12.2 Przy założeniach twierdzenia 12.1, metoda iteracji pro-
stych jest zbieżna co najmniej liniowo z ilorazem L, tzn.

k~x

− ~x

∗

k ≤ L

k~x

− ~x

∗

Dla ilustracji, rozpatrzmy natępujące proste równanie skalarne:

= cos(x),

dla

∈ D = R.

(12.5)

W tym przypadku φ(x) = cos(x). Zauważamy, że w przedziale [0, 1]
funkcja φ jest zwężająca ze stałą

= max

0≤x≤1

| cos

′

(x)| = sin(1) < 1.

12.3. METODY INTERPOLACYJNE

149

Stąd istnieje dokładnie jedno rozwiązanie równania (12.5) w przedziale
[0, 1]. Rozwiązanie to może być aproksymowane z dowolnie małym błę-
dem przy pomocy iteracji prostych, startując z dowolnego przybliżenia
początkowego ~x

∈ [0, 1].

Zaletą iteracji prostych jest fakt, że zbieżność nie zależy od wymiaru

zadania, ale tylko od stałej Lipschitza L. Ma ona szczególne zastoso-

wanie w przypadku, gdy funkcja φ jest zwężająca na całym zbiorze D,
tzn. D

= D. Jeśli ponadto D ma skończoną średnicę diam(D), to dla

osiągnięcia ε-sproksymacji zera funkcji f wystarczy wykonać

= k(ε) =

log(k~x

− ~x

∗

k/ε)

log(1/L)

log(diam(D)/ε)

log(1/L)

iteracji, niezależnie od x

. Metody zbieżne dla dowolnego przybliżenia

początkowego, nazywamy zbieżnymi globalnie.

12.3 Metody interpolacyjne

Metody iterpolacyjne dla równań nieliniowych powstają podobnie jak
kwadratury interpolacyjne dla całkowania. Najpierw daną funkcję in-
terpolujemy wielomianem Lagrange’a albo Hermite’a ustalonego stop-
nia, a następnie jako przybliżenie zera bierzemy zero tego wielomianu
iterpolacyjnego. Proces taki można iterować (powtarzać) wymieniając
za każdym razem jeden z punktów interpolacyjnych na punkt nowo
obliczony. Zauważmy, że w ogólności takie metody muszą korzystać w
kolejnych iteracjach nie tylko z ostatniego przybliżenia x

k−1

, ale również

z kilku poprzednich, tzn.

= φ(x

k−1

, . . . , x

k−s

Wymagają one również podania nie jednego, ale s przybliżeń począt-
kowych x

, . . . , x

s−1

W praktyce stosuje się jednak tylko interpolację wielomianami ni-

skich stopni, np. wielomianami liniowymi lub najwyżej kwadratowymi,
których zera można łatwo obliczyć korzystając z bezpośrednich formuł.

Jak się przekonamy, metody interpolacyjne należą do grupy metod

zbieżnych lokalnie. Znaczy to, że zbieżność ciągu

}

do zera danej

150 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

funkcji f jest zapewniona jedynie wtedy, gdy przybliżenia początkowe
zostały wybrane dostatecznie blisko x

∗

W dalszych rozważaniach będziemy zakładać dla uproszczenia, że

dziedzina D = R.

W przypadku, gdy wielomianem interpolacyjnym jest wielomian li-

niowy Hermite’a, mówimy o metodzie Newtona, albo stycznych. Star-
tując z pewnego przybliżenia początkowego x

, w kolejnych krokach

metody, k-te przybliżenie x

jest punktem przecięcia stycznej do wy-

kresu f w punkcie x

k−1

. Ponieważ równanie stycznej wynosi y(x) =

k−1

) + f

′

k−1

)(x − x

k−1

), otrzymujemy wzór

= x

k−1

−

k−1

)

′

k−1

)

Oczywiście, aby metoda Newtona była dobrze zdeﬁniowana, musimy
założyć, że f

′

k−1

) istnieje i nie jest zerem.

Zauważmy, że metodę Newtona można traktować jako szczególny

przypadek iteracji prostych, gdzie

(x) = x −

(x)

′

(x)

Widać też, że nie jest ona zbieżna globalnie. Nawet jeśli pochodna w
x

k−1

się nie zeruje, ciąg {x

}

może nie zbiegać do zera funkcji f, zob.

Ćw. 12.2. Okazuje się jednak, że jeśli wystartujemy dostatecznie blisko
rozwiązania x

∗

, to metoda Newtona jest zbieżna. Dokładniej, załóżmy

najpierw, że f(x

∗

) = 0 oraz

′

∗

) 6= 0.

Ponadto załóżmy, że f jest dwukrotnie różniczkowalna w sposób ciągły,
f

∈ C

(D). Rozwijając φ w szereg Taylora w punkcie x

∗

otrzymujemy

− x

∗

= φ(x

k−1

) − φ(x

∗

) = (x

k−1

− x

∗

)φ

′

∗

) + (x

k−1

− x

∗

)

′′

(ξ

)/2,

gdzie min(x

∗

, x

k−1

) ≤ ξ

≤ max(x

∗

, x

k−1

). Wobec tego, że φ

′

∗

) =

(x)f

′′

(x)/(f

′

(x))

= 0 i φ

′′

(ξ

) = f

′′

(ξ

)/f

′

(ξ

), mamy

− x

∗

= (x

k−1

− x

∗

)

′′

(ξ

)

′

(ξ

)

(12.6)

12.3. METODY INTERPOLACYJNE

151

Zdeﬁniujmy liczbę

= sup

r≥0

sup

{x:|x−x

∗

|≤r}

2(x − x

∗

′′

(x)

′

(x)

Oczywiście R

0. Dla x

k−1

spełniającego |x

k−1

− x

∗

| ≤ R < R

mamy z równości (12.6)

− x

∗

| ≤ q |x

k−1

− x

∗

gdzie q < 1 i q zależy tylko od R.

Niech teraz x

∗

będzie zerem m-krotnym,

∗

) = f

′

∗

) = · · · = f

(m−1)

∗

) = 0 6= f

(m)

∗

gdzie m ≥ 2, oraz niech f będzie m-krotnie różniczkowalna w sposób

ciągły. Wtedy

− x

∗

= (x

k−1

− x

∗

) −

k−1

− x

∗

)

(m)

(η

(1)

)/m!

k−1

− x

∗

)

m−1

(m−1)

(η

(2)

)/(m − 1)!

= (x

k−1

− x

∗

)





1 −

(m)

(η

(1)

)

(m)

(η

(2)

)





≈ (x

k−1

− x

∗

)

1 −

(12.7)

o ile x

k−1

jest “blisko” x

∗

Metoda Newtona jest więc zbieżna lokalnie. Z (12.6) i (12.7) można

też wywnioskować, jaki jest charakter zbieżności metody Newtona. Dla
zera jednokrotnego x

∗

oraz f

′′

∗

) 6= 0 mamy bowiem

− x

∗

) ≈ (x − x

k−1

)

′′

∗

)

′

∗

)

Mówimy, że zbieżność jest kwadratowa. Jeśli zaś f

′′

∗

) = 0 to zbieżnośc

jest nawet szybsza. Z kolei dla zera m-krotnego zbieżność jest liniowa
z ilorazem (1 − 1/m).

Metoda Newtona jest pierwszą poznaną tutaj metodą iteracyjną,

która jest (dla zer jednokrotnych) zbieżna szybciej niż liniowo. Dla ta-
kich metod wprowadza się pojęcie wykładnika zbieżności, który jest
zdeﬁniowany następująco.

152 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

Powiemy, że metoda iteracyjna φ jest w klasie funkcji F rzędu co

najmniej p ≥ 1, gdy spełniony jest następujący warunek. Niech f ∈
F

i f(x

∗

) = 0. Wtedy istnieje stała C < ∞ taka, że dla dowolnych

przybliżeń początkowych x

, . . . , x

s−1

dostatecznie bliskich x

∗

, kolejne

przybliżenia x

= φ(x

k−1

, . . . , x

k−s

) generowane tą metodą spełniają

− x

∗

| ≤ C |x

k−1

− x

∗

Ponadto, jeśli p = 1 to dodatkowo żąda się, aby C < 1.

Deﬁnicja 12.1 Wykładnikiem zbieżności metody iteracyjnej φ w klasie
F nazywamy liczbę p

∗

zdeﬁniowaną równością

∗

= sup { p ≥ 1 : φ jest rzędu co najmniej p }.

Możemy teraz sformułować następujące twierdzenie, które natych-

miast wynika z poprzednich rozważań.

Twierdzenie 12.2 Wykładnik zbieżności metody Newtona (stycznych)
wynosi p

∗

= 2 w klasie funkcji o zerach jednokrotnych, oraz p

∗

= 1 w

klasie funkcji o zerach wielokrotnych.

Inną znaną i często używaną metodą interpolacyjną jest metoda

siecznych, w której stosuje się liniowy wielomian interpolacyjny La-
grange’a. Metoda ta wykorzystuje więc do konstrukcji x

przybliżenia

k−1

i x

k−2

. Musimy również wybrać dwa różne punkty startowe x

. Ponieważ prosta interpolująca f w x

k−1

i x

k−2

ma wzór

(x) =

− x

k−2

k−1

− x

k−2

k−1

) +

− x

k−1

k−2

− x

k−1

k−2

otrzymujemy

= x

k−1

−

k−1

− x

k−2

k−1

) − f(x

k−2

)

k−1

Zauważmy, że jeśli x

k−1

i x

k−2

są blisko siebie, to x

jest podobny do

tego z metody Newtona, bowiem wtedy iloraz różnicowy (f(x

k−1

) −

12.4. OBLICZANIE ZER WIELOMIANÓW

153

k−2

))/(x

k−1

− x

k−2

) dobrze przybliża pochodną f

′

k−1

). Nie wy-

starcza to jednak, aby osiągnąć zbieżność z wykładnikiem 2. Dokład-
niej, można pokazać, że wykładnik zbieżności metody siecznych dla zer
jednokrotnych wynosi p

∗

= (1 +

√

5)/2 = 1.618 . . ., zob. U. 12.3.

Niewątpliwą zaletą metody siecznych jest jednak to, że nie wymaga

ona obliczania pochodnej funkcji (co w praktyce jest często bardzo
trudne, a niekiedy nawet niemożliwe), a tylko jej wartości.

12.4 Obliczanie zer wielomianów

Obliczanie zer w przypadku, gdy funkcja f jest wielomianem jest wła-
ściwie osobnym zadaniem–my tylko dotkniemy tego tematu.

Załóżmy, że wielomian w : R → R jest dany poprzez jego współ-

czynniki a

w bazie potęgowej,

(x) =

j=0

6= 0), i zastosujmy metodę Newtona dla znalezienia największego

zera tego wielomianu. Jedna iteracja metody Newtona jest wtedy sto-
sunkowo prosta, gdyż obliczenie wartości i pochodnej wielomianu w ko-
lejnym pukcie ξ = x

k−1

polega po prostu na dwukrotnym zastosowaniu

schematu Hornera. Rzeczywiście, przypomnijmy, że schemat Hornera
oblicza nie tylko wartość w(ξ), ale również współczynniki w bazie potę-
gowej ilorazu w

(x) przy dzieleniu w(x) przez jednomian (x − ξ), zob.

Ćw. 6.2. Zauważmy dalej, że równość

(x) = (x − ξ)w

(x) + w(ξ)

implikuje w

′

(ξ) = w

(ξ). Stąd schemat obliczania jednocześnie w(ξ) i

′

(ξ) wygląda następująco.

0 := w1 := a

;

for j := n

− 1 downto 1 do

begin

0 := w0 ∗ ξ + a

;

1 := w1 ∗ ξ + w0

end;
w

0 := w0 + a

154 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

Po wykonaniu tych poleceń mamy w0 = w(ξ) i w1 = w

′

(ξ).

Twierdzenie 12.3 Załóżmy, że wielomian w(x) =

j=0

ma zera

rzeczywiste

≥ ξ

≥ · · · ≥ ξ

Jeśli tylko przybliżenie początkowe x

> ξ

, to ciąg x

generowany me-

todą Newtona jest ściśle malejący i zbieżny do ξ

Dowód Wielomian w można przedstawić w postaci

(x) = (x − ξ

(x),

gdzie w

(x) = a

(x − ξ

) · · · (x − ξ

). Wtedy

′

(x) = w

(x) + (x − ξ

′

(x),

a stąd

− ξ

= (x

k−1

− ξ

) −

k−1

)

′

k−1

)

(12.8)

= (x

k−1

− ξ

)

1 −

k−1

)

k−1

) + (x

k−1

− ξ

′

k−1

)

Zauważmy teraz, że wielomiany w

(x) i w

′

(x) mają stały znak dla

x > ξ

, który równy jest znakowi a

. Rzeczywiście, ponieważ w

(x)

ma wszystkie n − 1 pierwiastków w przedziale (−∞, ξ

], to w

′

(x) ma

również wszystkie n − 2 pierwiastki w tym samym przedziale. Stąd oba

wielomiany mają ten sam znak na (ξ

+∞) równy znakowi współczyn-

nika przy najwyższych potęgach tych wielomianów. Wspłczynnik ten
jest w obu przypadkach równy a

Z rozważań tych wynika, że mnożnik przy (x

k−1

− ξ

) w prawej

stronie równania (12.8) jest dla x

k−1

> ξ

dodatni i mniejszy od 1,

a stąd, że ciąg x

jest malejący i ograniczony z dołu przez ξ

. Niech

= lim

k→∞

≥ ξ

. Biorąc granicę obu stron (12.8) przy k → ∞

otrzymujemy

− ξ

= (g − ξ

)

1 −

(g)

(g) + (g − ξ

′

(g)

12.4. OBLICZANIE ZER WIELOMIANÓW

155

co wymusza g = ξ

, kończąc dowód.

Dodajmy, że jeśli zero ξ

jest jednokrotne, ξ

> ξ

, to mamy zbież-

ność kwadratową. Należy jednak podkreślić, że zbieżność kwadratową
uzyskujemy dopiero pod koniec procesu iteracyjnego. Mamy bowiem

lim

x→+∞

(x)

(x) + (x − ξ

′

(x)

= lim

x→+∞

1 +

′

(x)

−1

Jeśli więc wystartujemy z x

≫ ξ

to początkowo zaobserwujemy zbież-

ność tylko liniową z ilorazem 1−1/n. W miarę zbliżania się do ξ

zbież-

ność będzie rosła, aż osiągnie w końcu poziom zbieżności kwadratowej,

− ξ

≈ (x

k−1

− ξ

)

′

(ξ

)

(ξ

)

Dla zera wielokrotnego, ξ

= · · · = ξ

> ξ

m+1

, m < n, zbieżność pozo-

stanie jednak cały czas na poziomie liniowym, przy czym iloraz zbież-
ności wzrośnie do 1 − 1/m. W końcu, jeśli ξ

jest zerem o maksymalnej

krotności n, to łatwo zauważyć, że

− ξ

1 −

k−1

− ξ

Pozostaje jeszcze problem znalezienia przybliżenia x

> ξ

. Można

to zrobić na kilka sposobów. Na przykład, zauważmy, że dla

x > M

= max

n−1

j=0

mamy

(x)

≥ x

1 −

n−1

j=0

n−j

≥ x

1 −

n−1

j=0

Stąd w(x) ma stały znak na (M, +∞), a to oznacza, że ξ

≤ M. Jako

można więc wziąć dowolną liczbę większą od M.

156 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

Uwagi i uzupełnienia

U. 12.1 Metoda bisekcji jest optymalna w następującym sensie. Niech A :
F

→ R będzie dowolną metodą (algorytmem) aproksymującą zero x

∗

(f)

funkcji f z klasy F zdeﬁniowanej w (12.2), korzystającą jedynie z obliczeń
(informacji o) f w k punktach. Wtedy dla dowolnego γ > 0 istnieje funkcja
f

∈ F mająca tylko jedno zero x

∗

) w [a, b] i taka, że

|A(f

) − x

∗

)| ≥

1
2

− a

+ γ.

Co więcej, można pokazać, że fakt ten zachodzi też w węższej klasie F

funkcji f ∈ F , które są dowolnie wiele razy różniczkowalne. Oczywiście,

nie wyklucza to istnienia metod iteracyjnych (takich jak metoda Newtona),
które dla f ∈ F

są zbieżne szybciej niż liniowo.

U. 12.2 Wszystkie metody iteracyjne opisane w tym rozdziale należą do
grupy metod adaptacyjnych. Są to metody, które obliczają kolejną wartość
(ew. pochodną) funkcji f w punkcie x

, którego wybór istotnie zależy od po-

przednio obliczonych wartości f, tzn. x

= x

(f(x

), . . . , f(x

k−1

)). Okazuje

się, że metody nieadaptacyjne są dużo gorsze przy rozwiązywaniu równań
nieliniowych. Na przykład, najlepsza metoda korzystająca z k wartości funk-
cji wybranych nieadaptacyjnie ma w klasie (12.2) błąd najgorszy równy tylko
(b − a)/(2k + 2).

Zauważmy jeszcze, że dla zadania całkowania z Rozdziałów 9 i 10, opty-

malne metody okazały się nieadaptacyjne.

U. 12.3 Uzasadnimy teraz, że dla zer jednokrotnych wykładnik zbieżności
metody siecznych wynosi p

∗

= (1 +

√

5)/2.

Niech f ∈ C

(D). Wykorzystując ilorazy różnicowe otrzymujemy

− x

∗

= (x

k−1

− x

∗

) −

f (x

k−1

)

f (x

k−2

, x

k−1

)

= (x

k−1

− x

∗

)

1 −

f (x

k−1

, x

∗

)

f (x

k−2

, x

k−1

)

= (x

k−1

− x

∗

)(x

k−2

− x

∗

)

f (x

k−2

, x

k−1

, x

∗

)

f (x

k−2

, x

k−1

)

= (x

k−1

− x

∗

)(x

k−2

− x

∗

)

′′

(ξ

(1)

)

′

(ξ

(2)

)

12.4. OBLICZANIE ZER WIELOMIANÓW

157

Stąd widać, że dla x

k−2

i x

k−1

dostatecznie bliskich x

∗

, ciąg x

zbiega do x

∗

Aby znaleźć wykładnik zbieżności, załóżmy bez zmniejszenia ogólności, że
f

′′

∗

) 6= 0 (w przeciwnym przypadku zbieżność jest jeszcze szybsza). Wtedy

− x

∗

≈ C(x

k−1

− x

∗

)(x

k−2

− x

∗

(12.9)

gdzie C = f

′′

∗

)/(2f

′

∗

)). Stąd, po podstawieniu z

= ln(|C(x

− x

∗

)|),

dostajemy

≈ z

k−1

+ z

k−2

Ostatnie równanie jest równaniem różnicowym, którego rozwiązaniem jest
z

≈ q

, gdzie q = (1 +

√

5)/2 jest dominującym pierwiastkiem równania

= z + 1. Ostatecznie więc |x

− x

∗

| ≈ |C

−1

|, czyli

− x

∗

| ≈ |C|

q−1

−1

k−1

≈ |C|

q−1

k−1

− x

∗

U. 12.4 Dla znalezienia zera funkcji f : R

→ R

można zastosować wielo-

wymiarową metodę Newtona. Jest ona zdeﬁniowana następującym wzorem
rekurencyjnym:

= ~x

k−1

− (f

′

(~x

k−1

))

−1

f (~x

k−1

gdzie f

′

(~ξ) jest macierzą–Jacobianem funkcji f wziętym w punkcie ~ξ, tzn.

′

(~ξ) =







∂f

∂x

(~ξ) · · ·

∂f

∂x

(~ξ)

...

∂f

∂x

(~ξ) · · ·

∂f

∂x

(~ξ)







f (~

ξ) =







(~ξ)

...

(~ξ)







ξ =







...







W praktyce metodę tą realizuje się rozwiązując w każdym kroku iteracyjnym
układ równań liniowych n × n. Dokładniej,

= ~x

k−1

− ~y

k−1

gdzie ~y

k−1

jest rozwiązaniem układu

′

(~x

k−1

)~y

k−1

= f(~x

k−1

Tak jak w przypadku jednowymiarowym, wielowymiarowa metoda Newtona
jest zbieżna lokalnie do zera ~x

∗

z wykładnikiem 2, o ile Jacobian w punkcie

∗

jest nieosobliwy, tzn. det(f

′

(~x

∗

)) 6= 0.

158 ROZDZIAŁ 12. ITERACJE DLA RÓWNAŃ NIELINIOWYCH

Ćwiczenia

Ćw. 12.1 Uzasadnić, że metoda iteracji prostych x

= cos(x

k−1

) jest zbie-

żna do jedynego rozwiązania równnania x = cos(x) dla dowolnego przybli-
żenia początkowego x

∈ R.

Ćw. 12.2 Podać przykład funkcji f i przybliżenia początkowego x

takich,

że ciąg generowany metodą Newtona oscyluje, tzn. x

= x

i x

2s+1

= x

dla wszystkich s.

Ćw. 12.3 Jeśli w modelu obliczeniowym liczenie pierwiastka kwadratowego

√

a (a > 0) nie jest dopuszczalne, to możemy go przybliżyć stosując wzór

rekurencyjny

1
2

k−1

który powstaje przez zastosowanie metody Newtona do równania f(x) =
x

−a = 0. Pokazać, że ciąg x

jest zbieżny do √a dla dowolnego przybliżenia

początkowego x

> 0. Scharakteryzować szybkość zbieżności.

Ćw. 12.4 Zaproponować metodę iteracyjną obliczania 1/a dla a > 0 nie
używającą dzielenia. Jak wybrać przybliżenie początkowe aby metoda była
zbieżna? Jaki jest wykładnik zbieżności?
Wskazówka. Zastosować metodę Newtona do funkcji f(x) = 1/x − a.
Ćw. 12.5 Rozpatrzmy metodę iteracyjną

= x

k−1

−

k−1

− a

f (x

k−1

) − f(a)

f (x

k−1

gdzie a jest pewnym parametrem. Pokazać, że metoda ta jest zbieżna liniowo,
o ile a jest dostatecznie blisko zera x

∗

Ćw. 12.6 Pokazać, że metoda Steﬀensena

= x

k−1

−

k−1

)

f (x

k−1

+ f(x

k−1

)) − f(x

k−1

)

jest zbieżna lokalnie z wykładnikiem 2.

Ćw. 12.7 Rozpatrzmy metodę iteracyjną daną wzorem

= x

k−1

− m

f (x

k−1

)

′

k−1

)

Pokazać, że jeśli f ma m-krotne zero x

∗

to metoda ta jest lokalnie zbieżna

do x

∗

z wykładnikiem 2.

Wyszukiwarka

Podobne podstrony:
Marcinkowski L Zadania do wykładu z matematyki obliczeniowej
Matematyka Obliczeniowa Wyklad 2
Matematyka Obliczeniowa Wyklad 1
Matematyka Obliczeniowa Wyklad 2
Wyklady z matematyki V sciaga
Ochrona wlasnosci intelektualnej wyklad 1, Matematyka studia, Ochrona Własności Intelektualnej
wykladnicza, Matematyka, Liceum
wyklad3(1), matematyka, 0, httpmath.uni.lodz.pl~kowalcr, Topologia 1
Wyklady z matematyki II sciaga, MATMA, matematyka, Matma, Matma, Stare, I semestr
Wyklady z matematyki I sciaga
Algorytmy wyklady, Złożoność obliczeniowa algorytmów
notacja wykładnicza, Matematyka, Liceum
Wyklady z matematyki II sciaga
Matematyka obliczeniowa ćwiczenia
funkcja wykładnicza, Matematyka, Liceum
21 04 07 wykład matematyka
Wyklady z Matematyki czesc VI, MATMA, matematyka, Matma, Matma, Stare, II semestr, Wykłady mini
Wyklady z Matematyki czesc VI, MATMA, matematyka, Matma, Matma, Stare, II semestr, Wykłady mini

więcej podobnych podstron