Rozdzia l 11

Przestrzenie Euklidesowe

11.1

Definicja, iloczyn skalarny i norma

Definicja 11.1 Przestrzeni

,

a Euklidesow

,

a nazywamy par

,

e



X

|K

, ϕ

,

gdzie

X

|K

jest przestrzeni

,

a liniow

,

a nad K, a ϕ form

,

a dwuliniow

,

a (hermi-

towsk

,

a) dodatnio okre´slon

,

a na

X

|K

, zwan

,

a iloczynem skalarnym.

Dla uproszczenia, b

,

edziemy dalej pisa´c (x, y) zamiast ϕ(x, y) oraz (A, B)

zamiast ϕ(A, B).

W lasno´sci formy implikuj

,

a nast

,

epuj

,

ace w lasno´sci iloczynu skalarnego:

(1) (x, y

1

∗ α

1

+ y

2

∗ α

2

) = (x, y

1

)

∗ α

1

+ (x, y

2

)

∗ α

2

∀x, y

1

, y

2

∈ X

∀α

1

, α

2

∈ K,

(2) (x, y) = (y, x),

∀x, y ∈ X

(3) (x, x)

≥ 0 ∀x ∈ X , oraz (x, a) = 0 ⇐⇒ x = 0.

Zdefiniujmy γ(x) = (x, x)

1/2

, x

∈ X . Wtedy funkcja γ ma nast

,

epuj

,

ace

w lasno´sci:

(i) γ(x)

≥ 0 ∀x ∈ X , oraz γ(x) = 0 ⇐⇒ x = 0.

(ii) γ(x

∗ α) = γ(x) ∗ |α| ∀x ∈ X ∀α ∈ K,

(iii) γ(x + y)

≤ γ(x) + γ(y) ∀x, y ∈ X .

99

100

ROZDZIA L 11. PRZESTRZENIE EUKLIDESOWE

W lasno´sci (i) oraz (ii) s

,

a oczywiste. Aby pokaza´c (iii) zauwa˙zmy, ˙ze

γ(x + y)

2

= (x + y, x + y) = (x, x) + (y, x) + (x, y) + (y, y)
= (x, x) + 2

· <(x, y) + (y, y)

oraz

(γ(x) + γ(y))

2

= ((x, x)

1/2

+ (y, y)

1/2

)

2

= (x, x) + 2

· (x, x)

1/2

· (y, y)

1/2

+ (y, y).

W lasno´s´c (iii) wynika teraz z nier´owno´sci

<(x, y) ≤ |<(x, y)| ≤ |(x, y)| ≤ (x, x)

1/2

· (y, y)

1/2

,

przy czym ostatnia z nich to nier´owno´s´c Schwarza, kt´or

,

a znamy ju˙z z lematu

3.1. (Co prawda, wtedy rozpatrywany by l szczeg´olny przypadek

X

|K

= K

n

K

i (~x, ~y) = ~y

H

∗ ~x, ale w og´olnym przypadku dow´od jest niemal identyczny.)

W lasno´sci (i)-(iii) s

,

a og´olnymi warunkami normy w przestrzeni liniowej.

(Wcze´sniej, w rozdziale 3.1 podali´smy te warunki dla szczeg´olnego przypadku
X = K

m,n

.) St

,

ad

kxk := (x, x)

1/2

definiuje norm

,

e w

X

|K

(generowan

,

a przez iloczyn skalarny (

·, ·)). Przypo-

mnijmy jeszcze raz nier´

owno´s´c Schwarza (w przestrzeni Euklidesowej):

|(x, y)| ≤ kxk · kyk

∀x, y ∈ X .

Dok ladniejsze prze´sledzenie dowodu tej nier´owno´sci (patrz zn´ow dow´od le-
matu 3.1) pokazuje, ˙ze powy˙zej r´owno´s´c zachodzi wtedy i tylko wtedy gdy x
i y s

,

a liniowo zale˙zne.

11.2

Rzut prostopad ly

11.2.1

Zadanie aproksymacji

Nast

,

epuj

,

ace twierdzenie rozwi

,

azuje zadanie aproksymacji (przybli˙zania) ele-

ment´ow przestrzeni

X elementami jej podprzestrzeni.

Twierdzenie 11.1 Niech

Y ⊆ X b

,

edzie podprzestrzeni

,

a. Wtedy dla ka˙zdego

x

∈ X istnieje dok ladnie jeden x

Y

∈ Y taki, ˙ze dla wszystkich y ∈ Y

y

6= x

Y

=

⇒ kx − x

Y

k < kx − yk.

11.2. RZUT PROSTOPAD LY

101

Dow´

od. Niech s = dim(

Y) i Y ∈ X

1,s

b

,

edzie baz

,

a

Y. Poka˙zemy, ˙ze x

Y

wyra˙za si

,

e wzorem

x

Y

= Y

∗ ~a

∗

,

gdzie ~a

∗

:= (Y, Y)

−1

∗ (Y, x) ∈ K

s

.

(11.1)

Rzeczywi´scie, je´sli y

∈ Y i y 6= x

Y

to y = Y

∗ ~a dla pewnego ~a 6= ~a

∗

. Wtedy

kx − yk

2

= (x

− y, x − y) = ((x − x

Y

) + (x

Y

− y), (x − x

Y

) + (x

Y

− y))

=

kx − x

Y

k

2

+ 2

· <(x

Y

− y, x − x

Y

) +

kx

Y

− yk

2

.

Wobec tego, ˙ze

(Y, x

Y

) = (Y, Y

∗ ~a

∗

) = (Y, Y)

∗ ~a = (Y, x),

mamy

(x

Y

− y, x − x

Y

) = (Y

∗ (~a

∗

− ~a), x − x

Y

) = (~a

∗

− ~a)

H

∗ (Y, x − x

Y

) = 0.

St

,

ad

kx − yk

2

=

kx − x

Y

k

2

+

kx

Y

− yk

2

>

kx − x

Y

k

2

.

(11.2)

Uwaga. Z jednoznaczno´sci najlepszej aproksymacji wynika, ˙ze x

Y

we wzo-

rze (11.1) nie zale˙zy od wyboru bazy Y. Mo˙zna to r´ownie˙z latwo sprawdzi´c
bezpo´srednio. Je´sli bowiem we´zmiemy inn

,

a baz

,

e, powiedzmy Z, podprze-

strzeni

Y to Y = Z ∗ C dla pewnej nieosobliwej macierzy C, a st

,

ad

Z

∗ (Z, Z)

−1

∗ (Z, x) = Y ∗ C ∗ (Y ∗ C, Y ∗ C)

−1

∗ (Y ∗ C, x)

= Y

∗ C ∗ (C

H

∗ (Y, Y) ∗ C)

−1

∗ C

H

∗ (Y, x)

= Y

∗ (Y, Y)

−1

∗ (Y, x).

11.2.2

Twierdzenie o rzucie prostopad lym

Definicja 11.2 Powiemy, ˙ze dwa elementy x i y danej przestrzeni Euklide-
sowej

X

|K

z iloczynem skalarnym (

·, ·) s

,

a prostopad le (albo ortogonalne), co

zapisujemy x

⊥ y, gdy ich iloczyn skalarny wynosi zero, tzn.

x

⊥ y ⇐⇒ (x, y) = 0.

102

ROZDZIA L 11. PRZESTRZENIE EUKLIDESOWE

K lad

,

ac y = 0 w (11.2) dostajemy r´owno´s´c

kxk

2

=

kx

Y

k

2

+

kx − x

Y

k

2

,

kt´or

,

a odczytujemy jako (znane ze szko ly w szczeg´olnym przypadku) twier-

dzenie Pitagorasa.

Najlepsza aproksymacja w podprzestrzeni

Y ma og´olniejsz

,

a w lasno´s´c

zwi

,

azan

,

a z prostopad lo´sci

,

a ni˙z ta wynikaj

,

aca z twierdzenia Pitagorasa.

Twierdzenie 11.2 (o rzucie prostopad lym)
Niech x

Y

b

,

edzie najlepsz

,

a aproksymacj

,

a elementu x

∈ X w podprzestrzeni

Y ⊆ X . Wtedy

(y, x

− x

Y

) = 0

∀y ∈ Y

(11.3)

tzn. x

− x

Y

jest prostopad ly do podprzestrzeni

Y.

Ponadto, x

Y

jest jedynym elementem w

Y spe lniaj

,

acym (11.3).

Dow´

od. Wykorzystuj

,

ac notacj

,

e z dowodu twierdzenia 11.1, dla dowolnego

y

∈ Y mamy

(y, x

− x

Y

) = ~a

H

∗ (Y, x − x

Y

) = ~a

H

∗ ~0 = 0.

Je´sli za´s y

0

= Y

∗ ~a

0

i dla ka˙zdego ~a mamy (Y

∗ ~a, x − Y ∗ ~a

0

) = 0, to

(Y, x

− Y ∗ ~a

0

) = 0, a st

,

ad

~a

0

= (Y, Y)

−1

∗ (Y, x) = ~a

∗

i y

0

= x

Y

.

Ze wzgl

,

edu na twierdzenie 11.2, element x

Y

najlepszej aproksymacji nazy-

wany jest r´ownie˙z rzutem prostopad lym (ortogonalnym) elementu x na pod-
przestrze´

n

Y.

11.3

Uk lady ortogonalne

11.3.1

Macierz Grama

Definicja 11.3 Niech A = [y

1

, y

2

, . . . , y

s

]

∈ X

1,s

. Macierz

(A, A)

∈ Herm

n,n

nazywamy macierz

,

a Grama uk ladu

{y

i

}

s

i=1

.

11.3. UK LADY ORTOGONALNE

103

Wobec r´owno´sci

~a

H

∗ (A, A) ∗ ~a = (A ∗ ~a, A ∗ ~a) = kA ∗ ~ak

2

≥ 0

mamy natychmiast, ˙ze macierz Grama jest zawsze nieujemnie okre´slona. Po-
nadto, jest ona dodatnio okre´slona wtedy i tylko wtedy gdy uk lad

{y

i

}

s

i=1

jest liniowo niezale˙zny.

Je´sli (A, A) = diag(δ

1

, . . . , δ

s

), przy czym δ

i

= (y

i

, y

i

) > 0

∀i to uk lad

{y

i

}

s

i=1

nazywamy ortogonalnym. Je´sli ponadto (y

i

, y

i

) = 1

∀i, czyli gdy

(A, A) = I

s

, to uk lad ten nazywamy ortonormalnym.

Za l´o˙zmy teraz, ˙ze uk lad Y = [y

1

, . . . , y

s

] jest liniowo niezale˙zny, oraz niech

Y = span(y

1

, y

2

, . . . , y

s

).

Wtedy, jak wiemy z twierdzenia 11.1, rzut prostopad ly x

∈ X na podprze-

strze´

n

Y wyra˙za si

,

e wzorem

x

Y

= Y

∗ (Y, Y)

−1

∗ (Y, x).

Wz´or ten ma szczeg´olnie prost

,

a posta´c gdy baza Y tworzy uk lad ortogonalny.

Wtedy

x

Y

=

s

X

i=1

y

i

∗

(y

i

, x)

(y

i

, y

i

)

.

Je´sli za´s baza tworzy uk lad ortonormalny to

x

Y

=

s

X

i=1

y

i

∗ (y

i

, x).

Z tych wzgl

,

ed´ow po˙z

,

adane jest posiadanie baz ortogonalnych podprzestrzeni.

11.3.2

Ortogonalizacja Grama-Schmidta

Okazuje si

,

e, ˙ze dowoln

,

a baz

,

e podprzestrzeni mo˙zna stosunkowo latwo prze-

kszta lci´c w baz

,

e ortogonaln

,

a.

S lu˙zy temu proces zwany ortogonalizacj

,

a

Grama-Schmidta.

Niech y

1

, y

2

, . . . , y

s

b

,

ed

,

a liniowo niezale˙zne oraz

Y

k

:= [y

1

, . . . , y

k

],

Y

k

= span(y

1

, . . . , y

s

),

1

≤ k ≤ s.

Oczywi´scie dim(

Y

k

) = k

∀k oraz

Y

1

⊂ Y

2

⊂ · · · ⊂ Y

s

⊆ X .

104

ROZDZIA L 11. PRZESTRZENIE EUKLIDESOWE

Twierdzenie 11.3 (Ortogonalizacja Grama-Schmidta)
Nast

,

epuj

,

acy proces:

{ z

1

:= y

1

;

for k := 2 to s do

z

k

:= y

k

− h rzut prostopad ly y

k

na

Y

k−1

i

}

produkuje uk lady ortogonalne Z

k

= [z

1

, . . . , z

k

] takie, ˙ze

span(z

1

, z

2

, . . . , z

k

) =

Y

k

,

1

≤ k ≤ s.

Dow´

od. (Indukcja wzgl

,

edem k.)

Dla k = 1 twierdzenie jest oczywiste. Niech k

≥ 2. Wtedy, wobec za lo˙zenia

indukcyjnego, mamy

Y

k−1

= span(z

1

, . . . , z

k−1

) oraz uk lad

{z

i

}

k−1
i=1

jest or-

togonalny. Je´sli teraz r

k

jest rzutem ortogonalnym y

k

na

Y

k−1

to z twier-

dzenia o rzucie ortogonalnym mamy, ˙ze z

k

= y

k

− r

k

6= 0 jest prostopad ly

do

Y

k−1

, a st

,

ad uk lad

{z

i

}

k

i=1

jest te˙z ortogonalny. Oczywi´scie, przy tym

span(z

1

, . . . , z

k

) =

Y

k

, co ko´

nczy dow´od.

Ortogonalizacj

,

e Grama-Schmidta mo˙zemy zapisa´c jako algorytm gene-

ruj

,

acy uk lad

{z

i

}

s

i=1

z uk ladu

{y

i

}

s

i=1

, w nast

,

epuj

,

acy spos´ob:

{

for k := 2 to s do
{ for j := 1 to k − 1 do c

j,k

:= (z

j

, y

k

)/δ

j

;

z

k

:= y

k

−

P

k−1
j=1

z

j

∗ c

j,k

;

δ

k

:= (z

k

, z

k

)

}

}

Algorytm ten produkuje “po drodze” wsp´o lczynniki c

j,k

dla 2

≤ k ≤ s,

1

≤ j ≤ k − 1. Je´sli dodatkowo zdefiniujemy c

k,k

= 1 dla 1

≤ k ≤ s, oraz

c

j,k

= 0 dla 1

≤ k ≤ s − 1, k + 1 ≤ j ≤ s, to dostaniemy

y

k

=

k

X

j=1

c

j,k

∗ z

j

,

czyli

Y

k

= Z

k

∗ C

k

,

gdzie C

k

= (c

i,j

)

k

i,j=1

,

11.3. UK LADY ORTOGONALNE

105

albo, po normalizacji bazy z

1

, . . . , z

s

,

Y

k

= ˆ

Z

k

∗ ˆ

C

k

,

gdzie ˆ

Z

k

= Z

∗ D

−1

k

, ˆ

C

k

= D

k

∗ C

k

, D

k

= diag(δ

1/2

1

, . . . , δ

1/2

k

).

Zauwa˙zmy, ˙ze macierze C

k

i ˆ

C

k

s

,

a tr´ojk

,

atne g´orne.

11.3.3

Rozk lad ortogonalno-tr´

ojk

,

atny macierzy

Wa˙znym przypadkiem szczeg´olnym jest

X

|K

ze “zwyk lym” iloczynem skalar-

nym (~x, ~y) = ~y

H

∗ ~x. Niech

A = [~a

1

, . . . , ~a

n

]

∈ K

m,n

,

gdzie

rank(A) = n

≤ m,

tzn. kolumny macierzy s

,

a liniowo niezale˙zne. Wtedy, przeprowadzaj

,

ac orto-

normalizacj

,

e (czyli ortogonalizacj

,

e, a nast

,

epnie normalizacj

,

e) kolumn macie-

rzy A otrzymujemy macierz Q

∈ K

m,n

, Q = [~q

1

, . . . , ~q

n

], kt´orej kolumny q

j

tworz

,

a uk lad ortonormalny,

Q

H

∗ Q = I

n

,

oraz macierz tr´ojk

,

atn

,

a g´orn

,

a R

∈ TRIU

n,n

takie, ˙ze

A = Q

∗ R.

Jest to rozk lad ortogonalno-tr´

ojk

,

atny macierzy.