Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
ALGEBRAICZNY PROBLEM WŁASNY
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Budownictwo, studia I stopnia, semestr III
rok akademicki 2010/2011
Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska
Ewa Pabisek
Adam Wosatko
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Czym jest problem własny?
Algebraiczny problem własny – definicja
W teorii układów liniowych dla układu liniowych równań algebraicznych
o zwykłej postaci:
A x = y,
gdzie A
n×n
jest macierzą kwadratową, wyróżnia się:
1) pewną daną wielkość wejściową y (
sygnał wejściowy
)
2) i poszukiwaną wielkość wyjściową x (
sygnał wyjściowy
).
Równanie to przedstawia odwzorowanie wektora x w wektor y.
Istotą algebraicznego problemu własnego jest
poszukiwanie takiego
sygnału wejściowego y, do którego byłby proporcjonalny sygnał
wyjściowy x
. Zatem powinien zachodzić związek:
y = λ x,
w którym λ jest skalarnym współczynnikiem proporcjonalności.
Otrzymujemy ogólną postać
standardowego problemu własnego
:
A x = λ x
lub
(A − λ I) x = 0
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Czym jest problem własny?
Algebraiczny problem własny – definicja
Standardowy problem własny ma postać:
A x = λ x
lub
(A − λ I) x = 0
y = λ x
y = A x
x
inny kierunek
inna norma
ten sam kierunek = kolinearność
inna norma
x
Algebraiczny problem własny sprowadza się zatem do poszukiwania
rozwiązań jednorodnego układu liniowych równań algebraicznych,
w którym macierz współczynników A − λ I zależy od jednego
parametru λ.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Rozwiązanie problemu własnego
Rozwiązanie problemu własnego
Problem własny
(A − λ I) x = 0
ma nietrywialne rozwiązanie x 6= 0
tylko wtedy, gdy:
det(A − λ I) = 0
Zajmiemy się takimi algebraicznymi problemami własnymi, o których
będzie wiadomo a priori, że mają dokładnie n liniowo niezależnych
rozwiązań, przy czym n określa rozmiar macierzy A
n×n
.
Rozwiązaniem problemu własnego jest zatem cały zbiór n
par własnych
:
(λ
i
, x
i
),
i = 1, 2, . . . , n
uporządkowany przez relacje λ
1
λ
2
. . . λ
n
.
Wartości λ
i
, i = 1, 2, . . . , n nazywamy
wartościami własnymi
rowiązywanego problemu. Każdej wartości własnej odpowiada
wektor własny
x
i
. Zbiór wartości własnych λ
i
, i = 1, 2, . . . , n
oznaczamy Sp(A) i nazywamy
widmem
(spektrum) macierzy A,
a liczbę max
i
|λ
i
| – jej promieniem spektralnym ρ(A).
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Rozwiązanie problemu własnego
Wektor własny – dowolna długość
Jeżeli (λ
i
, x
i
) jest parą własną macierzy A, to jej parą własną jest także
w (λ
i
, c x
i
), gdzie c jest dowolnym skalarem różnym od zera.
Wynika to z faktu, że jeżeli
x
i
jest rozwiązaniem równania:
(A − λ
i
I) x
i
= 0
to jego rozwiązaniem będzie również
c x
i
(c 6= 0), gdyż spełnia ono
równanie:
(A − λ
i
I) (c x
i
) = 0
Wektor własny jest więc określony tylko z dokładnością do kierunku,
natomiast jego długość może być dowolna.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Rozwiązanie problemu własnego
Unormowany wektor własny
Dla wygody i zapewnienia jednoznaczności rozwiązania problemu
własnego wektory własne poddaje się normalizacji.
Jeśli x
i
ma np. normę ||x
i
|| = α
i
, to unormowany wektor własny u
i
o jednostkowej długości ||u
i
|| = 1 otrzymujemy mnożąc x
i
przez skalar c
i
:
||u
i
|| = ||c
i
x
i
|| = |c
i
| · ||x
i
|| = |c
i
| α
i
= 1 →
|c
i
| = 1/α
i
Jeżeli wartości własne λ
i
spełniają relacje λ
1
λ
2
. . . λ
n
, to macierz
U utworzona z kolejnych wektorów własnych:
U = [u
1
, u
2
, . . . , u
n
] =
u
11
u
12
· · ·
u
1n
u
21
u
22
· · ·
u
2n
· · ·
· · ·
· · ·
· · ·
u
n1
u
n2
· · ·
u
nn
jest
ortonormalna
, tzn. U U
T
= U
T
U = I.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Równanie charakterystyczne
Równanie charakterystyczne
Po rozwinięciu wyznacznika det(A − λ I) = 0 otrzymujemy równanie
wielomianowe w (λ) znane jako
równanie charakterystyczne
det(A − λ I) = w (λ) =
(1)
n
λ
n
− a
1
λ
n−1
+ a
2
λ
n−2
+ . . . − a
n−1
λ + a
n
= 0
o pierwiastkach λ
i
, i = 1, 2, . . . , n , które są
wartościami własnymi
,
a rozwiązania x
i
układu (A − λ I)x = 0 są
wektorami własnymi
macierzy A.
Tradycyjne rozwiązanie problemu własnego polega na:
1
obliczeniu wartości własnych jako pierwiastków równania
charakterystycznego,
2
rozwiązaniu równań (liniowo zależnych) (A − λ
i
I) x
i
= 0,
tzn. wyznaczeniu wektorów własnych x
i
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Równanie charakterystyczne
Rozwiązanie problemu własnego
na podstawie równania charakterystycznego
Przykład:
Znaleźć wartości własne i wektory własne macierzy:
A =
1
−1
0
−1
2
−1
0
−1
1
Rozwiązanie:
Równanie charakterystyczne ma postać:
det(A − λI) =
1 − λ
−1
0
−1
2 − λ
−1
0
−1
1 − λ
= −λ
3
+ 4λ
2
− 3λ = 0.
Wartości własne wynoszą odpowiednio:
λ
1
= 0;
λ
2
= 1;
λ
3
= 3
.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Równanie charakterystyczne
Rozwiązanie problemu własnego
na podstawie równania charakterystycznego
Wektory własne są rozwiązaniami układu:
(A − λ I) x = 0.
Wyznacznik macierzy jest zerem co oznacza , że równania nie są liniowo
niezależne. Dlatego, można dowolnie przyjąć jeden z elementów x a
następnie z dwóch równań wyznaczyć pozostałe składniki rozwiązania.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Równanie charakterystyczne
Rozwiązanie problemu własnego
na podstawie równania charakterystycznego
Wektor własny odpowiadający λ
3
= 3,
jest rozwiązaniem równania (A − λ I) x = 0 gdzie λ = λ
3
.
1)
2)
3)
1
−1
0
−1
2
−1
0
−1
1
x
1
x
2
x
3
=
0
0
0
Po przyjęciu np. x
1
=1,
z równania 1) obliczamy x
2
= −2 a następnie z równia 3) x
3
= 1.
Wektor własny odpowiadający wartości własnej
λ
3
= 3
ma postać:
x
3
=
1
−2
1
.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Równanie charakterystyczne
Rozwiązanie problemu własnego
na podstawie równania charakterystycznego
Pozostałe dwa wektory własne mają postać:
x
2
=
1
0
−1
x
1
=
1
1
1
.
Dla wygody, wektory własne są przestawiane jako kolumny macierzy X.
W rozważanym przykładzie:
X = [ x
1
x
2
x
3
] =
1
1
1
1
0
−2
1
−1
1
.
Po znormalizowaniu, wektory własne przyjmują postać:
u =
1/
√
3
1/
√
2
1/
√
6
1/
√
3
0
−2/
√
6
1/
√
3
−1/
√
2
1/
√
6
.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Problem własny – wybrane definicje
W dalszym ciągu przytoczone zostaną wybrane definicje i twierdzenia
dotyczących macierzy
symetrycznych
.
Definicja 1.
Macierz A nazywamy diagonalnie dominującą, jeżeli moduły elementów
na jej przekatnej są niemniejsze od sumy modułów pozostałych
elementów z tego wiersza:
|a
ii
|
n
X
k=1,k6=i
|a
ik
|, i = 1, 2, . . . , n
Definicja 2.
Ilorazem Rayleigha nazywamy wyrażenie powstające na podstawie
równości A x
i
= λ
i
x
i
pomnożonej lewostronnie przez x
T
i
:
x
T
i
Ax
i
= λ
i
x
T
i
x
i
→ λ
i
=
x
T
i
Ax
i
x
T
i
x
i
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Problem własny – wybrane twierdzenia
Twierdzenie 1.
Wartości i wektory własne macierzy symetrycznej są rzeczywiste.
Twierdzenie 2.
Wartości własne macierzy symetrycznej i dodatnio określonej są dodatnie.
Twierdzenie 3.
Wektory własne macierzy symetrycznej odpowiadające różnym
wartościom własnym są wzajemnie ortogonalne tzn. x
T
x = I
Twierdzenie 4.
Jeżeli wartościami własnymi macierzy A są liczby λ
i
to wartościami
własnymi macierzy odwrotnej A
−1
są liczby λ
−1
i
(i = 1, 2, . . . , n).
Twierdzenie 5.
Jeżeli do macierzy A dodamy dowolną macierz skalarną µI to
Sp(A + µI) = Sp(A) + µ. Widmo macierzy A + µI jest więc zbiorem liczb:
λ
1
+ µ, λ
2
+ µ, . . . , λ
n
+ µ.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Twierdzenia Gerszgorina
o lokalizacji wartości własnych
Twierdzenie 6.
Twierdzenia Gerszgorina służy do określenia globalnych przedziałów
wartości własnych macierzy A tzn. granic w których zawarte są wszystkie
wartości własne.
Uproszczone twierdzenie dla macierzy symetrycznych:
Jeśli λ jest wartością własną A, to
a
i
− R
i
¬ λ ¬ a
i
+ R
i
,
i = 1, 2, . . . , n
gdzie
a
i
= A
ii
R
i
=
n
X
j =1 j 6=i
| A
ij
|
Z tego wynika, że globalne granice w których zawierają się wartości
własne są:
λ
min
min
i
(a
i
− R
i
)
λ
max
¬ max
i
(a
i
+ R
i
)
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Twierdzenie Gerszgorina – przykład zastosowania
Zastosować twierdzenie Gerszgorina dla zlokalizowania wartości wlasnych
macierzy A:
A =
1.5
−1.0
0.0
−1.0
4.0
0.5
0.0
0.5
2.0
Rozwiązanie:
a
11
= 1.5
a
22
= 4.0
a
33
= 2.0
R
1
= | − 1.0| + 0.0 = 1.0
R
2
= | − 1.0| + 0.5 = 1.5
R
3
= 0.0 + 0.5 = 0.5
1
2
3
4
5
6
λ
R
3
R
2
R
1
λ
min
min
i
(a
i
− R
i
) = 0.5
λ
max
¬ max
i
(a
i
+ R
i
) = 5.5
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Idea metody potęgowej
Metoda ta służy do wyznaczania pojedynczej wartości własnej,
o największym module
, macierzy A stopnia n i odpowiadającego jej
wektora własnego x.
Metoda polega na iteracyjnym generowniu ciągu wektorów:
x
(1)
= Ax
(0)
,
x
(2)
= Ax
(1)
,
. . . ,
x
(k)
= Ax
(k−1)
, . . .
Po udanym wyborze startowego wektora własnego x
(0)
, w kolejnych
przybliżeniach ciąg jest zbieżny do wektora własnego x
1
odpowiadającego
wartości własnej λ
1
.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Zasada działania metody potęgowej
Zakładamy, że istnieją unormowane wektory własne u
i
, i = 1, 2, . . . , n
macierzy A. Wektory te tworzą pewną bazę przestrzeni R
n
:
U = [u
1
, u
2
, . . . , u
n
]
Dzięki temu każdy wektor x ∈ R
n
możemy przedstawić jako kombinację
liniową wektorów własnych:
x
(0)
=
n
X
i =1
ξ
i
u
i
gdzie ξ
i
oznacza i −tą współrzędną wektora x
(0)
liczoną względem
przyjętej bazy.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Zasada działania metody potęgowej
Dla kazdej pary własnej (λ
i
, u
i
) mamy A u
i
= λ
i
u
i
. Otrzymujemy:
x
(1)
= Ax
(0)
= A
n
P
i =1
ξ
i
u
i
=
n
P
i =1
ξ
i
Au
i
=
n
P
i =1
ξ
i
λ
i
u
i
x
(2)
= Ax
(1)
= A
n
P
i =1
ξ
i
λ
i
u
i
=
n
P
i =1
ξ
i
λ
i
Au
i
=
n
P
i =1
ξ
i
λ
2
i
u
i
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·
x
(k)
=
n
P
i =1
ξ
i
λ
k
i
u
i
= λ
k
1
h
ξ
1
u
i
+
n
P
i =2
ξ
i
λ
i
λ
1
k
u
i
i
czyli
x
(k)
λ
k
1
= ξ
1
u
1
+
n
X
i =1
ξ
i
λ
i
λ
1
k
u
i
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Zasada działania metody potęgowej
Zakładając, że λ
1
jest największą co do modułu i pojedynczą wartością
własną, tzn. gdy:
|λ
1
| > |λ
2
| |λ
3
| . . . |λ
n
|,
otrzymujemy
λ
i
λ
1
k
→ 0
dla
k → ∞,
i = 1, 2, . . . , n
oraz
lim
k→∞
x
(k)
λ
k
1
ξ
1
= u
1
.
Mając przybliżony wektor własny u
1
możemy wykorzystać
twierdzenie
Rayleigha
do obliczenia przybliżonej wartości własnej
(maksymalnej co do modułu).
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Metoda potęgowa – przykład
Znaleźć największą wartość własną λ
max
i odpowiadający jej wektor własny x
macierzy A:
A =
1.5
1.0
0
1.0
4.0
0.5
0
0.5
2.0
,
Wektor startowy:
x
0
=
1
0
0
1
2
3
4
5
6
λ
R
3
R
2
R
1
λ
max
¬ max
i
(a
i
+ R
i
) = max(2.5, 5.5, 2.5) = 5.5.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda potęgowa
Metoda potęgowa – wyniki dla przykładu
it
λ
u
1
u
2
u
3
0
0.00000
1.00000
0.00000
0.00000
1
1.50000
0.83205
0.55470
0.00000
2
3.19231
0.50718
0.85830
0.07803
3
4.28234
0.37342
0.91779
0.13497
4
4.42428
0.33362
0.92824
0.16452
5
4.43968
0.32174
0.92983
0.17862
6
4.44181
0.31798
0.92986
0.18509
7
4.44216
0.31670
0.92971
0.18800
8
4.44223
0.31623
0.92961
0.18928
9
4.44224
0.31605
0.92955
0.18985
10
4.44224
0.31597
0.92953
0.19010
11
4.44224
0.31594
0.92952
0.19021
12
4.44224
0.31593
0.92951
0.19026
13
4.44224
0.31592
0.92951
0.19028
14
4.44224
0.31592
0.92951
0.19030
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda iteracji odwrotnej
Zasada działania metody iteracji odwrotnej
Metoda ta służy do obliczenia
najmniejszej co do modułu
wartości
własnej i odpowiadającego jej wektora własnego.
W tym celu równanie:
(A − λI)x = 0
mnożymy przez macierz A
−1
:
A
−1
(A − λI)x = 0 −→ (I − λA
−1
)x = 0
Co prowadzi do:
(A
0
− λ
0
I)x = 0
gdzie:
A
0
= A
−1
λ
0
= 1/λ.
Dzięki temu taką wartość własną można obliczyć metodą potęgową.
przyjmując macierz A
−1
zamiast macierzy A.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Metoda iteracji odwrotnej
Metoda iteracji odwrotnej – przykład
do rozwiązania
Znaleźć najmniejszą wartość własną λ
min
i odpowiadający jej wektor własny x
macierzy A:
A =
1.5
1.0
0
1.0
4.0
0.5
0
0.5
2.0
Wektor startowy:
x
0
=
1
0
0
A
−1
=
0.898551
−0.231884
0.057971
−0.347826
0.347826
−0.086957
0.086957
−0.086957
0.521739
1
2
3
4
5
6
λ
R
3
R
2
R
1
λ
min
min
i
(a
i
− R
i
) = 0.5
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Przesuwanie widma
Przesuwanie widma
Metodę iteracji odwrotnej można uogólnić na poszukiwanie wartości
własnej
najbliższej żądanej wartości µ
.
Weźmy macierz:
A
?0
= (A − µI)
−1
= (A
?
)
−1
.
Jeśli macierz A ma wartość własną λ
i
,
to macierz A
?
= A − µI ma wartość własną λ
?
i
= λ
i
− µ,
a macierz A
?0
= (A
?
)
−1
ma wartość własną λ
?0
=
1
λ
?
i
=
1
λ
i
−µ
.
Wniosek:
Jeśli znajdziemy wartość własną macierzy A
?0
→ (λ
?
i
)
to znajdziemy najbliższą µ wartość własną macierzy A,
która wynosi:
λ
i
=
1
λ
?
+ µ.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Przesuwanie widma
Przesuwanie widma – przykład
A =
1.5
1.0
0
1.0
4.0
0.5
0
0.5
2.0
,
Wektor startowy:
x
0
=
1
0
0
Wyniki:
µ
it
λ
u
1
u
2
u
3
0.0
18
1.11563
0.91480
−0.35161
0.19878
2.0
7
1.94213
−0.25169
−0.11128
0.96139
4.0
9
4.44224
0.31592
0.92951
0.19030
1
2
3
4
5
6
λ
R
3
R
2
R
1
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Uogólniony problem własny
Uogólniony problem własny
(A − λB)x = 0
lub
Ax = λBx
gdzie A i B są macierzami symetrycznymi o wymiarach n × n. Dla
macierzy symetrycznych i dodatnio określonych można przekształcić
odpowiedni
uogólniony problem własny
w odpowiedni
problem standardowy (prosty)
.
Wykonując dekompzycję Choleskiego dla macierzy A otrzymujemy:
A = L L
T
−→ L L
T
x = λB x.
Po wprowadzeniu transformacji:
x = (L
−1
)
T
z
otrzymujemy:
L L
T
(L
−1
)
T
z = λB (L
−1
)
T
z
które po obustronnym pomnożeniu przez L
−1
ma postać:
L
−1
L L
T
(L
−1
)
T
z = λL
−1
B (L
−1
)
T
z.
MATEMATYKA STOSOWANA I METODY NUMERYCZNE
Wybrane definicje i twierdzenia
Rozwiązanie problemu własnego – metody numeryczne
Uogólniony problem własny
Uogólniony problem własny
L
−1
L L
T
(L
−1
)
T
z = λL
−1
B (L
−1
)
T
z.
Ponieważ L
−1
L = L
T
(L
−1
)
T
= I równanie zostanie zredukowane do
postaci standardowej:
( ˜
A − ˜
λI)˜
x = 0
(1)
gdzie:
˜
A = L
−1
B (L
−1
)
T
˜
λ = 1/λ
˜
x = L
T
x.
Po rozwiązaniu problemu opisanego równaniem (1) wartość własną
i wektor własny można obliczyć ze wzorów:
λ = 1/˜
λ
x = (L
−1
)
T
˜
x
MATEMATYKA STOSOWANA I METODY NUMERYCZNE