1

Macierz -- definicja

• Definicja macierzy:

– teoretycznie: funkcja rzeczywista (lub zespolona) dwóch

zmiennych całkowitych, i oraz j:

X:=[x

ij

], i=1..M, j=1..N

– praktycznie: dwuwymiarowa tablica liczb rzeczywistych

(lub zespolonych) o rozmiarach MxN

• Macierz a skalar

– W pewnych kontekstach macierz przeciwstawia się

skalarowi, czyli pojedynczej liczbie (rzeczywistej lub

zespolonej)

– Nie przeczy to faktowi, że skalar można traktować jako

szczególny przypadek macierzy (o rozmiarach 1x1)

– Przekształcenie danych/wyników z postaci macierzowej

do skalarnej jest jednak często bardzo pożądane (z

względu na ułatwioną interpretację wyników skalarnych)

2

Macierz w zapisie zadań

• W algebrze macierze są zazwyczaj stosowane do

zapisywania układów równań/nierówności

• Np. układ równań:

2x

1

-3x

2

+4x

3

=4

3x

1

+2x

2

-1x

3

=2

może być wyrażony w postaci:

• Ax=b

gdzie A=

b=

x=

2

-3

4

3

2

-1

4

2

x

1

x

2

3

Macierz -- transpozycja

• Ze względu na wymienne traktowanie wierszy i

kolumn macierzy jedną z podstawowych

(nienumerycznych) operacji macierzowych jest tzw.

transpozycja macierzy

• Oznaczenie:

– X – macierz oryginalna
– X

T

– macierz transponowana

• Definicja macierzy transponowanej:

– teoretycznie: X

T

:=[x

ji

], i:=1..M, j:=1..N

– praktycznie: potraktowanie wierszy macierzy jako kolumn a

kolumn jako wierszy (zapisanie wierszy w kolumnach a

kolumn w wierszach)

• Oczywiście (X

T

)

T

=X

• Transponowanie nie powinno być mylone z obrotem!

4

Przykład transponowania

• Przykład macierzy o wymiarach 3x4:

X

X

T

(X

T

)

T

7

4

-2

4

4

5

5

1

-1

3

2

0

7

4

-1

4

5

3

-2

5

2

4

1

0

7

4

-2

4

4

5

5

1

-1

3

2

0

5

Wektory

• Szczególnymi przypadkami macierzy są tzw. wektory

– wektor kolumnowy (krótko: wektor), np.:

• x=

– wektor wierszowy (powstały wskutek transponowanie

wektora kolumnowego), np.:

• x

T

=

• Rozmiar wektora: liczba jego elementów
• Każda macierz może być traktowana jako zbiór tzw.

linii, czyli wektorów wierszowych lub wektorów

kolumnowych

21

-3

12

21

-3

12

6

Macierze i wektory szczególne

• Wektory 1, 0, e

j

,

• Macierze I, 0, diagonalna, jedynkowa: E=11

T

• wektory ortogonalne, ortonormalne
• macierz diagonalna
• macierz odwrotna
• zależności (AB)

T

=B

T

A

T

7

Macierz w zapisie zadań

• Zapisy macierzowe są szczególnie przydatne do

przedstawiania ogólnych przekształceń danych

• Np. w teorii programowania liniowego (PL) dla

pewnych zadań PL (zwanych prymalnymi)
definiuje się tzw. symetryczne zadania dualne

• Prymalny:

Dualny:

max c

T

x

min b

T

y

p.o. Axb

p.o. A

T

yc

x0

y0

8

Macierz -- element przekształcający #1

• Jeżeli pewien wektor o rozmiarze N reprezentuje

punkt/obserwację przestrzeni N-wymiarowej, to
wiele różnych operacji przekształcających ten punkt
w tej przestrzeni można przedstawić w postaci
mnożenia przez pewną macierz kwadratową, np.:

• Przykłady:

– Przemnożenie dowolnego wektora 2-elementowego przez

macierz A

NxN

realizuje symetrię punktową (względem

punktu 0)

– Przemnożenie dowolnego wektora 2-elementowego przez

macierz B

NxN

realizuje obrót o kąt  (względem punktu 0)

A=

B=

-1

0

0

-1

cos() sin()

-

sin()

cos(

)

9

Macierz -- element przekształcający #2

• Z tego punktu widzenia macierz jest elementem

przekształcającym

– W algebrze właściwości macierzy są badane, ponieważ

pozwalają na ujawnienie właściwości samego przekształcenia

– Np. dopóki wyznacznik macierzy kwadratowej A jest różny od

zera, to przekształcenie polegające na przemnożeniu wektora
x przez macierz A jest odwracalne

• Mnożenie wektorów N-wymiarowych przez macierze

niekwadratowe przekształca je do innych wymiarów

– Np.: wskutek przemnożenia wektora N-elementowego x

Nx1

przez macierz o rozmiarach A

MxN

powstaje wektor y

Mx1

:

y

Mx1

=A

MxN

*x

Nx1

10

Macierz -- nośnik danych

• Równie często jednak macierz jest nośnikiem

danych

– Najbardziej typowe zastosowania:

• Statystyczna analiza danych: obserwacje w wierszach
• Teoria sygnałów: obserwacje w kolumnach

Statystyka:

Teoria sygnałów:

0.7

0.4

0.2

0.4

0.4

0.5

0.5

0.1

0.1

0.3

0.2

0.0

7

4

-1

4

5

3

-2

5

2

4

1

0

11

Przekształcenia liniowe

• Idea przekształceń liniowych
• Czeste wystepowanie w algebrze liniowej
• Pojęcie kombinacji liniowej zmiennych

– Kombinacja afiniczna
– Kombinacja wypukła

• Pojęcie kombinacji liniowej wektorów
• Pojęcie niezależności wektorów

12

Podstawowe operacje macierzowe

• Dodawanie macierzy
• Mnozenie przez skalar

13

Przekształcenia macierzowe #1

• Mnożenie wektora przez wektor

– Mnożenie wektora przez wektor jest najprostszą

multiplikatywną operacją macierzową

– Istnieją dwie (różne od siebie) wersje takiego

przekształcenia

• Tzw. iloczyn skalarny wektorów
• Tzw. iloczyn macierzowy wektorów

– Na początek dokładniej omówiony zostanie iloczyn

skalarny

14

Przekształcenia macierzowe #2

• Iloczyn skalarny wektorów

– Dopuszczalne jest jedynie mnożenie wektorów o tej

samej liczbie elementów

– Bez względu na ich rozmiar wynik mnożenia wektora

przez wektor jest pojedynczą liczbą (skalarem)

– Formalnie, iloczyn skalarny s może powstać tylko z

przemnożenia wektora wierszowego przez kolumnowy:

x

1

x

2

x

3

x

a

1

a

2

a

3

=

a

1

x

1

+

a

2

x

2

+a

3

x

3

=
:

s

15

Przekształcenia macierzowe #3

• Mnożenie macierzy przez wektor

– Jednym z najczęściej rozważanych przekształceń

macierzowych w algebrze jest mnożenie macierzy przez
wektor

• macierz -- element przekształcający
• wektor -- element danych

– Aby operacja ta była dopuszczalna, macierz A traktuje

się jako zbiór wektorów wierszowych a

iT

, które mnoży się

przez dany wektor (kolumnowy) x

x

a

1

T

x

a

2

T

x

x

=

a

1

T

a

2

T

16

Przekształcenia macierzowe #4

• Gdy dane podlegające przekształcaniu zebrane są

w macierzy to mnożeniu podlegają całe macierze

– Operacja mnożenia macierzy przez macierz

odzwierciedla jednak sytuację, w której zarówno macierz
danych jak i macierz przekształcającą traktuje się jak
zbiór wektorów (kolumnowych względnie wierszowych)

– Wynikiem takiej operacji jest macierz odpowiednich

iloczynów skalarnych

x

1

x

2

x

3

a

1

T

x

1

a

1

T

x

2

a

1

T

x

3

a

2

T

x

1

a

2

T

x

2

a

2

T

x

3

x

=

a

1

T

a

2

T

17

Właściwości operacji macierzowych

• Łączność

– dodawania: A+(B+C)=(A+B)+C
– mnożenia: A(BC)=(AB)C

• Rozdzielność

– mnożenia względem dodawania: A*(B+C)=A*B+A*C

• Przemienność

– dodawania: A+B=B+A

• Ponieważ mnożenie macierzy nie jest przemienne,

mówiąc o mnożeniu macierzy A przez macierz B

należy precyzować, czy jest to mnożenie

– prawostronne: A*B,

czy

– lewostronne: B*A

18

Mnożenie lewostronne i prawostronne

• Różnice w mnożeniu

lewostronnym/prawostronnym mogą być
wykorzystane przy dokonywaniu mnożenia przez
macierze diagonalne

– lewostronne:

– prawostronne

1

2

3

4

3

0

0

2

3

*1+0*

3

3

*2+0*

4

0*1+

2

*

3

0*2+

2

*

4

3

*1

3

*2

2

*3

2

*4

x

=

=

3

0

0

2

1

2

3

4

1*

3

+2*

0

1*0+2*

2

3*

3

+4*

0

3*0+4*

2

1*

3

2*

2

3*

3

4*

2

x

=

=

19

Szczególne operacje macierzowe #1

• Normalizowanie danych

– dane są obserwacje x

ij

zapisane w macierzy X (rozmiar MxN)

– przez normalizację tych danych rozumie się wykonanie operacji

– gdzie:

• są średnimi zmiennych x

j

(czyli kolumn macierzy X)

• s

j

są odchyleniami standardowych tych zmiennych

– operacja ta może być przedstawiona w zapisie macierzowym

jako:

Z = (I–E/M)XD

– gdzie:

• D jest macierzą diagonalną odwrotności s

j

• M jest liczbą wierszy macierzy X

j

j

ij

ij

s

x

x

z





j

x

20

Szczególne operacje macierzowe #2

• Obliczanie macierzy kowariancji

– dane są obserwacje x

ij

zapisane w macierzy X (rozmiar MxN)

– przez macierz kowariancji rozumie się macierz S

x

=[s

ij

], gdzie

(bez uwzględnienia dzielenia przez liczbę obserwacji)

– dla znormalizowanych danych operacja ta może być

przedstawiona w zapisie macierzowym jako:

S

x

= X

T

X











M

1

k

j

kj

i

ki

ij

)

x

)(x

x

(x

s

21

Wyznacznik macierzy -- wprowadzenie

• Tzw. wyznacznik macierzy jest jednym z wielu

współczynników opisujących macierze (inne

współczynniki: ślad macierzy, rząd macierzy, itd.)

• Wyznacznik dotyczy tylko macierzy kwadratowych
• Oznaczenie: det(A) lub |A|
• Z pewnych względów wyznacznik ma znaczenie

kluczowe, szczególnie gdy dotyczy macierzy

przekształcających

– powód: można na jego podstawie wywnioskować, czy

przekształcenie jest odwracalne (tak, gdy det(A)0)

– teoretycznie odpowiedź na to pytanie jest prosta:

albo det(A)=0 albo det(A)0

– w praktyce jednak problem ten jest bardziej złożony

(ze względu na niedokładności numeryczne)

22

Wyznacznik a odwracalność operacji

• Gdy det(A)0 to operacja Ax jest odwracalna, co

oznacza, że na podstawie y można odtworzyć
takie x, że: y=Ax

• Przekształcenie odwrotne realizuje się jako

mnożenie przez macierz A

–1

, czyli macierz

odwrotną do A

• Definicja macierzy odwrotnej: AA

–1

=I= A

–1

A

23

Definicja wyznacznika

• Definicja permutacyjna wyznacznika
• Obliczanie wyznacznika przez rozwinięcie

wiersza/kolumny

24

Podstawowe właściwości wyznacznika

• Udowodniono szereg twierdzeń pozwalających na

natychmiastowe określenie wartości wyznacznika

– Jeżeli dowolna linia macierzy jest wektorem zerowym, to

wartością jej wyznacznika jest zero

• Wniosek: Wyznacznikiem macierzy zerowej jest zero

– Jeżeli dwie dowolne linie macierzy zostaną zamienione

miejscami, to wyznacznik macierzy zmieni znak na
przeciwny

• Wniosek: Jeżeli macierz zawiera jakiekolwiek dwie identyczne

linie, to jej wyznacznik wynosi zero

– Jeżeli dowolna linia macierzy jest kombinacją liniową innych

linii tej macierzy, to wyznacznik macierzy wynosi zero

• Wniosek: Wyznacznik macierzy jest różny od zera gdy jej

wszystkie linie są wektorami niezależnymi liniowo

25

Idea kontroli wartości wyznacznika

• Załóżmy, że wyznacznik pewnej macierzy jest

różny od zera, ale bliski zeru (i wynosi np. 0.01)

– Jakie cechy elementów tej macierzy decydują o tym, że

tak jest?

– Jak krótko scharakteryzować wartość wyznacznika

macierzy w kategoriach wartości jej elementów?

• Co łączy elementy macierzy oraz wartość jej wyznacznika

(oprócz definicji, która jednak jest na tyle skomplikowana,
że trudno o jej interpretację w tych kategoriach)?

• Jakie przekształcenie elementów macierzy doprowadzi jej

wyznacznik do wartości zero
(oprócz trywialnego przemnożenia przez zero)?

• Jak skutecznie kontrolować wyznacznik?

26

Kontrola wartości wyznacznika #1

• Doprowadzenie wyznacznika do zera:

– Metody „inwazyjne”

• Wyzerowanie dowolnej linii macierzy (przemnożenie przez 0)
• Wstawienie dowolnej linii macierzy w miejsce innej

(skopiowanie)

– Metody „nieinwazyjne”

• Znalezienie takiego przekształcenia, które przekształci i-tą

linię macierzy w j-tą linię tej macierzy

– W wyniku takiej operacji otrzymujemy przekształcenie, które

definiuje relację pomiędzy macierzami -- powstałe relacje można

by poddawać systematycznym badaniom

– Problem: które linie wybrać? (numery linii mogłyby być

parametrami, ale to generowałoby nadmierną liczbę parametrów)

• Podstawowe problemy powyższych metod:

– Jakie linie kontrolować? (wiersze/kolumny?)
– Które z nich poddawać przekształceniom?

27

Kontrola wartości wyznacznika #1

• Problem kontroli linii macierzy ma pewne

rozwiązanie szczególne (kompleksowe):

– Pytanie: Jakie linie kontrolować? (wiersze/kolumny?)

• Odpowiedź: Zarówno wiersze, jak i kolumny

– Pytanie: Które wiersze/kolumny poddawać

przekształceniom?

• Odpowiedź: Wszystkie

28

Kontrola wartości wyznacznika #1

• Dalsze pytania i odpowiedzi przedstawiają się

następująco:

– Pytanie: Jak kontrolować elementy macierzy? Mnożyć/dzielić

przez pewien parametr? Dodawać/odejmować parametr?

• Odpowiedź: Przez odjęcie parametru od wartości elementu

– Pytanie: Ile parametrów zastosować do kontrolowania

macierzy o rozmiarach NxN? (min: 1 parametr, max: N

2

parametrów)

• Odpowiedź: Zastosować minimalną liczbę parametrów (czyli

jeden), ale umożliwić mu kontrolowanie każdego wiersza i
każdej kolumny

– Pytanie: Od których elementów macierzy odjąć parametr?

• Odpowiedź: Od wszystkich elementów głównej przekątnej

macierzy. Pozwala to na kontrolowanie (jednego) elementu w
każdym wierszu i każdej kolumnie

29

Parametryzacja macierzy

• Ilustracja parametryzacji macierzy A=[a

ij

], i=1..4,

j=1..4

a

11

–

a

12

a

13

a

14

a

21

a

22

–

a

23

a

24

a

31

a

32

a

33

–

a

34

a

41

a

42

a

43

a

44

–

30

Macierz charakterystyczna

• Sparametryzowaną wersję macierzy A można zapisać

w postaci przekształcenia macierzowego: A-I

• Macierz A-I ta nosi nazwę macierzy

charakterystycznej macierzy A

• Macierz charakterystyczna jest także macierzą

kwadratową, możliwe jest więc zdefiniowanie

wyznacznika tej macierzy: det(A-I)

– Ponieważ macierz charakterystyczna jest zależna od

parametru , sprawdzenie, czy jej wyznacznik jest równy

zero jest możliwe dopiero po przypisaniu konkretnej wartości

parametrowi 

Możliwe jest także inne postępowanie:
– ustalenie takiej wartości parametru , dla której wyznacznik

macierzy jest równy zero

31

Równanie charakterystyczne

• Zależne od  równanie det(A-I)=0 nazywa się

równaniem charakterystycznym macierzy A

• Dla macierzy o rozmiarach NxN lewa strona tego

równania jest wielomianem stopnia N (co wynika z
metody obliczania wyznacznika macierzy)

• Rozwiązaniem tego równania jest N (niekoniecznie

różnych) wartości zespolonych

32

Wartości własne macierzy

• Rozwiązania równania charakterystycznego

macierzy nazywane są wartościami własnymi tej
macierzy

– niem. eigenwert
– ang. eigenvalue

• Zbiór wartości własnych macierzy nazywa się

widmem (lub spektrum) tej macierzy

• Wartości własne informują jednoznacznie o tym,

co należy zrobić z przekątną macierzy, aby
doprowadzić jej wyznacznik do zera

33

Wartości własne -- przykład -- obliczenia

• Obliczyć wartości własne następującej macierzy A=

• Macierz charakterystyczna A-I=

• Wielomian charakterystyczny (po zastosowaniu wzoru na

wyznacznik macierzy o rozmiarach 2x2):

det(A–I) = (3–)*(2–) – 2*1 = 6 – 3* – 2* + 

2

– 2*1 = 

2

– 5 +

4

• Równanie charakterystyczne (w tym przypadku kwadratowe):



2

– 5

1

+ 4

0

= 0

• Rozwiązanie powyższego równania kwadratowego:

Wyróżnik równania: (–5)*(–5) – 4*1*4 = 25 – 16 = 9













2

2

1

3





















2

2

1

3

1

2

2

2

3

5

1

2

9

)

5

(

1





















4

2

8

2

3

5

1

2

9

)

5

(

2





















34

Wartości własne -- przykład -- wyniki

• Zbiorem wartości własnych macierzy A jest {1, 4}
• Co się dzieje po zastosowaniu każdej z tych

wartości
(czyli odjęciu jej od elementów głównej
przekątnej)?



1

=1:



2

=4:

0

1

2

1

2

det

1

2

2

1

1

3

det

2

2

1

3

det

1

1

































































































0

2

2

1

1

det

4

2

2

1

4

3

det

2

2

1

3

det

2

2





































































































35

Wartości własne -- właściwości

• Wartości własne macierzy charakteryzują się

wielką liczbą nietrywialnych właściwości, m.in.:

– Suma wszystkich wartości własnych jest równa śladowi

macierzy

– Iloczyn wszystkich wartości własnych jest równy

wyznacznikowi macierzy

• Wiele innych właściwości/twierdzeń dotyczy

wartości własnych, równania
charakterystycznego, np.:

– Każda macierz spełnia własne równanie

charakterystyczne

– W powyższym przykładzie: A

2

– 5A

1

+ 4A

0

= 0



















































































































































0

0

0

0

4

0

0

4

4

0

0

4

4

0

0

4

10

10

5

15

6

10

5

11

1

0

0

1

4

2

2

1

3

5

2

2

1

3

2

2

1

3

36

Przekształcenie identycznościowe wektora

• Niech x będzie wektorem N-elementowym, natomiast A --

macierzą o wymiarach NxN

• Operacja Ax przekształca x w pewien inny wektor y

(czyli Ax=y)

• Problem przekształcenia identycznościowego:

– Pytanie: czy istnieją takie wektory x, że Ax=x?

• Odpowiedź: tak, dla każdej A zachodzi: A0=0

(rozwiązanie trywialne)

– Pytanie: czy istnieją rozwiązania nietrywialne powyższego problemu,

a więc takie wektory, że przemnożenie ich przez macierz
przekształca
je na nie same? Lub konkretniej:

• takie wektory x0, że Ax=x?
lub (w osłabionej postaci):
• takie wektory x0, że Ax jest proporcjonalne do x, czyli Ax=sx

(gdzie s jest różnym od zera skalarem)?

37

Przekształcenie identycznościowe --

przykłady

• Dla macierzy A z powyższego przykładu:

• Ale:









































6

5

2

1

2

2

1

3

















































6

7

1

2

2

2

1

3













































2

5

1

2

2

2

1

3









































4

4

1

1

2

2

1

3













































2

1

2

1

2

2

1

3









































4

2

4

2

2

2

1

3

38

Rozwiązanie przekształcenie

identycznościowego

• Zakładając, że k=[k

1

,k

2

, ..., k

N

]

T

, rozwiązania problemu

przekształcenia identycznościowego można poszukiwać

zapisując i rozwiązując następujące równanie:

Ak=k

lub równoważną mu postać:

(A–I)k=0

• Podobnie, rozwiązania problemu przekształcenia

proporcjonalnościowego można poszukiwać rozwiązując:

Ak=sk

lub równoważną mu postać:

(A–Is)k=0

• Jeżeli w powyższym równaniu za współczynnik

proporcjonalności s przyjmie się wartość własną  macierzy,

to niezerowe rozwiązanie tego równania nazywa się

wektorem własnym macierzy (odpowiadającym wartości

własnej )

39

Wektory własne macierzy

• Ponieważ każda macierz o rozmiarze NxN posiada

co najwyżej N (niekoniecznie różnych) wartości

własnych, to oznacza to, że macierz ta posiada

także co najwyżej N (niekoniecznie różnych)

wektorów własnych

• Wektor własny macierzy to taki niezerowy wektor,

który w wyniku przemnożenia przez tę macierz

ulega przekształceniu na wektor proporcjonalny do

samego siebie

– współczynnikami proporcjonalności są odpowiednie

wartości własne macierzy

– jeżeli jedna z wartości własnych macierzy jest równa 1, to

istnieje wektor własny tej macierzy, który w wyniku

przemnożenia przez tę macierz nie ulega zmianie

(przekształcenie identycznościowe)

40

Właściwości wektorów własnych

• Wektory własne są niezerowymi rozwiązaniami

następującego równania:

(A–I)k=0 (gdzie  jest wartością własną macierzy A)

co pociąga za sobą następujące konsekwencje:

– Jeżeli k jest wektorem własnym, to jest nim także każdy

wektor postaci sk, gdzie s jest niezerowym skalarem
(współczynnikiem proporcjonalności)

– Ponieważ wartości własne  macierzy są tak dobrane,

aby wyznacznik macierzy A–I wynosił 0, to rozwiązanie

k równania (A–I)k=0 jest określone niejednoznacznie

(istnieje wiele takich rozwiązań)

41

Obliczanie wektorów własnych -- przykład

#1

• Przykład

 

1

=1, lewe strony równań

– układ równań:

2k

1

+k

2

= 0

2k

1

+k

2

= 0

– rozwiązanie (parametryczne, parametr )

k

1

= 

k

2

= –2k

1

– odpowiadający wektor własny -- każdy wektor postaci:





























































































































































2

1

2

1

2

1

2

1

2

1

1

k

k

2

k

k

2

k

k

1

2

1

2

k

k

1

1

0

0

1

2

2

1

3

k

k

1

0

0

1

2

2

1

3















 α

2

α

42

Obliczanie wektorów własnych -- przykład

#2

• Przykład (c.d.)

 

1

=4, lewe strony równań

– układ równań:

–k

1

+k

2

= 0

2k

1

–2k

2

= 0

– rozwiązanie (parametryczne, parametr )

k

1

= 

k

2

= k

1

– odpowiadający wektor własny -- każdy wektor postaci:





































































































































































2

1

2

1

2

1

2

1

2

1

1

k

2

k

2

k

k

k

k

2

2

1

1

k

k

4

1

0

0

1

2

2

1

3

k

k

1

0

0

1

2

2

1

3















β

β

43

Obliczanie wektorów własnych -- przykład

#3

• Rozwiązanie (postać ogólna)

– wektor własny odpowiadający wartości 

1

=1:

– wektor własny odpowiadający wartości 

1

=4:

• Rozwiązanie (postać szczególna dla =1, =1)

– wektor własny odpowiadający wartości 

1

=1:

– wektor własny odpowiadający wartości 

1

=4:













β

β













 α

2

α













 2

1













1

1

44

Dobór wektorów własnych

• Ze względu na parametryczność rozwiązań układu

równań definiującego wektory własne, możliwe jest

tworzenie bardzo różnych instancji tych wektorów

• W wielu różnych zastosowaniach parametry dobiera

się w taki sposób, aby powstałe wektory własne były:

– unormowane, tzn.: k

i

k

i

=1

– wzajemnie ortogonalne, tzn.: k

i

k

j

=0 dla ij

• Rozwiązania tej postaci są także najczęściej

generowane przez funkcje/biblioteki komputerowe

• ???Rozwiązanie istnieje (przyjmując normalizację

nawet dla identycznych wartości własnych generuje

się rózne wektory własne) , macierz wektorów

własnych jest odwracalna

45

Macierz wektorów własnych

• Niech K=[k

1

, k

2

, ..., k

N

] będzie macierzą utworzoną z kolejnych

wektorów własnych pewnej macierzy A

• Jeżeli wektory własne k

i

macierzy A są unormowane oraz

ortogonalne, to zachodzi następująca zależność:

K

T

K= =

=I

• Ponieważ:

– jeżeli: K

T

K=I to (K

T

K)

T

=I

T

, czyli KK

T

=I

T

– oraz: I

T

=I

to wynika z tego, że także KK

T

=I

1

0

0

0

0

1

0

0

0

0

1

0

0

0

0

1

k

1

k

1

k

1

k

2

...

k

1

k

N

k

2

k

1

k

2

k

2

k

2

k

N

k

N

k

1

k

N

k

2

k

N

k

N

46

Podstawy rozkładu EVD

• Niech ={

1

, 

2

, ..., 

N

} będzie zbiorem wartości własnych

pewnej macierzy, a wektory k

1

, k

2

, ..., k

N

odpowiadającymi im

wektorami własnymi tej macierzy

• Z definicji wektorów własnych zachodzi:

Ak

1

= k

1



1

, Ak

2

= k

2



2

, ..., Ak

N

= k

N



N

• Ponieważ lewe i prawe strony powyższych równości są

wektorami, to równania te można zapisać w postaci

macierzowej:

[ Ak

1

, Ak

2

, ..., Ak

N

] = [ k

1



1

, k

2



2

, ..., k

N



N

]

• Jednocześnie:

– zakładając, że K=[ k

1

, k

2

, ..., k

N

]

[ Ak

1

, Ak

2

, ..., Ak

N

] można przedstawić jako AK

– zakładając, że L=diag([ 

1

, 

2

, ..., 

N

])

[ k

1



1

, k

2



2

, ..., k

N



N

] można przedstawić jako KL

• Ostatecznie początkowy układ równości można zapisać jako:

AK = KL

47

Rozkład EVD macierzy #1

•

Obie strony równania:

AK = KL

można przemnożyć prawostronnie przez K

–1

otrzymując:

AKK

–1

= KLK

–1

•

Ponieważ KK

–1

=I powstaje równanie

A = KLK

–1

•

Dla unormowanych i ortogonalnych wektorów własnych
składających się na macierz K zachodzi: K

–1

=K

T

, a więc:

A = KLK

T

•

Każdą kwadratową macierz A można przedstawić w
postaci iloczynu KLK

T

, gdzie K jest macierzą wektorów

własnych a L macierzą wartości własnych macierzy A

48

Rozkład EVD macierzy #2

• Warunki istnienia/jednoznaczności, itd., rozkładu:

– rozkład istnieje, gdy A jest macierzą kwadratową, jednak

wartości własne mogą być w ogólności wartościami
zespolonymi

– gdy macierz A jest kwadratowa i symetryczna to jej

wartości własne są wartościami rzeczywistymi

• odpadają problemy z analizą liczb zespolonych

– gdy macierz A jest kwadratowa i symetryczna to

wszystkie wektory własne są ortogonalne

• odpadają problemy z zapewnianiem ortogonalności

wektorów

49

Analiza nienadzorowana -- wariancja

• Jeżeli zmienne (atrybuty) danych są podzielone na

warunkowe i decyzyjne (analiza nadzorowana), to
ilość informacji „zawartej” w pewnym atrybucie
warunkowym można wyrażać poprzez miary
zależności pomiędzy tym atrybutem a atrybutem
decyzyjnym (entropia)

• W sytuacji gdy w zbiorze nie zdefiniowano

atrybutów decyzyjnych, każdy atrybut musi być
oceniony indywidualnie

– za miarę informacyjności przyjmuje się wariancję atrybutu,

co można wytłumaczyć tak, że atrybut nie wykazujący
żadnej zmienności (wariancja 0), nie niesie żadnej
informacji

50

Procedura PCA

• Dana jest macierz danych: X (obserwacje w

wierszach)

• Oblicz macierz kowariancji S

x

– S

x

pozwala ocenić wariancje zmiennych

(elementy głównych przekątnych)

– wynikowa macierz S

x

jest z definicji symetryczna

• Oblicz wartości/wektory własne
• Utwórz macierze L i K
• Przemnóż X przez K

51

Rozkład EVD macierzy a metoda PCA

• Dane są macierze:

– macierz danych oryginalnych X
– macierz kowariancji danych oryginalnych S

x

=X

T

X

– macierz danych przekształconych Y=XK, gdzie K jest macierzą

wektorów własnych macierzy kowariancji S

x

=X

T

X, czyli S

x

=KLK

T

• Wtedy:

– macierz kowariancji danych przekształconych S

y

można wyrazić jako:

– S

y

= Y

T

Y = (XK)

T

XK = K

T

X

T

XK = K

T

S

x

K = K

T

KLK

T

K = ILI = L

• Wniosek:

– Jeżeli przekształci się dane oryginalne X do postaci Y za pomocą

mnożenia przez macierz K to macierz kowariancji zmiennych

przekształconych Y wyraża się macierzą diagonalną utworzoną z

wartości własnych macierzy S

x

• wariancje zmiennych przekształconych są równe wartościom własnym

macierzy S

x

-- można je poznać tuż po wyliczeniu wartości własnych

• kowariancje zmiennych przekształconych są równe zero -- zmienne te są

niezależne (liniowo)

52

Mechanizm tworzenia nowych zmiennych #1

• Dane są macierze:

– macierz danych oryginalnych X
– macierz przekształcająca K

• Nowe dane (Y) powstają w rezultacie operacji

Y=XK

k

1

k

2

k

3

y

11

y

12

y

13

y

21

y

22

y

23

y

31

y

32

y

33

...

...

...

y

N1

y

N2

y

N3

x

=

x

1

T

x

2

T

x

3

T

...

x

N

T

53

Mechanizm tworzenia nowych zmiennych #2

• Element macierzy y

ij

= jest iloczynem skalarnym

wiersza x

iT

oraz kolumny k

j

: y

ij

= x

iT

k

j

• Liczba nowych obserwacji = liczba starych

obserwacji

• Liczba nowych zmiennych = liczba starych

zmiennych

k

1

k

2

k

3

x

1

T

k

1

x

1

T

k

2

x

1

T

k

3

x

2

T

k

1

x

2

T

k

2

x

2

T

k

3

x

3

T

k

1

x

3

T

k

2

x

3

T

k

3

...

...

...

x

N

T

k

1

x

N

T

k

2

x

N

T

k

3

x

=

x

1

T

x

2

T

x

3

T

...

x

N

T

54

Mechanizm tworzenia nowych zmiennych #3

• Liczba nowych zmiennych zależy od liczby

kolumn macierzy przekształcającej K

• Zmniejszenie liczby kolumn tej macierzy prowadzi

do zmniejszenia nowych zmiennych

k

1

k

2

k

k

3

3

y

11

y

12

y

y

13

13

y

21

y

22

y

y

23

23

y

31

y

32

y

y

33

33

...

...

...

...

y

N1

y

N2

y

y

N3

N3

x

=

x

1

T

x

2

T

x

3

T

...

x

N

T

55

Przekształcenie odwrotne

• W rezultacie przekształcenia PCA (czyli operacji

Y=XK) tworzone są nowe zmienne

• Pytania:

– jak na podstawie nowych zmiennych odtworzyć stałe?
– jak to zrobić, jeżeli zredukowano liczbę nowych zmiennych?

• Odpowiedzi:

– odtworzenia starych zmiennych na podstawie nowych

można dokonać dokonując przekształcenia odwrotnego

• ponieważ Y=XK, to YK

–1

=XKK

–1

, i wtedy YK

–1

=XI

• czyli X=YK

–1

, ponieważ K

–1

=K

T

, wystarczy wykonać YK

T

• odtworzenie wszystkich zmiennych oryginalnych jest tylko

możliwe przez przemnożenie niezredukowanej macierzy Y,

toteż jeżeli pewne zmienne przekształcone (czyli kolumny

macierzy Y) zostały zredukowane, to należy odtworzyć je przed

wykonaniem mnożenia, zastępując oryginalne zmienne ich

wartościami średnimi

56

Zasada zachowania informacji (wariancji)

• W rezultacie przekształcenia PCA suma wariancji nowych

zmiennych jest równa sumie wariancji starych zmiennych
(co nie oznacza, ze poszczególne wariancje nie ulegają
zmianie!)

K

y

11

y

12

y

y

13

13

x

=

0

1

2

3

4

5

6

7

8

9

10

0

1

2

3

4

5

6

7

8

9

10

x

1

x

2

x

3

57

-5

0

5

10

15

20

25

-5

0

5

10

15

20

25

30

35

Przykład: PCA dla danych dwuwymiarowych

x

1

x

2

13.34

19.37

17.57

25.89

5.40

8.33

14.63

21.99

1.95

3.00

11.60

16.71

11.76

16.49

7.25

12.36

18.24

27.17

8.99

14.70

17.31

27.05

6.77

9.45

10.29

14.67

7.02

9.44

1.52

3.04

...

...

...

...

...

...

duża
wariancja

duża
wariancja

58

Utworzenie macierzy przekształcającej

S

x

27.4 40.6

40.6 60.9

L

88.1

0

0

0.2

K

0.55 0.83

0.83

-

0.55

K

T

0.55 0.83

0.83

-

0.55

S

x

27.4 40.6

40.6 60.9

x

x

=



1



2

0.2 88.1

k

1

k

2

0.83 0.55

-0.55 0.83

59

Wykorzystanie macierzy przekształcającej

x

1

x

2

13.34

19.37

17.57

25.89

5.40

8.33

14.63

21.99

1.95

3.00

11.60

16.71

11.76

16.49

7.25

12.36

18.24

27.17

8.99

14.70

17.31

27.05

6.77

9.45

10.29

14.67

7.02

9.44

1.52

3.04

...

...

...

...

...

...

K

0.55 0.83

0.83

-

0.55

x

=

y

1

y

2

23.13

-0.68

30.73

-2.30

9.71

1.51

25.89

-1.63

3.50

2.84

20.02

-0.03

19.98

0.23

13.86

-0.04

32.11

-2.73

16.75

-0.45

31.37

-3.30

11.47

1.68

17.65

0.48

11.64

1.86

3.22

2.50

...

...

...

...

...

...

60

-5

0

5

10

15

20

25

-5

0

5

10

15

20

25

30

35

Nowe zmienne (zmienne przekształcone)

y

1

y

2

23.13

-0.68

30.73

-2.30

9.71

1.51

25.89

-1.63

3.50

2.84

20.02

-0.03

19.98

0.23

13.86

-0.04

32.11

-2.73

16.75

-0.45

31.37

-3.30

11.47

1.68

17.65

0.48

11.64

1.86

3.22

2.50

...

...

...

...

...

...

duża
wariancja

b.
mała

61

Porównanie wariancji i redukcja zmiennych

• Wariancje zmiennych oryginalnych:

– Var(x

1

)=27.4, Var(x

2

)=60.9

– suma: 27.4 + 60.9 = 88.3

• Wariancje zmiennych przekształconych:

– Var(y

1

)=88.1, Var(y

2

)=0.2

– suma: 88.1 + 0.2 = 88.3

• Wniosek: ze względu na małą pojemność informacyjną

(wyrażającą się małą wariancją) zmienna y

2

może zostać

pominięta w dalszych analizach

• W praktyce redukowanie zmiennych sprowadza się do

utworzenia nowych zmiennych, takich, że ich wartości są

wartościami średnimi zmiennej redukowanej

• Wszystkie zmienne po redukcji będą oznaczane przez z

i

1

2

0

50

100

1

2

0

50

100

62

Nowe zmienne (zmienne zredukowane)

z

1

z

2

23.13

0.00

30.73

0.00

9.71

0.00

25.89

0.00

3.50

0.00

20.02

0.00

19.98

0.00

13.86

0.00

32.11

0.00

16.75

0.00

31.37

0.00

11.47

0.00

17.65

0.00

11.64

0.00

3.22

0.00

...

...

...

...

...

...

0

10

20

30

40

-5

0

5

10

15

20

25

30

35

63

Wykorzystanie macierzy odwrotnej

K

T

0.55 0.83

0.83

-

0.55

x

=

z

1

z

2

23.13

0.00

30.73

0.00

9.71

0.00

25.89

0.00

3.50

0.00

20.02

0.00

19.98

0.00

13.86

0.00

32.11

0.00

16.75

0.00

31.37

0.00

11.47

0.00

17.65

0.00

11.64

0.00

3.22

0.00

...

...

...

...

...

...

u

1

u

2

13.48

19.22

18.86

24.60

3.99

9.73

15.44

21.18

-0.39

5.35

11.29

17.03

11.26

17.00

6.93

12.67

19.83

25.57

8.97

14.72

19.31

25.05

5.24

10.98

9.61

15.35

5.36

11.10

-0.59

5.15

...

...

...

...

...

...

64

Zmienne odtworzone częściowo

(wygładzone)

-5

0

5

10

15

20

25

-5

0

5

10

15

20

25

30

35

u

1

u

2

13.48

19.22

18.86

24.60

3.99

9.73

15.44

21.18

-0.39

5.35

11.29

17.03

11.26

17.00

6.93

12.67

19.83

25.57

8.97

14.72

19.31

25.05

5.24

10.98

9.61

15.35

5.36

11.10

-0.59

5.15

...

...

...

...

...

...

65

Zmienne odtworzone w pełni

-5

0

5

10

15

20

25

-5

0

5

10

15

20

25

30

35

x

1

x

2

13.34

19.37

17.57

25.89

5.40

8.33

14.63

21.99

1.95

3.00

11.60

16.71

11.76

16.49

7.25

12.36

18.24

27.17

8.99

14.70

17.31

27.05

6.77

9.45

10.29

14.67

7.02

9.44

1.52

3.04

...

...

...

...

...

...

66

Metody doboru zmiennych redukowanych

• Niech ={

1

, 

2

, ..., 

N

} będzie zbiorem

posortowanych nierosnąco wartości własnych
macierzy kowariancji

– Znajdź średnią wartość wszystkich 

i

i utwórz tylko

zmienne odpowiadające wartościom

– Utwórz tylko zmienne 1..S, przy

minimalnym S, dla którego zachodzi:

– Dobierz wizualnie zmienne na

podstawie tzw. wykresu osypiska:

0

13

1

2

3

4

5

6

λ

λ

λ

i



p











N

1

i

i

S

1

i

i

λ

λ

67

Zastosowania PCA: przykład biologiczny

• Jolicoeur i Mosiman (1960) dokonywali pomiarów

skorupy żółwi, otrzymując oryginalne zmienne:

– długość
– szerokość
– wysokość

• Ze względu na względnie stałe proporcje powyższych

wielkości (duża korelacja) zmienne oryginalne możne
przekształcić wykorzystując PCA i otrzymując:

– wielkość (98.64% informacji)
– kształt-A (0.94%) i kształt-B (0.41%)

• Podobne badania

– białe leghorny (Wright, 1954)

68

Zastosowania PCA: przykład psychologiczny

• Birren i Morrison (1961) badali wyniki testów

Wechslera (testy na inteligencję dla dorosłych).
Obserwowano:

– wyniki testu (11 zmiennych), oraz dodatkowo
– wiek i wykształcenie

• W rezultacie przekształcenia PCA otrzymano

zmienne, które (po zanalizowaniu korelacji z
oryginalnymi wynikami testów) zinterpretowano
następująco:

– ogólna wydajność intelektualna (51.47%)
– doświadczenie (10.90%)
– miernik wyobraźni przestrzennej (6.15%)
– miernik umiejętności rachunkowych (5.48%)