- macierz o n wierszach i k kolumnach
Powtórzenie z Algebry
1. Macierz
- macierz o n wierszach i k kolumnach
Macierz jest kwadratowa jeśli ma tyle samo wierszy co kolumn (n = k).
Macierz jest diagonalna jeśli jest kwadratowa i po za główną przekątną (diagonala) są elementy zerowe, np.: 
.
Macierz jednostkowa, to macierz diagonalna mająca same jedynki na głównej przekątnej, np.: 
.
Powiemy, że dwie macierze A i B są równe, jeśli są tego samego wymiaru oraz 
dla każdego i oraz j.
Macierz transponowaną do macierzy A (oznaczenie 
) nazywamy macierz, która powstaje w wyniku zamiany kolumn z wierszami - i-tą kolumnę zapisujemy jako i-ty wiersz, np.: 
Macierz A jest symetryczna, jeśli jest macierzą kwadratową dla której zachodzi: 
(lub równoważnie 
dla każdego i oraz j).
Dodawanie macierzy jest zdefiniowane tylko dla macierzy, które są tego samego wymiaru. Dodając macierze sumujemy elementy stojące w tym samym wierszu i kolumnie:
Mnożenie macierzy A przez macierz B (oznaczenie AB) jest wykonalne tylko wtedy, jeśli macierz A ma tyle kolumn co macierz B wierszy. Aby wyznaczyć element 
stojący w i-tym wierszu i j-tej kolumnie macierzy wynikowej, należy pomnożyć i-ty wiersz macierzy A przez j-tą kolumnę macierzy B, np.:
Przydatne własności:
2. Wyznacznik macierzy
Wyznacznik macierzy jest zdefiniowany tylko dla macierzy kwadratowej. Wyznacznik macierzy A (oznaczenie 
lub det(A)) definiujemy w sposób rekurencyjny:
, 
oznacza macierz powstałą z macierzy A poprzez usunięcie i-tego wiersza oraz j-tej kolumny.
Warto pamiętać wzory na wyznacznik w przypadku macierzy 2x2 i 3x3:
Własności wyznacznika:
3. Forma kwadratowa
Formę kwadratową definiuje się w następujący sposób:
, gdzie A jest macierzą symetryczną wymiaru nxn, natomiast x jest wektorem kolumnowym zawierającym n elementów. W wyniku przemnożenia 
otrzymujemy skalar (liczbę): 
Powiemy, że macierz A jest dodatnio (ujemnie) określona, jeżeli dla każdego niezerowego wektora x zachodzi: 
. Powiemy, że macierz A jest nieujemnie (niedodatnio) określona, jeżeli dla każdego niezerowego wektora x zachodzi: 
.
Jak sprawdzać określoność macierzy w praktyce?
Niech 
. Definiujemy następujące wyznaczniki: 
.
Macierz A jest dodatnio określona 
Macierz A jest nieujemnie określona 
Macierz A jest ujemnie określona 
Macierz A jest niedodatnio określona 
4. Ślad macierzy
Ślad macierzy definiujemy tylko dla macierzy kwadratowej: 
- suma elementów stojących na głównej przekątnej (diagonali). Na przykład:
Niech c będzie liczbą, a wektorem kolumnowym, A macierzą kwadratową. Wówczas prawdą jest:
5. Macierz idempotenta
Macierz A jest macierzą idempotenta, jeśli 
Kilka innych przydatnych pojęć
Liniowa niezależność wektorów
Wektory 
są liniowo niezależne, jeśli jedynym rozwiązaniem równania:
są: 
Macierz odwrotna
Macierz B jest macierzą odwrotną do macierzy kwadratowej A (oznaczenie 
), jeśli 
Warto podkreślić, iż mnożenie macierzy przez macierz do niej odwrotną jest przemienne: 
Macierz odwrotna nie zawsze istnieje. Warunkiem koniecznym
(i wystarczającym) na to, żeby istniała macierz odwrotna do macierzy A, jest to, żeby wiersze (kolumny) macierzy A były liniowo niezależne. Taką macierz nazywamy nieosobliwą.
Jak sprawdzać w praktyce czy macierz odwrotna istnieje? Wystarczy policzyć wyznacznik macierzy, jeśli jest różny od zera to macierz odwrotna istnieje!
Warto pamiętać wzór na macierz odwrotną wymiaru 2x2:
Niech A i B będą macierzami nieosobliwymi (istnieją macierze odwrotne). Wówczas:
Rząd macierzy
Rząd kolumnowy macierzy A to liczba liniowo niezależnych kolumn macierzy A.
Rząd wierszowy macierzy A to liczba liniowo niezależnych wierszy macierzy A.
Zawsze rząd kolumnowy i wierszowy macierzy A są sobie równe i będziemy je nazywać rzędem macierzy A (oznaczenie 
).
6. Dowód twierdzenia, że symetryczna macierz idempotenta M ma wartości własne równe 0 lub 1 oraz 
(szkic dowodu)
Z założenia wiemy, iż 
Ponieważ M (również z założenia) jest macierzą symetryczną, to możemy ją przedstawić w następujący sposób: 
(dekompozycja spektralna), gdzie 
, 
są wartościami własnymi macierzy M, natomiast w kolejnych kolumnach macierzy C, stoją wektory własne odpowiadające wartością własnym. Wektory własne są ortonormalne (tzn. 
), więc 
.
Podsumowując wszystkie dotychczasowe spostrzeżenia otrzymujemy: 
Przemnażamy ostatnią równość z prawej strony przez C i z lewej strony przez 
i otrzymujemy:
co oznacza, iż dla każdego i musi zachodzić: 
. Na razie pokazaliśmy, że wartości własne macierzy są równe 0 lub 1.
W dalszej części będzie nam potrzebny następujący fakt: B i C są nieosobliwe, to 
.
Wracając do naszego dowodu, macierze C i 
są nieosobliwe (bo wektory własne są liniowo niezależne), więc: 
Macierz 
jest macierzą diagonalną, gdzie na diagonali stoi 0 lub 1, czyli jej rząd musi być równy liczbie jedynek na diagonali (w tym przypadku będzie to ślad macierzy), co oznacza: 
.
Z drugiej strony mamy: 
gdzie skorzystaliśmy z ostatniej własności śladu ze str. 3 oraz z 
.
Ostatecznie otrzymujemy: 
Powtórzenie z Analizy
1. Pochodna
Niech 
(funkcja skalarna). Pochodną funkcji skalarnej względem wektora x definiujemy jako wektor pochodnych cząstkowych:
Niech 
(funkcja wektorowa). Powyższy zapis możemy interpretować w następujący sposób: 
gdzie 
są funkcjami skalarnymi. Na przykład:
.
Pochodna funkcji wektorowej względem wektora x to macierz wymiaru nxm:
2. 
Niech 
Definiujemy funkcję skalarną:
. Dla każdego i 
, więc zgodnie z definicją pochodnej funkcji skalarnej otrzymujemy:
(**)
Pochodną funkcji skalarnej f względem 
definiujemy jako:
Korzystając z powyższej definicji otrzymujemy:
(*) 
3. 
Niech A będzie macierzą wymiaru nxn natomiast 
wektorem n-elementowym. Wówczas:
. Czyli: 
={Korzystamy z (*)}= A
, czyli: 
={Korzystamy z (**)}=A
4. 
Przy oznaczeniach z podpunktu 3) mamy: 
. Wówczas:
.
Rozwiniemy l-ty element powyższej macierzy:
Teraz możemy zapisać:
Jeśli macierz A jest symetryczna, to 
, co upraszcza powyższy wzór do postaci: 
5. Warunkiem koniecznym (ale nie wystarczającym!) na istnienie ekstremum funkcji f w punkcie 
jest zerowanie się gradientu:
6. Macierz drugich pochodnych - Hessian
Niech 
(funkcja skalarna). Macierz drugich pochodnych funkcji skalarnej definiujemy jako:
Jeżeli funkcja f jest ciągła oraz ma ciągłe pochodne cząstkowe pierwszego i drugiego rzędu, to Hessian jest macierzą symetryczną.
7. Warunek konieczny i wystarczający na istnienie ekstremum dla funkcji skalarnej
Funkcja f ma maksimum w punkcie 
, jeśli:
(zerowanie się gradientu)
oraz
jest ujemnie określona.
W przypadku minimum, pierwszy warunek się nie zmienia, natomiast Hessian musi być dodatnio określony.
4