Współczynnik korelacji prostoliniowej rozpatrywany w pierwszej części skryptu mierzy zależność między dwiema zmiennymi losowymi. Omawiany w tej części skryptu współczynnik korelacji wielokrotnej mierzy z kolei zależność między jedną zmienną losową i układem innych zmiennych. W rzeczywistości jest to maksymalny współczynnik korelacji między daną zmienną a kombinacją liniową pozostałych zmiennych — a zatem jest to współczynnik korelacji między daną zmienną i jej najlepszą (tu: w sensie minimum błędu średniokwadratowego) predykcją zbudowaną na tych pozostałych zmiennych.
Analiza kanoniczna zajmuje się uogólnieniem koncepcji korelacji w przypadku współzależności pomiędzy dwoma zbiorami zmiennych losowych. Innymi słowy, w ramach analizy kanonicznej szuka się odpowiedzi na pytanie jaki jest zakres równoczesnego
wpływu całego zbioru zmiennych niezależnych x = xit x2.....xp na cały zbiór zmiennych
zależnych y = y,, y2, •••» ?
Odpowiedzią jest pewien syntetyczny wskaźnik statystyczny, informujący o zakresie determinacji (tzn. określania) zbioru zmiennych * względem zbioru zmiennych y, jest to liczbowa miara „korelacji" między dwoma zbiorami zmiennych o różnej ich liczbie.
Korzystając z metod analizy kanonicznej można również uzyskać odpowiedź na bardziej szczegółowe pytania, takie jak:
— który zbiór zmiennych niezależnych, spośród kilku możliwych wyjaśnia największy zakres zmienności (wariancji) w obrębie zbioru y?
— czy wprowadzenie nowych zmiennych niezależnych lub zależnych, przy zachowaniu wyjściowej struktury zbiorów x i y, zwiększa zakres wyjaśnionej wariancji całkowitej?
— które zmienne przestrzeni x, rozpatrywane łącznie, wyjaśniają największy zakres wariancji dla zmiennych przestrzeni y, również rozpatrywanych łącznie?
Rozważmy układ dwóch zbiorów zmiennych losowych [x, y], gdzie
x - [*,, x2.....xp]T jest wektorem zmiennych objaśniających,
y = [y,, y2.....yq]T — wektorem zmiennych objaśnianych.
Interesuje nas złożony związek między zbiorami x i y, a mówiąc ściślej: chcemy za pomocą zmiennych x prognozować zmienne y.
Macierz kowariancji układu [jc, y] można wyrazić w postaci blokowej jako
292