STATYSTYKA

MATEMATYCZNA

Wnioskowanie statystyczne

- regresja i korelacja

treść

• Wprowadzenie

• Regresja i korelacja liniowa dwóch

zmiennych

• Regresja i korelacja nieliniowa -

transformacja zmiennych

• Regresja i korelacja wielokrotna

Wprowadzenie

Jednostki zbiorowości statystycznej mogą być

charakteryzowane za pomocą wielu cech. Cechy te mogą być
powiązane ze sobą jak np.: pierśnica i wysokość drzew w
drzewostanie. Badaniem takich związków zajmuje się dział
statystyki matematycznej zwany teorią regresji i korelacji.

W badaniach współzależności między cechami mierzalnymi

(zmiennymi) mogą wystąpić:
- związki funkcyjne - to takie, kiedy zmiana wartości jednej
zmiennej powoduje ściśle określoną zmianę wartości pozostałych
zmiennych
- związki korelacyjne - to takie, kiedy zmiana wartości jednej
zmiennej powoduje zmianę rozkładu prawdopodobieństwa
pozostałych zmiennych.

Badanie związków korelacyjnych sprowadza się do dwóch
problemów:

1. Poszukiwanie funkcji regresji (funkcji, która najlepiej

wyrówna badaną zależność korelacyjną)

2. Określenie miar siły korelacji (stopnia zbliżenia związku

korelacyjnego do związku funkcyjnego)

y

x

y

x

Regresja i korelacja liniowa dwóch zmiennych:

W badaniach związków korelacyjnych miedzy zmiennymi X i

Y możemy zarówno jedną traktować jako zmienną zależną a drugą
jako zmienną niezależną lub odwrotnie. Zmienne te wzajemnie na
siebie wpływają. Aby równanie regresji mogło znaleźć zastosowanie
praktyczne, to jako zmienną zależną powinniśmy przyjąć cechę
trudniejszą do określania w danej populacji. Przykładowo: dla
związku między wysokością a pierśnicą, zmienną zależną powinna
być wysokość.

Dla zrozumienia na czym polega określanie siły związku

korelacyjnego zajmiemy się obydwoma postaciami równań regresji:

Y

X

X

Y

2

2

1

1

β

α

β

α

+

=

+

=

W zastosowaniu praktycznym równania regresji budujemy na
podstawie wyników próby:

y

b

a

x

x

b

a

y

2

2

1

1

ˆ

ˆ

+

=

+

=

gdzie:

2

1

2

1

,

,

,

b

b

a

a

są estymatorami

2

1

2

1

,

,

,

β

β

α

α

y

x

y

x

y

x

xˆ

yˆ

x

y

y

x

yˆ

xˆ

y

x

xˆ

yˆ

y

b

a

x

x

b

a

y

2

2

1

1

ˆ

ˆ

+

=

+

=

0

;

;

ˆ

0

;

;

ˆ

2

2

1

1

=

=

=

=

=

=

b

x

a

x

x

b

y

a

y

y

1

2

1

1

2

1

1

1

1

1

1

1

1

;

;

1

ˆ

ˆ

b

b

b

a

a

y

b

b

a

x

y

a

x

b

x

b

a

y

=

−

=

+

−

=

+

−

=

+

=

Własności prostych regresji:

* przecinają się w punkcie o współrzędnych x, y,
* b

1

i b

2

mają ten sam znak (+) lub (-), który oznacza, że w

miarę wzrostu jednej zmiennej druga też rośnie (+) lub maleje (-),

* wartość liczbowa współczynników kierunkowych b

1

i b

2

mówi o ile zmienia się zmienna zależna jeżeli zmienna niezależna
zmienia się o jednostkę,

* przy braku związku między zmiennymi współczynniki

kierunkowe b

1

i b

2

są równe zero, kąt między prostymi - 90

o

,

* przy zależności funkcyjnej proste pokrywają się, ich

równania wzajemnie się przekształcają, kąt - 0

o

,

* przy zależności korelacyjnej proste przecinają się pod

pewnym kątem. Im kąt ten jest bliższy 0 - związek silniejszy, im
bliższy 90

o

- związek słabszy.

Metoda najmniejszych kwadratów - układ równań normalnych:

(

)

(

)

n

y

b

x

a

n

x

b

y

a

y

y

n

y

x

y

x

n

b

x

x

n

y

x

y

x

n

b

y

x

y

b

y

a

y

x

x

b

x

a

x

y

b

n

a

y

x

b

n

a

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

∑

∑

∑

∑

∑

∑

∑

∑ ∑

∑

∑

∑

∑ ∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

−

=

−

=

−

−

=

−

−

=

=

+

=

+

=

+

=

+

2

2

1

1

2

2

2

2

2

1

2

2

2

2

1

1

2

2

1

1

Przykład:

Na podstawie próby o liczebności n = 30 zbadać związek

między pierśnicą i wysokością w 30-letnim drzewostanie sosnowym

nr

1

2

3

4

5

6

7

8

9

10

x

i

5,2

11,6

4,3

8,1

10,4

7,3

9,8

12,5

4,7

8,1

y

i

9,64

11,2

9,03

10,9

11,7

10,38

11,4

11,19

8,45

10,48

nr

11

12

13

14

15

16

17

18

19

20

x

i

7,5

6,7

7

8,2

6,3

9,1

8

13,2

6,5

10,2

y

i

10,5

9,32

9,1

10,92

9,73

10,74 10,62 11,64

9,44

11,69

nr

21

22

23

24

25

26

27

28

29

30

x

i

12,8

8,9

7,7

6,7

11,6

8,4

6,1

11,9

9,8

8,6

y

i

11,9

10,43

9,8

9,35

11,02

10,2

9,65

11,16

10,5

10,5

lp

x

i

y

i

x

i

2

y

i

2

x

i

y

i

1
2
3

.
.
.

30

5,2

11,6

4,3

.
.
.

8,6

9,64

11,20

9,03

.
.
.

10,50

27,04

134,56

18,49

.
.
.

73,96

92,9296

125,4400

81,5409

.
.
.

110,2500

50,128

129,920

38,829

.
.
.

90,300

Σ

257,2

312,40

2372,72 3276,5000 2733,040

%

62

,

8

%

05

,

28

898

,

0

40

,

2

80613

,

0

7813

,

5

413

,

10

57

,

8

04

,

2733

5

,

3276

72

,

2372

4

,

312

2

,

257

2

2

2

2

=

=

=

=

=

=

=

=

=

=

=

=

=

∑

∑

∑

∑

∑

y

x

y

x

y

x

i

i

i

i

i

i

w

w

s

s

s

s

y

x

y

x

y

x

y

x

81

,

15

30

4

,

312

*

341

,

2

2

,

257

615

,

7

30

2

,

257

*

3264

,

0

4

,

312

341

,

2

3264

,

0

4

,

312

5

,

3276

*

30

4

,

312

*

2

,

257

04

,

2733

*

30

2

,

257

72

,

2372

*

30

4

,

312

*

2

,

257

04

,

2733

*

30

2

1

2

1

2

2

2

1

=

−

=

=

−

=

=

=

−

−

=

−

−

=

a

a

b

b

b

b

Zwiazek miedzy piersnica (x) i wysokoscia (y) PA-1

x

y

4

6

8

10

12

14

8

9

10

11

12

13

Zwiazek miedzy piersnica (x) i wysokoscia (y) PA-1

x

y

4

6

8

10

12

14

8

9

10

11

12

13

xˆ

yˆ

y

x

x

y

34117

,

2

8061

,

15

ˆ

32645

,

0

6146

,

7

ˆ

+

−

=

+

=

Współczynnik korelacji liniowej dwóch zmiennych:

Współczynnik korelacji liniowej jest kowariancj

ą

zmiennych

X

i

Y

podzielon

ą

przez iloczyn odchyle

ń

standardowych tych

zmiennych.

(

)(

)

874

,

0

764

,

0

1

1

2

2

1

2

1

2

2

2

2

2

2

2

1

=

=

±

=

=

=

=

=

−

−

=

−

−

−

=

=

=

∑

∑

∑

∑

r

r

b

b

r

b

b

C

r

C

b

C

b

n

n

y

x

y

x

n

y

y

x

x

C

s

s

C

r

C

y

x

xy

y

xy

x

xy

i

i

i

i

i

i

xy

y

x

xy

y

x

xy

σ

σ

σ

σ

σ

σ

ρ

z przykładu:

zaleznosc wysokosci (y) od piersnicy (x) - PA-1

x

y

4

6

8

10

12

14

8

9

10

11

12

13

x

y

bx

a

y

32645

,

0

6146

,

7

ˆ

ˆ

+

=

+

=

(

)

(

)

(

)

(

)

(

)

∑

∑

∑

∑

∑

−

−

−

=

−

−

−

−

=

2

2

2

2

2

2

ˆ

1

ˆ

y

y

y

y

y

y

y

y

y

y

r

i

i

i

i

i

(

)

(

)

(

)

(

)

(

)

(

)

(

)

i

i

i

i

i

i

i

i

i

i

i

i

y

x

b

y

a

y

y

y

n

y

y

y

y

y

y

y

y

r

y

y

y

y

r

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

−

−

=

−

−

=

−

−

−

−

±

=

−

−

=

−

2

2

2

2

2

2

2

2

2

2

ˆ

ˆ

1

ˆ

1

(

)

(

)

8745

,

0

76478

,

0

7648

,

0

3747

,

23

4981

,

5

1

4981

,

5

04

,

2733

*

32645

,

0

4

,

312

*

6146

,

7

5

,

3276

ˆ

3747

,

23

30

4

,

312

5

,

3276

2

2

2

2

=

=

=

−

=

=

−

−

=

−

=

−

=

−

∑

∑

r

r

y

y

y

y

i

i

z przykładu:

Własności współczynnika korelacji liniowej:

* gdy

ρ = 0

mi

ę

dzy zmiennymi nie ma liniowego zwi

ą

zku

korelacyjnego,

* gdy

ρ = 1

lub

-1

mi

ę

dzy zmiennymi zachodzi funkcyjny

zwi

ą

zek liniowy,

* gdy

0 < ρ < 1

lub

0< ρ < -1

mi

ę

dzy zmiennymi zachodzi

liniowy zwi

ą

zek korelacyjny,

* je

ż

eli

ρ

bli

ż

szy

1

lub

-1

to zwi

ą

zek jest silniejszy,

* znak współczynnika korelacji jest taki sam jak znak
współczynników kierunkowych regresji.

Zmienność wokół linii regresji

- zmienno

ść

y

przy wył

ą

czonym

wpływie

x.

(

)

2

.

2

.

2

2

2

.

1

1

1

xy

y

x

y

xy

y

x

y

xy

y

x

y

r

w

w

r

s

s

r

s

s

−

=

−

=

−

=

z przykładu:

%

19

,

4

874

,

0

1

62

,

8

436

,

0

874

,

0

1

898

,

0

2

.

2

.

=

−

=

=

−

=

x

y

x

y

w

m

s

Uogólnienie miar mocy korelacji, regresja i korelacja
nieliniowa, transformacja zmiennych:

(

)

(

)

∑

∑

−

−

−

=

2

2

ˆˆ

1

y

y

y

y

R

i

i

zaleznosc wysokosci (y) od piersnicy (x) - PA-1

x

y

4

6

8

10

12

14

8

9

10

11

12

13

( )

( )

789

,

0

888

,

0

ln

*

7455

,

2

6227

,

4

ˆˆ

ln

*

ˆˆ

2

=

=

+

=

+

=

R

R

x

y

x

b

a

y

Przykład:

Regresja i korelacja wielokrotna:

m

m

m

m

m

m

m

x

b

x

b

x

b

a

x

z

x

niezalezne

zmienne

x

x

x

x

y

zalezna

zmienna

x

)

1

...(

234

.

1

3

...

24

.

13

2

...

34

.

12

...

23

.

0

1

4

3

2

1

...

ˆˆ

,...)

,

(

,...,

,

,

)

(

−

+

+

+

+

=

−

−

- dla trzech zmiennych:

i

i

i

i

i

i

i

i

i

i

i

i

i

i

i

x

x

x

b

x

x

b

x

a

x

x

x

x

b

x

b

x

a

x

x

b

x

b

na

x

b

x

b

a

x

3

1

2

3

2

.

13

3

2

3

.

12

3

23

.

0

2

1

3

2

2

.

13

2

2

3

.

12

2

23

.

0

1

3

2

.

13

2

3

.

12

23

.

0

3

2

.

13

2

3

.

12

23

.

0

1

ˆˆ

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

=

+

+

=

+

+

=

+

+

+

+

=

- układ równa

ń

normalnych:

- współczynnik korelacji wielokrotnej:

(

)

(

)

(

)

∑

∑

∑

∑

∑

∑

∑

−

−

−

=

−

=

−

−

−

=

i

i

i

i

i

i

i

i

i

x

x

b

x

x

b

x

a

x

x

x

R

R

x

x

x

x

R

3

1

2

.

13

2

1

3

.

12

1

23

.

0

2

1

2

1

1

2

23

.

1

23

.

1

2

1

1

2

1

1

2

23

.

1

ˆˆ

ˆˆ

1

- korelacja cz

ą

stkowa:

(

)(

)

(

)(

)

2

23

2

12

23

12

13

2

.

13

2

2

.

13

2

12

23

.

1

1

1

1

1

1

r

r

r

r

r

r

r

r

R

−

−

−

=

−

−

−

=