Professional Documents
Culture Documents
1 Кореляційний аналіз
1 Кореляційний аналіз
2
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
x1 y1
x2 y2
… …
xN yN
3
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
4
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
5
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
функціональний
6
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
немонотонний монотонний
7
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
8
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Особливості
є мірою лінійного зв'язку
є лінійний зв’язок є лінійний зв’язок, але немає лінійного зв'язку
нелінійний сильніший
9
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Властивості
r 1; 1
якщо r 0 , то поміж показниками немає лінійного зв'язку
якщо r 1, то між показниками x та y лінійний функціональний зв'язок
(значення відмінні від 0, 1 свідчать про стохастичний зв'язок)
–1 –0,5 0 +0,5 +1
кореляція
10
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
–1 0 +1
від'ємний немає додатний
зв'язок лінійного зв'язку зв'язок
11
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Визначення
E x Ex y Ey cov x, y
r
D x D y x y
1 N 1 N
i i
2 2
Sˆx x x Sˆ y y y
N i 1 N i 1
12
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Оцінка інтервальна
Інтервал rн ; rв з імовірністю (1– ) містить справжнє значення коефіцієнта
rˆ 1 rˆ 2 1 rˆ 2
rн,в rˆ ∓ u1 2
2N N 1
13
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
кореляція
Порівняння двох коефіцієнтів однакова?
0 : r1 r2
Гіпотеза
1 : r1 r2
z1 z2 1 1 rˆj
Статистика u z j ln , j 1, 2
1 1 2 1 rˆj
N1 3 N 2 3
Порівняння k коефіцієнтів k
2
N j 3 z j
0 : r1 r2 … rk k
j 1
Статистика N j 3 z j
2 2
Гіпотеза k
1 : rj rs , j s j 1
N j 3
j 1
14
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Особливості
виявляє нелінійний зв’язок, хоча і не будь-який
розраховують за масивом вигляду
x , y
l l, j ; j 1, ml , l 1, k
Властивості
y x 0;1
2
15
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Визначення відношення
y x
D E y x дисперсії середніх значень y в групах
до загальної дисперсії показника y
D y
ml yl y
2
2
S
ˆ y x l 1
y
2 k ml
y y
S y
2
l, j
l 1 j 1
де
mi
1 1 k
yl
ml
y j 1
l, j y ml yl
N l 1
16
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Гіпотеза
0 : 2y x r 2
Статистика f
ˆ rˆ k 2
2
yx
2
p 1 F f , k 2, N k
1 : 2
yx
r 2
1 ˆ N k
2
yx функція розподілу Фішера
17
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
x, y; i 1, N
i i x , y
l l, j ; j 1, ml , l 1, k
Розбивають показник x на k класів:
1) кількість класів k 1 1, 44 ln N
x xmin
2) ширина кожного класу h max
k
3) класи 1 g1 ; g 2
...
l g l ; g l 1 l 1 h, l 1, k 1
g l xmin
...
k g k ; g k 1
4) середини класів – це xl у новому масиві
xl 0,5 g l g l 1
18
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
2 коефіцієнти
Спірмена с
Кендалла к
20
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Особливості
виявляють монотонний зв'язок
монотонний зв’язок немонотонний зв'язок
21
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Властивості
лежать в межах 1; 1
якщо дорівнюють 0, то монотонного зв'язку між показниками немає
рівність +1 має місце при повній узгодженості між елементами послідовностей
x та y (повному збігу рангів)
рівність –1 має місце при повній неузгодженості між елементами послідовностей
x та y (протилежному впорядкуванні рангів)
знак вказує напрямок монотонного зв'язку (додатний чи від'ємний)
23
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Визначення
Дорівнює коефіцієнту кореляції Пірсона між рангами показників
c r rx, ry
i 1
Для чисельника можна показати, що rxi rx ryi ry 1 6
N N 1 i1
2 rxi ryi
2
Оцінка точкова за масивом rxi , ryi ; i 1, N
Коли є в'язки
N
N N 1 rxi ryi A B
1 2 2
6 i 1
ˆ с
1 1
6
N N 2
1 2 A
6
N N 2
1 2 B
де
1 z 1 p
A A3j Aj B Bk3 Bk
12 j 1 12 k 1
z – кількість в’язок серед елементів x
j – порядковий номер в’язки
Aj – кількість однакових значень x у j-й в’язці
p, k, Bk – те саме, але для показника y
25
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
ˆ c N 2
Статистика t
1 ˆ 2
p 2 1 F t , N 2
c функція розподілу Стьюдента
26
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Визначення
кількість узгоджених пар кількість НЕузгоджених пар S
к
максимальна кількість пар max S x y
1) 10 2
Пари (xi, yi) та (xj, yj) узгоджені, якщо xi xj yi yj або xi xj yi yj 2) 12 6
3) 13 7
Приклад: пара 1-2 узгоджена, пара 3-4 НЕузгоджена
4) 17 5
Оцінка точкова за масивом rxi , ryi ; i 1, N , в якому rx
впорядковані за зростанням
Коли немає в'язок
S
ˆ к
1
N N 1
2
N 1 N 1, якщо ryi ry j ,
S i, j i, j
i 1 j i 1 1, якщо ryi ry j
27
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
Оцінка точкова за масивом rxi , ryi ; i 1, N , в якому rx
впорядковані за зростанням
Коли є в'язки
S
ˆ к
1 1
N N 1 C N N 1 D
2 2
де
1 z 1 p
C Aj Aj 1 D Bk Bk 1
2 j 1 2 k 1
28
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
ˆ k 9 N N 1
Статистика u
p 2 1 F u
2 2 N 5 функція стандартного нормального розподілу
29
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
30
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
33
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
34
Мацуга О.М. Кореляційний аналіз. Випадок двох показників x та y
35
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
x1 x2 … xp y Усі показники
кількісні
x1,1 x1,2 … x1,p y1
… … … … …
36
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Парний y
xj
Кіл-ть
Частинний y
xj Твердість
асфальту
проданого
морозива
xd Температура
Множинний x1 , x2 ,..., x p
y
37
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
38
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
39
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Особливості
виявляє лінійний зв'язок між y та xj без урахування їх зв'язків з показниками із
множини c
бажано, щоб розподіл усіх показників був нормальний
Властивості
ry , x c 1;1
j
40
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Оцінка точкова
рекурентне визначення
rˆy , x j c rˆy , xd c rˆx j , xd c
rˆy , x j c
1 rˆ 1 rˆ
2
y , xd c
2
x j , xd c
де с с xd , с – множина показників
тривіальний випадок
rˆy , x j rˆy , xd rˆx j , xd
rˆy , x j xd
1 rˆ 1 rˆ
2
y , xd
2
x j , xd
41
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Оцінка інтервальна
Інтервал rн ; rв з імовірністю (1 – ) містить справжнє значення коефіцієнта
exp 2vн,в 1 1 1 rˆy , x j c u1 2
rн,в , vн,в ln ∓
exp 2vн,в 1 2 1 ry , x j c
ˆ N w3
де w – потужність множини c
42
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
43
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Особливості
виявляє лінійний зв'язок показника y з показниками x1, x2, …, xp
бажано, щоб розподіл усіх показників був нормальний
Властивості
ryx ,..., x 0;1
1 p
44
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
Оцінка точкова
rˆyx1 ,..., x p 1
*
*– визначник матриці коефіцієнтів кореляції Пірсона між усіма показниками,
* – визначник матриці коефіцієнтів кореляції Пірсона між х-показниками
(інакше: алгебраїчне доповнення до елементу p+1,p+1)
⋮ ⋮ ⋱ ⋮ ⋮ ⋮ ⋮ ⋱ ⋮
rˆx p , x1 rˆx p , x2 ⋯ 1 rˆx p , y rˆx p , x1 rˆx p , x2 ⋯ 1
rˆy , x1 rˆy , x2 ⋯ rˆy , x p 1
45
Мацуга О.М. Кореляційний аналіз. Випадок багатьох показників x1, x2, … , xp та y
rˆy2x1 ,..., x p N p 1
Статистика f p -value 1 F f , p, N p 1
1 rˆ 2
y x1 ,..., x p p
функція розподілу Фішера
46