Bivariate Normal Distribution
Bivariate Normal Distribution
The two random variables (X, Y) have bivariate normal distribution if their joint pdf is given by:
1 𝑋 −𝜇 2 𝑋 −𝜇 𝑋 −𝜇 𝑋 −𝜇 2
1 − [( 1 1 ) −2𝜌( 1 1 )( 2 2 )+( 2 2 ) ]
2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
𝑓(𝑥, 𝑦) = 𝑒
2𝜋𝜎1 𝜎2 √1 − 𝜌2
Where
Properties
i. 𝑓(𝑥, 𝑦) ≥ 0
ii. The total area under bivariate normal distribution is unity.
∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 1
−∞
Proof:
∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦
−∞
∞ ∞
1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
1 − 2
2(1−𝜌 )
[(
𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)+𝜌2 (
𝜎2
) ]
= ∫ ∫𝑒 𝑑𝑥𝑑𝑦
2𝜋𝜎1 𝜎2 √1 − 𝜌2 −∞ −∞
Diff. w r t x
∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦
−∞
∞ ∞
𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2
1 ( ) −
2(1−𝜌2 )
[(
𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)]
= ∫𝑒 𝜎2 ∫𝑒 𝑑𝑥𝑑𝑦
2𝜋𝜎1 𝜎2 √1 − 𝜌2
−∞ −∞
𝑌−𝜇2 2
For perfect add and subtract 𝜌2 ( )
𝜎2
∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦
−∞
∞ ∞
1 𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
1 2 )( 𝜎2 )
− 2
2(1−𝜌 )
[(
𝜎
) −2𝜌(
𝜎
)(
𝜎
)±𝜌2 (
𝜎2
) ]
= ∫ 𝑒 2(1−𝜌 ∫𝑒 1 1 2
𝑑𝑥𝑑𝑦
2𝜋𝜎1 𝜎2 √1 − 𝜌2 −∞ −∞
∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦
−∞
∞ ∞
1 𝑌−𝜇2 2 2 𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
1 2 )( 𝜎2 ) −𝜌 ( 𝜎2 )
− 2
2(1−𝜌 )
[(
𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)+𝜌2 (
𝜎2
) ]
= ∫ 𝑒 2(1−𝜌 ∫𝑒 𝑑𝑥𝑑𝑦
2𝜋𝜎1 𝜎2 √1 − 𝜌2
−∞ −∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦
−∞
∞ ∞
1 𝑌−𝜇2 2 2 𝑌−𝜇2 2 1 𝑋−𝜇1 𝑌−𝜇2 2
1 2 )
(
𝜎2
) −𝜌 (
𝜎2
) − 2 )
[(
𝜎
)−𝜌(
𝜎2
)]
= ∫ 𝑒 2(1−𝜌 ∫𝑒 2(1−𝜌 1 𝑑𝑥𝑑𝑦
2𝜋𝜎1 𝜎2 √1 − 𝜌2 −∞ −∞
Let
1 𝑋 − 𝜇1 𝑌 − 𝜇2 2
𝑧12 = [( )−𝜌( )]
(1 − 𝜌2 ) 𝜎1 𝜎2
1 𝑌 − 𝜇2 2
𝑧12 = [𝑋 − 𝜇1 − 𝜌 ( )]
(1 − 𝜌2 )𝜎1 2 𝜎2
1 𝑌 − 𝜇2
𝑧1 = [𝑋 − 𝜇1 − 𝜌 ( )]
√1 − 𝜌2 𝜎1 𝜎2
𝑑𝑧1 1 𝑌 − 𝜇2
2𝑧1 =2 [𝑋 − 𝜇1 − 𝜌 ( )]
𝑑𝑥 (1 − 𝜌2 )𝜎1 2 𝜎2
𝑑𝑧1 1 𝑌 − 𝜇2
𝑧1 = 2 2
[𝑋 − 𝜇1 − 𝜌 ( )]
𝑑𝑥 (1 − 𝜌 )𝜎1 𝜎2
𝑧1
𝑑𝑥 =
1 𝑌−𝜇
[𝑋 − 𝜇1 − 𝜌 ( 𝜎 2 )]
(1 − 𝜌2 )𝜎1 2 2
1 𝑌−𝜇
[𝑋 − 𝜇1 − 𝜌 ( 𝜎 2 )]
√1 − 𝜌2 𝜎1 2
𝑑𝑥 = 𝑑𝑧
1 𝑌 − 𝜇2
[𝑋 − 𝜇1 − 𝜌 ( )]
(1 − 𝜌2 )𝜎1 2 𝜎2
𝑑𝑥 = √1 − 𝜌2 𝜎1 𝑑𝑧
∞ ∞ ∞
1 𝑌−𝜇2 2 2 𝑌−𝜇2 2
1 2 )( 𝜎2 ) −𝜌 ( 𝜎2 ) 2
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫ 𝑒 2(1−𝜌 𝑑𝑦 ∫ 𝑒 −𝑧1 √1 − 𝜌2 𝜎1 𝑑𝑧
2𝜋𝜎1 𝜎2 √1 − 𝜌2 −∞
−∞ −∞
∞ ∞ 2 ∞
1 𝑌−𝜇2 𝑌−𝜇2 2
1 2 )( 𝜎2 ) −𝜌2 ( ) 1 2
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫𝑒 2(1−𝜌 𝜎2 𝑑𝑦 ∫ 𝑒 −2𝑧1 𝑑𝑧
2𝜋𝜎2
−∞ −∞ −∞
∞ ∞ 2 2
1(1−𝜌 ) 𝑌−𝜇2
1 − ( )
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫ 𝑒 2(1−𝜌2) 𝜎2 𝑑𝑦 × √2𝜋
2𝜋𝜎2
−∞ −∞
∞ ∞
1 1 𝑌−𝜇2 2
− ( )
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫ 𝑒 2 𝜎2 𝑑𝑦
√2𝜋𝜎2
−∞ −∞
Let
𝑌 − 𝜇2
𝑧2 =
𝜎2
𝑑𝑌
𝑑𝑧2 =
𝜎2
∞ ∞
1 1 2
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫ 𝑒 −2𝑧2 𝜎2 𝑑𝑧2
√2𝜋𝜎2
−∞ −∞
∞ ∞
1 1 2
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = ∫ 𝑒 −2𝑧2 𝑑𝑧2
√2𝜋
−∞ −∞
∫ 𝑓(𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 1
−∞
1 𝑋−𝜇1 2 ∞
− 1( ) 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 2(1−𝜌2 ) 𝜎1
− [−2𝜌( )( )+( ) ]
2(1−𝜌2 ) 𝜎1 𝜎2 𝜎2
𝑔(𝑥) = 2
∫𝑒 𝑑𝑌
2𝜋𝜎1 𝜎2 (1 − 𝜌 )
−∞
1 𝑋−𝜇1 2 ∞
− (1 ) 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 2(1−𝜌2 ) 𝜎1
− [±𝜌2 ( ) −2𝜌( )( )+( ) ]
2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
𝑔(𝑥) = 2
∫ 𝑒 𝑑𝑌
2𝜋𝜎1 𝜎2 (1 − 𝜌 )
−∞
1 𝑋−𝜇1 2 1 𝑋−𝜇1 2
− ( ) + 𝜌2 ( ) ∞
1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 2(1−𝜌2 ) 𝜎1 2(1−𝜌2 ) 𝜎1 − [𝜌2 ( ) −2𝜌( )( )+( ) ]
2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
𝑔(𝑥) = ∫𝑒 𝑑𝑌
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑋−𝜇1 2 2 𝑋−𝜇1 2
− [( ) −𝜌 ( ) ] ∞
2(1−𝜌2 ) 𝜎1 𝜎1 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 −
2(1−𝜌2 )
[𝜌2 (
𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)+(
𝜎2
) ]
𝑔(𝑥) = ∫𝑒 𝑑𝑌
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑋−𝜇1 2 2 𝑋−𝜇1 2
− [( ) −𝜌 ( ) ] ∞
2
2(1−𝜌 ) 𝜎1 𝜎1 1 𝑌−𝜇2 𝑋−𝜇1 2
𝑒 − [( )−𝜌( )]
𝑔(𝑥) = ∫𝑒 2(1−𝜌2 ) 𝜎2 𝜎1 𝑑𝑌
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
Let
𝑌−𝜇 𝑋−𝜇
( 𝜎 2) − 𝜌 ( 𝜎 1)
2 1
𝑧=
1 − 𝜌2
1 𝑑𝑦
𝑑𝑧 =
1 − 𝜌2 𝜎2
𝑑𝑌 = 1 − 𝜌2 𝜎2 𝑑𝑧
1 𝑋−𝜇1 2 2 𝑋−𝜇1 2
− [( ) −𝜌 ( ) ] ∞
2(1−𝜌2 ) 𝜎1 𝜎1
𝑒 1 2
[𝑧]
𝑔(𝑥) = ∫ 𝑒 −2 (1 − 𝜌2 )𝜎2 𝑑𝑧
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑋−𝜇1 2 2 𝑋−𝜇1 2
− 2 [( ) −𝜌 ( ) ] ∞
2(1−𝜌 ) 𝜎1 𝜎1
𝑒 1 2
[𝑧]
𝑔(𝑥) = ∫ 𝑒 −2 𝑑𝑧
2𝜋𝜎1
−∞
1−𝜌2 𝑋−𝜇1 2
− ( )
𝑒 2(1−𝜌2 ) 𝜎1
𝑔(𝑥) =
√2𝜋𝜎1
1 1 𝑋−𝜇1 2
− ( )
𝑔(𝑥) = 𝑒 2 𝜎1
√2𝜋𝜎1
∞ 2
1 𝑋−𝜇1 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
1 −
2(1−𝜌2 )
[(
𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)+(
𝜎2
) ]
ℎ(𝑦) = ∫ 𝑒 𝑑𝑋
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑌−𝜇2 2 ∞
− 2 ( )
1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2
𝑒 2(1−𝜌 ) 𝜎2
− [( ) −2𝜌( )( )]
2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2
ℎ(𝑦) = ∫ 𝑒 𝑑𝑋
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
𝑌−𝜇2 2
For perfect square add and subtract 𝜌2 ( )
𝜎2
1 𝑌−𝜇2 2 ∞
− ( )1 𝑋−𝜇1 2
𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 2(1−𝜌2 ) 𝜎2
− [( ) −2𝜌( )( )±𝜌2 ( ) ]
2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
ℎ(𝑦) = ∫ 𝑒 𝑑𝑋
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑌−𝜇2 2 𝜌2 𝑌−𝜇2 2 ∞
− 2 ( ) + 2 ( ) 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
𝑒 2(1−𝜌 ) 𝜎2 2(1−𝜌 ) 𝜎2 − [( ) −2𝜌( )( )+𝜌2 ( ) ]
2(1−𝜌 2 ) 𝜎 𝜎 𝜎 𝜎2
ℎ(𝑦) = ∫𝑒 1 1 2
𝑑𝑋
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑌−𝜇2 2 2 𝑌−𝜇2 2
− [( ) −𝜌 ( ) ] ∞
2
2(1−𝜌 ) 𝜎2 𝜎2 1 𝑋−𝜇1 𝑌−𝜇2 2
𝑒 − [( )−𝜌( )]
ℎ(𝑦) = ∫𝑒 2(1−𝜌2 ) 𝜎1 𝜎2 𝑑𝑋
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑌−𝜇2 2 ∞
− ( ) 1 𝑋−𝜇1 𝑌−𝜇2 2
𝑒 2 𝜎2
− [( )−𝜌( )]
ℎ(𝑦) = ∫ 𝑒 2(1−𝜌2 ) 𝜎1 𝜎2 𝑑𝑋
2
2𝜋𝜎1 𝜎2 (1 − 𝜌 )
−∞
let
1 𝑋 − 𝜇1 𝑌 − 𝜇2
𝑧= 2
( )−𝜌( )
(1 − 𝜌 ) 𝜎1 𝜎2
𝑑𝑧 1 1
=
𝑑𝑥 (1 − 𝜌2 ) 𝜎1
𝑑𝑥 = 𝜎1 (1 − 𝜌2 )𝑑𝑧
1 𝑌−𝜇2 2 ∞
− ( )
𝑒 2 𝜎2 1
− 𝑧2
ℎ(𝑦) = ∫ 𝑒 2 𝜎1 (1 − 𝜌2 )𝑑𝑧
2𝜋𝜎1 𝜎2 (1 − 𝜌2 )
−∞
1 𝑌−𝜇2 2 ∞
− ( )
𝑒 2 𝜎2 1 2
ℎ(𝑦) = ∫ 𝑒 −2𝑧 𝑑𝑧
2𝜋𝜎2
−∞
1 𝑌−𝜇2 2
− ( )
𝑒 2 𝜎2
ℎ(𝑦) =
√2𝜋𝜎2
Conditional Probabilities
𝑓(𝑥, 𝑦)
𝑓(𝑦 ⋰ 𝑥) =
𝑔(𝑥)
1 𝑋−𝜇1 2
1 −
2(1−𝜌2 )𝜎22
[(𝑌−𝜇2 )−𝜌𝜎2 (
𝜎1
)]
𝑓(𝑦 ⋰ 𝑥) = 𝑒
√2𝜋𝜎2 √(1 − 𝜌2 )
1 𝜎 2
1 − 2 2
2(1−𝜌 )𝜎2
[(𝑌−𝜇2 )−𝜌 2 (𝑋−𝜇1 )]
𝜎
𝑓(𝑦 ⋰ 𝑥) = 𝑒 1
√2𝜋𝜎2 √(1 − 𝜌2 )
1 𝜎 2
1 −
2(1−𝜌2 )𝜎22
[𝑌−{𝜇2 +𝜌 2 (𝑋−𝜇1 )}]
𝜎1
𝑓(𝑦 ⋰ 𝑥) = 𝑒
√2𝜋𝜎2 √(1 − 𝜌2 )
Implies that
𝜎2
𝑦 ⋰ 𝑥~𝑁 (𝜇2 + 𝜌 (𝑋 − 𝜇1 ), (1 − 𝜌2 )𝜎22 )
𝜎1
𝑓(𝑥, 𝑦)
𝑓(𝑥 ⋰ 𝑦) =
ℎ(𝑦)
1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
1 − 2 [( 𝜎1
) −2𝜌(
𝜎1
)(
𝜎2
)+(
𝜎2
) ]
2 𝑒 2(1−𝜌 )
2𝜋𝜎1 𝜎2 (1 − 𝜌 )
𝑓(𝑥 ⋰ 𝑦) = 2
1 𝑌−𝜇2
1 − ( )
𝑒 2 𝜎2
√2𝜋𝜎2
1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
− 2 [( ) −2𝜌( )( )+( ) ]
2(1−𝜌 ) 𝜎1 𝜎1 𝜎2 𝜎2
1 𝑒
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2
− ( ) − [( ) −2𝜌( )( )]
2(1−𝜌2 ) 𝜎2 2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2
𝑒 𝑒
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
− ( ) − [( ) −2𝜌( )( )±𝜌2 ( ) ]
2(1−𝜌2 ) 𝜎2 2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
𝑒 𝑒
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑌−𝜇2 2 1 𝑌−𝜇2 2 1 𝑋−𝜇1 2 𝑋−𝜇1 𝑌−𝜇2 𝑌−𝜇2 2
− ( ) + 𝜌2 ( ) − [( ) −2𝜌( )( )+𝜌2 ( ) ]
2(1−𝜌 2 ) 𝜎 2(1−𝜌 2 ) 𝜎2 2(1−𝜌2 ) 𝜎1 𝜎1 𝜎2 𝜎2
𝑒 2 𝑒
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑌−𝜇2 2 1 𝑋−𝜇1 𝑌−𝜇2 2
− ( ) (1−𝜌2 ) − [ −𝜌( )]
𝑒 2(1−𝜌2 ) 𝜎2 𝑒 2(1−𝜌2 ) 𝜎1 𝜎2
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑌−𝜇2 2 1 𝑋−𝜇1 𝑌−𝜇2 2
− ( ) − [ −𝜌( )]
𝑒 2 𝜎2 𝑒 2(1−𝜌2 ) 𝜎1 𝜎2
𝑓(𝑥 ⋰ 𝑦) = ×
1 𝑌−𝜇2 2
√2𝜋𝜎1 √(1 − 𝜌2 ) − ( )
𝑒 2 𝜎2
1 𝑋−𝜇1 𝑌−𝜇2 2
1 − 2 [
𝜎
−𝜌(
𝜎2
)]
𝑓(𝑥 ⋰ 𝑦) = ×𝑒 2(1−𝜌 ) 1
√2𝜋𝜎1 √(1 − 𝜌2 )
1 𝜎 2
1 − 2 2
2(1−𝜌 )𝜎1
[𝑋−𝜇1 −𝜌 1 (𝑌−𝜇2 )]
𝜎
𝑓(𝑥 ⋰ 𝑦) = ×𝑒 2
√2𝜋𝜎1 √(1 − 𝜌2 )
1 𝜎 2
1 −
2(1−𝜌2 )𝜎12
[𝑋−{𝜇1 +𝜌 1 (𝑌−𝜇2 )}]
𝜎2
𝑓(𝑥 ⋰ 𝑦) = ×𝑒
√2𝜋𝜎1 √(1 − 𝜌2 )
Implies that
𝜎1
𝑥 ⋰ 𝑦~𝑁( 𝜇1 + 𝜌 (𝑌 − 𝜇2 ), (1 − 𝜌2 )𝜎12 )
𝜎2
Conditional Expectation
∞ 2
1 𝜎
1 − 2 2
2(1−𝜌 )𝜎1
[𝑋−{𝜇1 +𝜌 1 (𝑌−𝜇2 )}]
𝜎
𝐸(𝑥 ⋰ 𝑦) = ∫ 𝑋𝑒 2
𝑑𝑋
√2𝜋𝜎1 √(1 − 𝜌2 ) −∞
Let
1 𝜎1
𝑧= [𝑋 − {𝜇1 + 𝜌 (𝑌 − 𝜇2 )}]
√(1 − 𝜌2 )𝜎1 𝜎2
𝜎1
𝑋 = 𝑧√1 − 𝜌2 𝜎1 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 )
𝜎2
𝑑𝑋
= √1 − 𝜌2 𝜎1
𝑑𝑧
𝑑𝑋 = √1 − 𝜌2 𝜎1 𝑑𝑧
∞
1 𝜎1 1 2
𝐸(𝑥 ⋰ 𝑦) = ∫ [𝑧√1 − 𝜌2 𝜎1 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 )] 𝑒 −2𝑧 √1 − 𝜌2 𝜎1 𝑑𝑧
√2𝜋𝜎1 √(1 − 𝜌2 ) −∞ 𝜎2
∞
1 𝜎1 1 2
𝐸(𝑥 ⋰ 𝑦) = ∫ [𝑧√1 − 𝜌2 𝜎1 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 )] 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎2
−∞
∞ ∞
1 1 2 1
𝜎1 1 2
𝐸(𝑥 ⋰ 𝑦) = √1 − 𝜌2 𝜎1 ∫ 𝑧 𝑒 −2𝑧 𝑑𝑧 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 ) ∫ 𝑒 −2𝑧 𝑑𝑧
√2𝜋 √2𝜋 𝜎2
−∞ −∞
∞
1 2
∫ 𝑧 𝑒 −2𝑧 𝑑𝑧 = 0
−∞
∞
𝜎1 1 1 2
𝐸(𝑥 ⋰ 𝑦) = 𝜇1 + 𝜌 (𝑌 − 𝜇2 ) ∫ 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎2
−∞
𝜎1
𝐸(𝑥 ⋰ 𝑦) = 𝜇1 + 𝜌 (𝑌 − 𝜇2 )
𝜎2
Now
𝐸(𝑥 2 ⋰ 𝑦) = ∫ 𝑥 2 (𝑥 ⋰ 𝑦)𝑑𝑥
𝑥
∞ 2
1 𝜎
2
1 2
−
2(1−𝜌2 )𝜎12
[𝑋−{𝜇1 +𝜌 1 (𝑌−𝜇2 )}]
𝜎2
𝐸(𝑥 ⋰ 𝑦) = ∫𝑋 𝑒 𝑑𝑋
√2𝜋𝜎1 √(1 − 𝜌2 ) −∞
Let
1 𝜎1
𝑧= [𝑋 − {𝜇1 + 𝜌 (𝑌 − 𝜇2 )}]
√(1 − 𝜌2 )𝜎1 𝜎2
𝜎1
𝑋 = 𝑧√1 − 𝜌2 𝜎1 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 )
𝜎2
𝑑𝑋
= √1 − 𝜌2 𝜎1
𝑑𝑧
𝑑𝑋 = √1 − 𝜌2 𝜎1 𝑑𝑧
∞
1 𝜎1 2 1 2
2
𝐸(𝑥 ⋰ 𝑦) = ∫ [𝑧√1 − 𝜌2 𝜎1 + 𝜇1 + 𝜌 (𝑌 − 𝜇2 )] 𝑒 −2𝑧 √1 − 𝜌2 𝜎1 𝑑𝑧
√2𝜋𝜎1 √(1 − 𝜌2 ) −∞ 𝜎2
∞ 2
1 𝜎1 1 2
2
𝐸(𝑥 ⋰ 𝑦) = ∫ [𝑧√1 − 𝜌2 𝜎1 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))] 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎2
−∞
∞ 2
1 𝜎1
2
𝐸(𝑥 ⋰ 𝑦) = ∫ [𝑧 2 (1
− 𝜌2 )𝜎12 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√2𝜋 𝜎2
−∞
𝜎1 1 2
+ 2𝑧𝑧√1 − 𝜌2 𝜎1 (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))] 𝑒 −2𝑧 𝑑𝑧
𝜎2
∞ 2 ∞
(1 − 𝜌2 )𝜎12 1 2 1 𝜎1 1 2
𝐸(𝑥 2 ⋰ 𝑦) = ∫ 𝑧 2 𝑒 −2𝑧 𝑑𝑧 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 )) ∫ 𝑒 −2𝑧 𝑑𝑧
√2𝜋 √2𝜋 𝜎2
−∞ −∞
∞ 2
2(1 − 𝜌2 )𝜎12 1 2 𝜎1
2
𝐸(𝑥 ⋰ 𝑦) = ∫𝑧 2
𝑒 −2𝑧 𝑑𝑧 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√2𝜋 𝜎2
0
Let
1 2
𝑧 = 𝑢 → 𝑧 2 = 2𝑢 → 𝑧 = √2𝑢
2
𝑑𝑢 𝑑𝑢
2𝑧𝑑𝑧 = 2𝑑𝑢 → 𝑑𝑧 = → 𝑑𝑧 =
𝑧 √2𝑢
∞ 2
2
2(1 − 𝜌2 )𝜎12 −𝑢
𝑑𝑢 𝜎1
𝐸(𝑥 ⋰ 𝑦) = ∫ (2𝑢) 𝑒 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√2𝜋 √2𝑢 𝜎2
0
∞ 2
2
2(1 − 𝜌2 )𝜎12 −𝑢
𝑑𝑢 𝜎1
𝐸(𝑥 ⋰ 𝑦) = ∫ (𝑢) 𝑒 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√𝜋 √𝑢 𝜎2
0
∞ 2
2
2(1 − 𝜌2 )𝜎12 1 𝜎1
𝐸(𝑥 ⋰ 𝑦) = ∫ (𝑢)2 𝑒 −𝑢 𝑑𝑢 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√2𝜋 𝜎2
0
∞ 2
2(1 − 𝜌2 )𝜎12 1 𝜎1
2
𝐸(𝑥 ⋰ 𝑦) = ∫ (𝑢)2±1 𝑒 −𝑢 𝑑𝑢 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√𝜋 𝜎2
0
∞ 2
(1 − 𝜌2 )𝜎12 3 𝜎1
2
𝐸(𝑥 ⋰ 𝑦) = ∫ (𝑢)2−1 𝑒 −𝑢 𝑑𝑢 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√𝜋 𝜎2
0
2
2
(1 − 𝜌2 )𝜎12 3 𝜎1
𝐸(𝑥 ⋰ 𝑦) = Γ ( ) + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√𝜋 2 𝜎2
We know that
3 3 3 1 1
Γ ( ) = ( − 1) Γ ( − 1) = Γ ( )
2 2 2 2 2
2
2
2(1 − 𝜌2 )𝜎12 1 1 𝜎1
𝐸(𝑥 ⋰ 𝑦) = Γ ( ) + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
√𝜋 2 2 𝜎2
2
𝜎1
2
𝐸(𝑥 ⋰ 𝑦) = (1 − 𝜌2 )𝜎12 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
𝜎2
2
𝑉𝑎𝑟(𝑥 ⋰ 𝑦) = 𝐸(𝑥 2 ⋰ 𝑦) − (𝐸(𝑥 ⋰ 𝑦))
2 2
𝜎1 𝜎1
𝑉𝑎𝑟(𝑥 ⋰ 𝑦) = (1 − 𝜌2 )𝜎12 + (𝜇1 + 𝜌 (𝑌 − 𝜇2 )) − (𝜇1 + 𝜌 (𝑌 − 𝜇2 ))
𝜎2 𝜎2
𝑉𝑎𝑟(𝑥 ⋰ 𝑦) = (1 − 𝜌2 )𝜎12
∞ 2
1 𝜎
1 − 2 2
2(1−𝜌 )𝜎2
[𝑌−{𝜇2 +𝜌 2 (𝑋−𝜇1 )}]
𝜎
𝐸(𝑦 ⋰ 𝑥) = ∫ 𝑦𝑒 1
𝑑𝑌
√2𝜋𝜎2 √(1 − 𝜌2 ) −∞
Let
1 𝜎2
𝑧= 𝑌 − {𝜇2 + 𝜌 (𝑋 − 𝜇1 )}
√(1 − 𝜌2 )𝜎2 𝜎1
𝜎2
𝑌 = √(1 − 𝜌2 )𝜎2 𝑧 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 )
𝜎1
𝑑𝑌
= √(1 − 𝜌2 )𝜎2
𝑑𝑧
𝑑𝑌 = √(1 − 𝜌2 )𝜎2 𝑑𝑧
∞
1 𝜎2 1 2
𝐸(𝑦 ⋰ 𝑥) = ∫ [√(1 − 𝜌2 )𝜎2 𝑧 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 )] 𝑒 −2𝑧 √(1 − 𝜌2 )𝜎2 𝑑𝑧
√2𝜋𝜎2 √(1 − 𝜌2 ) −∞ 𝜎1
∞
1 𝜎2 1 2
𝐸(𝑦 ⋰ 𝑥) = ∫ [√(1 − 𝜌2 )𝜎2 𝑧 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 )] 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎1
−∞
∞ ∞
1 1 2 𝜎2 1 1 2
𝐸(𝑦 ⋰ 𝑥) = √(1 − 𝜌2 )𝜎2 ∫ 𝑧𝑒 −2𝑧 𝑑𝑧 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 ) ∫ 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎1 √2𝜋
−∞ −∞
𝜎2
𝐸(𝑦 ⋰ 𝑥) = 𝜇2 + 𝜌 (𝑋 − 𝜇1 )
𝜎1
.
𝐸(𝑦 2 ⋰ 𝑥) = ∫ 𝑌 2 𝑓(𝑦 ⋰ 𝑥)𝑑𝑌
∞ 2
1 𝜎
2
1 2
−
2(1−𝜌2 )𝜎22
[𝑌−{𝜇2 +𝜌 2 (𝑋−𝜇1 )}]
𝜎1
𝐸(𝑦 ⋰ 𝑥) = ∫𝑌 𝑒 𝑑𝑌
√2𝜋𝜎2 √(1 − 𝜌2 ) −∞
Let
1 𝜎2 2
𝑧= [[𝑌 − {𝜇2 + 𝜌 (𝑋 − 𝜇1 )}] ]
√(1 − 𝜌2 )𝜎2 𝜎1
𝜎2
𝑌 = 𝑧√1 − 𝜌2 𝜎2 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 )
𝜎1
𝑑𝑋
= √1 − 𝜌2 𝜎2
𝑑𝑧
𝑑𝑋 = √1 − 𝜌2 𝜎2 𝑑𝑧
∞ 2
1 𝜎2 1 2
2
𝐸(𝑦 ⋰ 𝑥) = ∫ (𝑧√1 − 𝜌2 𝜎2 + 𝜇2 + 𝜌 (𝑋 − 𝜇1 )) 𝑒 −2𝑧 √1 − 𝜌2 𝜎2 𝑑𝑧
√2𝜋𝜎2 √(1 − 𝜌2 ) −∞ 𝜎1
∞ 2
1 𝜎2 1 2
2
𝐸(𝑦 ⋰ 𝑥) = ∫ (𝑧√1 − 𝜌2 𝜎2 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))) 𝑒 −2𝑧 𝑑𝑧
√2𝜋 𝜎1
−∞
2
𝜎
∞ (𝜇2 + 𝜌 𝜎2 (𝑋 − 𝜇1 )) ∞
√1 − 𝜌2 𝜎2 1 2 1 1 2
2
𝐸(𝑦 ⋰ 𝑥) = ∫𝑧 2
𝑒 −2𝑧 𝑑𝑧 + ∫ 𝑒 −2𝑧 𝑑𝑧
√2𝜋 √2𝜋
−∞ −∞
∞ 2
2√1 − 𝜌2 𝜎2 1 2 𝜎2
2
𝐸(𝑦 ⋰ 𝑥) = ∫𝑧 2
𝑒 −2𝑧 𝑑𝑧 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√2𝜋 𝜎1
0
Let
1 2
𝑧 = 𝑢 → 𝑧 2 = 2𝑢 → 𝑧 = √2𝑢
2
𝑑𝑧 1 𝑑𝑢
= → 𝑑𝑧 =
𝑑𝑢 √2𝑢 √2𝑢
∞ 2
2
2√1 − 𝜌2 𝜎2 −𝑢
𝑑𝑢 𝜎2
𝐸(𝑦 ⋰ 𝑥) = ∫ 2𝑢 𝑒 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√2𝜋 √2𝑢 𝜎1
0
∞ 2
2
2√1 − 𝜌2 𝜎2 −𝑢
𝑑𝑢 𝜎2
𝐸(𝑦 ⋰ 𝑥) = ∫ 𝑢𝑒 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√𝜋 √𝑢 𝜎1
0
∞ 2
2√1 − 𝜌2 𝜎2 1 𝜎2
2
𝐸(𝑦 ⋰ 𝑥) = ∫ 𝑢2+1−1 𝑒 −𝑢 𝑑𝑢 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√𝜋 𝜎1
0
∞ 2
2√1 − 𝜌2 𝜎2 3 𝜎2
2
𝐸(𝑦 ⋰ 𝑥) = ∫ 𝑢2−1 𝑒 −𝑢 𝑑𝑢 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√𝜋 𝜎1
0
2
2
2√1 − 𝜌2 𝜎2 3 𝜎2
𝐸(𝑦 ⋰ 𝑥) = Γ ( ) + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√𝜋 2 𝜎1
2
2√1 − 𝜌2 𝜎2 1
2
1 𝜎2
𝐸(𝑦 ⋰ 𝑥) = ( ) Γ ( ) + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
√𝜋 2 2 𝜎1
2
2
𝜎2
𝐸(𝑦 ⋰ 𝑥) = √1 − 𝜌2 𝜎2 + (𝜇2 + 𝜌 (𝑋 − 𝜇1 ))
𝜎1
𝑉𝑎𝑟(𝑦 2 ⋰ 𝑥) = √1 − 𝜌2 𝜎2
Example
Karl Pearson analyzed 1078 pairs of height of fathers, X and the adult height of their sons, Y (in
inches). Assume the parameters in the bivariate model are:
If the bivariate normal distribution is appropriate, for the father who is 6 feet tall (X=72). Find
Or
𝜎𝑦
𝑦 ⋰ 𝑥~𝑁 (𝜇𝑦 + 𝜌 (𝑋 − 𝜇𝑥 ), (1 − 𝜌2 )𝜎𝑦2 )
𝜎𝑥
i. Expected (height of his son) value of Y given X
𝜎𝑦
𝐸(𝑦 ⋰ 𝑥) = 𝜇𝑦 + 𝜌 (𝑋 − 𝜇𝑥 )
𝜎𝑥
2.81
𝐸(𝑦 ⋰ 𝑥) = 68.7 + 0.501 × (72 − 67.7) = 70.90
2.74
ii. The variance of Y given X
𝑉𝑎𝑟(𝑦 ⋰ 𝑥) = (1 − 𝜌2 )𝜎𝑦2
𝑉𝑎𝑟(𝑦 ⋰ 𝑥) = (1 − 0.5012 ) × (2.81)2 = 5.91
𝑆. 𝐷(𝑦 ⋰ 𝑥) = 2.43
Example
The amount of rain fall recorded at US weather station in January is r.v X and the amount of
February at the same station is r,v Y. suppose (X, Y) ~B.V(6, 4, 1, 0.25, 0.10). Find the 𝑃(𝑋 ≤
5) and 𝑃(𝑌 ≤ 5 ⋰ 𝑋 = 5)
𝜇𝑥 = 6, 𝜇𝑦 = 4, 𝜎𝑥 = 1, 𝜎𝑦 = 0.25, 𝜌 = 0.10
As X and Y follow bivariate normal distribution, then X follow normal distribution, then
𝑋 − 𝜇𝑥 5 − 6
𝑃(𝑋 ≤ 5) = 𝑃 ( ≤ )
𝜎𝑥 1
0.25
𝐸(𝑦 ⋰ 𝑥 = 5) = 4 + 0.10 × (5 − 6) = 3.975
1
𝑉𝑎𝑟(𝑦 ⋰ 𝑥) = (1 − 𝜌2 )𝜎𝑦2
𝑉𝑎𝑟(𝑦 ⋰ 𝑥) = (1 − 0.102 )(0.25)2 = 0.249
𝑆. 𝐷(𝑦 ⋰ 𝑥) = 0.4975
𝑌 − 𝐸(𝑌 ⋰ 𝑋) 5 − 3.975
𝑃(𝑌 ≤ 5 ⋰ 𝑋 = 5) = 𝑃 [ ≤ ]
𝑆. 𝐷(𝑌 ⋰ 𝑋) 0.4975
𝑃(𝑌 ≤ 5 ⋰ 𝑋 = 5) = 0.9803