'

"

:2
. ( X , Y ) , , X
() . Y
.
:
.1 : ) . p X ,Y ( x, y
: ) . p X |Y ( x | y ) , pY ( y
.2 - : ) p X |Y ( x | y.
, Y , .
:

) p X ( x ,
.

(") , X , x ()
. X. x, X X ,

) ( p X ( x ) x
. p X () { p X ( x ) : x X } :

 : 2

(")

2.1
, : (") Y ) . pY ( y
y . Y ?
:

y E (Y ) y pY ( y )dy

.:

) y arg max y pY ( y

. :
. ():

prob(Y y ) 0.5

y median(Y ) :

min y E (Y y )2
:

| min y E | Y y
- : , (
) . :

E (Y y )2

. :

Var(Y ) E (Y E (Y ))2

. ( ):

) Y var(Y

. :

. ( :)Confidence Interval ] [a, b

, prob(Y [a, b]) 1
(.) 0.05 :
0.05 -

] E (Y ) 3Y [ E (Y ) 3Y , E (Y ) 3Y

 : 2

(")

2.2
() :

) p X ,Y ( x, y ) . ( X , Y

. X x

. Y

, :

) , pY ( y (.)prior distribution ,

) , p X |Y ( x | y .

, ( ) Y : X x

) p X ,Y ( x, y

p X ,Y ( x, y )dy

) p X ,Y ( x, y
)pX ( x

pY | X ( y | x )

( :)Bayes ,

) p X |Y ( x | y

p X ,Y ( x | y ) pY ( y )dy

pY | X ( y | x )

: , y . x
) . pY | X ( | x
( )posterior distribution . Y
, Y Y ,
- .:
. (:)MMSE

y MMSE

y E (Y | X x ) y pY | X ( y | x )dy

, , :
:

.MMSE=Minimal Mean Square Error

. (:(MAP

y MAP

)y max y pY | X ( y | x
3

 : 2

(")

MAP=Maximum A-posteriori Probability

- ) . pY | X ( | x
:

) Var (Y | X x ) E ((Y y MMSE )2 | X x

( y y MMSE )2 pY | X ( y | x )dy
( - , ) ,
.
(" ) , .

2.3 -
, () . p X |Y ( | y ), y , :
) pY ( y , . Y

MLE, Maximum Likelihood Estimator

) y MLE arg max y p X |Y ( x | y

, .

 : 2

(")

2.4
.
( ) .
, ) , p X |Y ( x | y ) , pY ( y Y
x . X () , y : X Y ) . y( x

y ( x ) Y

x X

:
.1 Y , :

} , K

Y {1, 2 ,

, y .
.2 : , X x
y( x ) :

) prob( y ( x ) Y | X x

: x } , K

)Pe ( y | x
. {1, 2 , x

, .
:
.1 x . ( ) 1 ( .) 2
.2 , } . {s(t ), 0 t T ") 0 ( "0
".) 1 ( "1
.3 x . .

 : 2

(")

) y( x ( .) x

, y( x ) : , .
, " " , "
1 ." 3 ,
.

.
:

) prob( y ( x ) Y | X x

)Pe ( y | x

. :

) prob( y ( X ) Y

) Pe ( y

( MAP ) :

) y MAP ( x ) arg max pY | X ( | x

(.)Bayes Classifier
. p X |Y , pY : :

p X |Y ( x | ) pY ( )
y MAP ( x ) arg max

)pX ( x

p X ( x ) - , -

)y MAP ( x ) arg max p X |Y ( x | ) pY (

() ) . p( x

 : 2

(")

( )
) y MAP ( x ,
, x .
: :

) prob( y ( x ) Y | X x

) Pe ( y | x

) 1 prob( y ( x ) Y | X x
) Pe ( y | x ) y( x .
) . y MAP ( x
:

) Pe ( y ) prob( y ( X ) Y
prob( y ( x ) Y | X x ) p X ( x )dx
x

y MAP x ,
.

.
) p X |Y ( | i .
, , . x
( )1 -:

. x

exp{( x i )2 / 2 i2 }, i
,

1
(2 i2 )1/2

p X |Y ( x | i )

) . y MAP ( x ) arg max p X |Y ( x | ) p X (

, i j

) . p X |Y ( x | i ) pY (i ) p X |Y ( x | j ) pY ( j
, :
7

 : 2

(")

p( x | j ) Pj

i j :

p( x | i ) Pi

p( x | j ) Pj

- i j :

p( x | i ) Pi

) . p( x | i ) p(i ) p( x | j ) p( j .Bayes decision boundary
" ( ).
( )2 -:

, xd )T

. x ( x1,

"

exp{ 12 ( x i )T i1 ( x i )}, i

) p( x | j ) p( j

. p( x | i ) p(i )

1
| | i

1/2

d /2

) (2

p X |Y ( x | i )

gi ( x ) g j ( x ) 0

) gij ( x

gi ( x ) 12 ( x i )i1 ( x i ) i , i

} i log{ p(i ) / (2 )d /2 | i |1/2

 (")

: 2

) gij ( x ( (discriminant function , i

. j . x

. gi j ( x ) 0 -
( ) ) d 2, x ( x1, x2 , , .

( i j ) ,
(-) :

x2

i
i

j
x1

.
} . {1, 2

)y MAP ( x ) arg max p X |Y ( x | ) pY (

} {1 ,2

) y MAP ( x:

y ( x ) 1

p X |Y ( x | 1 ) pY (1 ) p X |Y ( x | 2 ) pY (2 )

y ( x ) 2

p X |Y ( x | 1 ) pY (1 ) p X |Y ( x | 2 ) pY (2 )

( ) . ,

y( x )

) pY (2
) p (
Y
1

) p X |Y ( x | 1
) p X |Y ( x | 2

, ) . 1,2 ( x . C ,
:
9

 : 2

(")

1,2 ( x ) C

( ) . (
) " -".
: :

) prob( y ( X ) Y

) Pe ( y

) Pe ( y ) Pe (2 |1) pY (1 ) Pe (1| 2) pY (2

) P2|1 ( y ) prob( y ( X ) 2 | Y 1
) P1|2 ( y ) prob( y ( X ) 1 | Y 2
2 ,1.
:

) , pY (i p X |Y . y

) pY (i ( ) ,
-.

,
, .:

min y P2|1 ( y ), subject to P1|2 ( y )

( .) 1

( )
, ( C ?).

10

 : 2

(")

. (*)
, , . ,
Y .
) , ( y,

, :Y

( y, ) 0 .
( y, ) 0 . . y
:

)L( y | x) E ( ( y ( X ),Y ) | X x
):(Expected Risk
)) . L( y) E ( ( y ( X ), Y
,

1 : y
. ( y , ) I { y }

0 : y
: ) ( y, :

: y
0
( y, ) ( ) I { y }
( ) : y
( ) 0 . ) y( x
( ( x .
: }( ) I { y( x )

) pY |X ( | x

11

. L( y | x )