Statistique Avec R 6

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique
STATISTIQUES AVEC LE LOGICIEL R
M. BOUTAHAR
FST-Fs Fvrier 2013
M. BOUTAHAR
PLAN:
Chapitre 1: Simulation des lois de probabilits Chapitre 2: Estimation paramtrique Chapitre 3: Estimation non-paramtrique
M. BOUTAHAR
Simulation des lois de probabilits

Les distributions courantes sont programmes: Normale, Uniforme, Weibull... Plusieurs fonctions pour chaque distribution. Par exemple, pour la loi normale :
dnorm() : pnorm() : qnorm() : rnorm() :
fonction densit (density) fonction de rpartition (probability) fonction quantile (quantile) gnrateur alatoire (random)
M. BOUTAHAR
Distribution beta binomial Cauchy chi-squared exponential F (Fisher) gamma geometric hypergeometric log-normal logistic negative normal Poisson Student's t uniform Weibull
Nom sur R beta binom cauchy chisq exp f gamma geom hyper lnorm logis binomial norm pois t unif weibull
Arguments shape1, shape2, ncp size, prob location, scale df, ncp rate df1, df2, ncp shape, scale prob m, n, k meanlog, sdlog location, scale nbinom size, prob mean, sd lambda df, ncp min, max shape, scale
M. BOUTAHAR
1. Loi de Bernoulli:
Denition 1 On dit que 0
X B (p), E = { , P (X = ) = p .
si 1
suit une loi de Bernoulli de paramtre 0 1} avec 1)
P (X =
, et
, not
Programme sur R B= table(Ni = stats::rbinom(100,1,0.25)) r = barplot(B, col=rainbow(20))
M. BOUTAHAR
2. Loi de Poisson
Denition 2 On dit que
positif.
P(),
si
suit une loi de Poisson de paramtre , not k = N et ( = ) = ! , est un rel k
PX k e
Programme sur R P = table(Ni = stats::rpois(100, lambda=5) r = barplot(P, col=rainbow(20))
summary(Ni)
M. BOUTAHAR
Min. 1.00
1st Qu. 3.00
Median 5.00
Mean 4.93
3rd Qu. 7.00
Max. 12.00
M. BOUTAHAR
3. Loi Uniforme
Denition 3 On dit que
X X U [a, b],
suit une loi uniforme sur si elle admet la densit
[ , ],
ab
si
not
f (x ) = b a 1 a b (x ) =
1
1 b a
0
x [a , b ]
[ , ]
(1)
sinon.
M. BOUTAHAR
Programme sur R x = runif(400) gnre une loi uniforme sur [0,1] summary(x)
Min. Max. 0.007657 0.9983
1st Qu.
Median
Mean
3rd Qu.
0.2617
0.5306
0.5135
0.7578
M. BOUTAHAR
Programme sur R boxplot(x,col="green")
M. BOUTAHAR
Programme sur R x= runif(400) plot(x,type="l", col="blue", lwd=3) abline(h=0.5, col="red", lwd=3) hist(x,col="blue")
on obtient les deux graphiques:
M. BOUTAHAR
M. BOUTAHAR
4. Loi Normale
Denition 4 On dit que variance
2,
suit une loi de Gauss de moyenne
not
X N (m , ) f (x ) = e
2
1
, si elle admet la densit

(x m )2 2 2
et de
, R
(2)
M. BOUTAHAR
Programme sur R x = rnorm(100,0,1) gnre une suite normale de moyenne 0 et de variance 1. summary(x)
Min. Max. -2.4020 2.6830
1st Qu.
Median
Mean
3rd Qu.
-0.7267
-0.2680
-0.1827
0.5006
M. BOUTAHAR
Programme sur R boxplot(x,col="green")
M. BOUTAHAR
Programme sur R x= rnorm(400,0,1) plot(x,type="l", col="blue", lwd=3) abline(h=0, col="red", lwd=3) hist(x,col="blue")
on obtient les deux graphiques
M. BOUTAHAR
M. BOUTAHAR
5. Loi Exponentielle
Denition 5 On dit que not
X X E ()
suit une loi exponentielle de paramtre , si elle admet la densit
> 0,
f (x ) =
si
0 (3)
sinon.
M. BOUTAHAR
Programme sur R x = rexp(400,1) gnre une loi exponentielle de moyenne 1. summary(x)
Min. Max. 0.004039 1.354000
1st Qu.
Median
Mean
3rd Qu.
0.290900 7.277000
0.701300
0.974800
M. BOUTAHAR
Programme sur R x= rexp(400,1) plot(x,type="l", col="blue", lwd=3) abline(h=1, col="red", lwd=3) hist(x,col="blue")
on obtient les deux graphiques
M. BOUTAHAR
M. BOUTAHAR
Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs
Estimation paramtrique
Supposons que l'on veut estimer suite
( i , 1 ).
i n
en se basant sur la
Denition 6 On appelle
= (
F X , ..., Xn) F
1
, o
Estimateur de toute statistique

est une fonction de
Rn
dans
R.
On dnit le biais et l'erreur quadratique de l'estimateur respectivement par
Biais = E () , EQ = E | | EQ = var () + Biais

2
M. BOUTAHAR
Contenu
1 2
Simulation des lois de probabilits Estimation paramtrique Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs
Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi
Estimation non-paramtrique Estimation de la densit de probabilit

M. BOUTAHAR
espace
X = (X , ..., Xn) QQ Q (E , E).

Soit
Denition 7
un chantillon de taille
, avec
est une famille de lois de probabilits sur un
suivant une loi
On dnit la
loi empirique
1
de
par
Pn = n
o
n k =1
(4)
est la mesure de Dirac au point
Xk .
M. BOUTAHAR
X = (X , ..., Xn) n QQ Pn Pn (E , E) n k x , xk E , k = , ..., n. n F Q Pn empirique F (Q ) F (Pn).

Soit
Denition 8
un chantillon de taille .
suivant une loi
, et de loi empirique
Soit
forme
l'ensemble des mesures de probabilits sur
de la
=1
Soit
une fonctionnelle dnie sur de
L'estimateur
est la v.a.r.
M. BOUTAHAR
Estimateur d'une loi support ni
On suppose qu'il existe
Q ({xk }) = qk = Fk (Q ) = Q ({xk }) = P (X = xk ). qk xk
r k =1
1 et on veut estimer
{ 1 , ..., r } E
1
tel que
L'estimateur empirique de observe de la valeur .
n'est autre que la frquence
qk = Fk (Pn) = n
n j =1
1{X =x } .
j k
Biais = , EQ = var (k ) = qk ( qk )/n. q

0 1
M. BOUTAHAR STATISTIQUES AVEC LE LOGICIEL R
Estimateurs des moments
On suppose que d'ordre
empirique de
mk = Fk (Q ) = E (X k ) = x k dQ (x ), mk
1
est donn par 1
( , E) = (R, B)
et que
Xi
a son moment
ni, et on souhaite l'estimer. donc l'estimateur
mk = Fk (Pn) = n Xjk .
j =1
Biais = , EQ = var (mk ) = var (X k )/n.

0
M. BOUTAHAR
En particulier les estimateurs empiriques de la moyenne la variance
m m
2 1
2 1 de
1 et
1 sont respectivement
1
m = X n = n Xj
j =1
et
m m = n Xj (X n) = n (Xj X n) . j j
2 2 1
1
=1
=1
M. BOUTAHAR
Contenu
1 2

M. BOUTAHAR
Soit
X = (X , ..., Xn)
1
de fonction de rpartition
Si Si
Q Q
est discrte posons
est continue posons
La vraisemblance de
X n L(, X ) = f (Xi ).
est dnie par
F (x ). f (x ) = Q ( x ) = P (X = x ) f (x ) = F xx .
( )
suivant une loi
i =1
M. BOUTAHAR
L'estimateur du maximum de vraisemblance
est tel que
L(, X ) =
n i =1
n
sup
i =1
f (Xi )
log (
f Xi )
= 0.
M. BOUTAHAR
1. Loi de Bernoulli :
X = (X , ..., Xn) B (p)

1
Bernoulli
de paramtre inconnu
suivant une loi de
fp (x ) = Q ({x }) = P (X = x ) = exp(x (p/( p))+ n L(p, X ) = (fp (Xi )
log 1 log log
log(1
p))),
log
n ( p) + (p/( p)) Xi i n L(p, X ) = = p = X n = Xi . p ni

=
log 1 log 1
i =1
=1
=1
M. BOUTAHAR
1. Loi de Gauss :
X = (X , ..., Xn) N (m, ) m

1 2
, et log
suivant une loi
sont inconnues.
La log-vraisemblance est donne par
L( m , , X ) = n
2
log ( , , ) 1 ( i ) = 0; = 2 i =1 n log (, 2 , ) 1 ( i )2 = 0; = 2 + 4 2 2 2 i =1
Lm X m L X n
2 2
M. BOUTAHAR
log
log 2
1 2 2
n i =1
( i
X m)
X m
X m
2
m = X n, = n (Xi X n) . i
1
=1
Matrice d'information de Fisher

Score
la quantit
S ()
log (, ) .
L X
(5)
M. BOUTAHAR
I ()
matrice d'information de Fisher la quantit

= = =
E (S () t S ()) L L E (, X ) (, X ) i j L(, X ) E .

log log
1i ,j d
log
i j
1i ,j d
M. BOUTAHAR
1. Loi de Gauss :
X = (X , ..., Xn) N (m, ) = (m, ). S () = n

1 2
,
suivant une loi
2 2
n i =1 ( i n 1 i =1 ( i 2 4
X m) X m)
6
2 log (, ) =
L X
(mX n ) 4
n 2 +
4
(mX n ) 4
n i =1 ( i
X m)
I ()
2 0
2 4
M. BOUTAHAR
Theorem 11
(Borne de Cramer-Rao) On suppose que: i. L(, X ) > P .p.s . ii. L(, X ) est presque srement direntiable sur et que le vecteur Score S () est centr et de carr intgrable pour P . iii. I () est inversible. Alors pour toute variable alatoire T de carr P -intgrable vriant E (L(, X )T ) = E ( L(, X )T ), on a var (T ) BCR = t ( E (T ))I ()( E (T )).
0
(6)
M. BOUTAHAR
Corollaire 12
Si T est un estimateur sans biais de g () R et si g est direntiable, alors var (T ) BCR = t ( g ())I ()( g ()).
1
(7)
Denition 13 Si l'estimateur
Cramer-Rao (i.e il y a galit dans (7), alors il est dit

M. BOUTAHAR
sans biais de
g () R
atteint la borne de
ecace.
Ecacit du maximum de vraisemblance de la moyenne pour un chantillon Gaussien

1. Ecacit de
m:
var (m) = var (X n) = n , g () = m, g () = ( , ) , BCR = t ( g ())I ()( g ()) = n .

2
1 0
M. BOUTAHAR
Contenu
1 2

M. BOUTAHAR
Modle de rgression linaire:
Xt , t =
1, ...,
vrient l'quation de rgression suivante:
Xt
Les
= 1 t ,1 + .... + p t ,p + t , = 1, ..., .
sont les variables explicatives et sont connues, est le vecteur des paramtres inconnus,
u t
(8)
= t (1 , ..., p ) t
Zt k
,
est un bruit blanc c'est dire une suite de variables
alatoires relles telles que:
(H.1):
E (ut ) =
0,
,
t n
M. BOUTAHAR
(H.2): (
E ut us ) =
2
0
si si
On peut crire le modle de rgression (8) sous la forme vectorielle suivante:
t=s t=s
, 2
inconnue.
Z=(
1t n,1j p est une matrice de taille(n,p) connue, t p est un v.a. centr rduit, = (1 , ..., p ) R , et R+
,
sont inconnus.
Zt j )
X = Z + U , rang (Z ) = p.
(9)
On suppose que
On considre le modle de rgression (9), l'estimateur des moindres carrs minimisation :
de
est solution du problme de
= arg min ||
X Z|| ,
2
et dont la solution est donne par
= ( t ZZ)1 t Z
(10)
M. BOUTAHAR
Theorem 14
X X = np est un estimateur sans biais de la variance inconnue , avec X = Z

2 2 2
(11)
M. BOUTAHAR
Theorem 15
i) E () = ( estimateur sans biais ) ii) Var() = ( t ZZ) ( matrice de covariance ).

2
1
Hypothse de normalit (consquence) En plus des hypothses hypothse
(H.3) de normalit du vecteur alatoire
(H.1) et (H.2) on ajoute une
u N ( , In).
0
M. BOUTAHAR
Theorem 16
i) N , ( t ZZ) , ii) n p (n p), iii) et sont des statistiques indpendantes.

2
1 ( ) 2 2
Corollary 17
a t n p j p; ajj est le j ieme lment diagonal de ( t ZZ) .

j j ( ), 2 jj
1
M. BOUTAHAR
Construction des tests d'hypothses au seuil :
H
o
: j = 0
rgion critique
2 jj
a t
1/2 (
n p)
(12)
Student
t (n p) (n p )
1
dsigne le quantile d'ordre 1 degrs de libert.
de la loi de
M. BOUTAHAR
Construction de rgion de conance (au niveau ) pour j , (1 ):
j p
2 jj
a t
1/2 (
n p)
M. BOUTAHAR
Prvision
Comment, l'instant disposant de
Zn
+1
t(
, prvoir la ralisation de
Les hypothses sont
Xn = t Zn + un , E ( un ) = , E ( un ut ) = , t n .
+1 +1 +1 +1 +1
0 0 1
(H.1), (H.2) et
Zn
+1,1 , ...,
Zn
Xn
+1
+1,p ) ?
On a deux incertitudes: i) Celle due
un
+1 (perturbation alatoire),
ii) Celle due au fait que
est inconnu.
Prvision optimale
Xn
+1
= t n+1 . (1 )
est donn par
L'intervalle de conance au niveau
Xn
+1
1/2 (
n p)
+ t n+1 ( t ZZ)1 n+1 .
M. BOUTAHAR
Exemples de modlisation. 1. Modle linaire simple. Programme sur R
data(cars), plot(cars)
M. BOUTAHAR
On cherche la relation qui lie la variable dist (distance de
freinage) et la variable speed (vitesse). On propose le modle
distt =
+ 2
speedt + ut ,
Programme sur R t
<
lm(cars$dist ~ cars$speed), summary(t)
Call:lm(formula = cars$dist ~cars$speed) Residuals: Min 1Q Median 3Q Max -29.069 -9.525 -2.272 9.215 43.201
Coecients: Estimate Std. Error t value Pr (> |t |) (Intercept) -17.5791 6.7584 -2.601 0.0123 * cars$speed 3.9324 0.4155 9.464 1.49e-12 *** Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 Residual standard error: 15.38 on 48 degrees of freedom Multiple R-Squared: 0.6511, Adjusted R-squared: 0.6438 F-statistic: 89.57 on 1 and 48 DF, p-value: 1.490e-12
Interprtation des rsultats:
Residuals:
En premier lieu R ache les statistiques
descriptives des rsidus de la rgression.
Coecients: Std. Error t. value Pr (> |t |)
Les estimations
1 =-17.5791, 2 =3.9324.
dsigne l'cart type estim.
est la statistique de Student. est la p-value associe la statistique de Student t
value, une valeur plus petite que 0.01 nous conduit au rejet de H0 c'est dire que le paramtre est signicatif. Pour notre modle le paramtre
n'est pas signicatif alors que
l'est.
M. BOUTAHAR
Residual standard error Multiple R-Squared

: Denition 18
||u ||2 n p .
Lorsqu'il y'a une constante dans le modle de rgression multiple, on appelle coecient de dtermination le scalaire
R
o
X=n
1
n t =1
Xt
X X n X X n
2 2
et
n = t (1, ..., 1),
vecteur
( , 1).
Plus
est proche de 1, plus l'ajustement est meilleur.

Adjusted R-squared Ra =
:
(1
R )nnp
2 2
1 , o 1
nombre de paramtres sans compter la constante.
p Ra
est le ne croit
que si la nouvelle variable explicative ajoute amliore
F-statistic F=
On a sous
l'ajustement, elle peut tre ngative, et
Ra R .
2
dsigne la statistique de Fisher qui correspond
l'hypothse nulle
||u ||2 ||u ||2 avec ||u ||2
u:
: 1 = ... = p = 0;
rsidus sous
0 la statistique
H u:
0 et
elle est donne par rsidus sous
suit une loi de Fisher
H F (p, n p)
1.
M. BOUTAHAR
Programme sur R
t1 < lm(cars$dist ~cars$speed-1), summary(t1) Call: lm(formula = cars$dist ~cars$speed -1) Residuals: Min 1Q Median 3Q Max -26.183 -12.637 -5.455 4.590 50.181
Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique
Coecients:
Estimation non-paramtrique
Le
Estimate Std. Error t value Pr (> |t |) cars$speed 2.9091 0.1414 20.58 < 2e-16 *** Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 Residual standard error: 16.26 on 49 degrees of freedom Multiple R-Squared: 0.8963, Adjusted R-squared: 0.8942 F-statistic: 423.5 on 1 and 49 DF, p-value: < . e . R
2 2 16
s'approche de 1, donc l'ajustement est meilleur.
M. BOUTAHAR
Programme sur R plot(cars,col="blue"), z abline(z,col="red")
<
lm(dist ~ speed, data = cars),
M. BOUTAHAR
Analyse des rsidus de la rgression
M. BOUTAHAR
M. BOUTAHAR
Exemple 2. Rgression multiple: On considre l'volution de l'ozone en fonction de la temprature, du vent et de la radiation solaire.
M. BOUTAHAR
M. BOUTAHAR
Programme sur R
t3 < lm(air$Ozone ~ air$Temp + air$wind + air$Solar.R) summary(t3)

Call: lm(formula = air$Ozone air$Solar.R) Residuals: Min -40.485 1Q Median -3.551 3Q 10.097 Max 95.619 air$Temp + air$Wind +
-14.219
M. BOUTAHAR
Coecients: Estimate (Intercept) -64.34208 air$Temp air$Wind *** air$Solar.R 0.05982 0.02319 2.580 1.65209 -3.33359 Std. Error 23.05472 0.25353 0.65441 t value -2.791 6.516 -5.094
Pr (>| t |)
0.00623 ** 2.42e-09 *** 1.52e-06
0.01124 *
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 21.18 on 107 degrees of freedom (42 observations deleted due to missingness) Multiple R-squared: 0.6059, Adjusted R-squared: 0.5948 F-statistic: 54.83 on 3 and 107 DF, p-value:
M. BOUTAHAR
< 2.2 16
M. BOUTAHAR
M. BOUTAHAR
Les rsidus de la rgression sont donns par
M. BOUTAHAR
M. BOUTAHAR
Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Consistance de L'estimateur Convergence en loi
Estimation : Thorie asymptotique
n = (
taille
F X , ..., Xn)
1
est un estimateur de
. n
lorsque la
But : Dcrire le comportement asymptotique de
tends vers
+.
M. BOUTAHAR
Contenu
1 2

M. BOUTAHAR
Denition 19 On dit que si
est un estimateur
fortement consistant de
:
(13)
converge presque srement vers
p .s n .
Denition 20 On dit que si
est un estimateur
faiblement consistant de
:
(14)
converge en probabilit vers
P n .
M. BOUTAHAR
Theorem 21
Si n estun estimateurde , posons bn = E (n) , (i.e. le biais de n), vn = var(n); on suppose que i. bn ( c'est dire n est asymptotiquement sans biais), ii. vn . Alors n est un estimateur consistant de .
0 0
M. BOUTAHAR
On suppose que
( i)
est une suite i.i.d suivant une loi
N( ,
5 1)
Figure: Evolution de la moyenne empirique
M. BOUTAHAR
Contenu
1 2

M. BOUTAHAR
On s'intresse ici tudier la distribution asymptotique de l'estimateur
lorsque
tends vers l'inni.
Denition 22 Supposons qu'il existe deux suites relles telles que
mn()
et
n () > 0
n n () L n ()
on dit que
N( ,
0 1);
(15)
n est asymptotiquement normal. limn n () est l'esprance asymptotique de n , 2 n . limn n () est la variance asymptotique de
M. BOUTAHAR
On suppose que i. L'application f (x ) est deux fois continment f (x ) est continue direntiable sur , .p.s . et en uniformment par rapport x . ii. E ( f (X )) = , E ( f (X )/f (X )) = , iii. < I () = E (( f (X )) ) < . Alors nI ()(n ) N ( , ).
log
Theorem 23
2 log 2
log 0 1
log
2 2
0 1
(16)
M. BOUTAHAR
Exemple 1.
log(
fp (X ) = n ( p) + (p/( p))X , fp (X ) = p( p) (X p), p I (p) = p ( p) E ((X p) ) = p( p) ,

1
log 1 log 1
Loi de Bernoulli
log
2 1
donc
p( p) p p
1 On a aussi
n n
( n )
N( ,
0 1).
pn( pn) (pn p)

1
M. BOUTAHAR
N( ,
0 1).
Exemple 2.
Normalit asymptotique du maximum de vraisemblance de la moyenne pour un chantillon Gaussien

On suppose que
=
1
log (
donc
f X )=X
, 1 () = ((
E X
)2 ) = 2 .
n (mn m) n (mn m)
2
M. BOUTAHAR
N( ,
0 1).
On a aussi
N( ,
0 1).
Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique Estimation de la densit de probabilit Rgression non-paramtrique
Contenu
1 2

M. BOUTAHAR
Estimation non-paramtrique
But : Estimer la loi des observations
1. Estimation par histogramme
X , ..., Xn.
1 1
f (x ) =
k i =1
i 1[a ,a + [ ( ),
i i
x a
< ... < k +1 .
(17)
M. BOUTAHAR
k i =1 i ( i +1
i) = 1
et
i ( i +1 i ) = F (
1
P X [ai , ai
+1 [).
i ( i +1 i ) =
est un estimateur convergent de
n j a a (Xj ) PF (X [ai , ai [).

1[ i ,
i
+1[
=1
+1
hist(x)$density donne les valeurs des
et hist(x)$breaks les valeurs des
ai .
M. BOUTAHAR
Programme sur R x
<
rnorm(500)
hist(x,breaks=50,col="blue")
M. BOUTAHAR
Inconvnients: L'estimateur dpend du choix de la partition
( i ),
souvent
construite en fonction des donnes (comme dans R). Problme des extrmits
a ak
1 et
+1 : ils ne peuvent pas tre
innis mais doivent susamment approcher le support de f.
mais...
k (ai ) ai ai
et
doivent dpendre de
pour que
converge vers
+1
ne doit pas dcrotre trop vite vers 0 pour
que l'estimation soit convergente : il faut susamment d'observations par intervalle
[ i , i +1 [
aa
L'histogramme est une fonction discontinue.

2.Estimateur noyau
Au lieu de considrer une approximation uniforme autour de chaque
Xi ,
on peut utiliser une fonction plus lisse :
f (x ) = nh K x Xi h i
1
(18)
=1
est un noyau (par exemple une densit de probabilit) et
h un facteur d'chelle.
M. BOUTAHAR
Programme sur R par(bg="lightblue") x=rnorm(500) plot(density(x), col="red", lwd=3)
M. BOUTAHAR
Sur R on peut utiliser les noyaux suivants 1) Le noyau normal [kernel=gaussian ou g] 2) Le noyau d'Epanechnikov [kernel=epanechnikov ou e]
K (y ) = C ( y )
1
2 2
1[1,1] (
y)
3) Le noyau triangulaire [kernel=triangular ou t]
K (y ) = ( + y )I
1 "optcosine".
1[1,0] (
y) + ( y)
1
1[0,1] (
y ).
4) Les noyaux "rectangular", "biweight", "cosine",
M. BOUTAHAR
Exemple: Pour la srie simule prcdemment on obtient
M. BOUTAHAR
Le choix de la fentre h
est crucial:
Si h grand, un grand nombre des l'estimation de
f (x ), Xi
Xi
contribuent
on obtient un estimateur avec un
biais trs grand et une variance trs petite. Si h petit, peu de contribuent l'estimation de
f (x ),
on obtient un estimateur avec un biais trs petit et une variance trs grande
M. BOUTAHAR
Le choix
hn = n
1/5
(en
bas droite) semble tre meilleur.

M. BOUTAHAR
Fentre optimale En tudiant l'erreur moyenne intgre
d (f , f ) = E
De la dcomposition
f (x ) f (x ) dx ,
2 2
on peut trouver un choix optimal pour la fentre h.
d (f , f ) =
f (x ) E f (x ) dx +
var
f (x )dx
2
=(biais^2+var)
et les approximations
f (x ) E f (x ) f (x ) hn
2
M. BOUTAHAR
exp
( i )2
2 2
X x hn
2
f (x ) hn,
2
on en dduit que le biais est de l'ordre de
f (x ) hn,
2 4
et que le terme de variance est approximativement Par consquent, l'erreur tend vers 0 quand
hn nhn
nh
1
n
tend vers l'inni si
tend vers 0 et tend vers l'inni.

La fentre optimale est donne par
hopt = n (f (x )) dx
2
1/5
hopt
dpend de la drive seconde qui elle mme inconnue.
Pour rsoudre ce problme il existe plusieurs mthodes: La fentre optimale base sur "rule of thumb", avec le noyau de Gauss, a la forme
hopt =
o
0.9 min(,
75 1.34 1/5
est l'cart-type estim et
q n
25 )
25 et
75 sont les quantiles
25% et 75% estims (Silverman (1986, page 48, eqn (3.31)).

Sur R il y a les mthodes suivantes: -bw.nrd0 implmente la "rule-of-thumb" de Silverman. -bw.nrd une variation de la prcdente, Scott (1992). -bw.ucv et bw.bcv utilisent la validation croise non biaise et biaise respectivement. -bw.SJ implmente la mthode de Sheather & Jones (1991).
M. BOUTAHAR
Exemple 1: On considre la srie des poids des poulets
M. BOUTAHAR
Exemple 2: On considre la srie des poids des souris
M. BOUTAHAR
Exemple 3: On considre la srie des prcipitations annuelles "precip", la densit estime avec les 6 choix possibles est donne par
M. BOUTAHAR
Exemple 4. La distribution des salaires annuels dans une population contenant d'individus
Ni
n=
14890442 actifs, ( le nombre
touchant le salaire
si
exprim en euros) est
distribue comme suit:
si
(en euro )
10000 20000 30000 40000 50000 100000 200000 500000 1000000

M. BOUTAHAR
Ni
11583265 2045372 683240 349740 183280 36250 7975 1015 305

M. BOUTAHAR
Contenu
1 2

M. BOUTAHAR
Le modle (8) exprime le variable
Xt
comme une
combinaison linaire en fonction des variables explicatives
Zt j
,.
Le modle (8) est incapable de dcrire une relation non
linaire entre
Xt Zt j
et
, si celle-ci existe.
La rgression non-paramtrique ore l'avantage d'tre plus
exible: ce sont les donnes qui dterminent la relation fonctionnelle entre
Xt Zt j .
et
Xt = r (Zt
o
,1 , ...,
Z t p ) + ut ,
,
t n
(19)
ut
est un bruit blanc.
M. BOUTAHAR
La fonction r peut tre estime par plusieurs mthodes: 1) le rssogramme 2) la mthode des k voisins les plus proches 3) la mthode base sur les splines 4) la mthode du noyau entre autre. On se contente ici de prsenter la mthode du noyau.
Estimateur noyau
Posons
( i , i )1i n
XZ
Zi = (Zi
,1 , ...,
Zi p ).
,
On dispose d'un chantillon
et on cherche identier la fonction
telle que
Xi = r (Zi ) + ui ,
M. BOUTAHAR
i n
(20)
7.Rgression non-paramtrique
Watson (1964) et Nadaraya (1964) ont propos, indpendamment et simultanment, l'estimateur
r (x ) =
n i
=1
n i
=1
X K ((x Z )/h ) K ((x Z )/h )

i i n i n
si sinon
n i =1
K ((x Zi )/hn) =
M. BOUTAHAR
Collomb (1976 ou 1977a) donne une valuation asymptotique du biais et de la variance: que:
deux fonctions
a(x ) b(x )
et
telles
f (x ) E f (x ) hn a(x ), E (f (x ) E f (x )) nhnp b(x )

2
2
M. BOUTAHAR
Ces formules permettent de montrer que
h R+
n
min
E f (x ) f (x ))
cn
4/(p +4)
Comme pour l'estimation de la densit le choix de la fentre
hn
est crucial.
Sur R la fonction glkerns permet l'estimation de la fonction et ses drives avec un choix adaptatif pour la fentre
hn .
M. BOUTAHAR
Exemple: On reprend les donnes sur la distance de freinage: Programme sur R data(cars) library(lokern) plot(dist~speed, data = cars, main = "Fentre adaptative") t13
<
glkerns(cars$speed, cars$dist)
lines(t13$x.out,t13$est, col=2)
M. BOUTAHAR
on obtient
M. BOUTAHAR

Statistique Avec R 6

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Statistique Avec R 6

Uploaded by

Copyright:

Available Formats

Simulation des lois de probabilits Estimation paramtrique Estimation : Thorie asymptotique Estimation non-paramtrique

STATISTIQUES AVEC LE LOGICIEL R

FST-Fs Fvrier 2013

STATISTIQUES AVEC LE LOGICIEL R

STATISTIQUES AVEC LE LOGICIEL R

Simulation des lois de probabilits

dnorm() : pnorm() : qnorm() : rnorm() :

STATISTIQUES AVEC LE LOGICIEL R

STATISTIQUES AVEC LE LOGICIEL R

suit une loi de Bernoulli de paramtre 0 1} avec 1)

Programme sur R B= table(Ni = stats::rbinom(100,1,0.25)) r = barplot(B, col=rainbow(20))

STATISTIQUES AVEC LE LOGICIEL R

suit une loi de Poisson de paramtre , not k = N et ( = ) = ! , est un rel k

Programme sur R P = table(Ni = stats::rpois(100, lambda=5) r = barplot(P, col=rainbow(20))

STATISTIQUES AVEC LE LOGICIEL R

1st Qu. 3.00

3rd Qu. 7.00

STATISTIQUES AVEC LE LOGICIEL R

suit une loi uniforme sur si elle admet la densit

STATISTIQUES AVEC LE LOGICIEL R

Min. Max. 0.007657 0.9983

STATISTIQUES AVEC LE LOGICIEL R

Programme sur R boxplot(x,col="green")

STATISTIQUES AVEC LE LOGICIEL R

on obtient les deux graphiques:

STATISTIQUES AVEC LE LOGICIEL R

STATISTIQUES AVEC LE LOGICIEL R

suit une loi de Gauss de moyenne

, si elle admet la densit

STATISTIQUES AVEC LE LOGICIEL R

Min. Max. -2.4020 2.6830

STATISTIQUES AVEC LE LOGICIEL R

Programme sur R boxplot(x,col="green")

STATISTIQUES AVEC LE LOGICIEL R

on obtient les deux graphiques

STATISTIQUES AVEC LE LOGICIEL R

STATISTIQUES AVEC LE LOGICIEL R

suit une loi exponentielle de paramtre , si elle admet la densit

STATISTIQUES AVEC LE LOGICIEL R

Programme sur R x = rexp(400,1) gnre une loi exponentielle de moyenne 1. summary(x)

Min. Max. 0.004039 1.354000

STATISTIQUES AVEC LE LOGICIEL R

on obtient les deux graphiques

STATISTIQUES AVEC LE LOGICIEL R

STATISTIQUES AVEC LE LOGICIEL R

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimateur de toute statistique

On dnit le biais et l'erreur quadratique de l'estimateur respectivement par

Biais = E () , EQ = E | | EQ = var () + Biais

STATISTIQUES AVEC LE LOGICIEL R

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

Estimation : Thorie asymptotique Consistance de L'estimateur Convergence en loi

Estimation non-paramtrique Estimation de la densit de probabilit

STATISTIQUES AVEC LE LOGICIEL R

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

X = (X , ..., Xn) QQ Q (E , E).

est une famille de lois de probabilits sur un

suivant une loi

est la mesure de Dirac au point

STATISTIQUES AVEC LE LOGICIEL R

Estimateurs empiriques Estimateur du maximum de vraisemblance Estimateur des moindres carrs

X = (X , ..., Xn) n QQ Pn Pn (E , E) n k x , xk E , k = , ..., n. n F Q Pn empirique F (Q ) F (Pn).

suivant une loi

On dnit le biais et l'erreur quadratique de l'estimateur respectivement par

une fonctionnelle dnie sur de

Estimateur d'une loi support ni

ni, et on souhaite l'estimer. donc l'estimateur

Ecacit du maximum de vraisemblance de la moyenne pour un chantillon Gaussien

vrient l'quation de rgression suivante: