Traitement du Signal

cours de Master 2 Recherche
Pierre-Olivier Amblard
Contents
1 Introduction, signal? 2
1.1 Sondage sismique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Flux EUV du soleil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Signal de turbulence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Signal d’´echo-location : la chauve-souris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5 Pour terminer et pr´eparer la suite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Signaux d´eterministes 7
2.1 Zoologie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Signaux d’´energie finie, signaux de puissance moyenne finie . . . . . . . . . . . . . . . . . . . . . 7
2.3 Langage commun, espaces vectoriels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 Repr´esentation fr´equentielle : transformation de Fourier, en fr´equences r´eduites, en Z . . . . . . 9
2.5 Quelques notions sur les filtres et la transformation des signaux . . . . . . . . . . . . . . . . . . . 13
3 Signaux al´eatoires 15
3.1 D´efinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2 Stationnarit´e. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3 Analyse harmonique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Brownien et bruit blanc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.5 Notion d’ergodisme, mesure des corr´elation et DSP . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4 Processus de markov, m´ethodes MCMC 21
4.1 D´efinitions, propri´et´es . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.2 Un exemple, le mod`ele AR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3 M´ethode de Monte-Carlo pour l’int´egration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.4 M´ethodes MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5 Introduction aux processus ponctuels et `a leurs produits d´eriv´es 34
5.1 Processus ponctuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.2 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.3 Bruits de grenaille . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1
Ce document constitue des notes de cours de traitement du signal, cours dispens´e en Master 2 recherche signal-
image-parole-t´el´ecom.
Notations :
t est le temps continu
n le temps discret
ν la fr´equence continue
λ fr´equence continue r´eduite
m fr´equence discr`ete
Γ
xy
(τ) fonction d’intercorr´elation entre x et y au retard τ
γ
xy
(ν) densit´e spectrale de puissance d’interaction (interspectre) entre x et y `a la fr´equence ν
X ou X(t) pour la varaible al´eatoire ou le signal al´eatoire. Les lettres minuscules x et x(t) sont r´eserv´e aux
valeurs prises par la variable ou la fonction al´eatoire.
1 Introduction, signal?
D’apr`es le Larousse (ed. 1986) :
Signal n. m. (lat. signalis ; de signum, signe). Signe convenu pour avertir, annoncer, donner un ordre. —— ...
—— En th´eorie de la communication, variation d’une grandeur de nature quelconque porteuse d’information.
La d´efinition est claire et signifie qu’un signal est une fonction math´ematique d’un ensemble dans un autre
codant une information. Par contre la d´efinition n’indique rien sur les aspects de construction des signaux et de
leur transfert, et sur les probl`emes d’extraction de l’information. Le traitement du signal est la discipline qui
s’int´eresse `a l’ensemble des aspects li´es au signal: mise en forme de l’information, ´emission, r´eception, extraction
de l’information utile.
Les techniques d´evelopp´ees en traitement du signal reposent sur les math´ematiques, mais ´egalement sur d’autres
sciences qui sont `a la source ou qui interviennent dans la transmission du signal. Par exemple, la transmission
d’un signal radio FM utilise les ondes ´electromagn´etiques, les potentiels d’action qui circulent dans les neurones
sont des courants ´electriques g´en´er´es par des effets biochimiques, . . .
Dans un premier temps le traitement du signal essaie d’avoir un point de vue unificateur, oubliant les disciplines
connexes li´es au signal ´etudi´e, mais ce point de vue r´educteur doit ˆetre mod´er´e dans les traitements avanc´es et
la richesse du traitement du signal sort en g´en´eral de l’interaction avec les autres sciences.
Enfin, le traitement du signal participe `a l’´evolution des sciences et des techniques. Si les domaines les plus
connus dans lesquels intervient le TS sont souvent de nature technologique (t´el´evision, t´el´ephonie, . . . ) il ne
faut pas oublier que le TS est une discipline participant `a l’avanc´ee des connaissances scientifiques.
Sans ˆetre exhaustif voil`a quelques exemples de domaines dans lesquels interviennent le traitement du signal :
• Sciences de l’observation (astronomie–lumi`ere visible ou invisible–, g´eophysique interne–sondage sismique,
sismologie, les signaux sont v´ehicul´es par des ondes ´elastiques–, g´eophysique externe –environnement
plan´etaire, sondage par ondes ´electromagn´etiques et mesures effectu´ees par des RADAR–, t´el´edetection
–observation de la terre depuis l’espace–, physique fondamentale–´etude de la turbulence par exemple–,
neurosciences–compr´ehension du codage et du traitement de l’information par le cerveau–, observation
par SONAR–ondes acoustiques–
• T´el´ecommunication : domaine dans lequel le traitement du signal est fondamental (codage, lutte contre
les interf´erences et les parasites, d´ecodage, . . . )
• . . .
D’une fa¸ con g´en´erale, les signaux peuvent ˆetre issus de n’importe quel type de mesure, et le traiteur du signal
revient alors `a la d´efinition du Petit Larousse.
Dans la suite, nous pr´esentons quatre exemples de signaux issus de probl´ematiques diff´erentes.
1.1 Sondage sismique
La sismologie ´etudie les vibrations du sous-sol provoqu´ees par des ph´enom`enes naturels alors que la sismique
provoque l’´ebranblement et en ´etudie les cons´equences. Le sondage sismique repose sur ce principe. Une source
(explosion, vibros´eisme,. . . ) provoque une onde ´elastique dans le sous-sol, onde qui va interagir avec son milieu
de propagation. Une antenne munie de divers capteurs permet en un point plus ´eloign´e de mesurer l’onde apr`es
son voyage sous terre. Les signaux re¸ cus portent alors des informations relatives `a la structure de leur milieu
de propagation.
Un exemple de mesure issu d’une antenne sismique est montr´e sur la figure (1).
2
0
5
10
15
20
25
30
35
40
45
0 50 100 150 200 250
C
a
p
t
e
u
r
s
Echantillons temporels
Figure 1: Exemple d’une trace sismique.
1.2 Flux EUV du soleil
L’´etude du flux solaire est fondamentale pour des raisons ´evidentes de compr´ehension de notre ´etoile, mais
´egalement pour les probl`emes climatiques qui deviennent critiques `a notre ´epoque. Diff´erents appareils de
mesure se situent sur divers satellites et mesurent le flux solaire dans diverses longueurs d’ondes. Un des buts
ultime de ces mesures et de leur compr´ehension est la pr´ediction `a cours et moyen terme de l’activit´e solaire.
Les images suivantes (2) sont des images du soleil dans certaines longueur d’ondes (extrˆeme UltraViolet, images
de l’atmosph`ere solaire, la brillance repr´esente des zones `a 60-70000 K pour 304 A, 10
6
pour 171, 1.510
6
pour
195 et 2.10
6
pour 284. Le plus chaud, le plus haut dans l’atmosph`ere solaire. Diff´erentes fr´equences renseignent
Figure 2: Images du soleil dans 4 bande fr´equentielles diff´erentes le 28 aout 2006- EIT on board SOHO
donc sur diff´erentes zones. Il est donc fondamental d’observer une plus grande gamme de fr´equence. Or, les
appareils n´ecessaires coˆ utent chers, et les misssions spatiales ne sont pas l´egions. De plus, des id´ees issues de la
physiques montrent que le spectre entier est redondant et que la mesure de quelques raies spectrales permet de
reconstruire l’ensemble du spectre. Trouver les raies pertinentes requiert l’utilisation de techniques de traitement
des signaux. On peut alors s’int´eresser `a partir de plusieurs mesures du spectre solaire `a d´ecomposer ce spectre
3
en spectres ´el´ementaires. Des r´esultats utilisant des techniques tr`es r´ecentes de traitement du signal sont montr´e
sur la figure (3) D’autre part, peut-on reconstruire l’irradiance totale `a partir de certaines autres mesures? La
40 60 80 100 120 140 160 180
−14
−12
−10
−8
−6
−4
−2
Full sun −−day 245−−
40 60 80 100 120 140 160 180
−14
−12
−10
−8
−6
−4
−2
Positive Source 1/3
40 60 80 100 120 140 160 180
−14
−12
−10
−8
−6
−4
−2
Positive Source 2/3
40 60 80 100 120 140 160 180
−14
−12
−10
−8
−6
−4
−2
Positive Source 3/3
Wavelength, [nm]
Figure 3: D´ecomposition en composantes ´el´ementaires du spectre EUV solaire.
figure (4) suivante montre diff´erents indices qui servent actuellement `a l’´etude de l’activit´e solaire. Le signal le
plus bas correspond `a l’irradiance totale mesur´ee sur terre et le signal du haut correspond au d´enombrement
des taches solaires. Les recherches tr`es actuelles tentent de reconstruire l’irradiance `a partir des autres mesures.
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
50
100
150
200
250
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
100
200
300
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
100
200
300
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
100
150
200
250
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
0.27
0.28
0.29
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
0.085
0.09
0.095
0.1
0.105
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
2
4
6
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
50
60
70
80
90
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
50
100
150
200
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
100
200
300
7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32
x 10
5
1362
1364
1366
1368
Figure 4: Diff´erents indices de l’activit´e solaire sur les 26 derni`eres ann´ees.
1.3 Signal de turbulence
La turbulence dans les fluides reste aujourd’hui un d´efi pour les physiciens. Sa compr´ehension a une importance
non seulement scientifique, mais ´egalement technologique. La turbulence est g´er´ee math´ematiquement par
4
l’´equation de Navier-Stokes, ´equation aux d´eriv´ees partielles fortement non lin´eaire. Le terme non lin´eaire
v∇v, o` u v est le champ de vitesse, induit une complexit´e terrifiante. A cˆ ot´e des ´etudes math´ematiques sur
l’existence, la r´egularit´e de solutions, les physiciens ont une approche plus pragmatique. Les premiers r´esultats
sur la turbulence sont dˆ us `a A.N. Kolmogorov en 1941. Sous des hypoth`eses de stationnarit´e et d’homog´en´e¨ıt´e,
il montre la loi des
1
4/5, et d´eduit par des arguments de dimension la forme de la densit´e spectrale de la
vitesse dans un fluide turbulent. Pour contrer certaines remarques de Landau, il modifie sa th´eorie en 1962 avec
Obukhov en prenant en compte la fluctuation de la dissipation d’´energie avec les ´echelles.
La figure suivante montre un exemple de signal issu d’un flot turbulent. Il s’agit de la vitesse longitudinale
d’un flot d’air dans une soufflerie mesur´ee par un fil chaud. La figure suivante repr´esente sa densit´e spectrale,
c’est-`a-dire la puissance du signal ´eclat´ee sur l’ensemble des fr´equences contenue dans le signal. La th´eorie de
Kolmogorov pr´edit une d´ependance en 1/f
5/3
qui est bien v´erifi´ee. Toutefois, la th´eorie est incompl`ete comme
le prouve l’illustration suivante
signal de
vitesse
et sa densite
spectrale
signal de vitesse
et un modele gaussien (fBm)
les increments (1 et
700)
Figure 5: Signal de vitesse mesur´e dans un ´ecoulement turbulent et son spectre de puissance illustrant la pente
en 5/3. En bas comparaison du signal avec un mod`ele gaussien ayant la mˆeme densit´e spectrale de puissance.
Les incr´ement de taille 1 montre bien l’invalidit´e de l’hypoth`ese gaussienne.
1.4 Signal d’´echo-location : la chauve-souris
Pour terminer cette petite galerie d’exemple, regardons les signaux ´emis par une chauve-souris en phase d’attaque
de proie. Ce signal est port´e par des ondes acoustiques, la chauve-souris ´etant donc l’ancˆetre de nos SONAR.
Le spectre du signal peut-ˆetre trompeur quand `a la structure intime du signal, ainsi que le r´ev`ele une analyse
dite temps-fr´equence (voir la figure (6).
1.5 Pour terminer et pr´eparer la suite
Ces quelques exemples divers ont montr´e la n´ecessit´e de d´evelopper des mod`eles pr´ecis de signaux et d’´etudier
leurs interactions avec les syst`emes. Dans la suite, nous allons donc nous int´eresser aux mod`eles de signaux, en
1
Cette loi lie le moment d’ordre 3 des incr´ements de vitesse de taille l ` a la dissipation d’´energie ` a l’´echelle l. Sous certaines
hypoth`eses, ce moment d’ordre trois est proportionnel ` a l’´echelle, le coefficient de proportionalit´e ´etant -4/5 de la dissipation
d’´energie par unit´e de masse.
5
Figure 6: Signal d’´echolocation d’une chauve souris dans ses repr´esentations temps, fr´equence et temps-
fr´equence.
pr´esentant (ou en rappelant) les mod`eles de signaux d´eterministes, al´eatoires. Nous ´etudierons les grandeurs
qui r´ev`elent des informations utiles (fonctions de corr´elations, densit´es spectrales,. . . ). Cette premi`ere partie
du cours occupera 4 `a 5 s´eances. Ensuite, nous examinerons des mod`eles plus complexes et tr`es utiles dans de
nombreux domaines : les signaux markoviens et les processus ponctuels.
6
2 Signaux d´eterministes
2.1 Zoologie
Un signal est d´efini comme une fonction math´ematique d’un ensemble d’indexation X vers un ensemble image
Y dans lequel le signal prend ses valeurs. L’ensemble X peut ˆetre :
• R ou un de ses intervalles, cas d’un signal `a temps continu,
• Z ou N pour des signaux `a temps discret par exemple,
• d’autres structures telle N × N ou encore un graphe
Dans ce cours nous nous limiterons aux signaux ne d´ependant que d’une variable qui pourra ˆetre continue ou
discr`ete.
L’ensemble Y image peut ˆetre :
• `a une dimension, R ou C,
• `a n dimension pour des signaux multidimensionnels (exemple des enregistrements sismique)
Un signal x de la variable t sera donc ´ecrit comme
x : X −→ Y
t −→ x(t)
Un signal est en g´en´eral born´e, et ce pour des raisons physiques.
Dans toute la suite, les variables t et n seront appel´ees variables temporelles, la premi`ere d´ecrivant un espace
d’indexation continu qui sera R, alors que la deuxi`eme sera r´eserv´ee aux espaces d’indexation discrets, repr´esent´e
par Z. Bien que nous appelions ces variables des variables temporelles ne doit pas cacher le fait que dans
certaines applications, les variables d’indexation ne seront pas le temps (exemple du flux EUV solaire). De plus,
les signaux prendront leur valeurs dans C.
Dans la suite, nous allons d´etailler deux grandes classes de signaux, les signaux d’´energie finie et les signaux de
puissance moyenne finie. Nous donnerons ensuite une vision g´eom´etrique des signaux donnant ainsi un cadre
commun, cadre qui permettra naturellement d’introduire d’autres repr´esentations des signaux par changement
de bases. Les repr´esentations fr´equentielles des signaux seront alors introduites. Nous reviendrons alors sur les
notions d’´energie et de puissance. Enfin, nous examinerons les interactions entre les signaux et les syst`emes.
2.2 Signaux d’´energie finie, signaux de puissance moyenne finie
On d´efinit l’´energie d’un signal par
E
x
= α

R

x(t)

2
dt pour le temps continu
E
x
= α
¸
n∈Z

x(n)

2
pour le temps discret
La constante α est plac´ee ici pour dimensionner correctement l’´energie. Dans la suite, on posera α = 1, mais
il ne faut jamais oublier dans les applications que la somme du module carr´e du signal est proportionnel `a
l’´energie.
La puissance moyenne d’un signal est d´efinie par
P
x
= lim
T→+∞
1
2T

T
−T

x(t)

2
dt pour le temps continu
P
x
= lim
K→+∞
1
2K + 1
K
¸
n=−K

x(n)

2
pour le temps discret
L’ensemble des signaux pour lesquels l’´energie est finie est appel´e espace des signaux d’´energie finie et est not´e
L
2
. Notons qu’un signal d’´energie finie a n´ecessairement une puissance moyenne nulle. L’espace des signaux
de puissance moyenne finie est not´e L
2
loc
, et il contient ´evidemment L
2
. Un cas tr`es particulier des signaux
de puissance moyenne finie est l’ensemble des signaux p´eriodiques de p´eriode T que l’on notera L
2
(T). Dans
7
cet espace la limite T tend vers l’infini est non n´ecessaire pour la d´efinition de la puissance qui se restreint `a
1/T

[T]

x(t)

2
dt, o` u [T] correspond `a un intervalle quelconque de longueur T.
Ecrire la d´efinition de l’´energie pr´esuppose que les int´egrales (ou les sommes) existent. On d´efinit donc l’espace
L
2
(X) comme l’espace des signaux index´es par X qui sont d’´energie finie. Notons que cet espace est un cas
particulier des espaces L
p
(X) qui ont des relations non triviales les uns avec les autres.
2.3 Langage commun, espaces vectoriels
Rappelons qu’un ensemble est une espace vectoriel ( ou lin´eaire – on dit linear space en anglais–) sur un corps de
r´ef´erence (R ou C pour nous) s’il est stable par addition et par ultiplication par un scalaire du corps, c’est-`a-dire
pour tout x, y de l’ensemble et tout λ du corps, l’´el´ement x+λy est `a nouveau dans l’ensemble. Les ´el´ements d’un
espace vectoriel sont appel´es vecteurs. On montre que les espace L
2
(C) et L
2
loc
(C) sont des espaces vectoriels
sur le corps des complexes.
On introduit alors sur l’espace vectoriel un produit scalaire d´efinit comme ´etant une forme bilin´eaire sym´etrique
( < x|y >=< y|x >

) (ou sesquilin´eaire dans le cas des complexes) d´efinie-positive (< x|x >≥ 0 avec ´egalit´e si
et seulement si x est le vecteur nul). Rappelons que le produit scalaire permet en quelque sorte de comparer
deux vecteurs . Par exemple dans l’espace usuels `a 3 dimensions qui nous entoure avec le produit scalaire usuel
on a < x|y >= |x||y| cos θ, θ ´etant l’angle entre les directions portant les deux vecteurs. Ainsi le produit scalaire
entre deux vecteurs distincts et non nuls est nul si les deux vecteurs sont orthogonaux. Nous garderons cette
d´efinition pour des espaces plus abstraits. Un espace vectoriels muni d’un produit scalaire est un espace de
(pr´e)Hilbert. (Pour ˆetre de Hilbert, l’espace doit ˆetre complet, les suites de Cauchy convergent).
Le produit scalaire induit une norme sur l’espace vectoriel. Une norme est une application de l’espace dans R
d´efinie-positive, v´erifiant ||λx|| = |λ|||x|| et l’in´egalit´e ||x + y|| ≤ ||x|| + ||y||. Enfin d’une norme on d´eduit une
distance entre deux vecteurs comme la norme de leur diff´erence ||x −y|| = d(x, y). Notons qu’une distance est
une application sym´etrique, v´erifiant l’in´egalit´e triangulaire d(x, y) ≤ d(x, z) +d(z, y) et telle que d(x, y) = 0 si
et seulement si x = y.
Rappelons l’in´egalit´e de Schwartz : | < x|y > |
2
≤< x|x >< y|y > avec ´egalit´e si les vecteurs sont proportionnels.
Les espaces L
2
(C) et L
2
loc
(C) sont hilbertiens en les munissant des produits scalaires
< x|y > =

x(t)y

(t)dt
< x|y > = lim
T→+∞
1
2T

T
−T
x(t)y

(t)dt
Les espaces sont alors norm´es puis m´etriques en utilisant les normes et les distances induites. L’int´erˆet principal
de cette formalisation est d’introduire des notions g´eom´etriques sur l’espace des signaux. En particulier nous
allons bri`evement pr´esenter le th´eor`eme de la projection orthogonale et introduire la notion de bases.
Th´eor`eme de la projection orthogonale : Soit H un espace de Hilbert et A un sous espace vectoriel
complet de H. Soit x ∈ H/A. Alors y
0
∈ A minimise d(x, y
0
) si et seulement si < x − y
0
|y >= 0 pour tout
´el´ement y de A.
Autrement dit, le vecteur x − y
0
est orthogonal au sous-espace A, c’est-`a-dire y
0
est la projection orthogonale
de x sur le sous-espace A. Ce th´eor`eme est fondamentale en th´eorie de l’estimation dans laquelle on cherche `a
approcher au mieux un signal x par un signal d’une certaine classe de signaux. Dans la vision g´eom´etrique, le
signal x appartient `a un espace vectoriel (typiquement L
2
) et la classe de signaux est un sous-espace vectoriel
de L
2
. Obtenir la meilleure approximation de x dans cette classe revient alors `a projeter orthogonalement x sur
cette classe.
Bases : Une famille d´enombrable e
1
, . . . , e
n
, . . . de vecteurs d’un espace de Hilbert est un syst`eme orthogonal
si < e
i
|e
j
>= 0∀i = j, orthonorm´e si de plus < e
i
|e
i
>= 1, total < x|e
j
>= 0∀j implique x = 0 (la seule
fonction orthogonale `a tous les ´el´ements e est la fonction nulle).
Une famille e
1
, . . . , e
n
, . . . orthogonale constitue une base si tout x peut s’´ecrire x =
¸
+∞
i=1
x
i
e
i
o` u x
i
=< x|e
i
>
/||e
i
||
2
. Attention, cette ´ecriture signifie deux choses : les sommes partielles
¸
N
i=1
converge vers un fonction f(x)
et de plus f(x) = x. On peut montrer le r´esultat suivant : une famille e
1
, . . . , e
n
, . . . est une base orthogonale
si et seulement si elle est totale, si et seulement si l’ensemble de ses combinaisons lin´eaires finies est dense dans
l’espace consid´er´ee, si et seulement si ||x||
2
=
¸
+∞
i=1
|x
i
|
2
||e
i
||
2
(´egalit´e appel´ee ´egalit´e de Parseval).
Un autre point de vue (´equivalent) est celui de l’approxilmation. Dans ce contexte, une famille de vecteurs est
une base de l’espace si tout ´el´ement de l’espace peut ˆetre approch´e arbitrairement finement par une combinaison
lin´eaire de ces vecteurs. Autrement dit pour tout x et tout ε > 0, on peut trouver un entier N et des nombre
x
1
, . . . , x
N
tel que d(x,
¸
N
i=1
x
i
e
i
) ≤ ε.
8
Un exemple : on consid`ere L
2
P
(T) l’ensemble des fonctions p´eriodique de p´eriode T. L’ensemble des fonctions
e
k
(t) = exp 2iπkt/T, k ∈ Z est une base orthogonale de L
2
P
(T). Cet exemple est celui des s´eries de Fourier. Le
coefficient de Fourier est donn´e par c
k
=< x|e
k
>= T
−1

[T]
x(t) exp(−2iπkt/T)dt et on a x(t) =
¸
k∈Z
c
k
e
k
(t)
dans le sens ||x(t) −
¸
N
k=−N
c
k
e
k
(t)|| → 0 quand N → +∞. Cet exemple est important et poss`ede une in-
terpr´etation physique importante pour la suite. Il montre en effet que tout signal p´eriodique se d´ecompose
comme une somme de sinuso¨ıdes de fr´equence multiple de la fr´equence fondamentale 1/T. De plus, l’´egalit´e de
Parseval s’´ecrit dans ce contexte 1/T

[T]
|x(t)|
2
dt =
¸
k∈Z
|c
k
|
2
. Or le terme 1/T

[T]
|x(t)|
2
dt n’est autre que
la puissance du signal x et l’´egalit´e de Parseval montre comment la puissance du signal se r´epartit sur les com-
posantes fr´equentielles ´el´ementaires. De plus cette discussion montre que d´efinir le signal par sa repr´esentation
temporelle x(t) est ´equivalent `a d´efinir le signal par sa d´ecomposition en s´erie de Fourier que nous appellerons
repr´esentation fr´equentielle.
2.4 Repr´esentation fr´equentielle : transformation de Fourier, en fr´equences r´eduites,
en Z
Nous venons de voir comment la notion de fr´equence peut ˆetre introduite naturellement dans l’´etude des signaux
p´eriodiques. G´en´eraliser cette repr´esentation au cas des signaux non p´eriodiques. Cette repr´esentation se
g´en´eralise vers les fonctions d´efinies sur R par
X(ν) =

x(t)e
−2iπνt
dt = TF[x(t)]
o` u la fonction X : R −→C est appel´ee transform´ee de Fourier de x. Cette d´efinition est ´evidemment licite dans
certaines conditions. Pour qu’une fonction ait une transform´ee de Fourier, il suffit qu’elle soit sommable, c’est `a
dire que

|x(t)|dt < +∞ et donc que la fonction appartiennent `a L
1
(C). Notons que la d´efinition s’´etend pour
des fonctions de carr´e sommable, autrement dit les fonctions de L
2
(C). L’extension n’est pas imm´ediate puisque
L
2
n’est inclu dans L
1
. Les subtilit´es math´ematiques pass´ees, nous pouvons rappeler les ´el´ements fondamentaux
concernant la transform´ee de Fourier.
On inverse la transform´ee `a l’aide de
x(t) =

X(ν)e
2iπνt
dν = TF
−1
[X(ν)]
La transform´ee de Fourier du produit de convolution est un produit simple,
z(t) =

x(u)y(t −u)du =⇒Z(ν) = X(ν)Y (ν)
La transformation de Fourier ´echange d´erivation etr multiplication par un monˆ ome :
TF[ ˙ x(t)] = 2iπνX(ν)
TF[−2iπtx(t)] =
˙
X(ν)
La transformation de Fourier ´echange translation et d´ephasage :
TF[x(t −τ)] = e
−2iπντ
X(ν)
TF[x(t)e
2iπν0t
] = X(ν −ν
0
)
LA TF d’une fonction (im)paire est (im)paire. La TF d’une fonction r´eelle et paire est r´eelle et paire.
Enfin, la transformation de Fourier est une transformation unitaire : non seulement elle conseve l’´energie
(th´eor`eme de Parseval) mais elle conserve ´egalement les produits scalaires
< x(t)|y(t) >=

x(t)y(t)

dt =

X(ν)Y (ν)

dν =< X(ν)|Y (ν) >
Propri´et´es ´energ´etiques : Nous avons d´ej` a vu la d´efinition des signaux d’´energie et de puissance finie. Notons
que l’´energie du signal x ∈ L
2
n’est autre que sa norme L
2
alors que la puissance du signal x ∈ L
2
loc
est sa norme
dans L
2
loc
. En utilisant les r´esultats sur les espaces vectoriels de Hilbert on voit que d’une mani`ere g´en´erale le
contenu ´energ´etique (ou de puissance) est donc ||x(t)||
2
= < x|x > o` u < x|y >=

x(t)y

(t)dt pour l’´energie
et < x|y >= lim
T→+∞
1
2T

T
−T
x(t)y

(t)dt pour la puissance. Dans le cas de la puissance, il sera int´eressant de
consid´erer le signal x
T
(t) = x(t).1
[−T,T]
(t) ´egal `a x(t) sur l’intervalle [−T, T] et 0 ailleurs.
9
Le langage des espaces vectoriels nous permet maintenant de comparer deux signaux entre eux `a l’aide du
produit scalaire. Pour comparer deux signaux il s’agit d’examiner les lien qui existe entre deux dates distinctes
des deux signaux. On introduit alors la fonction d’intercorr´elation (qui existe dans l’espace consid´er´e en vertu
de l’in´egalit´e de Schwartz) par
Γ
xy
(τ) = < x(t)|y(t −τ) >
Γ
xy
(τ) =

x(t)y

(t −τ)dt ´energie finie
Γ
xy
(τ) = lim
T→+∞
1
2T

T
−T
x(t)y

(t −τ)dt puissance moyenne finie
dont les cas particuliers sont les fonctions de corr´elation Γ
xx
(τ). Notons que Γ
xx
(−τ) = Γ

xx
(τ) et qu’en
particulier la fonction d’autocorr´elation d’un signal r´eel est paire. De plus la fonction de corr´elation est maximale
en z´ero (in´egalit´e de Schwartz ou sens physique).
Examinons les grandeurs similaires d´efinies sur les repr´esentations fr´equentielles. Soient X(ν) la TF d’un signal
d’´energie finie et X
T
(ν) la TF du signal tronqu´e x
T
(t) lorsque x est de puissance moyenne finie. On d´efinit
alors la densit´e spectrale d’´energie ou de puissance d’interaction par
γ
xy
(ν) = X(ν)Y

(ν)
= lim
T→+∞
1
2T
X
T
(ν)Y

(ν)
dont le cas particulier est la densit´e spectrale d’´energie ou de puissance γ
x
x(ν) = |X(ν)|
2
ou lim
T→+∞
1
2T
|X
T
(ν)|
2
. Ces fonctions indiquent la r´epartition de l’´energie ou de la puissance le long des fr´equences. L’´energie totale
est donc la somme sur toutes les fr´equence de la densit´e correspondante. Mais il existe un r´esultat plus com-
plet encore mettant en lien fonction d’intercorr´elation et densit´e spectrale d’interaction, c’est le th´eor`eme de
Wiener-Khintchine qui stipule que ces paires de fonction sont transform´ee de Fourier l’une de l’autre, γ
xy
(
nu) = TF(Γ
xy
(τ)). Montrons le th´eor`eme de Wiener-Khintchine dans le cas de signaux de puissance moyenne
finie. On doit effectuer la transform´ee de Fourier de l’intercorr´elation:
TF[Γ
xy
(τ)] =

τ

lim
T→+∞
1
2T

T
−T
x(t)y

(t −τ)dt
¸
e
−2iπντ

=

τ

lim
T→+∞
1
2T

+∞
−∞
x
T
(t)y

T
(t −τ)dt
¸
e
−2iπντ

= lim
T→+∞
1
2T

+∞
−∞
x
T
(t)

τ
y

T
(t −τ)e
−2iπντ

¸
dt
= lim
T→+∞
1
2T

+∞
−∞
x
T
(t)

Y

(ν)e
−2iπνt
¸
dt
= lim
T→+∞
1
2T
X
T
(ν)Y

(ν)
Notons que l’´echange des limites et int´egrales requiert des conditions que l’on suppose v´erifi´ees ici.
Principe d’incertitude d’Heisenberg-Gabor : Un autre lien existe entre les propri´et´es ´energ´etiques
d´evelopp´ees en temps ou en fr´equence. Conid´erons en effet une mesure de la dispersion de l’´energie en temps,
et une en fr´equence par
∆t
2
=
1
E
x

t
2
|x(t)|
2
dt
∆ν
2
=
1
E
x

ν
2
|x(ν)|
2
dt
Ces grandeurs repr´esente la dispersion de l’´energie autour de l’axe t ou ν = 0. Pour comprendre cela on peut
voir |x(t)|
2
/E
x
comme une densit´e de probabilit´e (centr´ee) et ∆t
2
repr´esente alors la variance. On a alors le
r´esultat suivant appel´e principe d’incertitude d’Heisenberg-Gabor:
∆t∆ν ≥
1

avec ´egalit´e si et seulement si x(t) est de forme gaussienne. Cette relation fondamentale stipule que si l’´energie
est tr`es concentr´ee dans un domaine (t ou ν) elle est alors forc´ement tr`es dispers´ee dans l’autre. Le comble de
cette assertion est le dirac dont la transform´ee de Fourier est la constante.
10
Pour d´emontrer l’in´egalit´e, on utilise l’in´egalit´e de Shwartz en remarquant que ∆t
2
et ∆ν
2
sont les normes de
deux signaux. En effet ∆t
2
=< tx(t)|tx(t) > /E
x
et ∆ν
2
=< νX(ν)|νX(ν) > /E
x
. En utilisant le fait que
TF[ ˙ x(t)] = 2iπνX(ν) et que la TF conserve les produit scalaires on a ∆ν
2
=< ˙ x(t)/(2iπ)| ˙ x(t)/(2iπ) > /E
x
.
Maintenant en utilisant l’in´egalit´e de Schwartz on a
∆t
2
∆ν
2
=
1

2
E
2
x
< tx(t)|tx(t) >< ˙ x(t)| ˙ x(t) >

1

2
E
2
x

< tx(t)| ˙ x(t) >

2
avec ´egalit´e si les signaux sont proportionnels, c’est-` a-dire si ˙ x(t) = ktx(t), une ´equation diff´erentielle dont la
solution est une gaussienne. Revenons au produit scalaire < tx(t)| ˙ x(t) >. Il s’´ecrit
< tx(t)| ˙ x(t) > =

tx(t) ˙ x(t)

dt
=

t|x(t)|
2

+∞
−∞

(x + t ˙ x(t))x(t)

dt
o` u nous avons effectu´e une int´egration par partie. Le premier terme est ´egal `a z´ero puisque nous supposons les
signaux d’´energie finie et par suite,
< tx(t)| ˙ x(t) > = −E
x
− < tx(t)| ˙ x(t) >

ou Re(< tx(t)| ˙ x(t) >) = −E
x
/2. Mais le carr´e de la partie r´eelle d’un nombre complexe est toujours inf´erieur
ou ´egal au module carr´e de ce nombre et nous avons donc finalement
∆t
2
∆ν
2

1

2
E
2
x

< tx(t)| ˙ x(t) >

2

1

2
E
2
x
Re

< tx(t)| ˙ x(t) >

2
=
1

2
E
2
x
E
2
x
4
Signaux `a temps discret, transform´ee en Z :
Pour les besoins des traitements num´eriques, la th´eorie du signal s’est tourn´ee vers l’´etude des signaux `a temps
discrets. Tout comme `a temps continu, les signaux d’´energie finie et de puissance moyenne finie sont consid´er´es,
et l’on peut d´efinir des fonctions de corr´elations selon
Γ
xy
(k) =
¸
n∈Z
x
n
y

n−k
pour l’´energie finie
Γ
xy
(k) = lim
K→+∞
1
2K + 1
K
¸
n=−K
x
n
y

n−k
pour la puissance moyenne finie
et l’on peut avoir les mˆemes discussions qu’`a temps continu. Par contre pour faire l’analyse harmonique, il faut
introduire les outils adapt´es au traitement des signaux `a temps discret : il s’agit de la transform´ee en Z et de
son cas particulier la transform´ee de Fourier en fr´equences r´eduites.
Transform´ee en Z de s´equences discr`etes
Soit x
n
, n ∈ Z une s´equence discr`ete. Sa transform´ee en Z est d´efinie par
X(Z) =
¸
n∈Z
x
n
z
−n
o` u z est une variable complexe. Pour que la transform´ee existe, il faut que la s´erie soit convergente, ce qui est
en g´en´eral assur´e dans une couronne de convergence. La transform´ee s’inverse en int´egrant le long d’un chemin
entourant l’origine dans la couronne de convergence selon
x
n
=
1
2iπ

X(z)z
n
dz
z
La transform´ee en Z d’un signal retard´e est TZ(x
n−k
) = z
−k
X(z). La transform´ee en Z d’une convolution
discr`ete est le produit des transform´ees en Z.
11
Si le cercle unit´e est dans le rayon de convergence, on peut alors poser z = exp 2iπλ et l’on d´efinit alors la
transform´ee de Fourier en fr´equence r´eduite
X(λ) =
¸
n∈Z
x
n
e
−2iπnλ
x
n
=

1/2
−1/2
X(λ)e
2iπnλ

Densit´es spectrales en Z On peut d´efinir les densit´es spectrales d’´energie et de puissance d’interaction dans
le cas discret en utilisant la transform´ee en Z. On va pour cela utiliser le th´eor`eme de WK appliqu´e `a la TZ.
On d´efinit donc la DSEI des signaux x
n
et y
n
comme la TZ de leur fonction d’intercorr´elation, soit
γ
xy
(z) =
¸
k
Γ
xy
(k)z
−k
=
¸
n
¸
k
x
n
y

n−k
z
−k
=
¸
n
x
n
¸
l
y

l
z
l−n
=
¸
n
x
n
z
−n

¸
l
y
l
z
l∗


= X(z)Y

(
1
z

)
La densit´e spectrale d’´energie s’en d´eduit. Elle est invariante par la trasformation z → 1/z

qui montre que si
la DSP a un pˆ ole (resp. un z´ero) d’angle θ et de module r est pr´esent, alors n´ecessairement la DSP admet le
pˆ ole (resp. le z´ero) de mˆeme angle et de module 1/r.
Du monde continu vers le monde discret : ´echantillonnage
L’´echantillonnage consiste `a pr´elever `a des instants discrets la valeur d’un signal. L’´echantillonnage pourra ˆetre
p´eriodique, irr´egulier et mˆeme al´eatoire. Nous nous concentrons ici sur l’´echantillonnage p´eriodique. Soit x(t)
un signal. Le signal ´echantillonn´e `a la cadence T
e
s’´ecrit
x
e
(t) = x(t).
¸
n
δ(t −nT
e
)
o` u δ(t) est l’impulsion de Dirac. Rappelons que cette impulsion est une distribution qui satisfait f(t).δ(t −t
0
) =
f(t
0
)δ(t − t
0
) et f(t) ⋆ δ(t − t
0
) = f(t − t
0
) o` u ⋆ est le produit de convolution. Le signal ´echantillonn´e s’´ecrit
alors
x
e
(t) =
¸
n
x(nTe)δ(t −nT
e
)
et l’on notera x
n
la suite x(nT
e
). Il est intuitif de consid´erer que le signal x(t) sera d’autant mieux repr´esent´e
par la suite x
n
que la p´eriode d’´echantillonnage sera petite. Toutefois il existe des signaux pour lesquels une
cadence petite mais non nulle permet de conserver toute l’information sur x(t). Pour comprendre tout cela,
examinons l’influence de l’´echantillonnage sur la transform´ee de Fourier. La transform´ee de Fourier d’un peigne
de Dirac
¸
n
δ(t −nT
e
) est un autre peigne de Dirac (1/T
e
)
¸
n
δ(ν −n/T
e
). On a donc
X
e
(ν) = X(ν) ⋆
1
T
e
δ(ν −
n
T
e
)
=
¸
n
X(ν −
n
T
e
)
Ainsi, la transform´ee de Fourier du signal ´echantillonn´e est donn´ee par la transform´ee de Fourier p´eriodis´ee `a
la cadence 1/T
e
de x(t). Ceci est illustr´e sur les quatres premi`eres planche de la figure (7)
On s’aper¸ coit en observant la transform´ee de Fourier de x
e
que s’il n’y a pas de recouvrement entre les p´eriodes
, les motifs de base de la TF de x(t) sont pr´eserv´es. Dans ce cas, si l’on multiplie cette TF par une porte en
fr´equence on peut retrouver la TF de x(t) et donc x(t) par TF inverse. Comme la TF de x
e
est obtenue en
p´eriodisant la TF de x, il n’y aura pas de recouvrement si X(ν) = 0 pour ν > B ≤ ν
e
/2 = 1/2T
e
. Dans ce cas
12
on retrouve x(t) `a partir de x
e
(t) par
x(t) = TF
−1

X
e
(ν).T
e
1
[
−1/(2T
e
), 1/(2T
e
)](ν)

= x
e
(t) ⋆ sinc
πt
T
e
=
¸
n
x(nT
e
)sinc
π(t −nT
e
)
T
e
formule appel´ee formule d’interpolation de Shannon.
0 2 4 6 8 10 12 14 16
−1
−0.5
0
0.5
1
signal x(t)
−500 −400 −300 −200 −100 0 100 200 300 400 500
0
200
400
600
module de X(ν)
0 2 4 6 8 10 12 14 16
−1
0
1
signal x
e
(t) et un zoom, T
e
=0.01 s
−500 −400 −300 −200 −100 0 100 200 300 400 500
0
20
40
60
module de X
e
(ν) et le gabarit du filtre de reconstruction
0 2 4 6 8 10 12 14 16
−1
0
1
signal x
r
(t) et un zoom sur l erreur
0 0.2 0.4 0.6 0.8 1
−0.05
0
0.05
Figure 7: Illustration de l’´echantillonnage
Si la condition de Shannon ν
e
≥ 2ν
max
, la p´eriodisation provoque des recouvrements entre les motifs et on ne
peut plus r´ecup´erer le signal initial. Ceci peut conduire `a des reconstructions erron´ees induisant des erreurs
´enormes, comme illustr´e figure (8). En pratique, les bandes des signaux n’´etant pas limit´ees, on applique
pr´ealablement `a tout ´echantillonnage un fitre appel´e anti-repliement qui limite la bande du signal et autorise
un ´echantillonnage (toujours au-del` a de deux fois la fr´equence de coupure du filtre.)
2.5 Quelques notions sur les filtres et la transformation des signaux
Les filtres sont des op´erateurs travaillant sur des espaces de signaux. Ils transforme un signal en un autre par
y(t) = (Fx)(t). Un filtre est lin´eaire si
(F[x + y])(t) = (Fx)(t) + (Fy)(t)
(F[λx])(t) = λ(Fx)(t)
Les transform´ees lin´eaires les plus g´en´erales peuvent s’´ecrire sous-forme int´egrale selon
y(t) = (Fx)(t) =

K(t, u)x(u)du
o` u K est appel´e noyau de la transformation. Un filtre lin´eaire est dit invariant s’il commute avec l’op´erateur
de translation temporel : autrement dit, la sortie du filtre aujourd’hui sera la mˆeme que demain. Soit T
τ
x le
13
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
−1
−0.5
0
0.5
1
signal x(t)
−500 −400 −300 −200 −100 0 100 200 300 400 500
0
200
400
600
module de X(ν)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
−1
0
1
signal x
e
(t), T
e
=0.01 s
−500 −400 −300 −200 −100 0 100 200 300 400 500
0
20
40
60
module de X
e
(ν) et le gabarit du filtre de reconstruction
0.1 0.12 0.14 0.16 0.18 0.2 0.22 0.24 0.26 0.28
−1
0
1
signal x
r
(t) en pointille, x(t) en continu, x
e
en *
Figure 8: Illustration de l’´echantillonnage
signal translat´e de τ. Le filtre est invariant si
T
τ
(Fx)(t) = (FT
τ
x)(t)
Cette ´egalit´e contraint le noyau `a v´erifier K(t − τ, u) = K(t, u + τ) soit encore K(t − τ, u − τ) = K(t, u) et ce
pour tout retard τ. EN particulier cela estv´erifi´e pour τ = −u et on obtient donc que K(t, u) = K(t − u, 0).
Donc le noyau n’est pas bi- mais monodimendsionnel eton obtient pour F un produit de convolution
y(t) =

h(t −u)x(u)du
o` u l’on a not´e h(v) = K(v, 0). On montre facilement que le produit de convolution se transforme en un produit
simple et la sortie du filtre lin´eaire invariant F s’´ecrit dans le domaine des fr´equences
Y (ν) = H(ν)X(ν)
La fonction h est appel´ee r´eponse impulsionnelle et sa transform´ee de Fourier gain complexe du filtre.
14
3 Signaux al´eatoires
De nombreux signaux issus de la physique, de la biologie, de l’´economie et d’autres disciplines pr´esentent un
caract`ere tr`es erratique qui les rend difficilement mod´elisables par des ´equations math´ematiques usuelles. Pire,
beaucoup de ph´enom`enes sous-jacent aux signaux semblent d´ependre des lois du hasard.
Nous devons alors ´etendre la th´eorie des signaux d´eterministes vers la th´eorie des signaux al´eatoires, th´eorie
dont le but est la d´efinition de mod`eles et le d´eveloppement d’analyse ad´equats pour la description des signaux
erratiques et non reproductibles.
3.1 D´efinition
Une fonction al´eatoire est une variable al´eatoire index´ee par le temps. Nous ne referons pas la discussion temps
continu-discret, mais les mˆemes remarques peuvent ˆetre faites ici.
Soit donc un espace probabilis´e (Ω, B, P) o` u Ω est l’espace des ´epreuves, B une tribu d´efinie sur Ω et P une
mesure de probabilit´e. Alors une fonction al´eatoire est donn´ee par
X : (Ω, B, P) ×R −→ R
(ω, t) −→ X(ω, t)
Ainsi, `a t fix´e, X(t) est une variable usuelle. Pour d´ecrire la structure probabiliste du signal, il faut r´ealiser des
analyses multi-point ou multi-date, c’est-`a-dire ´etudier les propri´et´es statistiques des k-uplets (X(t
1
), . . . , X(t
k
)).
Le signal al´eatoire est compl`etement d´ecrit par la connaissance des mesures de probabilit´e conjointes de ces k-
uplets, pour tout k ∈ N.
Ainsi, on suppose connues les fonctions de r´epartitions
Pr {X(t
1
) ≤ x
1
, . . . , X(t
k
) ≤ x
k
} , ∀k ∈ N
et si elles sont diff´erentiables, leurs densit´es de probabilit´e
p
X(t1),...,X(t
k
)
(x
1
, . . . , x
k
; t
1
, . . . , t
k
), ∀k ∈ N
Ces fonctions permettent l’´evaluation de grandeurs moyennes
E[f
1
(X(t
1
)) ×. . . ×f
k
(X(t
k
))] =

R
k
f
1
(x
1
) ×. . . ×f
k
(x
k
)p
X(t1),...,X(t
k
)
(x
1
, . . . , x
k
; t
1
, . . . , t
k
)dx
1
. . . dx
k
Par exemple, la valeur moyenne du signal al´eatoire X est par d´efinition
E[X(t)] =

R
xp
X(t)
(x; t)dx
et le moment d’ordre 2 par
E[|X(t)|
2
] =

R
|x|
2
p
X(t)
(x; t)dx
La variance du signal est obtenue en travaillant sur le signal centr´e et l’on a
Var [X(t)] = E

(X(t) −E[X(t)])
2

=

R
(x −E(X(t))
2
p
X(t)
(x; t)dx
= E[|X(t)|
2
] −|E[X(t)]|
2
La racine carr´ee de la variance d´efinit l’´ecart type qui repr´esente la taille caract´eristique des fluctuations du
signal autour de sa moyenne.
La valeur moyenne est donc a priori une grandeur d´ependant du temps t. La fonction de corr´elation est donn´ee
par
E[X(t
1
)X

(t
2
)] =

R
2
x
1
x

2
p
X(t1),X(t2)
(x
1
, x
2
; t
1
, t
2
)dx
1
dx
2
et est une fonction `a deux dimensions. La fonction de covariance est obtenue en travaillant sur le signal centr´e
X(t) −E[X(t)].
On se limite en g´en´eral `a l’´etude des deux premiers ordres k = 1 et k = 2 qui permettent `a eux seuls de d´ej` a
bien caract´eriser le signal. A cet ´egard, il est important de rappeler que les ´ecritures pr´ec´edentes pr´esupposent
15
´evidemment que les int´egrales (ou les sommes dans le cas discret) convergent. Nous introduisons alors la classe
fondamentale des signaux al´eatoires du second ordre d´efinis comme les signaux de puissance finie, c’est-`a-dire
l’ensemble
H
2
=
¸
X(t)/E

|X(t)|
2

< +∞, ∀t
¸
On montre facilement que cet espace est un espace vectoriel sur le corps de r´ef´erence (R ou C), que l’on
rend hilbertien en choisissant le produit scalaire < X|Y >= E[X(t)Y

(t)]. Dans ce formalime, la fonction de
corr´elation peut ˆetre vue comme le produit scalaire < X(t
1
)|X(t
2
) > qui existe puisqu’en vertu de l’in´egalit´e
de Schwartz on a | < X(t
1
)|X(t
2
) > |
2
≤< X(t
1
)|X(t
1
) >< X(t
2
)|X(t
2
) >= E

|X(t
1
)|
2

E

|X(t
2
)|
2

qui est
une grandeur finie pour les signaux du second ordre.
Les covariances forment un ensemble stable par addition, multiplication et passage `a la limite.
Continuit´e et d´erivabilit´e. On dit que la fonction al´eatoire est continue en moyenne quadratique en t si
E[|X(t + h) − X(t)|
2
] tend vers 0 quand l’incr´ement h tend vers 0. Si cette propri´et´e est v´erifi´ee pour tout
t, on dit que la fonction est continue en m.q. En d´eveloppant l’esp´erance on obtient E[|X(t + h) − X(t)|
2
] =
Γ
x
(t + h, t + h) − Γ
x
(t, t + h) − Γ
x
(t + h, t) + Γ
x
(t, t) et l’on voit que continuit´e en moyenne quadratique du
processus est ´equivalent `a continuit´e de Γ
x
(t, t).
On dit que la fonction al´eatoire est d´erivable en moyenne quadratique au point t si le taux d’accroissement au
point t poss`ede une limite finie en moyenne quadratique. On montre qu’une condition n´ecessaire et suffisante
de d´erivabilit´e en moyenne quadratique est l’existence de la d´eriv´ee seconde de Γ
x
sur sa diagonale.
3.2 Stationnarit´e.
Un signal est stationnaire si ses propri´et´es statistiques sont invariantes par toute translation de l’origine des
temps.
Examinons les cons´equences de cette hypoth`ese sur les fonctions d´efinissant la fonction al´eatoire. Si X(t) est
stationnaire alors
∀τ ∈ R, p
X(t)
(x; t) = p
X(t+τ)
(x; t + τ)
et donc en particulier pour τ = −t. Donc on obtient, sous la condition de stationnarit´e
p
X(t)
(x; t) = p
X(0)
(x; 0)
montrant que les statistiques `a une date sont ind´ependantes du temps. En particulier, cela implique que la
moyenne est constante au cours du temps, ainsi que la variance.
En ce qui concerne l’analyse `a deux dates, la stationnarit´e implique
∀τ ∈ R, p
X(t1),X(t2)
(x
1
, x
2
; t
1
, t
2
) = p
X(t1+τ),X(t2+τ)
(x
1
, x
2
; t
1
+ τ, t
2
+ τ)
et donc en particulier pour τ = −t
2
, impliquant
p
X(t1),X(t2)
(x
1
, x
2
; t
1
, t
2
) = p
X(t1−t2),X(0)
(x
1
, x
2
; t
1
−t
2
, 0)
Par suite, la stationnarit´e implique que les propri´et´es statistiques `a deux dates ne d´ependent que de l’´ecart
entre ces deux dates. Ainsi la fonction de corr´elation devient une fonction d’une variable τ que l’on convient
d’appeler retard. On ´ecrit alors
Γ
x
(τ) = E[x(t)x

(t −τ)]
exercice : Etude de la stationnarit´e au second ordre de x(t) = Acos(2πν
0
t + ϕ) o` u 1- ϕ est une v.a. uni-
form´ement r´epartie sur [02π] 2- A est une v.a. uniform´ement r´epartie sur [0, 1]. 3- A et ϕ sont des v.a.
ind´ependantes uniformes.
3.3 Analyse harmonique
R´ealiser l’analyse harmonique des signaux al´eatoires n’est pas une chose ais´ee. Il faut en effet r´ealiser la
transformation de Fourier (en supposant que l’on puisse) r´ealisation par r´ealisation. La transform´ee de Fourier
serait alors ´egalement une fonction al´eatoire dont il faudra ´etudier les statistiques.
La premi`ere difficult´e r´eside dans le fait qu’un signal al´eatoire n’a presque-sˆ urement pas de transform´ee de
Fourier. En effet, une signal al´eatoire n’est presque sˆ urement pas sommable ni de carr´e sommable. La d´efinition
16
de la transform´ee de Fourier des signaux al´eatoires doit donc s’effectuer dans le sens des distributions al´eatoires
ou en utilisant des artifices de construction comme le signal restreint `a un intervalle.
On consid`ere dont x
T
(ω, t) le signal al´eatoire ´egal `a x(ω, t)1
[−T,T]
(t). Chaque r´ealisation est alors de carr´e
sommable (` a certaines conditions pas trop restrictives sur les lois de probabilit´e g´erant le processus) et on peut
d´efinir
X
T
(ω, ν) =

x
T
(ω, t)e
−2iπνt
dt
Supposons maintenant le signal x(t) stationnaire, et examinons les propri´et´es statistiques de X
T
au premier et
au deuxi`eme ordre. On a
E[X
T
(ω, ν)] =

E[x
T
(ω, t)]e
−2iπνt
dt
= m

T
−T
e
−2iπνt
dt
de sorte que lim
T→+∞
E[X
T
(ω, ν)] = mδ(ν). Calculons maintenant le moment d’ordre 2. On a
E[X
T
(ν)X

T
(ν)] =

E[x
T
(ω, t
1
)x
T
(ω, t
2
)

]e
−2iπνt1
e
2iπνt2
dt
1
dt
2
=

1
[−T,T]
(t
1
)1
[−T,T]
(t
2

xx
(t
1
− t
2
)e
−2iπν(t1−t2)
dt
1
dt
2
En effectuant le changement de variables u = t
1
−t
2
, v = t
1
on obtient
E[|X
T
(ν)|
2
] =

1
[−T,T]
(v)1
[−T,T]
(v −u)Γ
xx
(u)e
−2iπνu
dudv
=

Γ
11
(u)Γ
xx
(u)e
−2iπνu
du
o` u est la fonction de corr´elation de l’indicatrice de [−T, T]. Cette fonction se calcule ais´ement et vaut 2T(1 −
|u|/2T)1
[−2T,2T]
(u). Soit γ
xx
(ν) la transform´ee de Fourier de Γ
xx
(τ). On obtient alors
1
2T
E[|X
T
(ν)|
2
] = γ
xx
(ν) ⋆ TF[1 −
|τ|
2T
1
[−2T,2T]
(u)]
La fonction triangle (1 −
|τ|
2T
)1
[−2T,2T]
(u) tend `a s’´elargir de plus en plus au fur et `a mesure que T grandit. On
peut montrer rigoureusement que la limite de sa TF quant T tend vers l’infini est un dirac en z´ero. On a alors
le r´esultat suivant, th´eor`eme de Wiener Khintchine,
lim
T→+∞
1
2T
E[|X
T
(ν)|
2
] = γ
xx
(ν) = TF[Γ
xx
(τ)]
Cette d´efinition de la densit´e spectrale de puissance γ
xx
s’´etend de la mˆeme mani`ere aux densit´es spectrales de
puissance d’interaction
lim
T→+∞
1
2T
E[X
T
(ν)Y

T
(ν)] = γ
xy
(ν) = TF[Γ
xy
(τ)]
Transformation des grandeurs statistiques par filtrage lin´eaire, formule des interf´erences. Il est
tr`es utile d’examiner la transformation subie par filtrage lin´eaire invariant des grandeurs statistiques d´efinissant
le processus. Pour cela on consid`ere une approche tr`es g´en´erale qui conduit `a la formule des interf´erences. Soient
h
1
(t), h
2
(t) deux r´eponses impulsionnelles de deux filtres lin´eaires invariants. Leurs gains complexes sont not´es
H
i
(ν). Soient x
1
(t) et x
2
(t) deux signaux al´eatoires qui attaquent h
1
et h
2
respectivement, donnant naissance
aux sorties y
1
et y
2
respectivement. On a alors le r´esultat suivant, appel´e formule des interf´erences
γ
y1y2
(ν) = H
1
(ν)H

2
(ν)γ
x1x2
(ν)
Ce r´esultat se montre par un calcul direct de l’intercorr´elation entre les sorties des deux filtres puis en prenant
la transform´ee de Fourier. En particulier, la formule des interf´erences montre que la DSP de la sortie d’un filtre
de gain complexe H est ´egale au module carr´e du gain multipli´e par la DSP de l’entr´ee.
17
3.4 Brownien et bruit blanc
Nous allons illustrer les paragraphes pr´ec´edents en introduisant et en ´etudiant le mouvement Brownien et son
processus incr´ement. Le mouvement Brownien est une id´ealisation math´ematique des ph´enom`enes de diffusion
en physique. Il s’agit d’un processus `a temps continu que l’on peut construire comme processus limite d’un
processus `a temps discret lorsque le pas de temps tend vers 0. D´efinissons ce processus.
B(0) = 0 p.s.
B(ndt) = B((n −1)dt) + ε
n
o` u les {ε
n
}
n
sont des variables al´eatoires i.i.d. (ind´ependantes et identiquement distribu´ees) prenant la valeur
±η avec probabilit´e 1/2. dt est le pas de temps qui sera amen´e `a tendre vers 0. Le processus peut s’´ecrire
´egalement
B(ndt) =
n
¸
k=1
ε
n
On montre alors facilement qu’il est centr´e est que sa variance est donn´ee par nη
2
. Soit t une date quelconque
et n la partie enti`ere de t/dt. On a alors B(t) = B(ndt). Calculons la fonction caract´eristique de B(t). Il vient
ϕ
B
(u) = E

e
iuB(t)

= E

e
iu
P
n
k=1
εn

= E
¸
n
¸
k=1
e
iuεn
¸
=
n
¸
k=1
E

e
iuεn

la derni`ere ´egalit´e en vertu de l’ind´ependance des ε. Comme cette variable prend les valeurs ±η ´equiprobablement
on a E

e
iuεn

= cos uη, et par suite
ϕ
B
(u) = (cos uη)
n
log ϕ
B
(u) = nlog(cos uη)
Comme nous allons regarder le processus limite, la taille des sauts η ne peut pas ˆetre trop grande et doit mˆeme
tendre vers 0 pour assurer la continuit´e. On d´eveloppe alors le cos autour de 0, et en utilisant log(1 −x) ≈ −x
on a
log ϕ
B
(u) ≈ nlog(1 −
u
2
η
2
2
)
≈ −n
u
2
η
2
2
A t fix´e, dt →0 est ´equivalent `a n →+∞. Il semble alors que le d´eveloppement pr´ec´edent diverge. Il faut lever
cette difficult´e en remarquant que η →0 pour assurer la continuit´e. Le logarithme de la fonction caract´eristique
de B(t) poss`ede donc une limite finie si nη
2
est fini. Comme n ≈ t/dt on voit que η doit tendre vers z´ero comme

dt. On choisit alors η = σ

dt pour obtenir
lim
dt→0
ϕ
B
(u) = e

σ
2
tu
2
2
qui n’est rien d’autre que la fonction caract´eristique d’une variable al´eatoire gaussienne centr´ee de variance σ
2
t.
La fonction de corr´elation de B(t) est ais´ee `a obtenir. Calculons E [B(t
1
)B(t
2
)]. On a
E [B(t
1
)B(t
2
)] =
n1
¸
k1
n2
¸
k1
E [ε
k1
ε
k2
]
Supposons t
1
> t
2
. Alors dans la double somme pr´ec´edente seul le terme E[ε
2
n2
] = n
2
η
2
= σ
2
t
2
reste puisque
tous les autres sont nuls (ind´ependance et variables centr´ees). Si t
1
< t
2
on obtient E[ε
2
n1
] = σ
2
t
1
et dont
Γ
BB
(t
1
, t
2
) = σ
2
min(t
1
, t
2
).
18
0 100 200 300 400 500 600 700 800 900 1000
−60
−40
−20
0
20
40
60
Figure 9: 100 r´ealisations du mouvement brownien, superpos´ees `a ±

t
L’ensemble de ces r´esultats montre que le mouvement Brownien est un processus gaussien non stationnaire. La
figure (9) l’illustre. 100 r´ealisations sont trac´ees et la loi

t est superpos´ee. Le brownien est continu mais non
d´erivable. En effet limE[(B(t +ε) −B(t))
2
] = 0 mais limE[(B(t +ε) −B(t))
2

2
] = ∞. Toutefois le processus
incr´ement peut ˆetre d´efini par X(t) = ε
−1/2
(B(t + ε) − B(t)). Sa variance est donn´ee par σ
2
et sa fonction
de corr´elation E[X(t + τ)X(t)] est nulle pour tout τ. Ce r´esultat n’est pas ´etonnant puisque par construction
les incr´ements du Brownien sont ind´ependants (ce sont les ε
i
du processus discret. Le processus incr´ement est
appel´e bruit blanc et sa fonction de corr´elation est donn´ee par
Γ
xx
(τ) = E[X(t)X(t −τ)] = σ
2
δ(τ)
Sa densit´e spectrale de puissance est alors donn´ee par
γ
xx
(ν) = σ
2
qui montre que ce processus n’est pas physique, puisque sa puissance est infinie. Ceci vient du fait que la
d´eriv´ee du Brownien n’existe pas. Le mot blanc vient de l’analogie avec la lumi`ere blanche qui contient `a ´egale
puissance toutes les fr´equences du visible.
3.5 Notion d’ergodisme, mesure des corr´elation et DSP
La th´eorie des signaux al´eatoires est construite pour mod´eliser des signaux naturels erratiques et g´er´es a priori
par le hasard. Toutefois, dans les applications physiques o` u des signaux sont effectivement mesur´es, nous n’avons
acc`es qu’`a une seule des r´ealisations du signal al´eatoire. S’il s’agit alors de qualifier le signal al´eatoire `a partir
de cette r´ealisation, le probl`eme semble impossible, et la th´eorie des signaux al´eatoires inutile. Cette th´eorie
n’aura d’int´erˆet pratique que si elle permet de d´ecrire les param`etres pertinents d’une r´ealisation particuli`ere.
L’ergodisme est la th´eorie, tr`es difficile, qui justifie cela.
Lorsque l’on mesure une r´ealisation d’un signal al´eatoire, les seules grandeurs moyennes que l’on peut calculer
sont des moyennes temporelles du type
lim
T→+∞
1
2T

T
−T
f(x(t))dt
o` u f est une fonction du signal x(t). On dit alors que le signal al´eatoire x est ergodique si les moyennes
temporelles sont identiques presque-sˆ urement, c’est-`a-dire l’ensemble des ω ∈ Ω des r´ealisations pour lesquelles
ce n’est pas vrai est de mesure nulle.
En particulier, si un signal est ergodique on a alors
lim
T→+∞
1
2T

T
−T
x(t)dt = a
lim
T→+∞
1
2T

T
−T
x(t)x

(t −τ)dt = g(τ)
19
Attention, `a ce point il ne faut confondre les moyennes temporelles et les moyennes d’ensemble.
Les deux points de vue se rejoignent toutefois si on analyse un signal ergodique et stationnaire. En effet on
montre alors que
lim
T→+∞
1
2T

T
−T
x(t)dt = E[x(t)] = m
lim
T→+∞
1
2T

T
−T
x(t)x

(t −τ)dt = E[x(t)x

(t −τ)] = Γ
xx
(τ)
En effet, pour la corr´elation, on a
E
¸
lim
T→+∞
1
2T

T
−T
x(t)x

(t −τ)dt
¸
= lim
T→+∞
1
2T

T
−T
Γ
xx
(τ)dt
= Γ
xx
(τ).
L’ergodisme permet en outre de mesurer les grandeurs statistiques d’un signal al´eatoire stationnaire `a partir
d’une seule de ses r´ealisations. En effet, puisque sous les conditions d’ergodisme et de stationnarit´e il y a
´equivalence entre moyenne temporelle est fr´equentielle, il est sens´e de mesurer la fonction de corr´elation du
signal par
¯
Γ
xx
(τ) =
1
2T

T
−T
x(t)x

(t −τ)dt
qui `a la limite T → ∞ donne la vraie fonction de corr´elation. Le probl`eme pratique li´ee au temps fini entre
alors en ligne de compte, et on dira que
¯
Γ
xx
(τ) est un estimateur de la fonction de corr´elation, estimateur dont
il faut ´etudier les caract´eristiques statistiques. En effet, en tant que moyenne sur une dur´ee finie, cette grandeur
est al´eatoire. On la qualifie alors en ´etudiant sa moyenne et sa variance. L’estimateur sera dit sans biais si
sa valeur moyenne est pr´ecis´ement ´egale `a la grandeur qu’il estime. La variance mesure alors la dispersion
de l’estimateur autour de sa moyenne. Une petite variance est en g´en´erale souhaitable. Examinons biais et
variance pour l’estimateur de la moyenne
´ m =
1
2T

T
−T
x(t)dt
On montre sans peine que E[ ´ m] = m et que cet estimateur est sans biais. On montre ´egalement que
E[ ´ m
2
] =
1
2T

2T
−2T
(1 −
|u|
2T

xx
(u)du
Dans le cas o` u la moyenne est nulle cette expression est ´egalement celle de la variance. Nous nous pla¸ cons dans
ce cas. Si le signal est un bruit blanc, Γ
xx
(u) = σ
2
δ(u) et on obtient
E[ ´ m
2
] =
σ
2
2T
Si le processus est `a corr´elation exponentielle Γ
xx
(u) = σ
2
exp(−|u|/τ) on obtient
E[ ´ m
2
] =
σ
2
τ
T

1 −
τ
2T

1 −e
−2T/τ

Cette variance est trac´ee comme une fonction de τ/2T sur la figure (10). On s’aper¸ coit, conform´ement aux
hypoth`eses d’ergodisme, que la variance tend vers zero quand T tend vers l’infini, τ ´etant fix´e. De plus, le
comportement pour T grand est σ
2
τ/T, r´esultat qui se d´egrade `a mesure que τ grandit. En regard du r´esutat
pour le bruit blanc, cela montre que la corr´elation rend plus difficile les tˆ aches d’estimation. Ceci est logique et
montre que les nouveaux ´echantillons d’un signal corr´el´e apportent moins d’information que ceux d’un signal
d´ecorr´el´e.
Pour terminer ce chapitre metionnons le fait que toutes les id´ees pr´esent´ees ici s’´etendent sans difficult´es au cas
des signaux `a temps discrets. Toutefois, les grandeurs spectrales seront alors d´efinies en utilisant les transform´ees
en Z ou en fr´equences r´eduites. Mais la mod´elisation al´eatoire telle que pr´esent´ee plus haut s’´etend directement
´etant donn´ee sa nature discr`ete.
20
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
τ / 2T
variance de l estimateur
Figure 10: variance de l’estimateur de la moyenne pour du bruit exponentiel en fonction de τ/2T.
4 Processus de markov, m´ethodes MCMC
Les processus de Markov sont des processus ayant une structure temporelle particuli`ere et sont intimement
li´es `a la th´eorie des syst`emes. Ils sont ´egalement `a la source de d´eveloppements r´ecents en traitement du
signal qui utilisent ces processus dans des techniques num´eriques de calcul et d’optimisation appel´ees m´ethodes
Monte-Carlo par chaˆınes de Markov.
Le terme processus de Markov est en g´en´eral pr´ef´er´e pour le temps continu alors que la d´enomination chaˆınes
est plutˆ ot employ´ee pour le temps discret. Nous ne ferons par la distinction ici. De mˆeme on doit distinguer les
processus `a ´etats discrets des processus `a ´etats continus. Nous ne consid´ererons ici que les ´etats continus.
4.1 D´efinitions, propri´et´es
Un processus est de Markov si le pass´e et le futur sont ind´ependants conditionnellement au pr´esent. Soit x
k
un
processus `a temps discret. Soit P
x,k
un ´ev`enement li´e au pass´e de x
k
et F
x,k
un ´ev`enement li´e au futur de x
k
.
Alors le processus est de Markov si
Pr

P
x,k
, F
x,k

x
k

= Pr

P
x,k

x
k

Pr

F
x,k

x
k

De cette d´efinition tr`es g´en´erale on tire la propri´et´e fondamentale
p(x
k
|x
k−1
, x
k−2
, . . .) = p(x
k
|x
k−1
)
En effet,
p(x
k
|x
k−1
, x
k−2
, . . .) =
p(x
k
, x
k−1
, x
k−2
, . . .)
p(x
k−1
, x
k−2
, . . .)
=
p(x
k
, x
k−2
, . . .)

x
k−1
)p(x
k−1
p(x
k−1
, x
k−2
, . . .)
=
p(x
k

x
k−1
)p(x
k−2
, . . .)

x
k−1
)p(x
k−1
p(x
k−1
, x
k−2
, . . .)
=
p(x
k

x
k−1
)p(x
k−1
, x
k−2
, . . .)

)
p(x
k−1
, x
k−2
, . . .)
qui montre le r´esultat. Dans le cas d’´etats discrets, les grandeurs pr´ec´edentes sont des probabilit´es alors qu’il
s’agit de densit´es dans le cas de valeurs continues. Dans le cas discret, p(x
k

x
k−1
) est une matrice appel´ee
matrice de transition, alors que dans le cas continu p(x
k

x
k−1
) est appel´ee densit´e de transition.
La densit´e de transition sert `a la d´efinition d’un op´erateur dit de Markov qui envoie une densit´e de probabilit´e
sur une autre densit´e de probabilit´e. Cet op´erateur s’´ecrit
f
k
(x) =

p(x|y)f
k−1
(y)dy
La densit´e de transition est ´egalement appel´ee noyau de transition. La densit´e de transition est telle que

p(x|y)dx = 1 et traduit le fait que d’o` u que l’on parte `a la date k − 1 on est sˆ ur d’arriver quelque part `a la
date k. Quelques propri´et´es
21
Composition La composition du noyau de transition permet de trouver la probabilit´e de passer d’un ´etat `a la
date k −2 vers un ´etat `a a date k. Il s’agit de l’´equation de Chapman-Kolmogorov qui s’´ecrit
p(x
k

x
k−2
) =

p(x
k
, x
k−1

x
k−2
)dx
k−1
=

p(x
k

x
k−1
, x
k−2
)p(x
k−1

x
k−2
)dx
k−1
=

p(x
k

x
k−1
)p(x
k−1

x
k−2
)dx
k−1
et qui montre comment se composent les densit´es de transitions.
M´elange Le m´elange de noyaux de transition est encore un noyau de transition. Par m´elange, on entend
p(x|y) =
n
¸
i=1
a
i
p
i
(x|y)
o` u les a
i
sont tels que
¸
i
a
i
= 1 et les p
i
sont n noyaux de transition.
R´eversibilit´e Soit f une densit´e. On dit que le noyau est r´eversible par rapport `a f si la probabilit´e de partir
d’un ensemble A pour aller vers un ensemble B est la mˆeme que partir de B pour aller vers A, sachant que x a
pour densit´e f, soit

x
k
∈B

x
k−1
∈A
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
=

x
k
∈A

x
k−1
∈B
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
Densit´e stationnaire ou invariante Une densit´e f est invariante pour le noyau de transition si
f(x
k
) =

p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
Si un noyau de transition est r´eversible par rapport `a f alors f est une densit´e invariante. En effet, puisque
pour tout ensemble A et B on a la condition de r´eversibilit´e

x
k
∈B

x
k−1
∈A
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
=

x
k
∈A

x
k−1
∈B
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
il suffit de choisir B = R pour obtenir

x
k
∈R

x
k−1
∈A
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
=

x
k−1
∈A
f(x
k−1
)dx
k−1
=

x
k
∈A

x
k−1
∈R
p(x
k
|x
k−1
)f(x
k−1
)dx
k−1
dx
k
La premi`ere ligne vient du fait que

R
p(x|y)dx = 1 (la probabilit´e d’arriver quelque part dans l’ensemble
d’arriv´ee est 1) et la deuxi`eme ligne est la r´e´ecriture de la condition de r´eversibilit´e. Puisque l’´egalit´e est vraie
pour tout A on montre que f est bien invariante.
Si des noyaux poss`edent la mˆeme densit´e invariante, alors la composition et le m´elange de ces noyaux ont
´egalement cette densit´e comme densit´e invariante
Homog´en´e¨ıt´e D’une mani`ere g´en´erale, le noyau de transition peut d´ependre explicitement du temps. Si ce
n’est pas le cas, on dit que le processus de Markov est homog`ene.
Extension au cas multidimensionnel La d´efinition des processus markoviens s’´etend naturellement au cas
des signaux multidimensionnels. Un signal de dimension n est un vecteur al´eatoire index´e par le temps, soit
encore un vecteur de signaux al´eatoires. La description statistique se fait de la mˆeme fa¸ con que pour les signaux
monodimensionnels mais cette fois en consid´erant les statistiques crois´ees entre toutes les composantes. Un
signal muldimensionnel est de Markov si pass´e et futur sont ind´ependants conditionnellement au pr´esent. Cette
d´efinition conduit alors de la mˆeme mani`ere que pour le cas monodimensionnel `a
p(x
k
|x
k−1
, x
k−2
, . . .) = p(x
k
|x
k−1
)
o` u une lettre grasse repr´esente un vecteur.
Conservation du caract`ere Markovien par transformation.
Le caract`ere markovien est conserv´e par les bijections. D’une fa¸ con g´en´erale toute autre transformation d´etruit
le caract`ere markovien. De plus un signal multidimensionnel peut ˆetre de markov sans que ses composantes
le soit de mani`ere individuelle, et inversement, deux signaux mondimensionnels markovien ne forment pas
n´ecessairement un signal bidimensionnel markovien.
22
4.2 Un exemple, le mod`ele AR
Consid´erons des mod`eles de signaux suivants. Soit {ε
k
}
k
une suite de variables al´eatoires ind´ependantes et
identiquement distribu´ees, et soit f(x, k) une fonction de deux variables a priori quelconque. On d´efinit le
signal x
k
par l’´equation de r´ecursion
x
k
= f(x
k−1
, k) + ε
k
Ce mod`ele d´efinit un processus de Markov puisque x
k
ne d´epend de son pass´e qu’`a travers l’instant pr´ec´edent.
Ce mod`ele est appel´e mod`ele auto-r´egressif d’ordre 1 (cette terminologie est en g´en´eral donn´ee au cas o` u la
fonction f est lin´eaire en x et le mod`ele ci-dessus peut alors ˆetre appel´e AR(1) non lin´eaire). Ce mod`ele est `a
mettre en parall`ele de la d´efinition discr`ete du mouvement brownien. Il en constitue une sorte de g´en´eralisation.
On peut ais´ement d´eterminer la densit´e de transition du processus. Soit p
ε
(u) la densit´e de probabilit´e des
variables ε. Alors la densit´e de x `a l’instant k conditionn´ee par x `a l’instant k − 1 n’est autre que la densit´e
de ǫ d´ecentr´ee de la quantit´e f(x
k−1
, k) c’est-`a-dire p(x
k
|x
k−1
= y) = p
ε
(x
k
−f(y, k)). La densit´e de l’´etat x `a
l’instant k suit alors la r´ecursion
p
k
(x) =

R
p
ε
(x −f(y, k))p
k−1
(y)dy
L’existence d’une densit´e stationnaire n’est pas triviale `a montrer et requiert des d´eveloppements math´ematiques
d´epassant ce cours.
Un cas plus simple `a ´etudier est le mod`ele AR(1) lin´eaire, c’est-`a-dire
x
k
= ax
k−1
+ ε
k
On peut d´evelopper cette r´ecursion pour obtenir
x
k
= a
k
x
0
+
k−1
¸
i=0
a
i
ε
k−i
si la condition initiale est en z´ero et
x
k
= a
k+n
x
−n
+
k−1+n
¸
i=0
a
i
ε
k−i
si la condition initiale est en −n . Ceci permet de rejeter la condition initiale en −∞en faisant tendre n l’infini.
Ainsi, on s’aper¸ coit de suite que l’on doit avoir |a| < 1 pour que le signal existe. Alors, si n tend vers l’infini,
la condition initiale est oubli´ee et
x
k
=
+∞
¸
i=0
a
i
ε
k−i
Comme les ε sont i.i.d., le signal x
k
est stationnaire, au moins au second ordre. En effet, E[x
k
] est ind´ependant
du temps et on calcule
E[x
k
x
k+n
] =
¸
i,j
a
i
a
j
E[ε
k−i
ε
k+n−j
]
=
¸
i,j
a
i
a
j
σ
2
ε
δ
i,j−n
= σ
2
ε
¸
i
a
i
a
i+n
=
σ
2
ε
1 −a
2
a
n
On obtient alors la puissance E[x
2
k
] = σ
2
ε
/(1 −a
2
). La densit´e stationnaire n’est pas ais´ee `a obtenir. Supposons
toutefois les ε gaussiens et centr´es. Alors comme somme de variables gaussiennes le signal x
k
est de densit´e
gaussienne. On v´erifie alors que la loi N(0, σ
2
ε
/(1 −a
2
) est une densit´e stationnaire.
Les mod`eles AR se g´en´eralisent `a des ordres plus ´elev´es selon
x
k
= a
1
x
k−1
+ a
2
x
k−2
+ . . . + a
p
x
k−p
+ ε
k
23
Ce signal n’est pas markovien car clairement x
k
d´epend de son pass´e via plusieurs dates ant´erieures. Toute-
fois, on construit `a l’aide du mod`ele pr´ec´edent un signal vectoriel markovien en introduisant le vecteur x
k
=
(x
k
x
k−1
x
k−2
. . . x
k−p
)
T
. On a alors
x
k
= Ax
k−1
+ ε
k
A =

¸
¸
¸
¸
¸
¸
a
1
a
2
a
3
. . . a
p−1
a
p
1 0 0 . . . 0 0
0 1 0 0 . . . 0 0
.
.
.
.
.
.
0 0 . . . . . . 0 1 0
¸

ε
k
= (ε
k
0 . . . 0)
Clairement, le vecteur x
k
ne d´epend de son pass´e que par x
k−1
. Le mod`ele AR(p) poss`ede une repr´esentation
vectorielle qui est un processus de Markov. Ceci illustre ´egalement qu’un processus multidimensionnel peut ˆetre
de Markov sans que ses composantes le soient.
4.3 M´ethode de Monte-Carlo pour l’int´egration
Dans de nombreuses disciplines scientifiques, et le traitement du signal n’´echappe pas `a la r`egle, des techniques
th´eoriques sophistiqu´ees reposent sur l’´evaluation d’int´egrales souvent impossible `a calculer. Par exemple,
calculer des esp´erances math´ematiques de fonctions compliqu´ees sur des densit´es connues ou des esp´erances
simples sur des densit´es compliqu´ees peut s’av´erer impossible. Ce genre de situation apparaˆıt en traitement
du signal dans les domaines de l’estimation statistique, de la d´etection, du filtrage non lin´eaire optimal, de la
classification, . . . En pr´esence de ces situations difficiles, le recours `a des m´ethodes num´eriques est en g´en´eral
sinon indispensable au moins n´ecessaire pour r´esoudre les probl`emes et acqu´erir des connaissances. Une des
technique d’int´egration num´erique est la m´ethode de Monte-Carlo.
Nous allons illustrer le propos en pr´esentant le probl`eme de l’int´egration num´erique. Nous d´evelopper quelques
techniques pour illustrer la probl´ematique, puis nous tourner vers les techniques utilisant les chaˆınes de Markov.
Consid´erons un probl`eme g´en´erique de calcul d’esp´erance math´ematique. Soit f(x) une densit´e de probabilit´e
et h une fonction. On cherche `a calculer E
f
[h(X)], c’est-`a-dire `a ´evaluer
E
f
[h(X)] =

h(x)f(x)dx
La m´ethode de Monte-Carlo consiste `a approcher l’esp´erance pr´ec´edente par une moyenne empirique utilisant N
r´ealisation d’une variable al´eatoire. Soit x
1
, x
2
, . . . , x
N
N r´ealisations de la variable X ∼ f (∼ signifie distribu´e
selon ), alors
¯
h
N
=
1
N
N
¸
i=1
h(x
i
)
est un estimateur de E
f
[h(X)].
interm`ede : loi des grands nombres, th´eor`eme central limite
Loi faible des grands nombre : Si la suite x
i
est i.i.d. et si E[x] < +∞ alors pour tout ε > 0
lim
N→+∞
Pr
¸
1
N
N
¸
i=1
x
i
−E[x]

> ε
¸
= 0
il s’agit ici d’une convergence en probabilit´e.
Loi forte des grands nombre : Si la suite x
i
est i.i.d. et si E[x] < +∞ alors pour tout ε > 0 et tout δ > 0, il
existe N
0
tel que
Pr
¸
1
N
N
¸
i=1
x
i
−E[x]

< ε
¸
= 1 −δ
pour tout N ≥ N
0
. Autrement dit la probabilit´e que la suite converge est 1, c’est-`a-dire que l’on est en pr´esence
d’une convergence presque-sˆ ure.
Th´eor`eme central limite : Si la suite x
i
est i.i.d. et si Var[x] < +∞ alors la variable
1
N
¸
N
i=1
x
i
−E[x]

Var[x]/

N
24
tend en distribution vers une variable al´eatoire gausssienne centr´ee norm´ee.
retour `a l’int´egration Si on dispose d’un ´echantillon de N variables ind´ependantes distribu´ees selon f, alors
la loi forte des grands nombre nous assure de la convergence presque-sˆ ure de
¯
h
N
vers E
f
[h(X)] quand N tend
vers l’infini. Ce r´esultat seul justifie la technique d’int´egration Monte-Carlo. Elle ne dit toutefois rien sur des
vitesses de convergence. Le recours `a la loi faible des grands nombres ou au th´eor`eme central limite permet de
qualifier la convergence et de donner des intervalles de confiance. Par exemple, si h est telle que Var
f
[h(X)] est
finie, alors le th´eor`eme central limite indique que
¯
h
N
−E
f
[h(X)]

Var[
¯
h
N
]

N→+∞
N(0, 1)
Etant donn´ee l’ind´ependance des x
i
, la variance Var[
¯
h
N
] se calcule ais´ement selon
Var[
¯
h
N
] =
1
N
2
¸
Var[h(x
i
)]
=
1
N
Var[h(x)]
=
1
N

h
2
(x)f(x)dx −E
f
[h(X)]
2

qui, `a l’instar de E
f
[h(X)], ne peut pas en g´en´eral ˆetre explicitement calcul´ee. Elle sera remplac´ee par son
estim´ee empirique
v
N
=
1
N
2
N
¸
i=1
h
2
(x
i
) −
¯
h
2
N
N
exemple: Pour illustrer ce paragraphe, nous chercherons `a calculer le moment du second ordre du m´elange de
gaussiennes
x ∼ pN(m
1
, σ
2
1
) + (1 −p)N(m
2
, σ
2
2
)
On obtient facilement E[x
2
] = pσ
2
1
+ (1 −p)σ
2
2
+ pm
2
1
+ (1 −p)m
2
2
.
Pour obtenir un intervalle de confiance sur l’estimation, on utilise le th´eor`eme central limite (et on remplace la
variance de l’estim´ee par son estim´ee empirique v
N
) qui stipule que
Z
N
=
¯
h
N
−E
f
[h(X)]

v
N

N→+∞
N(0, 1)
L’intervalle de confiance `a 95% est donn´e par Pr(Z
N
∈ [−z, z]) = 0.95 donnant puisque Z
N
est suppos´ee centr´ee
norm´ee z = 1.96. L’intervalle de confiance est donc
¯
h
N
±1.96

v
N
.
Sur la figure (11) on montre le r´esultat de l’int´egration pour m
1
= 1, m
2
= 2, σ
1
= σ
2
= 1, p = .77 donnant une
valeur E[x
2
] = 2.69. Sur la figure, on trace ´egalement la variance empirique qui montre la convergence.
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
0.5
1
1.5
2
2.5
3
3.5
estimee et sa variance
0 2 4 6 8 10
−8
−6
−4
−2
0
2
variance en log−log, droite de pente −1
Figure 11: Int´egration monte-carlo pour le calcul de E[x
2
] dans un m´elange de gaussiennes.
Ecantillonnage pond´er´e: Dans certains cas, le calcul Monte-Carlo pr´ec´edent est soit mauvaise (variance trop
´elev´e par exemple) soit impossible `a r´ealiser si on ne sait pas simuler selon la loi f. Dans ce cas une astuce tr`es
25
simple permet de contourner la difficut´e. Cette astuce repose sur
E
f
[h(X)] =

h(x)f(x)dx
=

h(x)f(x)
g(x)
g(x)dx
= E
g
[

hf
g

(X)]
`a condition que le support de f soit inclus dans celui de g. La loi g est appel´ee loi instrumentale. Une
approximation Monte-Carlo est alors obtenue `a partir d’un N-´echantillon simul´e selon g par
¯
h
N
=
1
N
N
¸
i=1
h(x
i
)f(x
i
)
g(x
i
)
La variance de cet estimateur est alors donn´ee par
Var[
¯
h
N
] =
1
N
2
¸
Var[
h(x
i
)f(x
i
)
g(x
i
)
]
=
1
N
Var[
h(x)f(x)
g(x)
]
=
1
N

h
2
(x)f
2
(x)
g(x)
dx −E
f
[h(X)]
2

Le degr´e de libert´e apport´e par la loi instrumentale pose imm´ediatement la question du choix de cette loi. On
peut chercher par exemple la loi qui minimise la variance pr´ec´edente. Minimiser la variance revient `a minimiser

h
2
(x)f
2
(x)
g(x)
dx
sous la contrainte que le minimiseur est une densit´e. On minimise alors la fonctionnelle

h
2
(x)f
2
(x)
g(x)
dx −λ

g(x)dx
par rapport `a g. Les ´equations d’Euler conduisent `a
g

(x) =
|h(x)|f(x)

|h(x)|f(x)dx
En pratique on ne peut utiliser cette densit´e puisque le d´enominateur est en g´en´eral incalculable (c’est pr´ecis´ement
l’int´egrale que l’on cherche si h(x) > 0).
L’´echantillonnage pond´er´e est illustr´e sur la figure (12). La loi instrumentale choisie est une gaussienne, la figure
sup´erieure montrant le r´esultat si la variance est 4 alors que la figure inf´erieure montre le r´esultat pour une
variance de 1. ON s’aper¸ coit que le choix de la loi instrumentale est crucial, et que l’on a int´erˆet `a ce que les
´echantillons propos´es par g scrutent correctement les zones de fortes probabilit´es de f.
Ecantillonnage par acceptation-rejet : Une autre technique peut ˆetre utilis´ee pour g´en´erer des ´echantillons
suivant une loi f. Il s’agit de la m´ethode d’acceptation et rejet. Supposons que sur le support de f on ait une
autre loi g telle que f(x) ≤ Mg(x). Alors l’algorithme suivant
1. G´en´erer x ∼ g et u ∼ U([0, 1])
2. Accepter y = x si u ≤ f(x)/(Mg(x)) sinon retourner en 1
g´en`ere une variable y distribu´ee suivant f.
26
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
1
2
3
4
5
loi instrumentale N(0,2)
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
1
2
3
4
5
loi instrumentale N(0,1)
Figure 12: Int´egration monte-carlo pour le calcul de E[x
2
] dans un m´elange de gaussiennes par ´echantillonnage
pond´er´e.
En effet, on cherche la loi de la variable y|u ≤ f(x)/(Mg(x)). Or,
Pr

y ≤ y
0

u ≤ f(x)/(Mg(x))

=
Pr (y ≤ y
0
, u ≤ f(x)/(Mg(x)))
Pr (u ≤ f(x)/(Mg(x)))
=
Pr (x ≤ y
0
, u ≤ f(x)/(Mg(x)))
Pr (u ≤ f(x)/(Mg(x)))
=

y0
−∞
g(x)

f(x)/(Mg(x)
0
du

dx

+∞
−∞
g(x)

f(x)/(Mg(x)
0
du

dx
=

y0
−∞
g(x)f(x)/(Mg(x)dx

+∞
−∞
g(x)f(x)/(Mg(x)dx
=

y0
−∞
f(x)dx
On remarque dans cette d´emonstration que le taux d’acceptation est 1/M, qui est d’autant plus petit que M
est grand. Sur la figure (13) on repr´esente de haut en bas l’int´egration utilisant un ´echantillonnage direct, un
´echantillonnage pond´er´e (N(0, 2)) et l’´echantillonnage par acceptation et rejet.
Il faut relativiser la meilleure qualit´e de l’acceptation-rejet par rapport aux autres. Dans l’exemple repr´esent´e, la
valeur de M est environ 30, de sorte que l taux d’acceptation est de 1/30. Pour obtenir la figure, l’algorithme AR
a donc simul´e 30 fois plus d’´echantillons que les deux autres. Si nous avions utilis´e le mˆeme nombre d’´echantillon
pour les autres, la variance serait divis´ee d’autant.
Les probl`emes des m´ethodes pr´ec´edentes r´esident dans le choix de la loi instrumentale et dans la probabilit´e
d’acceptation qui peut ˆetre difficile `a connaˆıtre. Pour pallier ces probl`emes, des techniques alternatives ont ´et´e
d´evelopp´ees qui reposent sur les chaˆınes de Markov.
4.4 M´ethodes MCMC
L’id´ee des m´ethodes Monte-Carlo par Chaˆınes de Markov (MCMC) consiste `a utiliser les ´echantillons de la
chaˆıne qui sont asymptotiquement distribu´es suivant la densit´e invarainte de la chaˆıne. Pr´ecis´ement, s’il faut
calculer
E
f
[h(X)] =

h(x)f(x)dx
`a l’aide d’une approximation MCMC, il faut cr´eer une chaˆıne de Markov de densit´e invariante f, et utiliser les
´echantillons `a temps long x
t
, x
t+1
, . . . pour
¯
h
N
=
1
N
t+N−1
¸
i=t
h(x
i
)
Deux questions principales se posent :
27
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
5
10
15
echantillonnage direct
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
5
10
15
echantillonnage pondere
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
5
10
15
echantillonnage acceptation−rejet
Figure 13: Int´egration monte-carlo pour le calcul de E[x
2
] dans un m´elange de gaussiennes par ´echantillonnage
acceptation et rejet et comparaison avec l’´echantillonnage direct et un ´echantillonnage pond´er´e de mauvaise
qualit´e.
1. ayant `a disposition une chaˆıne de Markov de densit´e invariante f, est-ce que l’estimateur
¯
h
N
converge (et
comment?)?
2. comment construire une chaˆıne de Markov ayant pour distribution invariante une densit´e donn´ee f?
Nous allons traiter ces deux points dans le sens inverse, sachant que les probl`emes th´eoriques de convergnce
sont difficiles et ne seront qu’´evoqu´es ici.
Construction de chaˆınes de Markov ayant une densit´e invariante pr´escrite.
La premi`ere chose `a mentionner est que l’invariance d’une distribution est conserv´ee par m´elange et par compo-
sition. Cette remarque peut ˆetre utilis´ee pour combiner diff´erents noyaux et avoir un algorithme plus efficace.
Ceci ´etant dit, il deux grands types d’algorithmes, les algorithmes de Metropolis-Hastings, et l’algorithme de
Gibbs.
1.- Metropolis-Hastings. Cet algorithme utilise une loi instrumentale qui est une densit´e conditionnelle
q(y|x). Cette densit´e doit ˆetre simulable pour tout x, et doit ˆetre soit connue analytiquement soit sym´etrique
q(y|x) = q(x|y). Alors l’algorithme de MH fournit une suite de v.a. x
t
selon
´etant donn´ ee x
t
,
1. G´en´erer y
0
∼ q(y|x
t
)
2. Choisir
x
t+1
=

y
0
avec probabilit´e ρ(x
t
, y
0
)
x
t
avec probabilit´e 1 −ρ(x
t
, y
0
)
o`u
ρ(x
t
, y
0
) = min
¸
f(y
0
)q(x
t
|y
0
)
f(x
t
)q(y
0
|x
t
)
, 1

La suite de v.a. g´en´er´ee est bien une chaˆıne de Markov puisque conditionnellement au pass´e l’´etat courant ne
d´epend que de l’´etat `a l’instant pr´ec´edent. Cette chaˆıne a pour densit´e stationnaire la densit´e f.
Pour ´evaluer le noyau de la chaˆıne, on doit ´evaluer
Pr [x
t+1
∈ A|x
t
] = Pr [y
0
∈ A et on accepte |x
t
] + Pr [x
t
∈ A et on rejette ]
La proc´edure d’acceptation et de r´ejection repose sur la comparaison d’une variable al´eatoire u uniform´ement
r´epartie sur [0, 1] ind´ependante des autres `a ρ.Donc
Pr [x
t+1
∈ A|x
t
] =

A
q(y|x
t
)

ρ(xt,y)
0
du

dy
=

A
q(y|x
t
)ρ(x
t
, y)dy
28
Pour le deuxi`eme terme on a
Pr [x
t+1
= x
t
∈ A et on rejette |x
t
] =

A
δ(y −x
t
)dyPr (u > ρ(x
t
, y))
=

A
δ(y −x
t
)dy

q(y|x
t
)

1
ρ(xt,y)
dudy
=

A
δ(y −x
t
)dy

q(y|x
t
)(1 −ρ(x
t
, y))dy
On d´eduit alors que la densit´e de transition est
k(x
2
|x
1
) = q(x
2
|x
1
)ρ(x
1
, x
2
) + δ(x
2
−x
1
)

q(y|x
1
)(1 −ρ(x
1
, y))dy
On v´erifie bien que ce noyau est un noyau de transition puisque

k(x
2
|x
1
)dx
2
=

q(x
2
|x
1
)ρ(x
1
, x
2
)dx
2
+

q(y|x
1
)(1 − ρ(x
1
, y))dy

δ(x
2
−x
1
)dx
2
= 1
puisque

q(y|x
1
)dy = 1.
Montrons que ce noyau est f-r´eversible, ce qui assurera l’invariance de f. On veut montrer
k(x
2
|x
1
)f(x
1
) = k(x
1
|x
2
)f(x
2
)
Il vient
k(x
2
|x
1
)f(x
1
) = q(x
2
|x
1
)ρ(x
1
, x
2
)f(x
1
) +

1 −

q(y|x
1
)ρ(x
1
, y)dy

δ(x
2
−x
1
)f(x
1
)
Mais
q(x
2
|x
1
)ρ(x
1
, x
2
)f(x
1
) = q(x
2
|x
1
) min
¸
f(x
2
)q(x
1
|x
2
)
f(x
1
)q(x
2
|x
1
)
, 1

f(x
1
)
= min [f(x
2
), f(x
1
)q(x
2
|x
1
)]
= q(x
1
|x
2
) min
¸
f(x
1
)q(x
2
|x
1
)
f(x
2
)q(x
1
|x
2
)
, 1

f(x
2
)
= q(x
1
|x
2
)ρ(x
2
, x
1
)f(x
2
)
Quant au deuxi`eme terme, on a ´evidemment (´etant donn´ees les propri´et´es de la distribution de Dirac)

1 −

q(y|x
1
)ρ(x
1
, y)dy

δ(x
2
−x
1
)f(x
1
) =

1 −

q(y|x
2
)ρ(x
2
, y)dy

δ(x
2
−x
1
)f(x
2
)
Les deux termes v´erifiant la r´eversibilit´e, il en est de mˆeme pour leur somme.
Quelques exemples types de loi instrumentale :
• MH ind´ependant : dans ce cas, la loi instrumentale ne d´epend pas de l’´etat pr´ec´edent et q(x|y) = q(x).
Dans le cas o` u f(x) ≤ Mq(x) on pourrait utiliser la proc´edure d’acceptation et rejet, mais le MH est en
g´en´eral sup´erieur.
• MH avec marche al´eatoire : l’id´ee est ici d’utiliser x
t+1
= x
t
+z o` u z est une variable al´eatoire de densit´e
q(z). Dans ce cas la probabilit´e d’acceptation s’´ecrit
ρ(x
t
, y
0
) = min
¸
f(y
0
)q(x
t
−y
0
)
f(x
t
)q(y
0
−x
t
)
, 1

qui prend une forme particuli`erement simple si q(z) est paire, puisqu’alors
ρ(x
t
, y
0
) = min
¸
f(y
0
)
f(x
t
)
, 1

Cette derni`ere version a ´et´e propos´ee en 1955 par Metropolis, puis ´etendue en 1970 par Hastings.
29
Quelques illustrations :
On reprend ici les exemples des paragraphes pr´ec´edents o` u il s’agit de calculer E
f
[h(x)] `a l’aide de simulation
Monte-Carlo. Evidemment ici, les ´echantillons sont simul´es `a l’aide d’une chaˆıne de Markov dont la loi invariante
est la loi d’int´erˆet f. On utilise `a nouveau le m´elange de gaussiennes
x ∼ pN(m
1
, σ
2
1
) + (1 −p)N(m
2
, σ
2
2
)
On obtient facilement E[x
2
] = pσ
2
1
+ (1 −p)σ
2
2
+ pm
2
1
+ (1 −p)m
2
2
.
• Utilisation du MH ind´ependant: la loi instrumentale q(x|y) = q(x) = N(m, σ
2
). Dans un premier temps,
on choisit m = 0 et σ
2
= 100 pour pouvoir scruter `a peu pr`es ´equitablement tous les ´etats. Le r´esultat
est montr´e figure (14). On s’aper¸ coit que le mode principal n’est pas assez visit´e. Pour favoriser le mode
principal, on choisit m = 10 et les r´esultats apparaissent figure (15). Le choix de la loi est donc crucial,
et doit permettre `a tout les zones d’int´erˆet d’ˆetre visit´ees correctement par la chaˆıne de Markov. Par
exemple, on montre les r´esultats d´esastreux de la loi N(0, 10) sur la figure (16). Pour ˆetre interm´ediaire
par rapport aux deux premi`eres tentatives on utilise N(5, 100) sur la figure (17) qui donne les meilleurs
r´esultats.
• On utilise une marche al´eatoire avec des incr´ements gaussien q(x|y) = N(y, 10), le r´esultat ´etant montr´e
figure (18). Nous avons effectu´e 10000 it´erations, et il semble que la convergence ne soit pas encore tr`es
bonne.
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH, vraie et loi instrumentale N(0,100)
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH indep N(0,100), loi cible et histogramme
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
50
100
E[x
2
] estime par echantillonnage direct et MH indpendant N(0,100)
Figure 14: Simulation par MH ind´ependant avec comme loi instrumentale N(0, 100).
En pratique, comme dans la technique d’acceptation et rejet il faut que f(x) ≤ Mq(x|y).
Quelques variantes :
Le choix de de la forme de la probabilit´e d’acceptation est arbitraire. En effet, on v´erifie ais´ement que
ρ(x
t
, y
0
) =
g(y
0
, x
t
)
f(x
t
)q(y
0
|x
t
)
o` u g(y
0
, x
t
) = g(x
t
, y
0
) et assure ρ(x
t
, y
0
) ∈ [0, 1] conduit ´egalement `a un noyau f r´eversible
On peut m´elanger deux algorithme de MH pour en obtenir un autre.
On peut ´egalement m´elanger des lois instrumentales pour obtenir un autre MH.
2.- Echantillonneur de Gibbs.
L’algorithme de MH illustr´e pour la simulation de variables monodimensionnelles est bien entendu valable dans
le cas de variables multidimensionnelles. Ce cas est fondamental car les applications des m´ethodes MCMC
concernent essentiellement des probl`emes d’inf´erence o` u les grandeurs `a simuler sont presque toujours multidi-
mensionnelles. Un cas particulier de l’algorithme MH est appel´e ´echantillonneur de Gibbs. If fut mis au point
au d´ebut des ann´ees 80, et on d´ecouvrit plus tard son lien avec les algorithmes MH.
On souhaite simuler suivant f(x). Pour simplifier la pr´esentation, on suppose que l’on peut scinder x en (x
1
, x
2
).
Alors l’´echantillonneur de Gibbs est l’algorithme suivant :
30
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH, vraie et loi instrumentale N(10,100)
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH indep N(10,100), loi cible et histogramme
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
70
75
80
85
90
E[x
2
] estime par echantillonnage direct et MH indpendant N(10,100)
Figure 15: Simulation par MH ind´ependant avec comme loi instrumentale N(10, 100).
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH, vraie et loi instrumentale N(0,10)
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH indep N(0,10), loi cible et histogramme
−15 −10 −5 0 5 10 15
0
500
1000
f(x)/N(0,10)
Figure 16: Simulation par MH ind´ependant avec comme loi instrumentale N(0, 10).
1. initialisation : x
0
= (x
1
0
, x
2
0
) de mani` ere d´eterministe ou al´eatoire
2. it´eration k ≥ 1 :

x
1
k
∼ f(x
1
|x
2
k−1
)
x
k
2
∼ f(x
2
|x
1
k
)
Il faut bien entendu pouvoir simuler suivant les densit´es conditionnelles. La chaˆıne de Markov ainsi d´efinie a
bien f(x) comme densit´e invariante. Le noyau a pour forme
k(x
1
, x
2
|y
1
, y
2
) = f(x
1
|y
2
)f(x
2
|x
1
)
Il vient alors

k(x
1
, x
2
|y
1
, y
2
)f(y
1
, y
2
)dy
1
dy
2
=

f(x
1
|y
2
)f(x
2
|x
1
)f(y
1
, y
2
)dy
1
dy
2
= f(x
2
|x
1
)

f(x
1
|y
2
)f(y
2
)dy
2
= f(x
2
|x
1
)f(x
1
)
= f(x
1
, x
2
)
31
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH, vraie et loi instrumentale N(5,100)
−15 −10 −5 0 5 10 15
0
0.1
0.2
0.3
0.4
MH indep N(5,100), loi cible et histogramme
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
70
75
80
85
90
E[x
2
] estime par echantillonnage direct et MH indpendant N(5,100)
Figure 17: Simulation par MH ind´ependant avec comme loi instrumentale N(5, 100).
−15 −10 −5 0 5 10 15
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
MH marche au hasard N(y,10), loi cible et histogramme
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
70
75
80
85
90
E[x
2
] estime par echantillonnage direct et MH marche au hasard N(y,10)
Figure 18: Simulation par MH marche au hasard avec comme loi instrumentale N(y, 10).
Pour illustrer le fonctionnement de l’algorithme de Gibbs, nous allons le d´etailler pour une loi normale bidi-
mensionnelle
N

0,

1 ρ
ρ 1

On montre alors facilement que p(x
i
|x
j
) = p(x
i
, x
j
)/p(x
j
) est la loi normale N(ρx
j
, 1 − ρ
2
, o` u i = 1, j = 2 ou
i = 2, j = 1. L’algorithme est illustr´e par la figure (19) pour ρ = 0.7. A gauche, on trace le nuage de points qui
a bien la forme elliptique de la gaussienne, alors qu’`a droite on superpose quelques it´erations de la chaˆıne de
Markov sur la densit´e cible pour illustrer la capacit´e d’exploration. Enfin, sur les donn´ees simul´ees, nous avons
´evalu´e le coefficients de corr´elation et obtenu 0.69 pour 10000 ´echantillons.
Convergence.
Les probl`emes de convergence sont de deux types. Le premier concerne la convergence de la densit´e des
´echantillons de la chaˆıne vers la densit´e invariante, et le deuxi`eme concerne la convergence de l’utilisation que
l’on fait de la densit´e, comme par exemple la convergence des moyennes des ´echantillons vers les int´egrales que
l’on souhaitent ´evaluer.
Les propri´et´es de convergence sont tr`es difficiles `a ´etudier, et nous ne donnons ici que les r´esultats de base en
leur donnant leur signification.
Irr´eductibilit´e : Soit f une mesure de probabilit´e. Une chaˆıne de Markov est f-irr´eductible si pour tout point
x et tout ensemble A f(A) > 0 =⇒∃n ∈ N

tel que P
n
(A|x) > 0. Autrement dit, tout les ensembles de mesures
32
−4 −2 0 2 4
−4
−3
−2
−1
0
1
2
3
4
Gibbs pour N(m,Γ), realisation
−2 −1 0 1 2
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
Gibbs pour N(m,Γ), trajectoire
Figure 19: Simulation par Gibbs d’une gaussienne bidimensionnelle.
non-nulle pour f seront visit´es avec une probabilit´e non nulle et ce quelque soit le point de d´epart. On sent ici
que la chaˆıne de Markov doit ˆetre capable de scruter l’ensemble de l’espace d’´etat.
Ap´eriodicit´e : Il n’existe pas de partition (A
1
, . . . , A
k
) de l’espace des ´etats tel que P(x, A
i+imodk
) = 1∀x ∈
A
i
. Autrement dit la chaˆıne de Markov n’a pas de comportement p´eriodique.
Harris-r´ecurrence : Soit x
i
une chaˆıne de Markov de noyau P, de distribution invariante f et ϕ-irr´eductible.
Elle est Harris-r´ecurrente si pour tout ensemble A, f(A) > 0 =⇒ Pr(x
i
∈ Ainfinimentsouvent) = 1. A
nouveau la chaˆıne doit scruter les zones de probabilit´e non nulles souvent, la probabilit´e ´etant mesur´ee avec la
mesure invariante.
Ergodicit´e : Une chaˆıne ayant une densit´e invariante et ´etant Harris-r´ecurrence est dite ergodique
Convergence : Si la chaˆıne est ϕ-irr´eductible et f est la mesure invariante alors, la loi forte des grands nombres
s’applique et Pr(h
N
−→E
f
[h(X)]. Si de plus il y a ap´eriodicit´e alors lim
N→+∞

P
N
(y|x
0
) −f(y)

V T
= 0 o` u la
norme en variation totale est d´efinie par ||f −g||
V T
= 1/2

|f(x) −g(x)|dx.
Si de plus la convergence est exponentielle,

P
N
(y|x
0
) −f(y)

V T
≤ c(x
0

N
alors le th´eor`eme central limite
s’applique et

N(h
N
−E
f
[h]) −→N(0, Varh(x
0
) + 2
¸

i=1
Cov(h(x
0
), h
(
x
i
))).
Le calcul de la variance est donc compliqu´e, mais cela est dˆ u au fait que les ´echantillons ne sont pas ind´ependants.
De plus, le fait qu’il ne reste qu’une somme est due au fait que la chaˆıne est suppos´e homog`ene (stationnaire).
Pour terminer il suffit de mentionner que les m´ethodes MCMC ont ´et´e illustr´ees ici sur des exemples tr`es
simples, et que leur puissance n’apparaˆıt r´eellement que lorsqu’on les applique `a des probl`emes difficiles, typique-
ment en th´eorie de l’estimation lorsqu’il s’agit de connaˆıtre des moments de lois conditionnelles tr`es complexes.
33
5 Introduction aux processus ponctuels et `a leurs produits d´eriv´es
Dans les processus et signaux que nous avons vu jusqu’ici, le caract`ere al´eatoire existait dans l’amplitude des
signaux. Certains probl`emes n´ecessitent une approche diff´erente pour mod´eliser des ´ev`enements qui se r´ealisent
`a des instants al´eatoires. Des exemples multiples existent dont :
1. la mod´elisation des files d’attentes : l’instant d’arriv´ee d’un individu dans la file est al´eatoire
2. les potentiels d’action, vecteur de l’information neuronale (voir la figure (20)).
3. l’arriv´ee de photons sur un photor´ecepteur
4. . . .
D’une mani`ere g´en´erale, tous les processus dans lequels des changements apparaissent `a des instants al´eatoires
peuvent ˆetre mod´elis´es `a partir des processus ponctuels. Nous allons ici donner quelques notions sur ces processus
et voir la construction de quelques processus d´eriv´es des processus ponctuels.
A titre d’illustration la figure (20) montre une suite de potentiels d’action g´en´er´ee par un mod`ele biophysique de
neurones. Le nombre d’´evenement et de 13 pour l’horizon temporel. La figure du bas pr´esente une r´ealisation
d’un processus de Poisson, processus qui est aux processus ponctuels ce que le processus gaussien blanc est aux
processus usuels. Le taux d’´ev`enement a ´et´e r´egl´e de sorte `a en moyenne avoir 13 ´ev`enements sur l’horizon
temporel consid´er´e.
0 200 400 600 800 1000 1200 1400 1600 1800 2000
−100
−80
−60
−40
−20
0
20
suite de potentiels d action issues d un modele de neuones
0 200 400 600 800 1000 1200 1400 1600 1800 2000
0
0.2
0.4
0.6
0.8
1
realisation d un processus de poisson
Figure 20: Illustration d’un processus reposant sur un processus ponctuel : les potentiels d’action arrive `a des
instants al´eatoires.
5.1 Processus ponctuels
La description des processus ponctuels est assez difficile, et peut ˆetre faite de plusieurs mani`eres : par le
nombre de points par intervalle, par le temps entre les ´ev`enements, comme un proccesus al´eatoire au sens des
distributions.
Processus au sens des distributions. Le processus que l’on veut d´ecrire est l’apparition al´eatoire d’´ev`enements.
Soit {t
i
(ω)} cette liste de dates, en nombre fini ou infini. Le processus ponctuel pourra alors ˆetre ´ecrit comme
une somme de distributions de Dirac selon
x(t, ω) =
¸
i
δ(t −t
i
(ω))
Cette forme sera particuli`erement utile pour le filtrage du processus ponctuel et la d´efinition de processus
d´eriv´es. Par exemple, on peut d’ores et d´ej` a modifier la d´efinition pour y inclure des amplitudes port´ees par les
distributions de Dirac et ´ecrire
x(t(ω)) =
¸
i
a
i
(ω)δ(t −t
i
(ω))
34
les a
i
(ω) pouvant ˆetre d´eterministes (ind´ependants de ω) ou al´eatoires (par exemple l’´energie du photon arrivant
`a cette date, la taille de l’homme entrant dans une queue `a cette date,. . . )
Description par le nombre de points par intervalle. On peut d´ecrire le processus par le nombre
d’´ev`enement apparaissant par intervalle. Soit N(t, T; (ω)) le nombre al´eatoire de dates apparaissant dans
l’intervalle [t, t + T[. N est appel´e la mesure de comptage. Si I est un intervalle , on a
N(I, ω) =
¸
i
1
I
(t
i
(ω))
o` u 1
I
est l’indicatrice de l’intervalle. Cette mesure est une mesure stochastique que l’on peut ´ecrire ´egalement,
pour des intervalles infinit´esimaux, N(dt) = dN(t) =
¸
i
δ
ti
(dt)., lorsqu’on l’utilise dans l’int´egrale stochastique
du type
I =

T
0
f(u)dN(u) =
¸
i
f(t
i
)
o` u les t
i
sont les dates d’arriv´ee des ´ev`enements. Une sp´ecification des processus ponctuels passe par la descrip-
tion statistique de la mesure de comptage.
Si l’on consid`ere un instant origine t
0
, on associe `a N un processus N(t) = N(t
0
) + N([t
0
, t[). Le processus
N(t) est appel´e le processus de comptage. D’autre part, les incr´ements infinit´esimaux dN(t) = N(t +dt) −N(t)
correpsondent ´evidemment `a la mesure de comptage
. Description par des intervalles de temps. Au lieu de d´ecrire les temps d’arriv´ee ou le nombre de ces
dates par intervalles, on peut ´egalement d´ecrire le processus par les intervalles de temps entre les dates d’arriv´ee.
On distingue deux concepts.
Le temps de vie est le temps entre deux ´ev`enement du processus alors que le temps de survie est le temps entre
une date quelconque et un ´ev`enement du processus.
5.2 Processus de Poisson
La caract´erisation des processus vient par la caract´erisation statistique du processus de comptage. La car-
act´erisation la plus simple est la suivante :
1. Le nombre d’´evenements dans deux intervalles disjoints sont ind´ependants statistiquement,
2. La probabilit´e d’apparition d’un ´ev`enement dans un intervalle de longueur dt est d’ordre dt,
Pr (N(t, t + dt) = 1) = λ(t)dt + o(dt)
3. La probabilit´e d’apparition de plus d’un ´ev`enement dans un intervalle de longueur dt est d’ordre dt
2
(
c’est-`a-dire nulle)
4. Le nombre d’´ev`enements avant la date origine est nul
Soit p
n
(t) = Pr (N(t
0
, t) = n). On a alors
p
0
(t + dt) = Pr(N(t
0
, t) = n et N(t, t + dt) = 0)
= p
0
(t)(1 −λ(t)dt)
puisque les intervalles [t
0
, t[ et [t, t +dt[ sont disjoints. p
0
suit donc l’´equation diff´erentielle ˙ p
0
(t) +λ(t)p
0
(t) = 0
avec comme condition initale p
0
(t
0
) = 1 puisque la probabilit´e d’avoir 0 ´ev`enement avant l’origine des temps
est 1. Donc on a
p
0
(t) = exp(−

t
t0
λ(u)du)
Pour n ≥ 0, il vient maintenant
p
n+1
(t + dt) = Pr (N(t
0
, t) = n et N(t, t + dt) = 1) + Pr (N(t
0
, t) = n + 1 et N(t, t + dt) = 0)
= p
n
(t)λ(t)dt + p
n+1
(t)(1 −λ(t)dt)
et p
n+1
satisfait
˙ p
n+1
(t) + λ(t)p
n+1
(t) = λ(t)p
n
(t)
35
avec p
n+1
(t
0
) = 0. La solution g´en´erale de l’´equation diff´erentielle est p
n+1
(t) = Aexp(−

t
t0
λ(u)du). Une solu-
tion particuli`ere est donn´ee en utilisant la m´ethode de la variation des constantes et conduit `a A(t) exp(−

t
t0
λ(u)du)
o` u A satisfait
˙
A(t) = λ(t)p
n
(t) exp(+

t
t0
λ(u)du).
Pour n = 0, on a alors
˙
A(t) = λ(t) de sorte que
p
1
(t) = Aexp(−

t
t0
λ(u)du) +

t
t0
λ(u)du

exp(−

t
t0
λ(u)du)
Appliquer la condition initiale conduit `a A = 0, soit
p
1
(t) =

t
t0
λ(u)du

exp(−

t
t0
λ(u)du)
On montre alors par r´ecurence de la mˆeme mani`ere que
p
n
(t) =

t
t0
λ(u)du

n
n!
exp(−

t
t0
λ(u)du)
On reconnaˆıt ici la loi de Poisson de param`etre

t
t0
λ(u)du. La fonction λ(t) est appel´ee le taux du processus
ou intensit´e. Si λ(t) = λ, alors le param`etre de la loi est (t −t
0
)λ. On dit alors que le processus de Poisson est
homog`ene.
Quelques rappels sur la loi de Poisson. Une variable al´eatoire x discr`ete suit la loi de Poisson de param`etre
λ si
Pr(x = k) =
λ
k
e
−λ
k!
= P(k, λ)
La fonction caract´eristique est
ϕ(u) = E[e
iuk
] =
¸
k≥0
e
iuk
λ
k
e
−λ
k!
= e
−λ
¸
k≥0
e
iuk
(e
iu
λ)
k
k!
= e
−λ
e
exp(iu)λ
De l`a on montre facilement que les cumulants (les cumulants sont au logarithme de la fonction caract´eristique
ce que sont les moments `a la fonction caract´eristique) sont tous ´egaux `a λ. En particulier, moyenne et variance
sont ´egales `a λ.
Temps de survie. Soit t ≤ t
0
un instant quelconque, et L(t) la variable al´eatoire mesurant le temps entre
t et le premier t
i
du processus. Alors, dans la plupart des bouquins sur les processus de Poisson on trouve le
r´esultat
P
L
(l; t)dl = λ(t + l) exp

t+l
t
λ(u)du

dl
qui repose sur l’id´ee que entre t et t + l il ne doit pas y avoir de point du processus et qu’il doit y en avoir un
entre t + l et t + l + dl. En fait, cf Picinbono, une petite erreur se glisse dans ce raisonnement. Pour qu’il soit
valide il faut qu’il y ait au moins un point apr`es t, ce qui n’est pas garanti pour une intensit´e non stationnaire.
En fait chercher le temps de survie suppose qu’un point au moins existe apr`es t. Donc, si on a les mˆeme
notations pour la probabilit´e conditionnelle
P
L
(l; t)dl =
λ(t + l) exp

t+l
t
λ(u)du

×Pr(au moins 1 apr`es t|1 dans [t + l, t + l + dl[)
Pr(au moins 1 apr`es t)
dl
P
L
(l; t) =
λ(t + l) exp

t+l
t
λ(u)du

1 −exp

+∞
t
λ(u)du

´evidemment pour l ≥ 0. La probabilit´e conditionnelle au num´erateur est ´egale `a 1, et la probabilit´e du
num´erateur est ´egale `a 1 moins la probabilit´e qu’il n’y ait pas d’´ev`enement apr`es t.
36
Temps de vie.
Le temps de vie est la dur´ee entre deux ´ev`enements du processus. Soit t un ´ev`enement du processus, et L la
variable al´eatoire mesurant le temps entre cet ´ev`enement et le prochain. La variable L est donc conditionn´ee
au fait qu’il y a un ´ev`enement en t et qu’il y en aura au moins un apr`es. Par le mˆeme calcul que pr´ec´edemment,
on montre que
P
L
(l; t) =
λ(t + l) exp

t+l
t
λ(u)du

1 −exp

+∞
t
λ(u)du

qui est la mˆeme distribution que le temps de survie.
Distribution conditionnelle des positions
On suppose que l’on observe n points 0 ≤ t
1
≤ t
2
≤ . . . ≤ t
n
≤ T dans l’intervalle [0, T]. On cherche
conditionnellement `a cette connaissance la distribution des t
i
, P(t
1
, . . . , t
n
|N(T) = n). On a
P(t
1
, . . . , t
n
|N(T) = n) =
P
(
t
1
, . . . , t
n
, N(T) = n)
P(N(T) = n)
(t
1
, . . . , t
n
, N(T) = n) correspond `a l’´ev`enement (0 dans [0, t
1
[, 1 dans [t
1
, t
1
+ dt
1
[, 0 dans [t
1
+ dt
1
, t
2
[, . . . , 0
dans [t
n−1
, t
n
[, 1 dans [t
n
, t
n
+ dt
n
[, 0 dans [t
n
+ dt
n
, T[. La probabilit´e d’avoir 1 ´ev`enement dans un intervalle
infinit´esimal est donn´e par

t+dt
t
λ(u)du = λ(t)dt. Comme la longueur des intervalles o` u l’on ne doit pas voir
d’´ev`enement est T, la probabilit´e de la conjonction de ces ´ev`enements (ind´ependants par hypoth`ese) est ´egale
`a exp(−

T
0
λ(u)du). On a donc
P(t
1
, . . . , t
n
|N(T) = n)dt
1
. . . dt
n
=
λ(t
1
)dt
1
. . . λ(t
n
)dt
n
exp(−

T
0
λ(u)du)
exp(−

T
0
λ(u)du)(

T
0
λ(u))
n
/n!
et donc la densit´e conditionnelle s’´ecrit
P(t
1
, . . . , t
n
|N(T) = n) =
n!
(

T
0
λ(u))
n
n
¸
i=1
λ(t
i
)
On a vu au passage que la loi conjointe de la position des temps et qu’il y a n points dans l’intervalle [0, T] est
donn´ee par
P(t
1
, . . . , t
n
, N(T) = n) = exp(−

T
0
λ(u)du)
n
¸
i=1
λ(t
i
)
On v´erifie bien que cette loi est une ddp en faisant bien attention au fait que 0 ≤ t
1
≤ t
2
≤ . . . ≤ t
n
≤ T. On
´ecrit en effet
¸
n

P(t
1
, . . . , t
n
, N(T) = n) = e

R
T
0
λ(u)du
+
¸
n≥1

e

R
T
0
λ(u)du
n
¸
i=1
λ(t
i
)dt
i
= e

R
T
0
λ(u)du
(1 + I(T)) o` u
I(t) =
¸
n≥1

T
0
dt
1
λ(t
1
)

T
t1
dt
2
λ(t
2
) . . .

T
tn−2
dt
n−1
λ(t
n−1
)

T
tn−1
dt
n
λ(t
n
)
Soit Λ(t) une primitive de λ(t). Alors l’int´egrale sur t
n
vaut Λ(T) − Λ(t
n−1
). On montre alors que l’int´egrale
sur t
i
vaut (Λ(T) −Λ(t
i−1
))
n−i+1
/(n −i +1)!. L’assertion est valide pour i = n. On suppose vrai pour i +1 et
on regarde ce qui se passe en i. L’int´egrale en t
i
s’´ecrit

T
ti−1
dt
i
(Λ(T) −Λ(t
i
))
n−i
(n −i)!
λ(t
i
)
que l’on int`egre par partie en d´erivant la fraction et en int´egrant λ(t) en Λ(t) −Λ(T). On obtient alors

T
ti−1
dt
i
(Λ(T) −Λ(t
i
))
n−i
(n −i)!
λ(t
i
) = −
¸
(Λ(T) −Λ(t
i
))
n−i+1
(n −i)!

T
ti−1

T
ti−1
dt
i
(Λ(T) −Λ(t
i
))
n−i
(n −i −1)!
λ(t
i
)
37
On remarque que l’int´egrale de droite est la mˆeme que celle du membre de gauche, aux num´erateurs (constants
par rapport `a t
i
) pr`es. On r´esoud alors en

1
(n −i)!
+
1
(n −i −1)!

T
ti−1
dt
i
(Λ(T) −Λ(t
i
))
n−i
λ(t
i
) =
(Λ(T) −Λ(t
i−1
))
n−i+1
(n −i)!
Comme

1
(n −i)!
+
1
(n −i −1)!

=
n −i + 1
(n −i)!
on a bien le r´esultat excompt´e. Pour le calcul de I(t) en posant t
0
= 0 on arrive donc a
I(t) = I(t) =
¸
n≥1
(Λ(T) −Λ(0))
n
(n)!
= e

R
T
0
λ(u)du
−1
de sorte que la normalisation `a 1 de P est acquise.
On peut r´e´ecrire la vraisemblance selon
P(t
1
, . . . , t
n
, N(T) = n) = exp

T
0
λ(u)du +
n
¸
i=1
log λ(t
i
)

On introduit la mesure stochastique dN(t) =
¸
i
δ
ti
(dt) pour ´ecrire
P(t
1
, . . . , t
n
, N(T) = n) = exp

T
0
λ(u)du +

T
0
log λ(t)dN(t)

o` u l’on voit apparaˆıtre l’int´egrale stochastique du type
I =

T
0
f(u)dN(u) =
¸
i
f(t
i
)
o` u les t
i
sont les dates d’arriv´ee des ´ev`enements. Pour calculer les statistiques de I, on ´ecrit
E[I] = E
¸
¸
i
f(t
i
)
¸
= E
N
¸
E
¸
¸
i
f(t
i
)

N(T)
¸¸
Or, conditionnellement `a N(T) = n on a vu que la loi des t
i
est donn´ee par
P(t
1
, . . . , t
n
|N(T) = n) =
n!
(

T
0
λ(u)du)
n
n
¸
i=1
λ(t
i
)
Ici, les temps sont ordonn´es, et on remarque donc que cette loi est la mˆeme que la loi des statistiques d’ordre
de n temps u
1
, . . . , u
n
tir´es ind´ependamment les uns des autres suivant la mˆeme loi
P
U
(u) =
λ(u)
(

T
0
λ(u)du)
si 0 ≤ u ≤ T
= 0 sinon
38
Donc calculer des statistiques de
¸
i
f(t
i
) sur la loi des t
i
conditionn´ee par le nombre d’´ev`enements est ´equivalent
`a calculer les statistiques de
¸
i
f(u
i
) sur la loi des u
i
. Ainsi,
E[I] = E
N
¸

¸
i
f(u
i
)

¸
n
i=1
λ(u
i
)du
i
(

T
0
λ(u))
n
¸
= E
N
¸
¸
i

f(u
i
)
¸
n
j=1
λ(u
j
)du
j
(

T
0
λ(u)du)
n
¸
= E
N
¸
¸
i

T
0
f(u)λ(u)du

T
0
λ(u)du
¸
=

T
0
f(u)λ(u)du

T
0
λ(u)du
E
N
[n]
=

T
0
f(u)λ(u)du
De plus, comme sachant le nombre de points, les t
i
sont distribu´es comme les statistiques d’ordre d’un n-uplet
de variables i.i.d. de loi λ/

λ, on peut facilement g´en´erer une trace d’un processus sur un intervalle. On tire
les n dates selon
P
U
(u) =
λ(u)
(

T
0
λ(u)du)
si 0 ≤ u ≤ T
= 0 sinon
et on les ordonne. Ceci est particuli`erement efficace dans le cas homog`ene puisqu’alors P
U
(u) = 1
[0,T]
(u)/T est
la loi uniforme sur [0, T].
5.3 Bruits de grenaille
En g´en´eral, les processus ponctuels ne sont pas observ´es directement, mais apr`es avoir travers´e un appareil de
mesure, ou encore chaque ´ev`enement portant un message particulier. Un bruit de grenaille est la sortie d’un
filtre lin´eaire invariant attaqu´e par un processus de Poisson. Soit h(t) la r´eponse impulsionnelle du filtre. Le
bruit de grenaille est d´efini par
x(t) = h(t) ⋆
¸
i
δ(t −t
i
)
=
¸
i
h(t −t
i
)
=

h(t −u)dN(u)
La moyenne du processus s’´ecrit
E[x(t)] =

h(t −u)λ(u)du
de sorte que dans le cas d’un processus de Poisson inhomog`ene, la moyenne d´epend du temps. Toutefois, si le
processus de Poisson est homog`ene, alors E[x(t)] = λH(0), H ´etant la transform´ee de Fourier de h.
La fonction de corr´elation de x(t) s’´ecrit
E[x(t
1
)x(t
2
)] =

h(t
1
−u
1
)h(t
2
−u
2
)E[dN(u
1
)dN(u
2
)]
le moment d’ordre 2 des incr´ements vaut λ(u
1
)λ(u
2
)du
1
du
2
(ind´ependance des incr´ements) sauf si u
1
= u
2
auquel cas il vaut λ(u
1
)du
1
. Donc, la fonction de corr´elation devient
E[x(t
1
)x(t
2
)] =

h(t
1
−u
1
)h(t
2
−u
2
)λ(u
1
)λ(u
2
)du
1
du
2
+

h(t
1
−u)h(t
2
−u)λ(u)du
de sorte que
Cov (x(t
1
), x(t
2
)) =

h(t
1
−u)h(t
2
−u)λ(u)du
39
Dans le cas du processus de Poisson homog`ene on obtient
Cov(x(t
1
), x(t
2
)) = λ

h(u)h(t
2
−t
1
+ u)du
qui montre que le bruit de grenaille est alors stationnaire au second-ordre. Dans ce cas, on peut calculer la
densit´e spectrale de puissance facilement. En effet, le r´esultat pr´ec´edent montre que la fonction de corr´elation
est proportionnelle `a la corr´elation de h. On a alors
γ
x
(ν) = λγ
h
(ν) = λ|H(ν)|
2
On peut compliquer un peu ce mod`ele en ajoutant une amplitude al´eatoire de sorte que
xx(t) = h(t) ⋆
¸
i
A
i
δ(t −t
i
)
=
¸
i
A
i
h(t −t
i
)
=

h(t −u)dM(u)
o` u la mesure de comptage v´erifie maintenant E[dM(t)] = E[A]λ(t)dt et E[dM(t)] = E[A
2
]λ(t)dt et garde ses
propri´et´es d’ind´ependance d’un intervalle sur l’autre.
40

Ce document constitue des notes de cours de traitement du signal, cours dispens´ en Master 2 recherche signale image-parole-t´l´com. ee Notations : t est le temps continu n le temps discret ν la fr´quence continue e λ fr´quence continue r´duite e e m fr´quence discr`te e e Γxy (τ ) fonction d’intercorr´lation entre x et y au retard τ e γxy (ν) densit´ spectrale de puissance d’interaction (interspectre) entre x et y ` la fr´quence ν e a e X ou X(t) pour la varaible al´atoire ou le signal al´atoire. Les lettres minuscules x et x(t) sont r´serv´ aux e e e e valeurs prises par la variable ou la fonction al´atoire. e

1

Introduction, signal?

D’apr`s le Larousse (ed. 1986) : e Signal n. m. (lat. signalis ; de signum, signe). Signe convenu pour avertir, annoncer, donner un ordre. —— ... —— En th´orie de la communication, variation d’une grandeur de nature quelconque porteuse d’information. e La d´finition est claire et signifie qu’un signal est une fonction math´matique d’un ensemble dans un autre e e codant une information. Par contre la d´finition n’indique rien sur les aspects de construction des signaux et de e leur transfert, et sur les probl`mes d’extraction de l’information. Le traitement du signal est la discipline qui e s’int´resse ` l’ensemble des aspects li´s au signal: mise en forme de l’information, ´mission, r´ception, extraction e a e e e de l’information utile. Les techniques d´velopp´es en traitement du signal reposent sur les math´matiques, mais ´galement sur d’autres e e e e sciences qui sont ` la source ou qui interviennent dans la transmission du signal. Par exemple, la transmission a d’un signal radio FM utilise les ondes ´lectromagn´tiques, les potentiels d’action qui circulent dans les neurones e e sont des courants ´lectriques g´n´r´s par des effets biochimiques, . . . e e e e Dans un premier temps le traitement du signal essaie d’avoir un point de vue unificateur, oubliant les disciplines connexes li´s au signal ´tudi´, mais ce point de vue r´ducteur doit ˆtre mod´r´ dans les traitements avanc´s et e e e e e e e e la richesse du traitement du signal sort en g´n´ral de l’interaction avec les autres sciences. e e Enfin, le traitement du signal participe ` l’´volution des sciences et des techniques. Si les domaines les plus a e connus dans lesquels intervient le TS sont souvent de nature technologique (t´l´vision, t´l´phonie, . . . ) il ne ee ee faut pas oublier que le TS est une discipline participant ` l’avanc´e des connaissances scientifiques. a e Sans ˆtre exhaustif voil` quelques exemples de domaines dans lesquels interviennent le traitement du signal : e a • Sciences de l’observation (astronomie–lumi`re visible ou invisible–, g´ophysique interne–sondage sismique, e e sismologie, les signaux sont v´hicul´s par des ondes ´lastiques–, g´ophysique externe –environnement e e e e plan´taire, sondage par ondes ´lectromagn´tiques et mesures effectu´es par des RADAR–, t´l´detection e e e e ee –observation de la terre depuis l’espace–, physique fondamentale–´tude de la turbulence par exemple–, e neurosciences–compr´hension du codage et du traitement de l’information par le cerveau–, observation e par SONAR–ondes acoustiques– • T´l´communication : domaine dans lequel le traitement du signal est fondamental (codage, lutte contre ee les interf´rences et les parasites, d´codage, . . . ) e e • ... D’une fa¸on g´n´rale, les signaux peuvent ˆtre issus de n’importe quel type de mesure, et le traiteur du signal c e e e revient alors ` la d´finition du Petit Larousse. a e Dans la suite, nous pr´sentons quatre exemples de signaux issus de probl´matiques diff´rentes. e e e

1.1

Sondage sismique

La sismologie ´tudie les vibrations du sous-sol provoqu´es par des ph´nom`nes naturels alors que la sismique e e e e provoque l’´branblement et en ´tudie les cons´quences. Le sondage sismique repose sur ce principe. Une source e e e (explosion, vibros´isme,. . . ) provoque une onde ´lastique dans le sous-sol, onde qui va interagir avec son milieu e e de propagation. Une antenne munie de divers capteurs permet en un point plus ´loign´ de mesurer l’onde apr`s e e e son voyage sous terre. Les signaux re¸us portent alors des informations relatives ` la structure de leur milieu c a de propagation. Un exemple de mesure issu d’une antenne sismique est montr´ sur la figure (1). e 2

0 5 10 15
Capteurs

20 25 30 35 40 45 0 50 100 150 Echantillons temporels 200 250

Figure 1: Exemple d’une trace sismique.

1.2

Flux EUV du soleil

L’´tude du flux solaire est fondamentale pour des raisons ´videntes de compr´hension de notre ´toile, mais e e e e ´galement pour les probl`mes climatiques qui deviennent critiques ` notre ´poque. Diff´rents appareils de e e a e e mesure se situent sur divers satellites et mesurent le flux solaire dans diverses longueurs d’ondes. Un des buts ultime de ces mesures et de leur compr´hension est la pr´diction ` cours et moyen terme de l’activit´ solaire. e e a e Les images suivantes (2) sont des images du soleil dans certaines longueur d’ondes (extrˆme UltraViolet, images e de l’atmosph`re solaire, la brillance repr´sente des zones ` 60-70000 K pour 304 A, 106 pour 171, 1.5106 pour e e a e e 195 et 2.106 pour 284. Le plus chaud, le plus haut dans l’atmosph`re solaire. Diff´rentes fr´quences renseignent e

Figure 2: Images du soleil dans 4 bande fr´quentielles diff´rentes le 28 aout 2006- EIT on board SOHO e e donc sur diff´rentes zones. Il est donc fondamental d’observer une plus grande gamme de fr´quence. Or, les e e e e appareils n´cessaires coˆ tent chers, et les misssions spatiales ne sont pas l´gions. De plus, des id´es issues de la e u physiques montrent que le spectre entier est redondant et que la mesure de quelques raies spectrales permet de reconstruire l’ensemble du spectre. Trouver les raies pertinentes requiert l’utilisation de techniques de traitement des signaux. On peut alors s’int´resser ` partir de plusieurs mesures du spectre solaire ` d´composer ce spectre e a a e 3

en spectres ´l´mentaires. Des r´sultats utilisant des techniques tr`s r´centes de traitement du signal sont montr´ ee e e e e sur la figure (3) D’autre part, peut-on reconstruire l’irradiance totale ` partir de certaines autres mesures? La a
Full sun −−day 245−− −2 −4 −6 −8 −10 −12 −14 40 60 80 100 120 140 160 180

Positive Source 1/3 −2 −4 −6 −8 −10 −12 −14 40 60 80 100 120 140 160 180

Positive Source 2/3 −2 −4 −6 −8 −10 −12 −14 40 60 80 100 120 140 160 180

Positive Source 3/3 −2 −4 −6 −8 −10 −12 −14 40 60 80 100 120 Wavelength, [nm] 140 160 180

Figure 3: D´composition en composantes ´l´mentaires du spectre EUV solaire. e ee figure (4) suivante montre diff´rents indices qui servent actuellement ` l’´tude de l’activit´ solaire. Le signal le e a e e plus bas correspond ` l’irradiance totale mesur´e sur terre et le signal du haut correspond au d´nombrement a e e des taches solaires. Les recherches tr`s actuelles tentent de reconstruire l’irradiance ` partir des autres mesures. e a

250 200 150 100 50 7.23 300 200 100 7.23 300 200 100 7.23 250 200 150 100 7.23 0.29 0.28 0.27 7.23 0.105 0.1 0.095 0.09 0.085 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.23

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

6 4 2 7.23 90 80 70 60 50 7.23 200 150 100 50 7.23 300 200 100 7.23 1368 1366 1364 1362 7.23 7.24 7.25 7.26 7.27 7.28 7.29 7.3 7.31 7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

7.24

7.25

7.26

7.27

7.28

7.29

7.3

7.31

7.32 x 10
5

Figure 4: Diff´rents indices de l’activit´ solaire sur les 26 derni`res ann´es. e e e e

1.3

Signal de turbulence

La turbulence dans les fluides reste aujourd’hui un d´fi pour les physiciens. Sa compr´hension a une importance e e non seulement scientifique, mais ´galement technologique. La turbulence est g´r´e math´matiquement par e e e e 4

nous allons donc nous int´resser aux mod`les de signaux. e e La figure suivante montre un exemple de signal issu d’un flot turbulent. ainsi que le r´v`le une analyse e a e e dite temps-fr´quence (voir la figure (6). Toutefois. Il s’agit de la vitesse longitudinale d’un flot d’air dans une soufflerie mesur´e par un fil chaud. u a e e e eıt´ e il montre la loi des1 4/5. la th´orie est incompl`te comme e e e e e e le prouve l’illustration suivante signal de vitesse et sa densite spectrale signal de vitesse et un modele gaussien (fBm) les increments (1 et 700) Figure 5: Signal de vitesse mesur´ dans un ´coulement turbulent et son spectre de puissance illustrant la pente e e en 5/3. Ce signal est port´ par des ondes acoustiques. En bas comparaison du signal avec un mod`le gaussien ayant la mˆme densit´ spectrale de puissance. e 1. la chauve-souris ´tant donc l’ancˆtre de nos SONAR. o` v est le champ de vitesse. Le terme non lin´aire e e e e e e v∇v. e e 5 . la r´gularit´ de solutions. regardons les signaux ´mis par une chauve-souris en phase d’attaque e de proie. e e e c’est-`-dire la puissance du signal ´clat´e sur l’ensemble des fr´quences contenue dans le signal. il modifie sa th´orie en 1962 avec e Obukhov en prenant en compte la fluctuation de la dissipation d’´nergie avec les ´chelles. e e e Le spectre du signal peut-ˆtre trompeur quand ` la structure intime du signal. Dans la suite. ´quation aux d´riv´es partielles fortement non lin´aire. e e e 1. e e e Les incr´ment de taille 1 montre bien l’invalidit´ de l’hypoth`se gaussienne. en e e e 1 Cette loi lie le moment d’ordre 3 des incr´ments de vitesse de taille l a la dissipation d’´nergie a l’´chelle l.4 Signal d’´cho-location : la chauve-souris e Pour terminer cette petite galerie d’exemple. Kolmogorov en 1941. Sous des hypoth`ses de stationnarit´ et d’homog´n´¨ e. A cˆt´ des ´tudes math´matiques sur u e o e e e l’existence. Pour contrer certaines remarques de Landau.N. et d´duit par des arguments de dimension la forme de la densit´ spectrale de la e vitesse dans un fluide turbulent. Les premiers r´sultats e e e sur la turbulence sont dˆ s ` A. Sous certaines e ` e ` e hypoth`ses. les physiciens ont une approche plus pragmatique. induit une complexit´ terrifiante. La figure suivante repr´sente sa densit´ spectrale.5 Pour terminer et pr´parer la suite e Ces quelques exemples divers ont montr´ la n´cessit´ de d´velopper des mod`les pr´cis de signaux et d’´tudier e e e e e e e leurs interactions avec les syst`mes.l’´quation de Navier-Stokes. La th´orie de a e e e e Kolmogorov pr´dit une d´pendance en 1/f 5/3 qui est bien v´rifi´e. le coefficient de proportionalit´ ´tant -4/5 de la dissipation e ` e e e d’´nergie par unit´ de masse. ce moment d’ordre trois est proportionnel a l’´chelle.

. Cette premi`re partie e e e e e du cours occupera 4 ` 5 s´ances. nous examinerons des mod`les plus complexes et tr`s utiles dans de a e e e nombreux domaines : les signaux markoviens et les processus ponctuels. e pr´sentant (ou en rappelant) les mod`les de signaux d´terministes. densit´s spectrales. . Nous ´tudierons les grandeurs e e e e e qui r´v`lent des informations utiles (fonctions de corr´lations. ). al´atoires. 6 .Figure 6: Signal d’´cholocation d’une chauve souris dans ses repr´sentations temps.. fr´quence et tempse e e fr´quence. Ensuite.

les signaux prendront leur valeurs dans C. e e 2. signaux de puissance moyenne finie e 2 On d´finit l’´nergie d’un signal par e e Ex Ex = = α R x(t) dt pour le temps continu x(n) n∈Z 2 α pour le temps discret La constante α est plac´e ici pour dimensionner correctement l’´nergie. Notons qu’un signal d’´nergie finie a n´cessairement une puissance moyenne nulle. e L’ensemble Y image peut ˆtre : e • ` une dimension. alors que la deuxi`me sera r´serv´e aux espaces d’indexation discrets. Bien que nous appelions ces variables des variables temporelles ne doit pas cacher le fait que dans certaines applications. De plus. repr´sent´ e e e e e par Z. nous examinerons les interactions entre les signaux et les syst`mes. a • Z ou N pour des signaux ` temps discret par exemple. nous allons d´tailler deux grandes classes de signaux. Nous reviendrons alors sur les e e notions d’´nergie et de puissance. Enfin.2 Signaux d’´nergie finie. Un cas tr`s particulier des signaux e loc e e de puissance moyenne finie est l’ensemble des signaux p´riodiques de p´riode T que l’on notera L2 (T ). e La puissance moyenne d’un signal est d´finie par e Px Px = = 1 T →+∞ 2T lim lim T −T K x(t) dt pour le temps continu x(n) n=−K 2 2 1 K→+∞ 2K + 1 pour le temps discret L’ensemble des signaux pour lesquels l’´nergie est finie est appel´ espace des signaux d’´nergie finie et est not´ e e e e L2 . Dans e e 7 .1 Signaux d´terministes e Zoologie Un signal est d´fini comme une fonction math´matique d’un ensemble d’indexation X vers un ensemble image e e Y dans lequel le signal prend ses valeurs. a • d’autres structures telle N × N ou encore un graphe Dans ce cours nous nous limiterons aux signaux ne d´pendant que d’une variable qui pourra ˆtre continue ou e e discr`te. la premi`re d´crivant un espace e e e d’indexation continu qui sera R. les variables t et n seront appel´es variables temporelles. Dans la suite.2 2. L’espace des signaux e e de puissance moyenne finie est not´ L2 . on posera α = 1. a • ` n dimension pour des signaux multidimensionnels (exemple des enregistrements sismique) a Un signal x de la variable t sera donc ´crit comme e x:X t −→ Y −→ x(t) Un signal est en g´n´ral born´. et il contient ´videmment L2 . Dans la suite. L’ensemble X peut ˆtre : e • R ou un de ses intervalles. les signaux d’´nergie finie et les signaux de e e puissance moyenne finie. Les repr´sentations fr´quentielles des signaux seront alors introduites. e e e Dans toute la suite. Nous donnerons ensuite une vision g´om´trique des signaux donnant ainsi un cadre e e commun. cas d’un signal ` temps continu. R ou C. mais e e il ne faut jamais oublier dans les applications que la somme du module carr´ du signal est proportionnel ` e a l’´nergie. les variables d’indexation ne seront pas le temps (exemple du flux EUV solaire). cadre qui permettra naturellement d’introduire d’autres repr´sentations des signaux par changement e de bases. et ce pour des raisons physiques.

Bases : Une famille d´nombrable e1 . . est une base orthogonale e si et seulement si elle est totale. . y). . le e e signal x appartient ` un espace vectoriel (typiquement L2 ) et la classe de signaux est un sous-espace vectoriel a de L2 . c’est-`-dire ee a ee a ee pour tout x. en . e e e e e e e Un autre point de vue (´quivalent) est celui de l’approxilmation. u a Ecrire la d´finition de l’´nergie pr´suppose que les int´grales (ou les sommes) existent. si et seulement si l’ensemble de ses combinaisons lin´aires finies est dense dans e +∞ l’espace consid´r´e. . Enfin d’une norme on d´duit une e e e e e distance entre deux vecteurs comme la norme de leur diff´rence ||x − y|| = d(x. total < x|ej >= 0∀j implique x = 0 (la seule e fonction orthogonale ` tous les ´l´ments e est la fonction nulle). o` [T ] correspond ` un intervalle quelconque de longueur T . Par exemple dans l’espace usuels ` 3 dimensions qui nous entoure avec le produit scalaire usuel a on a < x|y >= |x||y| cos θ. xN tel que d(x. (Pour ˆtre de Hilbert. Dans la vision g´om´trique. Rappelons que le produit scalaire permet en quelque sorte de comparer deux vecteurs . Autrement dit pour tout x et tout ε > 0. On introduit alors sur l’espace vectoriel un produit scalaire d´finit comme ´tant une forme bilin´aire sym´trique e e e e ( < x|y >=< y|x >∗ ) (ou sesquilin´aire dans le cas des complexes) d´finie-positive (< x|x >≥ 0 avec ´galit´ si e e e e et seulement si x est le vecteur nul). z) + d(z. y0 ) si et seulement si < x − y0 |y >= 0 pour tout ´l´ment y de A. e e e e Th´or`me de la projection orthogonale : Soit H un espace de Hilbert et A un sous espace vectoriel e e complet de H. espaces vectoriels Rappelons qu’un ensemble est une espace vectoriel ( ou lin´aire – on dit linear space en anglais–) sur un corps de e r´f´rence (R ou C pour nous) s’il est stable par addition et par ultiplication par un scalaire du corps. de vecteurs d’un espace de Hilbert est un syst`me orthogonal e e si < ei |ej >= 0∀i = j. .cet espace la limite T tend vers l’infini est non n´cessaire pour la d´finition de la puissance qui se restreint ` e e a 1/T [T ] x(t) dt. . . l’´l´ment x+λy est ` nouveau dans l’ensemble. . 2 2. Obtenir la meilleure approximation de x dans cette classe revient alors ` projeter orthogonalement x sur a cette classe. Rappelons l’in´galit´ de Schwartz : | < x|y > |2 ≤< x|x >< y|y > avec ´galit´ si les vecteurs sont proportionnels. Une norme est une application de l’espace dans R d´finie-positive. . On montre que les espace L2 (C) et L2 (C) sont des espaces vectoriels e loc sur le corps des complexes. On d´finit donc l’espace e e e e e L2 (X) comme l’espace des signaux index´s par X qui sont d’´nergie finie. . y) ≤ d(x. orthogonale constitue une base si tout x peut s’´crire x = i=1 xi ei o` xi =< x|ei > e N 2 /||ei || . . l’espace doit ˆtre complet. . Nous garderons cette d´finition pour des espaces plus abstraits. . . . Attention. . Ce th´or`me est fondamentale en th´orie de l’estimation dans laquelle on cherche ` e e e a approcher au mieux un signal x par un signal d’une certaine classe de signaux. . i=1 xi ei ) ≤ ε. . . e e e e Les espaces L2 (C) et L2 (C) sont hilbertiens en les munissant des produits scalaires loc < x|y > < x|y > = = x(t)y ∗ (t)dt 1 T →+∞ 2T lim T −T x(t)y ∗ (t)dt Les espaces sont alors norm´s puis m´triques en utilisant les normes et les distances induites. en .3 Langage commun. cette ´criture signifie deux choses : les sommes partielles i=1 converge vers un fonction f (x) e et de plus f (x) = x. a ee +∞ u Une famille e1 . Les ´l´ments d’un espace vectoriel sont appel´s vecteurs. . θ ´tant l’angle entre les directions portant les deux vecteurs. On peut montrer le r´sultat suivant : une famille e1 . y de l’ensemble et tout λ du corps. L’int´rˆt principal e e e e de cette formalisation est d’introduire des notions g´om´triques sur l’espace des signaux. v´rifiant ||λx|| = |λ|||x|| et l’in´galit´ ||x + y|| ≤ ||x|| + ||y||. c’est-`-dire y0 est la projection orthogonale a de x sur le sous-espace A. 8 . . v´rifiant l’in´galit´ triangulaire d(x. on peut trouver un entier N et des nombre e N x1 . si et seulement si ||x||2 = i=1 |xi |2 ||ei ||2 (´galit´ appel´e ´galit´ de Parseval). le vecteur x − y0 est orthogonal au sous-espace A. Notons que cet espace est un cas e e particulier des espaces Lp (X) qui ont des relations non triviales les uns avec les autres. . . Notons qu’une distance est e une application sym´trique. Dans ce contexte. Alors y0 ∈ A minimise d(x. y) = 0 si e e e e et seulement si x = y. . orthonorm´ si de plus < ei |ei >= 1. une famille de vecteurs est e une base de l’espace si tout ´l´ment de l’espace peut ˆtre approch´ arbitrairement finement par une combinaison ee e e lin´aire de ces vecteurs. les suites de Cauchy convergent). ee Autrement dit. Soit x ∈ H/A. en . e e e Le produit scalaire induit une norme sur l’espace vectoriel. En particulier nous e e allons bri`vement pr´senter le th´or`me de la projection orthogonale et introduire la notion de bases. . Un espace vectoriels muni d’un produit scalaire est un espace de e (pr´)Hilbert. Ainsi le produit scalaire e entre deux vecteurs distincts et non nuls est nul si les deux vecteurs sont orthogonaux. y) et telle que d(x.

autrement dit les fonctions de L2 (C). Cet exemple est celui des s´ries de Fourier. Les subtilit´s math´matiques pass´es. L’ensemble des fonctions e e e P ek (t) = exp 2iπkt/T.4 Repr´sentation fr´quentielle : transformation de Fourier. Cet exemple est important et poss`de une interpr´tation physique importante pour la suite. en fr´quences r´duites. De plus cette discussion montre que d´finir le signal par sa repr´sentation e ee e e temporelle x(t) est ´quivalent ` d´finir le signal par sa d´composition en s´rie de Fourier que nous appellerons e a e e e repr´sentation fr´quentielle. Cette repr´sentation se e e e e e e g´n´ralise vers les fonctions d´finies sur R par e e e X(ν) = x(t)e−2iπνt dt = T F [x(t)] o` la fonction X : R −→ C est appel´e transform´e de Fourier de x. e e Enfin. T ] et 0 ailleurs. il sera int´ressant de consid´rer le signal xT (t) = x(t). c’est ` e a dire que |x(t)|dt < +∞ et donc que la fonction appartiennent ` L1 (C). Dans le cas de la puissance.Un exemple : on consid`re L2 (T ) l’ensemble des fonctions p´riodique de p´riode T . e e N 2. Pour qu’une fonction ait une transform´e de Fourier. e On inverse la transform´e ` l’aide de e a x(t) = X(ν)e2iπνt dν = T F −1 [X(ν)] La transform´e de Fourier du produit de convolution est un produit simple.1[−T. Le e P coefficient de Fourier est donn´ par ck =< x|ek >= T −1 [T ] x(t) exp(−2iπkt/T )dt et on a x(t) = k∈Z ck ek (t) e e dans le sens ||x(t) − k=−N ck ek (t)|| → 0 quand N → +∞. l’´galit´ de e e e e Parseval s’´crit dans ce contexte 1/T [T ] |x(t)|2 dt = k∈Z |ck |2 . la transformation de Fourier est une transformation unitaire : non seulement elle conseve l’´nergie e (th´or`me de Parseval) mais elle conserve ´galement les produits scalaires e e e < x(t)|y(t) >= x(t)y(t)∗ dt = X(ν)Y (ν)∗ dν =< X(ν)|Y (ν) > Propri´t´s ´nerg´tiques : Nous avons d´j` vu la d´finition des signaux d’´nergie et de puissance finie.T ] (t) ´gal ` x(t) sur l’intervalle [−T. il suffit qu’elle soit sommable. k ∈ Z est une base orthogonale de L2 (T ). e e a 9 . En utilisant les r´sultats sur les espaces vectoriels de Hilbert on voit que d’une mani`re g´n´rale le loc contenu ´nerg´tique (ou de puissance) est donc ||x(t)||2 = < x|x > o` < x|y >= x(t)y ∗ (t)dt pour l’´nergie e e u e T 1 e et < x|y >= limT →+∞ 2T −T x(t)y ∗ (t)dt pour la puissance. La TF d’une fonction r´elle et paire est r´elle et paire. Cette d´finition est ´videmment licite dans u e e e e certaines conditions. Or le terme 1/T [T ] |x(t)|2 dt n’est autre que e la puissance du signal x et l’´galit´ de Parseval montre comment la puissance du signal se r´partit sur les come e e posantes fr´quentielles ´l´mentaires. De plus. Notons que la d´finition s’´tend pour a e e des fonctions de carr´ sommable. e z(t) = x(u)y(t − u)du =⇒ Z(ν) = X(ν)Y (ν) La transformation de Fourier ´change d´rivation etr multiplication par un monˆme : e e o T F [x(t)] = ˙ T F [−2iπtx(t)] = 2iπνX(ν) ˙ X(ν) La transformation de Fourier ´change translation et d´phasage : e e T F [x(t − τ )] = T F [x(t)e2iπν0 t ] = e−2iπντ X(ν) X(ν − ν0 ) LA TF d’une fonction (im)paire est (im)paire. nous pouvons rappeler les ´l´ments fondamentaux e e e ee concernant la transform´e de Fourier. L’extension n’est pas imm´diate puisque e e L2 n’est inclu dans L1 . e e e e en Z Nous venons de voir comment la notion de fr´quence peut ˆtre introduite naturellement dans l’´tude des signaux e e e p´riodiques. Notons e e e e ea e e que l’´nergie du signal x ∈ L2 n’est autre que sa norme L2 alors que la puissance du signal x ∈ L2 est sa norme e loc e e e e dans L2 . G´n´raliser cette repr´sentation au cas des signaux non p´riodiques. Il montre en effet que tout signal p´riodique se d´compose e e e comme une somme de sinuso¨ ıdes de fr´quence multiple de la fr´quence fondamentale 1/T .

e e e e e et une en fr´quence par e ∆t2 ∆ν 2 = = 1 Ex 1 Ex t2 |x(t)|2 dt ν 2 |x(ν)|2 dt Ces grandeurs repr´sente la dispersion de l’´nergie autour de l’axe t ou ν = 0. Cette relation fondamentale stipule que si l’´nergie e e e est tr`s concentr´e dans un domaine (t ou ν) elle est alors forc´ment tr`s dispers´e dans l’autre. Le comble de e e e e e cette assertion est le dirac dont la transform´e de Fourier est la constante. e e Principe d’incertitude d’Heisenberg-Gabor : Un autre lien existe entre les propri´t´s ´nerg´tiques ee e e d´velopp´es en temps ou en fr´quence. c’est le th´or`me de e e e e Wiener-Khintchine qui stipule que ces paires de fonction sont transform´e de Fourier l’une de l’autre. Notons que Γxx (−τ ) = Γ∗ (τ ) et qu’en e xx particulier la fonction d’autocorr´lation d’un signal r´el est paire. Ces fonctions indiquent la r´partition de l’´nergie ou de la puissance le long des fr´quences. De plus la fonction de corr´lation est maximale e e e en z´ro (in´galit´ de Schwartz ou sens physique). e 10 . Conid´rons en effet une mesure de la dispersion de l’´nergie en temps. Pour comparer deux signaux il s’agit d’examiner les lien qui existe entre deux dates distinctes des deux signaux. e e e Examinons les grandeurs similaires d´finies sur les repr´sentations fr´quentielles. Montrons le th´or`me de Wiener-Khintchine dans le cas de signaux de puissance moyenne e e finie. On doit effectuer la transform´e de Fourier de l’intercorr´lation: e e T F [Γxy (τ )] = τ 1 T →+∞ 2T lim 1 lim T →+∞ 2T +∞ −∞ +∞ T −T +∞ −∞ x(t)y ∗ (t − τ )dt e−2iπντ dτ ∗ xT (t)yT (t − τ )dt e−2iπντ dτ ∗ yT (t − τ )e−2iπντ dτ dt = τ = = 1 T →+∞ 2T lim T →+∞ xT (t) τ 1 xT (t) Y ∗ (ν)e−2iπνt dt 2T −∞ 1 = lim XT (ν)Y ∗ (ν) T →+∞ 2T lim e e Notons que l’´change des limites et int´grales requiert des conditions que l’on suppose v´rifi´es ici. γxy ( e nu) = T F (Γxy (τ )). L’´nergie totale e e e e est donc la somme sur toutes les fr´quence de la densit´ correspondante. On introduit alors la fonction d’intercorr´lation (qui existe dans l’espace consid´r´ en vertu e e e de l’in´galit´ de Schwartz) par e e Γxy (τ ) Γxy (τ ) Γxy (τ ) = < x(t)|y(t − τ ) > = = x(t)y ∗ (t − τ )dt ´nergie finie e 1 T →+∞ 2T lim T −T x(t)y ∗ (t − τ )dt puissance moyenne finie dont les cas particuliers sont les fonctions de corr´lation Γxx (τ ). Soient X(ν) la TF d’un signal e e e d’´nergie finie et XT (ν) la TF du signal tronqu´ xT (t) lorsque x est de puissance moyenne finie. Pour comprendre cela on peut e e e e e e voir |x(t)|2 /Ex comme une densit´ de probabilit´ (centr´e) et ∆t2 repr´sente alors la variance. On a alors le r´sultat suivant appel´ principe d’incertitude d’Heisenberg-Gabor: e e ∆t∆ν ≥ 1 4π avec ´galit´ si et seulement si x(t) est de forme gaussienne. Mais il existe un r´sultat plus come e e plet encore mettant en lien fonction d’intercorr´lation et densit´ spectrale d’interaction. On d´finit e e e alors la densit´ spectrale d’´nergie ou de puissance d’interaction par e e γxy (ν) = = X(ν)Y ∗ (ν) 1 XT (ν)Y ∗ (ν) lim T →+∞ 2T 1 dont le cas particulier est la densit´ spectrale d’´nergie ou de puissance γx x(ν) = |X(ν)|2 ou limT →+∞ 2T |XT (ν)|2 e e .Le langage des espaces vectoriels nous permet maintenant de comparer deux signaux entre eux ` l’aide du a produit scalaire.

La transform´e s’inverse en int´grant le long d’un chemin e e e e e entourant l’origine dans la couronne de convergence selon xn = 1 2iπ X(z)z n dz z La transform´e en Z d’un signal retard´ est T Z(xn−k ) = z −k X(z). La transform´e en Z d’une convolution e e e discr`te est le produit des transform´es en Z. il faut que la s´rie soit convergente. il faut e a introduire les outils adapt´s au traitement des signaux ` temps discret : il s’agit de la transform´e en Z et de e a e e son cas particulier la transform´e de Fourier en fr´quences r´duites. ce qui est u e e en g´n´ral assur´ dans une couronne de convergence. une ´quation diff´rentielle dont la e e a ˙ e e solution est une gaussienne. c’est-`-dire si x(t) = ktx(t). Il s’´crit ˙ e < tx(t)|x(t) > ˙ = = tx(t)x(t)∗ dt ˙ t|x(t)|2 +∞ −∞ − (x + tx(t))x(t)∗ dt ˙ o` nous avons effectu´ une int´gration par partie. e e Transform´e en Z de s´quences discr`tes e e e Soit xn . ˙ ˙ ˙ Maintenant en utilisant l’in´galit´ de Schwartz on a e e ∆t2 ∆ν 2 = ≥ 1 2 4π 2 Ex < tx(t)|tx(t) >< x(t)|x(t) > ˙ ˙ 2 1 < tx(t)|x(t) > ˙ 2 4π 2 Ex avec ´galit´ si les signaux sont proportionnels. n ∈ Z une s´quence discr`te. Le premier terme est ´gal ` z´ro puisque nous supposons les u e e e a e signaux d’´nergie finie et par suite. Mais le carr´ de la partie r´elle d’un nombre complexe est toujours inf´rieur ˙ e e e ou ´gal au module carr´ de ce nombre et nous avons donc finalement e e ∆t2 ∆ν 2 ≥ ≥ = 1 2 4π 2 Ex < tx(t)|x(t) > ˙ 2 1 2 4π 2 Ex Re < tx(t)|x(t) > ˙ 2 Ex 4 2 1 2 4π 2 Ex Signaux ` temps discret. Par contre pour faire l’analyse harmonique. Pour que la transform´e existe. transform´e en Z : a e Pour les besoins des traitements num´riques.Pour d´montrer l’in´galit´. En utilisant le fait que T F [x(t)] = 2iπνX(ν) et que la TF conserve les produit scalaires on a ∆ν 2 =< x(t)/(2iπ)|x(t)/(2iπ) > /Ex . la th´orie du signal s’est tourn´e vers l’´tude des signaux ` temps e e e e a discrets. a e e e et l’on peut d´finir des fonctions de corr´lations selon e e Γxy (k) = n∈Z ∗ xn yn−k pour l’´nergie finie e Γxy (k) = 1 lim K→+∞ 2K + 1 K ∗ xn yn−k pour la puissance moyenne finie n=−K et l’on peut avoir les mˆmes discussions qu’` temps continu. les signaux d’´nergie finie et de puissance moyenne finie sont consid´r´s. on utilise l’in´galit´ de Shwartz en remarquant que ∆t2 et ∆ν 2 sont les normes de e e e e e deux signaux. Revenons au produit scalaire < tx(t)|x(t) >. e e 11 . e < tx(t)|x(t) > ˙ = −Ex − < tx(t)|x(t) >∗ ˙ ou Re(< tx(t)|x(t) >) = −Ex /2. Tout comme ` temps continu. Sa transform´e en Z est d´finie par e e e e X(Z) = n∈Z xn z −n o` z est une variable complexe. En effet ∆t2 =< tx(t)|tx(t) > /Ex et ∆ν 2 =< νX(ν)|νX(ν) > /Ex .

Pour comprendre tout cela. L’´chantillonnage pourra ˆtre e a e a e e p´riodique.Si le cercle unit´ est dans le rayon de convergence. soit e e γxy (z) = k Γxy (k)z −k ∗ xn yn−k z −k n k = = n xn l ∗ yl z l−n −n l = n xn z yl z l∗ ∗ = 1 X(z)Y ∗ ( ∗ ) z La densit´ spectrale d’´nergie s’en d´duit. la transform´e de Fourier du signal ´chantillonn´ est donn´e par la transform´e de Fourier p´riodis´e ` e e e e e e e a la cadence 1/Te de x(t). Comme la TF de xe est obtenue en e p´riodisant la TF de x. Il est intuitif de consid´rer que le signal x(t) sera d’autant mieux repr´sent´ e e e par la suite xn que la p´riode d’´chantillonnage sera petite. La transform´e de Fourier d’un peigne e e e de Dirac n δ(t − nTe ) est un autre peigne de Dirac (1/Te ) n δ(ν − n/Te ). Le signal ´chantillonn´ ` la cadence Te s’´crit e ea e xe (t) = x(t). alors n´cessairement la DSP admet le o e pˆle (resp. Nous nous concentrons ici sur l’´chantillonnage p´riodique. le z´ro) de mˆme angle et de module 1/r. on peut alors poser z = exp 2iπλ et l’on d´finit alors la e e transform´e de Fourier en fr´quence r´duite e e e X(λ) = n∈Z 1/2 xn e−2iπnλ X(λ)e2iπnλ dλ xn = −1/2 Densit´s spectrales en Z On peut d´finir les densit´s spectrales d’´nergie et de puissance d’interaction dans e e e e le cas discret en utilisant la transform´e en Z. si l’on multiplie cette TF par une porte en e e fr´quence on peut retrouver la TF de x(t) et donc x(t) par TF inverse. Dans ce cas. Dans ce cas e 12 . o e e Du monde continu vers le monde discret : ´chantillonnage e L’´chantillonnage consiste ` pr´lever ` des instants discrets la valeur d’un signal. On va pour cela utiliser le th´or`me de WK appliqu´ ` la TZ. Soit x(t) e e e e e e un signal. les motifs de base de la TF de x(t) sont pr´serv´s. il n’y aura pas de recouvrement si X(ν) = 0 pour ν > B ≤ νe /2 = 1/2Te .δ(t − t0 ) = u f (t0 )δ(t − t0 ) et f (t) ⋆ δ(t − t0 ) = f (t − t0 ) o` ⋆ est le produit de convolution. n δ(t − nTe ) o` δ(t) est l’impulsion de Dirac. Elle est invariante par la trasformation z → 1/z ∗ qui montre que si e e e e e la DSP a un pˆle (resp. Le signal ´chantillonn´ s’´crit u e e e alors xe (t) = n x(nT e)δ(t − nTe ) et l’on notera xn la suite x(nTe ). un z´ro) d’angle θ et de module r est pr´sent. examinons l’influence de l’´chantillonnage sur la transform´e de Fourier. e e e ea On d´finit donc la DSEI des signaux xn et yn comme la TZ de leur fonction d’intercorr´lation. irr´gulier et mˆme al´atoire. Toutefois il existe des signaux pour lesquels une e e cadence petite mais non nulle permet de conserver toute l’information sur x(t). Ceci est illustr´ sur les quatres premi`res planche de la figure (7) e e On s’aper¸oit en observant la transform´e de Fourier de xe que s’il n’y a pas de recouvrement entre les p´riodes c e e . Rappelons que cette impulsion est une distribution qui satisfait f (t). On a donc Xe (ν) = X(ν) ⋆ = n n 1 δ(ν − ) Te Te n X(ν − ) Te Ainsi.

la sortie du filtre aujourd’hui sera la mˆme que demain. 1/(2Te )](ν) πt xe (t) ⋆ sinc Te π(t − nTe ) x(nTe )sinc Te n formule appel´e formule d’interpolation de Shannon. Un filtre lin´aire est dit invariant s’il commute avec l’op´rateur u e e e de translation temporel : autrement dit.05 0 0. la p´riodisation provoque des recouvrements entre les motifs et on ne e peut plus r´cup´rer le signal initial.4 0.Te 1[ − 1/(2Te ).8 1 −1 0 2 4 6 8 10 12 14 16 Figure 7: Illustration de l’´chantillonnage e Si la condition de Shannon νe ≥ 2νmax . les bandes des signaux n’´tant pas limit´es. Un filtre est lin´aire si e (F [x + y])(t) (F [λx])(t) = = (F x)(t) + (F y)(t) λ(F x)(t) Les transform´es lin´aires les plus g´n´rales peuvent s’´crire sous-forme int´grale selon e e e e e e y(t) = (F x)(t) = K(t. Ils transforme un signal en un autre par e y(t) = (F x)(t).5 −1 0 2 4 6 8 module de X(ν) 600 400 200 0 −500 10 12 14 16 −400 −300 −200 −100 0 100 200 300 400 500 signal xe(t) et un zoom.6 0. Soit Tτ x le e 13 .5 Quelques notions sur les filtres et la transformation des signaux Les filtres sont des op´rateurs travaillant sur des espaces de signaux.5 0 −0. Ceci peut conduire ` des reconstructions erron´es induisant des erreurs e e a e ´normes. Te=0.05 0 0 −0. En pratique. u)x(u)du o` K est appel´ noyau de la transformation.2 0.01 s 1 0 −1 0 2 4 6 8 10 12 14 16 module de Xe(ν) et le gabarit du filtre de reconstruction 60 40 20 0 −500 −400 −300 −200 −100 0 100 200 300 400 500 signal xr(t) et un zoom sur l erreur 1 0.on retrouve x(t) ` partir de xe (t) par a x(t) = = = T F −1 Xe (ν). comme illustr´ figure (8).) e a e 2. on applique e e e e pr´alablement ` tout ´chantillonnage un fitre appel´ anti-repliement qui limite la bande du signal et autorise e a e e un ´chantillonnage (toujours au-del` de deux fois la fr´quence de coupure du filtre. e signal x(t) 1 0.

01 s 1 0 −1 0 0.8 0.5 0 −0.7 0.26 0.8 0.9 1 −400 −300 −200 −100 0 100 200 300 400 500 signal xe(t).1 0.2 0. u) et ce e e a e pour tout retard τ .1 0.4 0.signal x(t) 1 0. 0). u + τ ) soit encore K(t − τ.18 0. x(t) en continu.1 0.12 0.6 0. e e Donc le noyau n’est pas bi.2 0. Le filtre est invariant si e Tτ (F x)(t) = (F Tτ x)(t) Cette ´galit´ contraint le noyau ` v´rifier K(t − τ.6 0.5 module de X(ν) 600 400 200 0 −500 0.24 0.22 0. 0). u) = K(t − u.3 0.mais monodimendsionnel eton obtient pour F un produit de convolution y(t) = h(t − u)x(u)du o` l’on a not´ h(v) = K(v.5 0. Te=0.14 0. e e e 14 .5 −1 0 0.16 0. u − τ ) = K(t. On montre facilement que le produit de convolution se transforme en un produit u e simple et la sortie du filtre lin´aire invariant F s’´crit dans le domaine des fr´quences e e e Y (ν) = H(ν)X(ν) La fonction h est appel´e r´ponse impulsionnelle et sa transform´e de Fourier gain complexe du filtre. EN particulier cela estv´rifi´ pour τ = −u et on obtient donc que K(t.3 0.4 0.9 1 module de Xe(ν) et le gabarit du filtre de reconstruction 60 40 20 0 −500 −400 −300 −200 −100 0 100 200 300 400 500 signal xr(t) en pointille.2 0. u) = K(t.7 0.28 Figure 8: Illustration de l’´chantillonnage e signal translat´ de τ . xe en * 1 0 −1 0.

e e Soit donc un espace probabilis´ (Ω. La fonction de corr´lation est donn´e e e e par E[X(t1 )X ∗ (t2 )] = R2 x1 x∗ pX(t1 ). B une tribu d´finie sur Ω et P une e u e e mesure de probabilit´. . . . xk . . t2 )dx1 dx2 2 et est une fonction ` deux dimensions. . il est important de rappeler que les ´critures pr´c´dentes pr´supposent e e e e e e 15 .. e e e Nous devons alors ´tendre la th´orie des signaux d´terministes vers la th´orie des signaux al´atoires. a e ee Le signal al´atoire est compl`tement d´crit par la connaissance des mesures de probabilit´ conjointes de ces ke e e e uplets. . . mais les mˆmes remarques peuvent ˆtre faites ici. la valeur moyenne du signal al´atoire X est par d´finition e e E[X(t)] = R xpX(t) (x. B. . xk . de la biologie. leurs densit´s de probabilit´ e e e pX(t1 ). .. .X(tk ) (x1 . ∀k ∈ N Ces fonctions permettent l’´valuation de grandeurs moyennes e E[f1 (X(t1 )) × . . Alors une fonction al´atoire est donn´e par e e e X : (Ω. on suppose connues les fonctions de r´partitions e Pr {X(t1 ) ≤ x1 . A cet ´gard. Ainsi.... P ) × R −→ R (ω. La valeur moyenne est donc a priori une grandeur d´pendant du temps t. 3. . . X(tk )). . . . t)dx et le moment d’ordre 2 par E[|X(t)|2 ] = R |x|2 pX(t) (x.X(t2 ) (x1 . ` t fix´. x2 . × fk (xk )pX(t1 ). t) Ainsi. pour tout k ∈ N. . Nous ne referons pas la discussion temps e e continu-discret. de l’´conomie et d’autres disciplines pr´sentent un e e caract`re tr`s erratique qui les rend difficilement mod´lisables par des ´quations math´matiques usuelles.. Pour d´crire la structure probabiliste du signal. On se limite en g´n´ral ` l’´tude des deux premiers ordres k = 1 et k = 2 qui permettent ` eux seuls de d´j` e e a e a ea bien caract´riser le signal. . tk ). . il faut r´aliser des a e e e analyses multi-point ou multi-date.X(tk ) (x1 . t) −→ X(ω. B. t1 . t1 . . La fonction de covariance est obtenue en travaillant sur le signal centr´ a e X(t) − E[X(t)].. . . . th´orie e e e e e e dont le but est la d´finition de mod`les et le d´veloppement d’analyse ad´quats pour la description des signaux e e e e erratiques et non reproductibles. .1 D´finition e e Une fonction al´atoire est une variable al´atoire index´e par le temps. t)dx La racine carr´e de la variance d´finit l’´cart type qui repr´sente la taille caract´ristique des fluctuations du e e e e e signal autour de sa moyenne. . ∀k ∈ N et si elles sont diff´rentiables. e e e e e beaucoup de ph´nom`nes sous-jacent aux signaux semblent d´pendre des lois du hasard. .. × fk (X(tk ))] = f1 (x1 ) × . . . X(t) est une variable usuelle.3 Signaux al´atoires e De nombreux signaux issus de la physique. tk )dx1 . P ) o` Ω est l’espace des ´preuves. Pire. dxk Rk Par exemple. t)dx La variance du signal est obtenue en travaillant sur le signal centr´ et l’on a e Var [X(t)] = = E (X(t) − E[X(t)])2 = E[|X(t)|2 ] − |E[X(t)]| 2 R (x − E(X(t))2 pX(t) (x. c’est-`-dire ´tudier les propri´t´s statistiques des k-uplets (X(t1 ). t1 . . X(tk ) ≤ xk } . .

0) Par suite. Dans ce formalime. a Continuit´ et d´rivabilit´. Si cette propri´t´ est v´rifi´e pour tout e ee e e t. t2 ) = pX(t1 −t2 ).X(t2 ) (x1 .a.A est une v. e e e e 3. Les covariances forment un ensemble stable par addition. t) + Γx (t. que l’on rend hilbertien en choisissant le produit scalaire < X|Y >= E[X(t)Y ∗ (t)]. ∀t ee On montre facilement que cet espace est un espace vectoriel sur le corps de r´f´rence (R ou C). La transform´e de Fourier e e e serait alors ´galement une fonction al´atoire dont il faudra ´tudier les statistiques. e e e e ind´pendantes uniformes. 3.X(t2 +τ ) (x1 . impliquant pX(t1 ). Il faut en effet r´aliser la e e e e transformation de Fourier (en supposant que l’on puisse) r´alisation par r´alisation. En particulier. e 3.X(0) (x1 . on dit que la fonction est continue en m. e Un signal est stationnaire si ses propri´t´s statistiques sont invariantes par toute translation de l’origine des ee temps.3 Analyse harmonique R´aliser l’analyse harmonique des signaux al´atoires n’est pas une chose ais´e. On ´crit alors e Γx (τ ) = E[x(t)x∗ (t − τ )] exercice : Etude de la stationnarit´ au second ordre de x(t) = A cos(2πν0 t + ϕ) o` 1.a. Si X(t) est e e e e stationnaire alors ∀τ ∈ R. Ainsi la fonction de corr´lation devient une fonction d’une variable τ que l’on convient e d’appeler retard. En effet. t) et l’on voit que continuit´ en moyenne quadratique du e processus est ´quivalent ` continuit´ de Γx (t. t + h) − Γx (t. t2 + τ ) et donc en particulier pour τ = −t2 . t) = pX(t+τ ) (x. t + τ ) et donc en particulier pour τ = −t. t1 + τ. pX(t1 ). Nous introduisons alors la classe e e fondamentale des signaux al´atoires du second ordre d´finis comme les signaux de puissance finie. Examinons les cons´quences de cette hypoth`se sur les fonctions d´finissant la fonction al´atoire. multiplication et passage ` la limite. t1 . 0) montrant que les statistiques ` une date sont ind´pendantes du temps. e a e On dit que la fonction al´atoire est d´rivable en moyenne quadratique au point t si le taux d’accroissement au e e point t poss`de une limite finie en moyenne quadratique. En d´veloppant l’esp´rance on obtient E[|X(t + h) − X(t)|2 ] = e e Γx (t + h. t) = pX(0) (x. e e e La premi`re difficult´ r´side dans le fait qu’un signal al´atoire n’a presque-sˆ rement pas de transform´e de e e e e u e Fourier. une signal al´atoire n’est presque sˆ rement pas sommable ni de carr´ sommable. On dit que la fonction al´atoire est continue en moyenne quadratique en t si e e e e E[|X(t + h) − X(t)|2 ] tend vers 0 quand l’incr´ment h tend vers 0. la stationnarit´ implique que les propri´t´s statistiques ` deux dates ne d´pendent que de l’´cart e ee a e e entre ces deux dates.a. x2 . cela implique que la a e moyenne est constante au cours du temps.A et ϕ sont des v.X(t2 ) (x1 . c’est-`-dire e e a l’ensemble H2 = X(t)/E |X(t)|2 < +∞.q. 1]. t + h) − Γx (t + h. En ce qui concerne l’analyse ` deux dates. t2 ) = pX(t1 +τ ). la fonction de corr´lation peut ˆtre vue comme le produit scalaire < X(t1 )|X(t2 ) > qui existe puisqu’en vertu de l’in´galit´ e e e e de Schwartz on a | < X(t1 )|X(t2 ) > |2 ≤< X(t1 )|X(t1 ) >< X(t2 )|X(t2 ) >= E |X(t1 )|2 E |X(t2 )|2 qui est une grandeur finie pour les signaux du second ordre. t1 . sous la condition de stationnarit´ e pX(t) (x. x2 . t). La d´finition e u e e 16 . x2 . t1 − t2 .´videmment que les int´grales (ou les sommes dans le cas discret) convergent. On montre qu’une condition n´cessaire et suffisante e e de d´rivabilit´ en moyenne quadratique est l’existence de la d´riv´e seconde de Γx sur sa diagonale. x2 . uniform´ment r´partie sur [0. unie u form´ment r´partie sur [02π] 2.ϕ est une v. Donc on obtient. ainsi que la variance. la stationnarit´ implique a e ∀τ ∈ R.2 Stationnarit´. pX(t) (x.

de la transform´e de Fourier des signaux al´atoires doit donc s’effectuer dans le sens des distributions al´atoires e e e ou en utilisant des artifices de construction comme le signal restreint ` un intervalle. Il est e e tr`s utile d’examiner la transformation subie par filtrage lin´aire invariant des grandeurs statistiques d´finissant e e e le processus. t2 )∗ ]e−2iπνt1 e2iπνt2 dt1 dt2 1[−T. Soit γxx (ν) la transform´e de Fourier de Γxx (τ ). ν) = xT (ω.T ] (v)1[−T. t)]e−2iπνt dt T e−2iπνt dt de sorte que limT →+∞ E[XT (ω. t1 )xT (ω. On peut montrer rigoureusement que la limite de sa TF quant T tend vers l’infini est un dirac en z´ro. formule des interf´rences.T ] (t2 )Γxx (t1 − t2 )e−2iπν(t1 −t2 ) dt1 dt2 En effectuant le changement de variables u = t1 − t2 . t)1[−T. On a alors e le r´sultat suivant. ν)] = = m −T E[xT (ω. Cette fonction se calcule ais´ment et vaut 2T (1 − u e e |u|/2T )1[−2T.2T ] (u)] 2T |τ a e a La fonction triangle (1 − 2T| )1[−2T.T ] (t). appel´ formule des interf´rences e e e ∗ γy1 y2 (ν) = H1 (ν)H2 (ν)γx1 x2 (ν) Ce r´sultat se montre par un calcul direct de l’intercorr´lation entre les sorties des deux filtres puis en prenant e e la transform´e de Fourier. t) le signal al´atoire ´gal ` x(ω. Soient x1 (t) et x2 (t) deux signaux al´atoires qui attaquent h1 et h2 respectivement. Soient e e e e a e h1 (t). e e e e 17 . th´or`me de Wiener Khintchine. On a alors le r´sultat suivant. Calculons maintenant le moment d’ordre 2. ν)] = mδ(ν).T ] (t1 )1[−T. donnant naissance e aux sorties y1 et y2 respectivement. T ].T ] (v − u)Γxx (u)e−2iπνu dudv Γ11 (u)Γxx (u)e−2iπνu du o` est la fonction de corr´lation de l’indicatrice de [−T. la formule des interf´rences montre que la DSP de la sortie d’un filtre e e de gain complexe H est ´gale au module carr´ du gain multipli´ par la DSP de l’entr´e. On a e E[XT (ω. t)e−2iπνt dt Supposons maintenant le signal x(t) stationnaire. et examinons les propri´t´s statistiques de XT au premier et ee au deuxi`me ordre. On a ∗ E[XT (ν)XT (ν)] = = E[xT (ω. En particulier.2T ](u).2T ] (u) tend ` s’´largir de plus en plus au fur et ` mesure que T grandit. Leurs gains complexes sont not´s e e e Hi (ν). e e e 1 E[|XT (ν)|2 ] = γxx (ν) = T F [Γxx(τ )] T →+∞ 2T lim Cette d´finition de la densit´ spectrale de puissance γxx s’´tend de la mˆme mani`re aux densit´s spectrales de e e e e e e puissance d’interaction 1 ∗ E[XT (ν)YT (ν)] = γxy (ν) = T F [Γxy (τ )] T →+∞ 2T lim Transformation des grandeurs statistiques par filtrage lin´aire. a On consid`re dont xT (ω. v = t1 on obtient E[|XT (ν)|2 ] = = 1[−T. On obtient alors e 1 E[|XT (ν)|2 ] = 2T γxx (ν) ⋆ T F [1 − |τ | 1[−2T. Chaque r´alisation est alors de carr´ e e e a e e sommable (` certaines conditions pas trop restrictives sur les lois de probabilit´ g´rant le processus) et on peut a e e d´finir e XT (ω. Pour cela on consid`re une approche tr`s g´n´rale qui conduit ` la formule des interf´rences. h2 (t) deux r´ponses impulsionnelles de deux filtres lin´aires invariants.

et en utilisant log(1 − x) ≈ −x e e on a log ϕB (u) ≈ ≈ n log(1 − −n u2 η 2 2 u2 η 2 ) 2 A t fix´. (ind´pendantes et identiquement distribu´es) prenant la valeur u e e e ±η avec probabilit´ 1/2. t2 ). Alors dans la double somme pr´c´dente seul le terme E[ε2 2 ] = n2 η 2 = σ 2 t2 reste puisque e e n tous les autres sont nuls (ind´pendance et variables centr´es). B((n − 1)dt) + εn o` les {εn }n sont des variables al´atoires i.i. On a alors B(t) = B(ndt). e e e La fonction de corr´lation de B(t) est ais´e ` obtenir. et par suite ϕB (u) = (cos uη)n log ϕB (u) = n log(cos uη) Comme nous allons regarder le processus limite. Si t1 < t2 on obtient E[ε2 1 ] = σ 2 t1 et dont e e n ΓBB (t1 .4 Brownien et bruit blanc Nous allons illustrer les paragraphes pr´c´dents en introduisant et en ´tudiant le mouvement Brownien et son e e e processus incr´ment. On d´veloppe alors le cos autour de 0. On a e e a n1 n2 E [B(t1 )B(t2 )] = k1 k1 E [εk1 εk2 ] Supposons t1 > t2 . Calculons la fonction caract´ristique de B(t). Il faut lever e e a e e e cette difficult´ en remarquant que η → 0 pour assurer la continuit´. Le processus peut s’´crire e ea e ´galement e n B(ndt) = k=1 εn On montre alors facilement qu’il est centr´ est que sa variance est donn´e par nη 2 . t2 ) = σ2 min(t1 . Le mouvement Brownien est une id´alisation math´matique des ph´nom`nes de diffusion e e e e e en physique.s. Comme cette variable prend les valeurs ±η ´quiprobablement e e e e e on a E eiuεn = cos uη.3. Le logarithme de la fonction caract´ristique e e e de B(t) poss`de donc une limite finie si nη 2 est fini. dt est le pas de temps qui sera amen´ ` tendre vers 0. dt → 0 est ´quivalent ` n → +∞. 18 . Comme n ≈ t/dt on voit que η doit tendre vers z´ro comme e e √ √ dt. Il s’agit d’un processus ` temps continu que l’on peut construire comme processus limite d’un a processus ` temps discret lorsque le pas de temps tend vers 0. On choisit alors η = σ dt pour obtenir σ 2 tu2 2 lim ϕB (u) = e − dt→0 qui n’est rien d’autre que la fonction caract´ristique d’une variable al´atoire gaussienne centr´e de variance σ 2 t. Calculons E [B(t1 )B(t2 )]. la taille des sauts η ne peut pas ˆtre trop grande et doit mˆme e e tendre vers 0 pour assurer la continuit´.d. a e B(0) = B(ndt) = 0 p. Soit t une date quelconque e e et n la partie enti`re de t/dt. Il semble alors que le d´veloppement pr´c´dent diverge. Il vient e e ϕB (u) = E eiuB(t) = E eiu n Pn k=1 εn = E k=1 n eiuεn E eiuεn = k=1 la derni`re ´galit´ en vertu de l’ind´pendance des ε. D´finissons ce processus.

e e e e e e L’ergodisme est la th´orie. En particulier. S’il s’agit alors de qualifier le signal al´atoire ` partir e a e e e a de cette r´alisation. qui justifie cela. 100 r´alisations sont trac´es et la loi t est superpos´e. superpos´es ` ± t e e a L’ensemble de ces r´sultats montre que le mouvement Brownien est un processus gaussien non stationnaire. En effet lim E[(B(t + ε) − B(t))2 ] = 0 mais lim E[(B(t + ε) − B(t))2 /ε2 ] = ∞. On dit alors que le signal al´atoire x est ergodique si les moyennes u e temporelles sont identiques presque-sˆ rement.60 40 20 0 −20 −40 −60 0 100 200 300 400 500 600 700 800 900 1000 √ Figure 9: 100 r´alisations du mouvement brownien. nous n’avons u e acc`s qu’` une seule des r´alisations du signal al´atoire. Ce r´sultat n’est pas ´tonnant puisque par construction e e e les incr´ments du Brownien sont ind´pendants (ce sont les εi du processus discret. tr`s difficile. c’est-`-dire l’ensemble des ω ∈ Ω des r´alisations pour lesquelles u a e ce n’est pas vrai est de mesure nulle. Cette th´orie e e e e e n’aura d’int´rˆt pratique que si elle permet de d´crire les param`tres pertinents d’une r´alisation particuli`re. Toutefois le processus e incr´ment peut ˆtre d´fini par X(t) = ε−1/2 (B(t + ε) − B(t)). puisque sa puissance est infinie. Le processus incr´ment est e e e appel´ bruit blanc et sa fonction de corr´lation est donn´e par e e e Γxx (τ ) = E[X(t)X(t − τ )] = σ 2 δ(τ ) Sa densit´ spectrale de puissance est alors donn´e par e e γxx (ν) = σ 2 qui montre que ce processus n’est pas physique. Le mot blanc vient de l’analogie avec la lumi`re blanche qui contient ` ´gale e e e ae puissance toutes les fr´quences du visible. e e Lorsque l’on mesure une r´alisation d’un signal al´atoire. si un signal est ergodique on a alors 1 T →+∞ 2T lim 1 T →+∞ 2T lim T −T T x(t)dt −T = a = g(τ ) x(t)x∗ (t − τ )dt 19 . Ceci vient du fait que la d´riv´e du Brownien n’existe pas. mesure des corr´lation et DSP e e e e La th´orie des signaux al´atoires est construite pour mod´liser des signaux naturels erratiques et g´r´s a priori e e par le hasard. le probl`me semble impossible. Toutefois. Sa variance est donn´e par σ 2 et sa fonction e e e e de corr´lation E[X(t + τ )X(t)] est nulle pour tout τ . et la th´orie des signaux al´atoires inutile. Le brownien est continu mais non e e e d´rivable. dans les applications physiques o` des signaux sont effectivement mesur´s. e 3. les seules grandeurs moyennes que l’on peut calculer e e sont des moyennes temporelles du type 1 T →+∞ 2T lim T f (x(t))dt −T o` f est une fonction du signal x(t). La e √ figure (9) l’illustre.5 Notion d’ergodisme.

cela montre que la corr´lation rend plus difficile les tˆches d’estimation. e e e 20 . Γxx (u) = σ2 δ(u) et on obtient E[m2 ] = σ2 2T Si le processus est ` corr´lation exponentielle Γxx (u) = σ 2 exp(−|u|/τ ) on obtient a e E[m2 ] = σ2 τ τ 1− T 2T 1 − e−2T /τ Cette variance est trac´e comme une fonction de τ /2T sur la figure (10). estimateur dont e il faut ´tudier les caract´ristiques statistiques. on a e E 1 T →+∞ 2T lim T −T T −T T x(t)dt −T = = E[x(t)] = m E[x(t)x∗ (t − τ )] = Γxx (τ ) x(t)x∗ (t − τ )dt x(t)x∗ (t − τ )dt = 1 T →+∞ 2T lim T Γxx (τ )dt −T = Γxx (τ ). L’ergodisme permet en outre de mesurer les grandeurs statistiques d’un signal al´atoire stationnaire ` partir e a d’une seule de ses r´alisations. a Les deux points de vue se rejoignent toutefois si on analyse un signal ergodique et stationnaire. En effet. La variance mesure alors la dispersion e e e a de l’estimateur autour de sa moyenne. que la variance tend vers zero quand T tend vers l’infini. conform´ment aux e c e hypoth`ses d’ergodisme. τ ´tant fix´. Ceci est logique et e a montre que les nouveaux ´chantillons d’un signal corr´l´ apportent moins d’information que ceux d’un signal e ee d´corr´l´. ` ce point il ne faut confondre les moyennes temporelles et les moyennes d’ensemble. Toutefois. e ee Pour terminer ce chapitre metionnons le fait que toutes les id´es pr´sent´es ici s’´tendent sans difficult´s au cas e e e e e des signaux ` temps discrets. en tant que moyenne sur une dur´e finie. Une petite variance est en g´n´rale souhaitable. cette grandeur e e e est al´atoire. En regard du r´sutat e e a e pour le bruit blanc. L’estimateur sera dit sans biais si e e sa valeur moyenne est pr´cis´ment ´gale ` la grandeur qu’il estime. On s’aper¸oit. le e e e comportement pour T grand est σ 2 τ /T . En effet on montre alors que 1 T →+∞ 2T lim 1 T →+∞ 2T lim En effet. Si le signal est un bruit blanc. et on dira que Γxx (τ ) est un estimateur de la fonction de corr´lation. En effet. puisque sous les conditions d’ergodisme et de stationnarit´ il y a e e ´quivalence entre moyenne temporelle est fr´quentielle. De plus. les grandeurs spectrales seront alors d´finies en utilisant les transform´es a e e en Z ou en fr´quences r´duites. Le probl`me pratique li´e au temps fini entre a e e e alors en ligne de compte. On la qualifie alors en ´tudiant sa moyenne et sa variance.Attention. Nous nous pla¸ons dans u e c ce cas. r´sultat qui se d´grade ` mesure que τ grandit. pour la corr´lation. Mais la mod´lisation al´atoire telle que pr´sent´e plus haut s’´tend directement e e e e e e e ´tant donn´e sa nature discr`te. On montre ´galement que e E[m2 ] = 1 2T 2T −2T (1 − |u| )Γxx (u)du 2T Dans le cas o` la moyenne est nulle cette expression est ´galement celle de la variance. Examinons biais et e e variance pour l’estimateur de la moyenne m= 1 2T T x(t)dt −T On montre sans peine que E[m] = m et que cet estimateur est sans biais. il est sens´ de mesurer la fonction de corr´lation du e e e e signal par Γxx (τ ) = 1 2T T −T x(t)x∗ (t − τ )dt qui ` la limite T → ∞ donne la vraie fonction de corr´lation.

propri´t´s e e e Un processus est de Markov si le pass´ et le futur sont ind´pendants conditionnellement au pr´sent. 4 Processus de markov.k un ´v`nement li´ au pass´ de xk et Fx. Ils sont ´galement ` la source de d´veloppements r´cents en traitement du e a e e e a e e signal qui utilisent ces processus dans des techniques num´riques de calcul et d’optimisation appel´es m´thodes e e e Monte-Carlo par chaˆ ınes de Markov. . . Fx. Soit Px.) = En effet. xk−2 . .k xk Pr Fx. . a e e e e e e e Alors le processus est de Markov si Pr Px.4 1.) p(xk xk−1 )p(xk−1 . . . xk−1 .6 1.8 0. m´thodes MCMC e Les processus de Markov sont des processus ayant une structure temporelle particuli`re et sont intimement e li´s ` la th´orie des syst`mes. . . . .) p(xk−1 . .) xk−1 )p(xk−1 p(xk−1 . xk−2 .) = = = = p(xk . les grandeurs pr´c´dentes sont des probabilit´s alors qu’il e e e e e s’agit de densit´s dans le cas de valeurs continues. . e e La densit´ de transition sert ` la d´finition d’un op´rateur dit de Markov qui envoie une densit´ de probabilit´ e a e e e e sur une autre densit´ de probabilit´.2 1. xk−2 .) xk−1 )p(xk−1 p(xk−1 . . .6 0.9 0.3 0.k xk = Pr Px.2 0. . Le terme processus de Markov est en g´n´ral pr´f´r´ pour le temps continu alors que la d´nomination chaˆ e e ee e e ınes est plutˆt employ´e pour le temps discret. .1 0 0 0. p(xk |xk−1 .4 0. . alors que dans le cas continu p(xk xk−1 ) est appel´e densit´ de transition.) p(xk . Cet op´rateur s’´crit e e e e fk (x) = p(x|y)fk−1 (y)dy La densit´ de transition est ´galement appel´e noyau de transition. . p(xk xk−1 ) est une matrice appel´e e e matrice de transition. Soit xk un e e e processus ` temps discret. xk−2 . Dans le cas discret.) p(xk |xk−1 ) qui montre le r´sultat. . .4 0. ae ae e e 4. Nous ne ferons par la distinction ici.variance de l estimateur 0.k xk De cette d´finition tr`s g´n´rale on tire la propri´t´ fondamentale e e e e ee p(xk |xk−1 .k . .8 2 Figure 10: variance de l’estimateur de la moyenne pour du bruit exponentiel en fonction de τ /2T .2 0. .1 D´finitions. . xk−2 . Dans le cas d’´tats discrets.7 0.k un ´v`nement li´ au futur de xk . . .) p(xk xk−1 )p(xk−2 . La densit´ de transition est telle que e e e e p(x|y)dx = 1 et traduit le fait que d’o` que l’on parte ` la date k − 1 on est sˆ r d’arriver quelque part ` la u a u a date k. xk−2 . De mˆme on doit distinguer les o e e processus ` ´tats discrets des processus ` ´tats continus. xk−2 . . .6 0. xk−2 .8 1 τ / 2T 1. Quelques propri´t´s e e 21 . . xk−2 . . .5 0. Nous ne consid´rerons ici que les ´tats continus.) ) p(xk−1 .

alors la composition et le m´lange de ces noyaux ont e e e e ´galement cette densit´ comme densit´ invariante e e e Homog´n´¨ e D’une mani`re g´n´rale. Si des noyaux poss`dent la mˆme densit´ invariante. Un signal de dimension n est un vecteur al´atoire index´ par le temps. xk−1 xk−2 )dxk−1 p(xk xk−1 . on dit que le processus de Markov est homog`ne. soit e p(xk |xk−1 )f (xk−1 )dxk−1 dxk = p(xk |xk−1 )f (xk−1 )dxk−1 dxk xk ∈B xk−1 ∈A xk ∈A xk−1 ∈B Densit´ stationnaire ou invariante Une densit´ f est invariante pour le noyau de transition si e e f (xk ) = p(xk |xk−1 )f (xk−1 )dxk−1 Si un noyau de transition est r´versible par rapport ` f alors f est une densit´ invariante. D’une fa¸on g´n´rale toute autre transformation d´truit e e c e e e le caract`re markovien. La description statistique se fait de la mˆme fa¸on que pour les signaux e e c monodimensionnels mais cette fois en consid´rant les statistiques crois´es entre toutes les composantes. e Extension au cas multidimensionnel La d´finition des processus markoviens s’´tend naturellement au cas e e des signaux multidimensionnels. soit e e encore un vecteur de signaux al´atoires. puisque e a e pour tout ensemble A et B on a la condition de r´versibilit´ e e p(xk |xk−1 )f (xk−1 )dxk−1 dxk = p(xk |xk−1 )f (xk−1 )dxk−1 dxk xk ∈B xk−1 ∈A xk ∈A xk−1 ∈B il suffit de choisir B = R pour obtenir p(xk |xk−1 )f (xk−1 )dxk−1 dxk = xk−1 ∈A f (xk−1 )dxk−1 p(xk |xk−1 )f (xk−1 )dxk−1 dxk xk ∈R xk−1 ∈A = xk ∈A xk−1 ∈R e La premi`re ligne vient du fait que R p(x|y)dx = 1 (la probabilit´ d’arriver quelque part dans l’ensemble e d’arriv´e est 1) et la deuxi`me ligne est la r´´criture de la condition de r´versibilit´. deux signaux mondimensionnels markovien ne forment pas e n´cessairement un signal bidimensionnel markovien. e 22 . . Un e e signal muldimensionnel est de Markov si pass´ et futur sont ind´pendants conditionnellement au pr´sent. le noyau de transition peut d´pendre explicitement du temps. u R´versibilit´ Soit f une densit´. Par m´lange. e Le caract`re markovien est conserv´ par les bijections. De plus un signal multidimensionnel peut ˆtre de markov sans que ses composantes e e le soit de mani`re individuelle.) = p(xk |xk−1 ) o` une lettre grasse repr´sente un vecteur. et inversement. Il s’agit de l’´quation de Chapman-Kolmogorov qui s’´crit e a e e p(xk xk−2 ) = = = p(xk . e M´lange Le m´lange de noyaux de transition est encore un noyau de transition. sachant que x a e pour densit´ f . Si ce e eıt´ e e e e n’est pas le cas. On dit que le noyau est r´versible par rapport ` f si la probabilit´ de partir e e e e a e d’un ensemble A pour aller vers un ensemble B est la mˆme que partir de B pour aller vers A. xk−2 )p(xk−1 xk−2 )dxk−1 p(xk xk−1 )p(xk−1 xk−2 )dxk−1 et qui montre comment se composent les densit´s de transitions. .Composition La composition du noyau de transition permet de trouver la probabilit´ de passer d’un ´tat ` la e e a date k − 2 vers un ´tat ` a date k. on entend e e e n p(x|y) = i=1 ai pi (x|y) o` les ai sont tels que i ai = 1 et les pi sont n noyaux de transition. En effet. Puisque l’´galit´ est vraie e e ee e e e e pour tout A on montre que f est bien invariante. u e Conservation du caract`re Markovien par transformation. . xk−2 . Cette e e e d´finition conduit alors de la mˆme mani`re que pour le cas monodimensionnel ` e e e a p(xk |xk−1 .

i. k))pk−1 (y)dy L’existence d’une densit´ stationnaire n’est pas triviale ` montrer et requiert des d´veloppements math´matiques e a e e d´passant ce cours. Alors. le signal xk est stationnaire. k) + εk Ce mod`le d´finit un processus de Markov puisque xk ne d´pend de son pass´ qu’` travers l’instant pr´c´dent. Ainsi. e e Les mod`les AR se g´n´ralisent ` des ordres plus ´lev´s selon e e e a e e xk = a1 xk−1 + a2 xk−2 + . au moins au second ordre. Soit {εk }k une suite de variables al´atoires ind´pendantes et e e e e identiquement distribu´es.4. + ap xk−p + εk 23 . e Un cas plus simple ` ´tudier est le mod`le AR(1) lin´aire. le mod`le AR e Consid´rons des mod`les de signaux suivants. En effet. e e e e e On peut ais´ment d´terminer la densit´ de transition du processus.d. k) c’est-`-dire p(xk |xk−1 = y) = pε (xk − f (y. Ce mod`le est ` e e e e e e a mettre en parall`le de la d´finition discr`te du mouvement brownien.. et soit f (x. c’est-`-dire ae e e a xk = axk−1 + εk On peut d´velopper cette r´cursion pour obtenir e e k−1 xk = ak x0 + i=0 ai εk−i si la condition initiale est en z´ro et e k−1+n xk = ak+n x−n + i=0 ai εk−i si la condition initiale est en −n . k) une fonction de deux variables a priori quelconque.2 Un exemple. E[xk ] est ind´pendant e du temps et on calcule E[xk xk+n ] = i. Alors comme somme de variables gaussiennes le signal xk est de densit´ e e 2 gaussienne. Ceci permet de rejeter la condition initiale en −∞ en faisant tendre n l’infini. Il en constitue une sorte de g´n´ralisation. On d´finit le e e signal xk par l’´quation de r´cursion e e xk = f (xk−1 .j−n i.j 2 σε i 2 σε = = = ai ai+n an 1 − a2 2 On obtient alors la puissance E[x2 ] = σε /(1 − a2 ). La densit´ de l’´tat x ` e e e a e e a l’instant k suit alors la r´cursion e pk (x) = R pε (x − f (y. c la condition initiale est oubli´e et e +∞ xk = i=0 ai εk−i Comme les ε sont i.j ai aj E[εk−i εk+n−j ] 2 ai aj σε δi. Alors la densit´ de x ` l’instant k conditionn´e par x ` l’instant k − 1 n’est autre que la densit´ e a e a e de ǫ d´centr´e de la quantit´ f (xk−1 . . . e e e e a e e Ce mod`le est appel´ mod`le auto-r´gressif d’ordre 1 (cette terminologie est en g´n´ral donn´e au cas o` la e e e e e e e u fonction f est lin´aire en x et le mod`le ci-dessus peut alors ˆtre appel´ AR(1) non lin´aire). Supposons e e a k toutefois les ε gaussiens et centr´s. k)). On v´rifie alors que la loi N (0. La densit´ stationnaire n’est pas ais´e ` obtenir. Soit pε (u) la densit´ de probabilit´ des e e e e e variables ε. σε /(1 − a2 ) est une densit´ stationnaire. on s’aper¸oit de suite que l’on doit avoir |a| < 1 pour que le signal existe. si n tend vers l’infini.

Nous d´velopper quelques e e e e e techniques pour illustrer la probl´matique. En pr´sence de ces situations difficiles. th´or`me central limite e e e Loi faible des grands nombre : Si la suite xi est i. 0) .. interm`de : loi des grands nombres. . u Th´or`me central limite : Si la suite xi est i. . puis nous tourner vers les techniques utilisant les chaˆ e ınes de Markov. 0 1  ap 0  0  . . alors ¯N = 1 h N N h(xi ) i=1 est un estimateur de Ef [h(X)]. Consid´rons un probl`me g´n´rique de calcul d’esp´rance math´matique. Ceci illustre ´galement qu’un processus multidimensionnel peut ˆtre e e de Markov sans que ses composantes le soient. 4.Ce signal n’est pas markovien car clairement xk d´pend de son pass´ via plusieurs dates ant´rieures. Autrement dit la probabilit´ que la suite converge est 1. On a alors xk = Axk−1 + εk  a1 a2 a3 1 0 0  0 1 0 A =  .d. e e e e a calculer des esp´rances math´matiques de fonctions compliqu´es sur des densit´s connues ou des esp´rances e e e e e simples sur des densit´s compliqu´es peut s’av´rer impossible. du filtrage non lin´aire optimal. On cherche ` calculer Ef [h(X)]. e e e Nous allons illustrer le propos en pr´sentant le probl`me de l’int´gration num´rique. . .d. Soit f (x) une densit´ de probabilit´ e e e e e e e e et h une fonction.. et si Var[x] < +∞ alors la variable e e 1 N xi − E[x] √ Var[x]/ N 24 N i=1 . de la d´tection.d..i.. c’est-`-dire ` ´valuer a a ae Ef [h(X)] = h(x)f (x)dx La m´thode de Monte-Carlo consiste ` approcher l’esp´rance pr´c´dente par une moyenne empirique utilisant N e a e e e r´alisation d’une variable al´atoire. . c’est-`-dire que l’on est en pr´sence e a e d’une convergence presque-sˆ re. 0 . xk−p )T . et si E[x] < +∞ alors pour tout ε > 0 et tout δ > 0. Par exemple..0 εk Clairement. le vecteur xk ne d´pend de son pass´ que par xk−1 .i. et le traitement du signal n’´chappe pas ` la r`gle. . . .3 M´thode de Monte-Carlo pour l’int´gration e e Dans de nombreuses disciplines scientifiques. x2 . . . . .. des techniques e a e th´oriques sophistiqu´es reposent sur l’´valuation d’int´grales souvent impossible ` calculer. xN N r´alisations de la variable X ∼ f (∼ signifie distribu´ e e e e selon ).i. il existe N0 tel que Pr 1 N N i=1 xi − E[x] <ε =1−δ pour tout N ≥ N0 . Ce genre de situation apparaˆ en traitement e e e ıt du signal dans les domaines de l’estimation statistique.. . e Loi forte des grands nombre : Si la suite xi est i. . 0 0. 0 0 = (εk 0 . Toutee e e fois. Soit x1 . on construit ` l’aide du mod`le pr´c´dent un signal vectoriel markovien en introduisant le vecteur xk = a e e e (xk xk−1 xk−2 . ap−1 . Le mod`le AR(p) poss`de une repr´sentation e e e e e vectorielle qui est un processus de Markov. et si E[x] < +∞ alors pour tout ε > 0 lim Pr 1 N N i=1 N →+∞ xi − E[x] >ε =0 il s’agit ici d’une convergence en probabilit´. Une des e e e e technique d’int´gration num´rique est la m´thode de Monte-Carlo. de la e e classification. . . le recours ` des m´thodes num´riques est en g´n´ral e a e e e e sinon indispensable au moins n´cessaire pour r´soudre les probl`mes et acqu´rir des connaissances.. .

5 2 variance en log−log.77 donnant une e e valeur E[x2 ] = 2. alors le th´or`me central limite indique que e e ¯ N − Ef [h(X)] h ∼N →+∞ N (0. σ2 ) 2 2 On obtient facilement E[x2 ] = pσ1 + (1 − p)σ2 + pm2 + (1 − p)m2 .5 −2 1 −4 −6 0. m2 = 2. e h Sur la figure (11) on montre le r´sultat de l’int´gration pour m1 = 1. nous chercherons ` calculer le moment du second ordre du m´lange de a e gaussiennes 2 2 x ∼ pN (m1 . droite de pente −1 2 0 1. la variance Var[hN ] se calcule ais´ment selon e e e ¯ Var[hN ] = = = 1 N2 Var[h(xi )] 1 Var[h(x)] N 1 h2 (x)f (x)dx − Ef [h(X)]2 N qui. 1) ¯ Var[hN ] ¯ Etant donn´e l’ind´pendance des xi . Ce r´sultat seul justifie la technique d’int´gration Monte-Carlo. alors a e e e e ¯ la loi forte des grands nombre nous assure de la convergence presque-sˆ re de hN vers Ef [h(X)] quand N tend u vers l’infini. Par exemple.5 −8 0 0 2 6000 4 7000 6 8000 8 9000 10 10000 0 1000 2000 3000 4000 5000 Figure 11: Int´gration monte-carlo pour le calcul de E[x2 ] dans un m´lange de gaussiennes. le calcul Monte-Carlo pr´c´dent est soit mauvaise (variance trop e e e e ´lev´ par exemple) soit impossible ` r´aliser si on ne sait pas simuler selon la loi f . σ1 = σ2 = 1. Le recours ` la loi faible des grands nombres ou au th´or`me central limite permet de a e e qualifier la convergence et de donner des intervalles de confiance.96.96 vN . z]) = 0.95 donnant puisque ZN est suppos´e centr´e a e e e √ norm´e z = 1. e e Ecantillonnage pond´r´: Dans certains cas. ` l’instar de Ef [h(X)]. ne peut pas en g´n´ral ˆtre explicitement calcul´e. si h est telle que Varf [h(X)] est finie. σ1 ) + (1 − p)N (m2 .tend en distribution vers une variable al´atoire gausssienne centr´e norm´e. Elle ne dit toutefois rien sur des e e vitesses de convergence. Elle sera remplac´e par son a e e e e e estim´e empirique e vN = 1 N2 N i=1 h2 (xi ) − ¯2 hN N exemple: Pour illustrer ce paragraphe. p = . Dans ce cas une astuce tr`s e e a e e 25 . L’intervalle de confiance est donc ¯ N ± 1.69. e estimee et sa variance 3. on trace ´galement la variance empirique qui montre la convergence. 1) √ vN L’intervalle de confiance ` 95% est donn´ par Pr(ZN ∈ [−z. on utilise le th´or`me central limite (et on remplace la variance de l’estim´e par son estim´e empirique vN ) qui stipule que e e ZN = ¯ hN − Ef [h(X)] ∼N →+∞ N (0. Sur la figure.5 3 2. 1 2 e e Pour obtenir un intervalle de confiance sur l’estimation. e e e retour ` l’int´gration Si on dispose d’un ´chantillon de N variables ind´pendantes distribu´es selon f .

Supposons que sur le support de f on ait une e autre loi g telle que f (x) ≤ M g(x). On minimise alors la fonctionnelle e h2 (x)f 2 (x) dx − λ g(x) par rapport ` g. la figure e e e e sup´rieure montrant le r´sultat si la variance est 4 alors que la figure inf´rieure montre le r´sultat pour une e e e e variance de 1. et que l’on a int´rˆt ` ce que les c e e a ´chantillons propos´s par g scrutent correctement les zones de fortes probabilit´s de f . G´n´rer x ∼ g et u ∼ U([0. La loi instrumentale choisie est une gaussienne.simple permet de contourner la difficut´. La loi g est appel´e loi instrumentale. 1]) e e 2. ON s’aper¸oit que le choix de la loi instrumentale est crucial. Les ´quations d’Euler conduisent ` a e a g ⋆ (x) = |h(x)|f (x) |h(x)|f (x)dx g(x)dx En pratique on ne peut utiliser cette densit´ puisque le d´nominateur est en g´n´ral incalculable (c’est pr´cis´ment e e e e e e l’int´grale que l’on cherche si h(x) > 0). e e e Ecantillonnage par acceptation-rejet : Une autre technique peut ˆtre utilis´e pour g´n´rer des ´chantillons e e e e e suivant une loi f . Il s’agit de la m´thode d’acceptation et rejet. Minimiser la variance revient ` minimiser e e a h2 (x)f 2 (x) dx g(x) sous la contrainte que le minimiseur est une densit´. On e e e e peut chercher par exemple la loi qui minimise la variance pr´c´dente. Alors l’algorithme suivant 1. e L’´chantillonnage pond´r´ est illustr´ sur la figure (12). Cette astuce repose sur e Ef [h(X)] = = h(x)f (x)dx h(x)f (x) g(x)dx g(x) hf = Eg [ (X)] g a ` condition que le support de f soit inclus dans celui de g. e e e 26 . Une e approximation Monte-Carlo est alors obtenue ` partir d’un N -´chantillon simul´ selon g par a e e 1 ¯ hN = N N i=1 h(xi )f (xi ) g(xi ) La variance de cet estimateur est alors donn´e par e ¯ Var[hN ] = = = 1 N2 Var[ h(xi )f (xi ) ] g(xi ) 1 h(x)f (x) Var[ ] N g(x) h2 (x)f 2 (x) 1 dx − Ef [h(X)]2 N g(x) Le degr´ de libert´ apport´ par la loi instrumentale pose imm´diatement la question du choix de cette loi. Accepter y = x si u ≤ f (x)/(M g(x)) sinon retourner en 1 g´n`re une variable y distribu´e suivant f .

l’algorithme AR a donc simul´ 30 fois plus d’´chantillons que les deux autres. Pour obtenir la figure. qui est d’autant plus petit que M e est grand. un e e e ´chantillonnage pond´r´ (N (0. la variance serait divis´e d’autant. 4. e e e e Il faut relativiser la meilleure qualit´ de l’acceptation-rejet par rapport aux autres.4 M´thodes MCMC e L’id´e des m´thodes Monte-Carlo par Chaˆ e e ınes de Markov (MCMC) consiste ` utiliser les ´chantillons de la a e chaˆ qui sont asymptotiquement distribu´s suivant la densit´ invarainte de la chaˆ ıne e e ıne. e Les probl`mes des m´thodes pr´c´dentes r´sident dans le choix de la loi instrumentale et dans la probabilit´ e e e e e e d’acceptation qui peut ˆtre difficile ` connaˆ e a ıtre. et utiliser les e ıne e ´chantillons ` temps long xt . 2)) et l’´chantillonnage par acceptation et rejet. e e En effet. on cherche la loi de la variable y|u ≤ f (x)/(M g(x)). pour e a ¯N = 1 h N Deux questions principales se posent : t+N −1 h(xi ) i=t 27 . . des techniques alternatives ont ´t´ e ee d´velopp´es qui reposent sur les chaˆ e e ınes de Markov. u ≤ f (x)/(M g(x))) Pr (u ≤ f (x)/(M g(x))) Pr (x ≤ y0 . . s’il faut e e calculer Ef [h(X)] = h(x)f (x)dx a ` l’aide d’une approximation MCMC. Pr y ≤ y0 u ≤ f (x)/(M g(x)) = = Pr (y ≤ y0 . u ≤ f (x)/(M g(x))) Pr (u ≤ f (x)/(M g(x))) y0 −∞ g(x) = f (x)/(Mg(x) 0 du dx dx = = +∞ f (x)/(Mg(x) g(x) 0 du −∞ y0 −∞ g(x)f (x)/(M g(x)dx +∞ −∞ g(x)f (x)/(M g(x)dx y0 f (x)dx −∞ On remarque dans cette d´monstration que le taux d’acceptation est 1/M . de sorte que l taux d’acceptation est de 1/30. Sur la figure (13) on repr´sente de haut en bas l’int´gration utilisant un ´chantillonnage direct.loi instrumentale N(0. Or. Dans l’exemple repr´sent´.1) 5 4 3 2 1 0 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 12: Int´gration monte-carlo pour le calcul de E[x2 ] dans un m´lange de gaussiennes par ´chantillonnage e e e pond´r´. Pour pallier ces probl`mes. Si nous avions utilis´ le mˆme nombre d’´chantillon e e e e e pour les autres. il faut cr´er une chaˆ de Markov de densit´ invariante f . xt+1 . .2) 5 4 3 2 1 0 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 loi instrumentale N(0. la e e e valeur de M est environ 30. Pr´cis´ment.

e ¯ 1. Cette densit´ doit ˆtre simulable pour tout x. il deux grands types d’algorithmes.a.1 f (xt )q(y0 |xt ) y0 xt avec probabilit´ ρ(xt . Cet algorithme utilise une loi instrumentale qui est une densit´ conditionnelle e q(y|x). 1] ind´pendante des autres ` ρ. et l’algorithme de e Gibbs. y0 ) = min f (y0 )q(xt |y0 ) .echantillonnage direct 15 10 5 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 echantillonnage pondere 15 10 5 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 echantillonnage acceptation−rejet 15 10 5 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 13: Int´gration monte-carlo pour le calcul de E[x2 ] dans un m´lange de gaussiennes par ´chantillonnage e e e acceptation et rejet et comparaison avec l’´chantillonnage direct et un ´chantillonnage pond´r´ de mauvaise e e e e qualit´. e 1. e Pr [xt+1 ∈ A|xt ] = Pr [y0 ∈ A et on accepte |xt ] + Pr [xt ∈ A et on rejette ] La proc´dure d’acceptation et de r´jection repose sur la comparaison d’une variable al´atoire u uniform´ment e e e e r´partie sur [0. y0 ) e La suite de v.. y0 ) e avec probabilit´ 1 − ρ(xt . ayant ` disposition une chaˆ de Markov de densit´ invariante f . les algorithmes de Metropolis-Hastings. Choisir xt+1 = o` u ρ(xt . et doit ˆtre soit connue analytiquement soit sym´trique e e e e q(y|x) = q(x|y). e e e Ceci ´tant dit. est-ce que l’estimateur hN converge (et a ıne e comment?)? 2.Metropolis-Hastings.a.Donc e e a ρ(xt . xt selon e ´tant donn´e xt . Cette remarque peut ˆtre utilis´e pour combiner diff´rents noyaux et avoir un algorithme plus efficace. Alors l’algorithme de MH fournit une suite de v. 1. y)dy A 28 . Cette chaˆ a pour densit´ stationnaire la densit´ f . sachant que les probl`mes th´oriques de convergnce sont difficiles et ne seront qu’´voqu´s ici. e e Construction de chaˆ ınes de Markov ayant une densit´ invariante pr´scrite.y) Pr [xt+1 ∈ A|xt ] = = q(y|xt ) A 0 du dy q(y|xt )ρ(xt . e e a e e ıne e e Pour ´valuer le noyau de la chaˆ on doit ´valuer e ıne. g´n´r´e est bien une chaˆ de Markov puisque conditionnellement au pass´ l’´tat courant ne e e e ıne e e d´pend que de l’´tat ` l’instant pr´c´dent. comment construire une chaˆ de Markov ayant pour distribution invariante une densit´ donn´e f ? ıne e e e e Nous allons traiter ces deux points dans le sens inverse. G´n´rer y0 ∼ q(y|xt ) e e 2. e e La premi`re chose ` mentionner est que l’invariance d’une distribution est conserv´e par m´lange et par compoe a e e sition.

e ee e e 29 . y))dy δ(x2 − x1 )dx2 Quant au deuxi`me terme. y)dy δ(x2 − x1 )f (x1 ) = 1− q(y|x2 )ρ(x2 . x1 )f (x2 ) q(x2 |x1 ) min q(y|x1 )ρ(x1 . y0 ) = min f (y0 )q(xt − y0 ) . x2 )f (x1 ) + 1 − Mais q(x2 |x1 )ρ(x1 . puisqu’alors e ρ(xt . Montrons que ce noyau est f -r´versible. il en est de mˆme pour leur somme. puis ´tendue en 1970 par Hastings. 1 f (x1 ) f (x1 )q(x2 |x1 ) min [f (x2 ). On veut montrer e k(x2 |x1 )f (x1 ) = k(x1 |x2 )f (x2 ) Il vient k(x2 |x1 )f (x1 ) = q(x2 |x1 )ρ(x1 . f (x1 )q(x2 |x1 )] f (x1 )q(x2 |x1 ) . on a ´videmment (´tant donn´es les propri´t´s de la distribution de Dirac) e e e e ee 1− q(y|x1 )ρ(x1 . x2 ) + δ(x2 − x1 ) q(y|x1 )(1 − ρ(x1 . y))dy On v´rifie bien que ce noyau est un noyau de transition puisque e k(x2 |x1 )dx2 = = 1 puisque q(y|x1 )dy = 1. la loi instrumentale ne d´pend pas de l’´tat pr´c´dent et q(x|y) = q(x).y) dudy = A q(y|xt )(1 − ρ(xt . Dans le cas o` f (x) ≤ M q(x) on pourrait utiliser la proc´dure d’acceptation et rejet. ce qui assurera l’invariance de f . e e e e Quelques exemples types de loi instrumentale : e e e e e • MH ind´pendant : dans ce cas.1 f (xt ) qui prend une forme particuli`rement simple si q(z) est paire. x2 )f (x1 ) = = = = f (x2 )q(x1 |x2 ) . y))dy On d´duit alors que la densit´ de transition est e e k(x2 |x1 ) = q(x2 |x1 )ρ(x1 . y0 ) = min Cette derni`re version a ´t´ propos´e en 1955 par Metropolis. y)dy δ(x2 − x1 )f (x1 ) q(x2 |x1 )ρ(x1 . y)) 1 δ(y − xt )dy δ(y − xt )dy q(y|xt ) ρ(xt .1 f (xt )q(y0 − xt ) f (y0 ) . Dans ce cas la probabilit´ d’acceptation s’´crit e e ρ(xt . 1 f (x2 ) q(x1 |x2 ) min f (x2 )q(x1 |x2 ) q(x1 |x2 )ρ(x2 . e e e • MH avec marche al´atoire : l’id´e est ici d’utiliser xt+1 = xt + z o` z est une variable al´atoire de densit´ e e u e e q(z). x2 )dx2 + q(y|x1 )(1 − ρ(x1 . mais le MH est en u e g´n´ral sup´rieur.Pour le deuxi`me terme on a e Pr [xt+1 = xt ∈ A et on rejette |xt ] = = A A δ(y − xt )dyPr (u > ρ(xt . y)dy δ(x2 − x1 )f (x2 ) Les deux termes v´rifiant la r´versibilit´.

1 2 • Utilisation du MH ind´pendant: la loi instrumentale q(x|y) = q(x) = N (m. σ1 ) + (1 − p)N (m2 . Evidemment ici. xt ) f (xt )q(y0 |xt ) o` g(y0 . 100) sur la figure (17) qui donne les meilleurs e r´sultats.2 0. e On peut ´galement m´langer des lois instrumentales pour obtenir un autre MH. e Alors l’´chantillonneur de Gibbs est l’algorithme suivant : e 30 . on montre les r´sultats d´sastreux de la loi N (0. MH.3 0. e on choisit m = 0 et σ 2 = 100 pour pouvoir scruter ` peu pr`s ´quitablement tous les ´tats. on suppose que l’on peut scinder x en (x1 .1 0 −15 −10 2 −10 −5 0 5 10 15 MH indep N(0.100) 100 50 0 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 14: Simulation par MH ind´pendant avec comme loi instrumentale N (0. 10) sur la figure (16). le r´sultat ´tant montr´ e e e e e figure (18). L’algorithme de MH illustr´ pour la simulation de variables monodimensionnelles est bien entendu valable dans e le cas de variables multidimensionnelles. Pour ˆtre interm´diaire e e e e par rapport aux deux premi`res tentatives on utilise N (5.Quelques illustrations : On reprend ici les exemples des paragraphes pr´c´dents o` il s’agit de calculer Ef [h(x)] ` l’aide de simulation e e u a Monte-Carlo. 10). vraie et loi instrumentale N(0. 1] conduit ´galement ` un noyau f r´versible u e a e On peut m´langer deux algorithme de MH pour en obtenir un autre. et il semble que la convergence ne soit pas encore tr`s e e e bonne. on v´rifie ais´ment que e e e ρ(xt . e • On utilise une marche al´atoire avec des incr´ments gaussien q(x|y) = N (y. If fut mis au point ee au d´but des ann´es 80. on choisit m = 10 et les r´sultats apparaissent figure (15). σ 2 ).4 0. e En pratique. x2 ). 100).3 0. Le choix de la loi est donc crucial.4 0. les ´chantillons sont simul´s ` l’aide d’une chaˆ de Markov dont la loi invariante e e a ıne est la loi d’int´rˆt f . Dans un premier temps. et on d´couvrit plus tard son lien avec les algorithmes MH. e e 2. e et doit permettre ` tout les zones d’int´rˆt d’ˆtre visit´es correctement par la chaˆ de Markov. loi cible et histogramme −5 0 5 10 15 E[x ] estime par echantillonnage direct et MH indpendant N(0. comme dans la technique d’acceptation et rejet il faut que f (x) ≤ M q(x|y). y0 ) ∈ [0. xt ) = g(xt . Ce cas est fondamental car les applications des m´thodes MCMC e concernent essentiellement des probl`mes d’inf´rence o` les grandeurs ` simuler sont presque toujours multidie e u a mensionnelles.2 0.1 0 −15 0. Nous avons effectu´ 10000 it´rations. Quelques variantes : Le choix de de la forme de la probabilit´ d’acceptation est arbitraire. Pour favoriser le mode e c e principal. En effet. y0 ) et assure ρ(xt .100). Par a e e e e ıne exemple. Le r´sultat a e e e e est montr´ figure (14). y0 ) = g(y0 . Un cas particulier de l’algorithme MH est appel´ ´chantillonneur de Gibbs.. Pour simplifier la pr´sentation. e e e On souhaite simuler suivant f (x).100) 0.Echantillonneur de Gibbs. σ2 ) 2 2 On obtient facilement E[x2 ] = pσ1 + (1 − p)σ2 + pm2 + (1 − p)m2 . On utilise ` nouveau le m´lange de gaussiennes e e a e 2 2 x ∼ pN (m1 . On s’aper¸oit que le mode principal n’est pas assez visit´.

3 0. y 2 )dy 1 dy 2 f (x1 |y 2 )f (y 2 )dy 2 = f (x2 |x1 ) = f (x1 .2 0. loi cible et histogramme 500 0 −15 −10 −5 0 5 10 15 Figure 16: Simulation par MH ind´pendant avec comme loi instrumentale N (0.10) 5 10 15 −10 −5 0 5 10 15 MH indep N(0. initialisation : 2. vraie et loi instrumentale N(10.4 0. x2 ) 31 = f (x2 |x1 )f (x1 ) . La chaˆ de Markov ainsi d´finie a e ıne e bien f (x) comme densit´ invariante. x2 |y 1 . y 2 )dy 1 dy 2 = f (x1 |y 2 )f (x2 |x1 )f (y 1 . it´ration k ≥ 1 : e 1 xk xk 2 x0 = (x1 . e MH.MH.2 0.100) 90 85 80 75 70 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 15: Simulation par MH ind´pendant avec comme loi instrumentale N (10.3 0. Le noyau a pour forme e k(x1 .4 0. e 1. x2 ) de mani`re d´terministe ou al´atoire e e e 0 0 ∼ ∼ f (x1 |x2 ) k−1 f (x2 |x1 ) k Il faut bien entendu pouvoir simuler suivant les densit´s conditionnelles. x2 |y 1 . 10).2 0.10) 0.100).1 0 −15 1000 −10 −5 0 f(x)/N(0.1 0 −15 0.4 0.4 0. 100). y 2 ) = f (x1 |y 2 )f (x2 |x1 ) Il vient alors k(x1 .10).100) 0.1 0 −15 −10 2 −10 −5 0 5 10 15 MH indep N(10. loi cible et histogramme −5 0 5 10 15 E[x ] estime par echantillonnage direct et MH indpendant N(10.2 0. vraie et loi instrumentale N(0. y 2 )f (y 1 .1 0 −15 0.3 0.3 0.

100).1 0 −15 −10 2 −10 −5 0 5 10 15 MH indep N(5.7.1 0. et le deuxi`me concerne la convergence de l’utilisation que e ıne e e l’on fait de la densit´.05 0 −15 −10 −5 0 5 10 15 E[x2] estime par echantillonnage direct et MH marche au hasard N(y. e Les propri´t´s de convergence sont tr`s difficiles ` ´tudier.4 0.2 0. Pour illustrer le fonctionnement de l’algorithme de Gibbs. loi cible et histogramme −5 0 5 10 15 E[x ] estime par echantillonnage direct et MH indpendant N(5.3 0.100). et nous ne donnons ici que les r´sultats de base en ee e ae e leur donnant leur signification. vraie et loi instrumentale N(5.3 0. Irr´ductibilit´ : Soit f une mesure de probabilit´. tout les ensembles de mesures 32 .69 pour 10000 ´chantillons. 10). alors qu’` droite on superpose quelques it´rations de la chaˆ de a e ıne Markov sur la densit´ cible pour illustrer la capacit´ d’exploration.2 0. L’algorithme est illustr´ par la figure (19) pour ρ = 0. sur les donn´es simul´es. nous allons le d´tailler pour une loi normale bidie mensionnelle N 0. Les probl`mes de convergence sont de deux types. 1 ρ ρ 1 On montre alors facilement que p(xi |xj ) = p(xi . Autrement dit.4 0. xj )/p(xj ) est la loi normale N (ρxj . comme par exemple la convergence des moyennes des ´chantillons vers les int´grales que e e e l’on souhaitent ´valuer. Enfin. e e e e Convergence.15 0. loi cible et histogramme 0.100) 0.35 0. A gauche. Le premier concerne la convergence de la densit´ des e e ´chantillons de la chaˆ vers la densit´ invariante. nous avons e e e e ´valu´ le coefficients de corr´lation et obtenu 0.25 0. on trace le nuage de points qui e a bien la forme elliptique de la gaussienne.100) 90 85 80 75 70 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 17: Simulation par MH ind´pendant avec comme loi instrumentale N (5.2 0.10) 90 85 80 75 70 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 Figure 18: Simulation par MH marche au hasard avec comme loi instrumentale N (y.3 0. j = 1.10). 1 − ρ2 . j = 2 ou u i = 2.1 0 −15 0. Une chaˆ de Markov est f -irr´ductible si pour tout point e e e ıne e x et tout ensemble A f (A) > 0 =⇒ ∃n ∈ N∗ tel que P n (A|x) > 0.MH. e MH marche au hasard N(y. o` i = 1.

trajectoire −1 0 1 2 Figure 19: Simulation par Gibbs d’une gaussienne bidimensionnelle. Ak ) de l’espace des ´tats tel que P (x. mais cela est dˆ au fait que les ´chantillons ne sont pas ind´pendants.Gibbs pour N(m.Γ). la probabilit´ ´tant mesur´e avec la ıne e ee e mesure invariante. Ergodicit´ : Une chaˆ ayant une densit´ invariante et ´tant Harris-r´currence est dite ergodique e ıne e e e Convergence : Si la chaˆ est ϕ-irr´ductible et f est la mesure invariante alors. . Autrement dit la chaˆ de Markov n’a pas de comportement p´riodique. typiqueıt e a e ment en th´orie de l’estimation lorsqu’il s’agit de connaˆ des moments de lois conditionnelles tr`s complexes.5 0 −0. e ıtre e 33 . On sent ici e e e que la chaˆ de Markov doit ˆtre capable de scruter l’ensemble de l’espace d’´tat. f (A) > 0 =⇒ Pr(xi ∈ Ainf inimentsouvent) = 1. le fait qu’il ne reste qu’une somme est due au fait que la chaˆ est suppos´ homog`ne (stationnaire). . Varh(x0 ) + 2 i=1 Cov(h(x0 ). Si de plus il y a ap´riodicit´ alors limN →+∞ P N (y|x0 ) − f (y) V T = 0 o` la e e u norme en variation totale est d´finie par ||f − g||V T = 1/2 |f (x) − g(x)|dx. de distribution invariante f et ϕ-irr´ductible. A e nouveau la chaˆ doit scruter les zones de probabilit´ non nulles souvent. ıne e ıne Harris-r´currence : Soit xi une chaˆ de Markov de noyau P . realisation 4 3 2 1 0 −1 −2 −3 −4 −4 −2 0 2 4 2 1. h( xi ))). ıne e e Pour terminer il suffit de mentionner que les m´thodes MCMC ont ´t´ illustr´es ici sur des exemples tr`s e ee e e simples. Le calcul de la variance est donc compliqu´.Γ). ıne e e Ap´riodicit´ : Il n’existe pas de partition (A1 . la loi forte des grands nombres ıne e s’applique et Pr(hN −→ Ef [h(X)]. e Si de plus la convergence est exponentielle. e u e e De plus.5 −2 −2 Gibbs pour N(m.5 1 0. P N (y|x0 ) − f (y) V T ≤ c(x0 )αN alors le th´or`me central limite e e √ ∞ s’applique et N (hN − Ef [h]) −→ N (0. . non-nulle pour f seront visit´s avec une probabilit´ non nulle et ce quelque soit le point de d´part. Ai+imodk ) = 1∀x ∈ e e e Ai . .5 −1 −1. et que leur puissance n’apparaˆ r´ellement que lorsqu’on les applique ` des probl`mes difficiles. e e Elle est Harris-r´currente si pour tout ensemble A.

1 Processus ponctuels La description des processus ponctuels est assez difficile. et peut ˆtre faite de plusieurs mani`res : par le e e nombre de points par intervalle. Le processus ponctuel pourra alors ˆtre ´crit comme e e une somme de distributions de Dirac selon x(t. vecteur de l’information neuronale (voir la figure (20)). Le nombre d’´venement et de 13 pour l’horizon temporel. processus qui est aux processus ponctuels ce que le processus gaussien blanc est aux processus usuels. . Par exemple.6 0. comme un proccesus al´atoire au sens des e e e distributions. Des exemples multiples existent dont : e 1. Certains probl`mes n´cessitent une approche diff´rente pour mod´liser des ´v`nements qui se r´alisent e e e e e e e a ` des instants al´atoires. Le taux d’´v`nement a ´t´ r´gl´ de sorte ` en moyenne avoir 13 ´v`nements sur l’horizon e e ee e e a e e temporel consid´r´. en nombre fini ou infini. la mod´lisation des files d’attentes : l’instant d’arriv´e d’un individu dans la file est al´atoire e e e 2.4 0. par le temps entre les ´v`nements. tous les processus dans lequels des changements apparaissent ` des instants al´atoires e e e a e peuvent ˆtre mod´lis´s ` partir des processus ponctuels. D’une mani`re g´n´rale. e 5. La figure du bas pr´sente une r´alisation e e e d’un processus de Poisson. e e e e Soit {ti (ω)} cette liste de dates. e e A titre d’illustration la figure (20) montre une suite de potentiels d’action g´n´r´e par un mod`le biophysique de e e e e neurones. e e suite de potentiels d action issues d un modele de neuones 20 0 −20 −40 −60 −80 −100 0 200 400 600 800 1000 1200 1400 1600 1800 2000 realisation d un processus de poisson 1 0. . . on peut d’ores et d´j` modifier la d´finition pour y inclure des amplitudes port´es par les e e ea e e distributions de Dirac et ´crire e x(t(ω)) = i ai (ω)δ(t − ti (ω)) 34 . Le processus que l’on veut d´crire est l’apparition al´atoire d’´v`nements. 3. Nous allons ici donner quelques notions sur ces processus e e e a et voir la construction de quelques processus d´riv´s des processus ponctuels. les potentiels d’action.5 Introduction aux processus ponctuels et ` leurs produits d´riv´s a e e Dans les processus et signaux que nous avons vu jusqu’ici.8 0.2 0 0 200 400 600 800 1000 1200 1400 1600 1800 2000 Figure 20: Illustration d’un processus reposant sur un processus ponctuel : les potentiels d’action arrive ` des a instants al´atoires. Processus au sens des distributions. ω) = i δ(t − ti (ω)) Cette forme sera particuli`rement utile pour le filtrage du processus ponctuel et la d´finition de processus e e d´riv´s. le caract`re al´atoire existait dans l’amplitude des e e signaux. l’arriv´e de photons sur un photor´cepteur e e 4.

Le nombre d’´venements dans deux intervalles disjoints sont ind´pendants statistiquement. T .2 Processus de Poisson La caract´risation des processus vient par la caract´risation statistique du processus de comptage. Une sp´cification des processus ponctuels passe par la descripu e e e e tion statistique de la mesure de comptage. Si l’on consid`re un instant origine t0 . On peut d´crire le processus par le nombre e d’´v`nement apparaissant par intervalle. La care e act´risation la plus simple est la suivante : e 1. La probabilit´ d’apparition d’un ´v`nement dans un intervalle de longueur dt est d’ordre dt. lorsqu’on l’utilise dans l’int´grale stochastique e e du type T I= 0 f (u)dN (u) = i f (ti ) o` les ti sont les dates d’arriv´e des ´v`nements. Description par des intervalles de temps. (ω)) le nombre al´atoire de dates apparaissant dans e e e l’intervalle [t. Soit N (t. t) = n). t) = n + 1 et N (t. N (dt) = dN (t) = i δti (dt). t[). on a e N (I. p0 suit donc l’´quation diff´rentielle p0 (t) + λ(t)p0 (t) = 0 e e ˙ avec comme condition initale p0 (t0 ) = 1 puisque la probabilit´ d’avoir 0 ´v`nement avant l’origine des temps e e e est 1. il vient maintenant pn+1 (t + dt) = = et pn+1 satisfait ˙ pn+1 (t) + λ(t)pn+1 (t) = λ(t)pn (t) 35 Pr (N (t0 .. e e 2. t + dt) = 1) + Pr (N (t0 . Donc on a t p0 (t) = exp(− t0 λ(u)du) Pour n ≥ 0. On a alors p0 (t + dt) = = Pr(N (t0 . Le nombre d’´v`nements avant la date origine est nul e e Soit pn (t) = Pr (N (t0 . u e e pour des intervalles infinit´simaux. .. ω) = i 1I (ti (ω)) o` 1I est l’indicatrice de l’intervalle. Si I est un intervalle . Le processus e a N (t) est appel´ le processus de comptage. t) = n et N (t. e e 5. Cette mesure est une mesure stochastique que l’on peut ´crire ´galement. t + dt) = 1) = λ(t)dt + o(dt) 3. on associe ` N un processus N (t) = N (t0 ) + N ([t0 . ) a Description par le nombre de points par intervalle. t + T [. les incr´ments infinit´simaux dN (t) = N (t + dt) − N (t) e e e correpsondent ´videmment ` la mesure de comptage e a . la taille de l’homme entrant dans une queue ` cette date. e e e On distingue deux concepts. . t + dt) = 0) pn (t)λ(t)dt + pn+1 (t)(1 − λ(t)dt) . Au lieu de d´crire les temps d’arriv´e ou le nombre de ces e e dates par intervalles. on peut ´galement d´crire le processus par les intervalles de temps entre les dates d’arriv´e. t) = n et N (t. t + dt[ sont disjoints. t + dt) = 0) p0 (t)(1 − λ(t)dt) puisque les intervalles [t0 . N est appel´ la mesure de comptage. Le temps de vie est le temps entre deux ´v`nement du processus alors que le temps de survie est le temps entre e e une date quelconque et un ´v`nement du processus. D’autre part. La probabilit´ d’apparition de plus d’un ´v`nement dans un intervalle de longueur dt est d’ordre dt2 ( e e e c’est-`-dire nulle) a 4. e e e Pr (N (t.les ai (ω) pouvant ˆtre d´terministes (ind´pendants de ω) ou al´atoires (par exemple l’´nergie du photon arrivant e e e e e a ` cette date. t[ et [t.

La probabilit´ conditionnelle au num´rateur est ´gale ` 1. λ) k! eiuk λk e−λ k! = e−λ k≥0 eiuk (eiu λ)k = e−λ eexp(iu)λ k! De l` on montre facilement que les cumulants (les cumulants sont au logarithme de la fonction caract´ristique a e ce que sont les moments ` la fonction caract´ristique) sont tous ´gaux ` λ. e e En fait chercher le temps de survie suppose qu’un point au moins existe apr`s t. u ˙ Pour n = 0. Une variable al´atoire x discr`te suit la loi de Poisson de param`tre e e e λ si Pr(x = k) = La fonction caract´ristique est e ϕ(u) = E[eiuk ] = k≥0 λk e−λ = P(k. soit a t t p1 (t) = t0 λ(u)du exp(− t0 λ(u)du) On montre alors par r´curence de la mˆme mani`re que e e e t t0 λ(u)du n! t n t pn (t) = exp(− t0 λ(u)du) On reconnaˆ ici la loi de Poisson de param`tre t0 λ(u)du. une petite erreur se glisse dans ce raisonnement. e e a e e e e 36 . Soit t ≤ t0 un instant quelconque. Alors. Donc.avec pn+1 (t0 ) = 0. e Quelques rappels sur la loi de Poisson. En particulier. La solution g´n´rale de l’´quation diff´rentielle est pn+1 (t) = A exp(− e e e e t t0 λ(u)du). Pour qu’il soit valide il faut qu’il y ait au moins un point apr`s t. Une solut t0 tion particuli`re est donn´e en utilisant la m´thode de la variation des constantes et conduit ` A(t) exp(− e e e a t ˙ o` A satisfait A(t) = λ(t)pn (t) exp(+ t0 λ(u)du). et L(t) la variable al´atoire mesurant le temps entre e t et le premier ti du processus. ce qui n’est pas garanti pour une intensit´ non stationnaire. La fonction λ(t) est appel´e le taux du processus ıt e e ou intensit´. t + l + dl[) e Pr(au moins 1 apr`s t) e λ(u)du dl PL (l. Si λ(t) = λ. t)dl = λ(t + l) exp − λ(u)du dl t qui repose sur l’id´e que entre t et t + l il ne doit pas y avoir de point du processus et qu’il doit y en avoir un e entre t + l et t + l + dl. et la probabilit´ du e e e e a e num´rateur est ´gale ` 1 moins la probabilit´ qu’il n’y ait pas d’´v`nement apr`s t. on a alors A(t) = λ(t) de sorte que t t t λ(u)du) p1 (t) = A exp(− t0 λ(u)du) + t0 λ(u)du exp(− t0 λ(u)du) Appliquer la condition initiale conduit ` A = 0. On dit alors que le processus de Poisson est e e homog`ne. En fait. moyenne et variance a e e a sont ´gales ` λ. dans la plupart des bouquins sur les processus de Poisson on trouve le r´sultat e t+l PL (l. t) = t+l t +∞ t λ(u)du ´videmment pour l ≥ 0. e a Temps de survie. alors le param`tre de la loi est (t − t0 )λ. si on a les mˆme e e notations pour la probabilit´ conditionnelle e PL (l. cf Picinbono. t)dl = λ(t + l) exp − λ(t + l) exp − 1 − exp − t+l t λ(u)du × Pr(au moins 1 apr`s t|1 dans [t + l.

. Par le mˆme calcul que pr´c´demment. T ]. ≤ tn ≤ T dans l’intervalle [0. . . . . et L la e e e e e variable al´atoire mesurant le temps entre cet ´v`nement et le prochain. . La variable L est donc conditionn´e e e e e au fait qu’il y a un ´v`nement en t et qu’il y en aura au moins un apr`s. t1 + dt1 [. On obtient alors e e e T dti ti−1 (Λ(T ) − Λ(ti ))n−i λ(ti ) = (n − i)! − (Λ(T ) − Λ(ti ))n−i+1 (n − i)! 37 T ti−1 T − dti ti−1 (Λ(T ) − Λ(ti ))n−i λ(ti ) (n − i − 1)! . t2 [. T ] est donn´e par e T n P (t1 . tn [. e e e e e e on montre que PL (l. . La probabilit´ d’avoir 1 ´v`nement dans un intervalle e e e t+dt infinit´simal est donn´ par t e e λ(u)du = λ(t)dt. . On a a P (t1 . λ(tn )dtn exp(− exp(− T 0 T 0 λ(u)du) λ(u)du)( T 0 λ(u))n /n! λ(u))n λ(ti ) i=1 On a vu au passage que la loi conjointe de la position des temps et qu’il y a n points dans l’intervalle [0. Comme la longueur des intervalles o` l’on ne doit pas voir u d’´v`nement est T . t) = λ(t + l) exp − 1 − exp − t+l t λ(u)du +∞ t λ(u)du qui est la mˆme distribution que le temps de survie. e Distribution conditionnelle des positions On suppose que l’on observe n points 0 ≤ t1 ≤ t2 ≤ . . On a donc P (t1 . On suppose vrai pour i + 1 et on regarde ce qui se passe en i. tn |N (T ) = n)dt1 . . . L’assertion est valide pour i = n. On montre alors que l’int´grale e e sur ti vaut (Λ(T ) − Λ(ti−1 ))n−i+1 /(n − i + 1)!. N (T ) = n) = n e− e− RT 0 λ(u)du + n≥1 e− RT 0 n λ(u)du i=1 λ(ti )dti = I(t) = RT 0 λ(u)du T (1 + I(T )) o` u T T T dt1 λ(t1 ) n≥1 0 t1 dt2 λ(t2 ) . . . . N (T ) = n) P (N (T ) = n) (t1 . tn . . tn |N (T ) = n).Temps de vie. Alors l’int´grale sur tn vaut Λ(T ) − Λ(tn−1 ). 0 dans [tn + dtn . 0 dans [t1 + dt1 . N (T ) = n) = exp(− 0 λ(u)du) i=1 λ(ti ) On v´rifie bien que cette loi est une ddp en faisant bien attention au fait que 0 ≤ t1 ≤ t2 ≤ . . . tn−2 dtn−1 λ(tn−1 ) tn−1 dtn λ(tn ) Soit Λ(t) une primitive de λ(t). . . tn . On cherche conditionnellement ` cette connaissance la distribution des ti . . tn + dtn [. T [. P (t1 . 0 a e e dans [tn−1 . . . t1 [. . tn |N (T ) = n) = P( t1 . . tn . . la probabilit´ de la conjonction de ces ´v`nements (ind´pendants par hypoth`se) est ´gale e e e e e e e e T a ` exp(− 0 λ(u)du). N (T ) = n) correspond ` l’´v`nement (0 dans [0. . . On e ´crit en effet e P (t1 . L’int´grale en ti s’´crit e e T dti ti−1 (Λ(T ) − Λ(ti ))n−i λ(ti ) (n − i)! que l’on int`gre par partie en d´rivant la fraction et en int´grant λ(t) en Λ(t) − Λ(T ). . . . . tn |N (T ) = n) = n! ( T 0 n = λ(t1 )dt1 . ≤ tn ≤ T . . . . . . 1 dans [tn . . . . 1 dans [t1 . . Le temps de vie est la dur´e entre deux ´v`nements du processus. . . . . tn . dtn et donc la densit´ conditionnelle s’´crit e e P (t1 . . Soit t un ´v`nement du processus. .

. conditionnellement ` N (T ) = n on a vu que la loi des ti est donn´e par a e P (t1 . Pour calculer les statistiques de I. . . . . N (T ) = n) = exp − o` l’on voit apparaˆ l’int´grale stochastique du type u ıtre e T λ(u)du + 0 0 log λ(t)dN (t) I= 0 f (u)dN (u) = i f (ti ) o` les ti sont les dates d’arriv´e des ´v`nements. tn . a On peut r´´crire la vraisemblance selon ee T n n≥1 RT − 0 λ(u)du (Λ(T ) − Λ(0))n (n)! −1 P (t1 . . . N (T ) = n) = exp − On introduit la mesure stochastique dN (t) = i δti (dt) λ(u)du + 0 i=1 log λ(ti ) pour ´crire e T T P (t1 . . et on remarque donc que cette loi est la mˆme que la loi des statistiques d’ordre e e de n temps u1 . on ´crit u e e e e E[I] = = E i f (ti ) f (ti ) N (T ) i EN E Or. . tn |N (T ) = n) = n! ( T 0 n λ(u)du)n λ(ti ) i=1 Ici. . Pour le calcul de I(t) en posant t0 = 0 on arrive donc a e e I(t) = I(t) = = e de sorte que la normalisation ` 1 de P est acquise. . les temps sont ordonn´s. . aux num´rateurs (constants e e e par rapport ` ti ) pr`s. On r´soud alors en a e e 1 1 + (n − i)! (n − i − 1)! Comme 1 1 + (n − i)! (n − i − 1)! = n−i+1 (n − i)! T ti−1 dti (Λ(T ) − Λ(ti ))n−i λ(ti ) = (Λ(T ) − Λ(ti−1 ))n−i+1 (n − i)! on a bien le r´sultat excompt´. un tir´s ind´pendamment les uns des autres suivant la mˆme loi e e e PU (u) = = λ(u) ( λ(u)du) 0 sinon T 0 si 0 ≤ u ≤ T 38 . . .On remarque que l’int´grale de droite est la mˆme que celle du membre de gauche. . tn . .

Ainsi.3 Bruits de grenaille En g´n´ral. Le e e e bruit de grenaille est d´fini par e x(t) = = i h(t) ⋆ i δ(t − ti ) h(t − ti ) h(t − u)dN (u) = La moyenne du processus s’´crit e E[x(t)] = h(t − u)λ(u)du de sorte que dans le cas d’un processus de Poisson inhomog`ne.i. de loi λ/ λ.Donc calculer des statistiques de i f (ti ) sur la loi des ti conditionn´e par le nombre d’´v`nements est ´quivalent e e e e a ` calculer les statistiques de i f (ui ) sur la loi des ui .d. Donc. Toutefois. H ´tant la transform´e de Fourier de h. Un bruit de grenaille est la sortie d’un e e filtre lin´aire invariant attaqu´ par un processus de Poisson. si le e e processus de Poisson est homog`ne. e e e La fonction de corr´lation de x(t) s’´crit e e E[x(t1 )x(t2 )] = h(t1 − u1 )h(t2 − u2 )E[dN (u1 )dN (u2 )] e e le moment d’ordre 2 des incr´ments vaut λ(u1 )λ(u2 )du1 du2 (ind´pendance des incr´ments) sauf si u1 = u2 e e auquel cas il vaut λ(u1 )du1 . mais apr`s avoir travers´ un appareil de e e e e e mesure. T ]. On tire e e les n dates selon PU (u) = = λ(u) ( λ(u)du) 0 sinon T 0 si 0 ≤ u ≤ T et on les ordonne. la fonction de corr´lation devient E[x(t1 )x(t2 )] = de sorte que Cov (x(t1 ).T ] (u)/T est e e la loi uniforme sur [0. comme sachant le nombre de points. les ti sont distribu´s comme les statistiques d’ordre d’un n-uplet e de variables i. E[I] = EN i f (ui ) f (ui ) i T 0 i n i=1 T ( 0 λ(ui )dui λ(u))n = EN = EN = = 0 T 0 ( n j=1 λ(uj )duj T n 0 λ(u)du) f (u)λ(u)du T 0 λ(u)du EN [n] f (u)λ(u)du T 0 λ(u)du T f (u)λ(u)du De plus. 5. ou encore chaque ´v`nement portant un message particulier. les processus ponctuels ne sont pas observ´s directement. la moyenne d´pend du temps. x(t2 )) = h(t1 − u)h(t2 − u)λ(u)du 39 h(t1 − u1 )h(t2 − u2 )λ(u1 )λ(u2 )du1 du2 + h(t1 − u)h(t2 − u)λ(u)du . on peut facilement g´n´rer une trace d’un processus sur un intervalle. Ceci est particuli`rement efficace dans le cas homog`ne puisqu’alors PU (u) = 1[0. alors E[x(t)] = λH(0). Soit h(t) la r´ponse impulsionnelle du filtre.

on peut calculer la densit´ spectrale de puissance facilement. x(t2 )) = λ h(u)h(t2 − t1 + u)du qui montre que le bruit de grenaille est alors stationnaire au second-ordre.Dans le cas du processus de Poisson homog`ne on obtient e Cov (x(t1 ). En effet. Dans ce cas. le r´sultat pr´c´dent montre que la fonction de corr´lation e e e e e est proportionnelle ` la corr´lation de h. ee e 40 . On a alors a e γx (ν) = λγh (ν) = λ|H(ν)|2 On peut compliquer un peu ce mod`le en ajoutant une amplitude al´atoire de sorte que e e xx(t) = = i h(t) ⋆ i Ai δ(t − ti ) Ai h(t − ti ) h(t − u)dM (u) = o` la mesure de comptage v´rifie maintenant E[dM (t)] = E[A]λ(t)dt et E[dM (t)] = E[A2 ]λ(t)dt et garde ses u e propri´t´s d’ind´pendance d’un intervalle sur l’autre.

Sign up to vote on this title
UsefulNot useful