M

é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
2
0
0
8
­
0
5
Métaheuristiques
Algorithmes itératifs (et stochastiques) d'optimisation globale
2
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Auteurs
Johann Dréo
!
THALES Research & 
Technology
!
Laboratoire mathématiques & 
techniques de la décision
Yann Collette
!
Renault
3
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
4
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Optimisation difficile
5
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Optimisation difficile
6
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Métaheuristique
7
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Synthèse
8
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Recherche opérationnelle
!
Ingénierie
!
Intelligence artificielle
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Synthèse
9
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche opérationnelle
Voyageur de commerce
!
Minimiser la longueur du trajet
10
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche opérationnelle
Sac à dos
!
Maximiser l'intérêt de la 
sélection d'objets
D
a
k
e
,
 
C
C
­
B
Y
­
S
A
 
2
.
5
,
 
h
t
t
p
:
/
/
f
r
.
w
i
k
i
p
e
d
i
a
.
o
r
g
/
w
i
k
i
/
I
m
a
g
e
:
K
n
a
p
s
a
c
k
.
s
v
g
11
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche opérationnelle
Planification temporelle
!
Déterminer un emploi du temps
12
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Ingénierie
Aérodynamique
!
Maximiser la portance
13
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Ingénierie
Déplacement de bras robot
!
Minimiser l'énergie dépensée
Adaptive Optimal Control for Redundantly Actuated Arms, Djordje Mitrovic, Stefan Klanke, and Sethu Vijayakumar, 2008
14
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Intelligence artificielle
IA jeu vidéo
!
Maximiser le gain
15
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Ingénierie
Problème du pont
!
Concours JET
16
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Caractéristiques des problèmes
Optimisation continue
!
Variables réelles
Optimisation combinatoire
!
Variables discrètes
Voisinage
!
Implicite
!
Fonctions
!
Explicite
!
Permutation
http://commons.wikimedia.org/wiki/Image:Red­black_tree_insert_case_5.png
17
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Difficultés avec les problèmes
Trouver le problème
Modélisation
!
Expression mathématique
!
Contraintes
!
Qualification des solutions
!
Objectifs contradictoires
18
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Difficultés avec les problèmes
Résolution
!
Complexité
!
NP­...
!
Nombres de variables
!
Temps de calcul
!
Fonction objectif par simulation
!
Conception/Production
19
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
NP
!
Algorithme Non déterministe
!
Résolution Polynomiale
!
Oracle
!
Estimation valeur polynomiale
h
t
t
p
:
/
/
c
o
m
m
o
n
s
.
w
i
k
i
m
e
d
i
a
.
o
r
g
/
w
i
k
i
/
I
m
a
g
e
:
P
_
n
p
_
n
p
­
c
o
m
p
l
e
t
e
_
n
p
­
h
a
r
d
.
s
v
g
20
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
21
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Métaheuristiques : un peu d'histoire
!
1954 : Barricelli, simulation évolution, 
optimisation
!
1965 : Rechenberg, stratégies d'évolution
!
1986 :  terme méta­heuristique, Fred Glover :
!
« La recherche avec tabou peut être vue comme 
une "méta­heuristique", superposée à une autre 
heuristique. L'approche vise à éviter les 
optimums locaux par une stratégie d'interdiction 
(ou, plus généralement, de pénalisation) de 
certains mouvements. » 
!
1988 : conférence, algorithmes génétiques
!
1989 : premier logiciel A.G. Commercial
!
1996 : algorithmes à estimation de distribution
22
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Terminologie
Fonction objectif
!
Minimisation
!
Mono­objectif
Solution
!
Représentation
!
Valeur
Échantillon
!
Ensemble de solution
Voisinage
Stochastique
!
Probabiliste + temps
Itératif
!
Critère d'arrêt
23
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
24
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche tabou
25
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche tabou
Recherche « tabou » ou « avec tabous »
Liste « tabou » de mouvements interdits
!
Minimums locaux
Voisinage
!
Initialisation
!
Modification de solution existante
26
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche tabou
Stop initialisation
Modification
voisinage
Sélection du
meilleur voisin
Heuristique
spécialisée
MàJ mémoire
MàJ meilleure
solution
Itérer ?
Oui
Non
27
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche tabou
Liste tabou
Voisinage
28
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recherche tabou
Liste tabou
Voisinage
!
29
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
30
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithmes évolutionnistes
http://en.wikipedia.org/wiki/Image:Ape_skeletons.png
31
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithmes évolutionnistes
1965 : stratégies d’évolution
1966 : programmation évolutionnaire
1975 : algorithmes génétiques
1980 : programmation génétique
1986 : systèmes immunitaire artificiels
32
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithmes évolutionnistes
Métaheuristiques les plus connus
Différences historiques entre algorithmes
Concepts équivalents
!
Algorithmes génétiques
!
Algorithmes évolutionnaires
!
Algorithmes évolutionnistes
Algorithmes stochastiques
Enchaînement d'opérateurs
33
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Terminologie
Solution = individu
Échantillon = population
Valeur = fitness
Représentation = codage
h
t
t
p
:
/
/
w
w
w
.
f
l
i
c
k
r
.
c
o
m
/
p
h
o
t
o
s
/
w
i
s
h
y
m
o
m
/
5
6
6
3
9
4
5
2
0
/
34
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
01011
00000
01000
00110
11011
11111 10101
10010
00001
One Max

i=0
4
x
i
35
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
01011
00000
01000
00110
11011
11111 10101
10010
00001
36
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
00001
10101
10100
37
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
10101 10100
38
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
10101 10101
39
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Opérateurs
« Opérateurs »
!
Sélection
!
Croisement
!
Mutation
!
Évaluation
!
Remplacement
01011
00000
01000
00110
11011
11111 10101
10010
00001
11001
11101
11100
40
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithmes évolutionnistes
41
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemples d'opérateurs
Sélection par « roulette proportionnelle »
!
surface proportionnelle à sa valeur
Problème
!
Biais selon échelle de la fonction objectif
x1
x2
x3
x4
45%
20%
20%
15%
42
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple d'opérateurs
Sélection par « tournoi stochastique »
!
k individus
!
Le meilleur est sélectionné
!
n fois
01011
00000
01000
00110
11011
11111 10101
10010
00001
00110 11011 <
11011
01000 10010 >
10010
43
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple d'opérateur
Mutation gaussienne
!
Pour tout x :
!
x
i
 + N 
i
m,s
44
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple d'opérateur
Simulated Binary Crossover
u
i ∈
 U
0,1
b

= (2.u
i
)
(1/(1+η))
 si u
i
≤0.5
    = (1/(1­u
i
))
(1/(1+η))
 sinon
2.x
i
1
(t+1) = (1­b
i
).x
i
1
(t) + (1+b
i
).x
i
2
(t)
2.x
i
2
(t+1) = (1+b
i
).x
i
1
(t) + (1­b
i
).x
i
2
(t)
45
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple d'opérateur
Croisement multipoint Croisement uniforme
11 | 0010 | 10
01 | 0111 | 00
11001010
01011100
01 | 0010 | 00
11 | 0111 | 10
11001010
01011100
01110100 Masque
11001010
01011100
11011110
01001000
46
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
47
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recuit simulé
http://commons.wikimedia.org/wiki/Image:Hot_metalwork.jpg
48
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Historique
Historique
!
1970 : Hastings propose l’algorithme de Metropolis­Hastings,
!
1983 : Kirkpatrick, Gelatt et Vecchi concoivent le recuit simulé
!
1985 : indépendamment de ceux­ci, Černý propose le même algorithme
49
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Recuit simulé
Coté physique
Coté optimisation
50
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Description classique
Méthode de descente
!
Si voisin meilleur, gardé
!
Sinon, accepte aléatoirement un voisin moins bon
!
Probabilité commandé par un paramètre T (« température »)
!
T décroît avec le temps
51
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithme
X
courant
: point de départ
T = T
0
X
suivant
 = voisin(X
courant
)
Si f(X
suivant
)<= f(X
courant
)
Ou si exp((f(X
courant
)­f(X
suivant
))/T) > rand(0,1)
               et f(X
suivant
)>f(X
courant
)
Alors X
courant
 = X
suivant
T = g(T)
Fin
Loi de décroissance
de la température
Contrôle de la proba
d’accepter une mauvaise
solution
52
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithme
X
courant
: point de départ
T = T
0
X
suivant
 = voisin(X
courant
)
Si f(X
suivant
)<= f(X
courant
)
Ou si exp((f(X
courant
)­f(X
suivant
))/T) > rand(0,1)
               et f(X
suivant
)>f(X
courant
)
Alors X
courant
 = X
suivant
T = g(T)
Fin
Méthode de
Metropolis
53
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Metropolis­Hastings
Échantillonnage de distribution de probabilité
!
Non intégrable, sans expression analytique, non normalisée
!
Fonction objectif   distribution de probabilité →
!
Via distribution de Boltzman
!
!
Recuit simulé   échantillonner une distribution paramétrique (T) →
Algorithme de Metropolis­Hastings
!
n'importe quelle distribution 
p¦ x)=
exp¦−f ¦ x)/ T)

y
exp¦−f ¦ y)/ T )
54
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Échantillonnage de distribution paramétrique
55
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Convergence
Garantie d'atteindre l'optimum en un temps fini.
En pratique :
!
lim
t →∞
p
t
¦ ´ x)=1
56
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Quelques problèmes
Ergodicité
!
N'importe quelle solution atteignable
!
Quasi­ergodicité : nombre fini de changements
!
Voisinage
Convergence
!
Quasi­ergodicité
!
Décroissance par palier
!
Décroissance graduelle
!
T
t
 ne décroit pas plus vite que : C/log(t)
!
C, constante liée à échelle fonction objectif
ergodique
non ergodique
t
T
57
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple variables continues
http://en.wikipedia.org/wiki/Image:Metropolis_hastings_algorithm.png
http://en.wikipedia.org/wiki/Image:3dRosenbrock.png
58
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Décroissance température
La loi classique:
T
k
 = α.T
k­1
Les lois adaptatives:
Van Laarhoven:
Huang:
Triki:
T
k
=T
k−1
1
1+
ln¦1+6)
3c¦T
k −1
)
T
k−1
T
k
=T
k−1
exp
¦
−\T
k −1
c¦T
k−1
)
)
T
k
=T
k−1
¦
1−T
k −1
A
c
2
¦T
k−1
)
)
59
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Décroissance température
λ.σ(T
k
)
ln(1+δ)/Cmax. σ
2
(T
k
)
ln(1+δ)/3.σ(T
k
)
Δ(T
k
)
Huang
Otten
Van Laarhoven
Loi de originale
60
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Revenu simulé
x
f(x)
p(x)
T1
T2<T1
x
61
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Parallel Rejectionless Annealing
x
courant
x
1
x
2
x
3
x
4
x
5
min(1,exp(­(f(x
1
)­f(x
courant
))/T))
min(1,exp(­(f(x
2
)­f(x
courant
))/T))
min(1,exp(­(f(x
3
)­f(x
courant
))/T))
min(1,exp(­(f(x
4
)­f(x
courant
))/T))
min(1,exp(­(f(x
5
)­f(x
courant
))/T))
62
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Recherche opérationnelle
!
Ingénierie
!
Intelligence artificielle
!
Caractéristiques
Applications
!
Validation
!
Performances ?
!
Paramétrage
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
63
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithmes de colonies de fourmis
64
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Historique
!
1959, Pierre­Paul Grassé : stigmergie.
!
1983, Deneubourg, comportement collectif
!
1988, Moyson et Manderick, auto­organisation
!
1989, travaux de Goss, Aron, Deneubourg et Pasteels
!
1989, modèle de comportement de recherche de nourriture
!
1991, M. Dorigo propose le Ant System
!
1997, première application aux réseaux de télécommunications
!
2000, première preuve de convergence
!
2004, preuve d'équivalence avec d'autres métaheuristiques
65
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Origine de l'idée
66
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithme de base : Ant System
Initialisation
Jusqu'à critère d'arrêt
!
Pour chaque fourmis
!
Parcours d'un trajet
!
Laisser piste (quantité fixe, étalée sur chaque arrête)
!
Évaporation
Fin
67
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Voyageur de commerce
68
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Ant System, détails
!
t itérations, k fourmis, n villes, 
J
i
k
 villes à visiter
Choix d'une ville : visibilité
!
η
ij
 = 1/d
ij
Choix ville
!
p
ij
k
¦ t )=
¦
t
ij
¦ t )
o
¦u
ij
)
ß

l ∈J
i
k
t
il
¦t )
o
¦u
ij
)
ß
si j ∈J
i
k
0 si j ∉J
i
k
¦
Quantité de phéromone
!
Évaporation
!
At
ij
k
¦t )=
¦
Q
L
k
¦ t )
si ¦i , j )∈T
k
¦t )
0 sinon
¦
t
ij
¦ t +1)=¦1−¢)t
ij
¦t )+At
ij
¦t )
69
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Hyper Cube & MinMax Ant Systems
MMAS
! τ
min
< τ
ij
< τ
max
!
Ergodicité
HCAS
!
Problème codage binaire
!
Normalisation « fonction de qualité »
!
!
t
i
=¦1−¢)t
i


s∈S
t
Q
f
¦s) s
i

s∈S
t
Q
f
¦s)
Q
f
¦ s∣S
1,
., S
t
)=t
0
¦
1−
f ¦s)−LB
¯
f −LB
)
70
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
AntNet
71
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Recherche opérationnelle
!
Ingénierie
!
Intelligence artificielle
!
Caractéristiques
Applications
!
Validation
!
Performances ?
!
Paramétrage
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Recherche tabou
!
Algorithmes évolutionnistes
!
Recuit simulé
!
Colonies de fourmis
!
Estimation de distribution
!
Synthèse
72
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Estimation de distribution
73
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Historique
!
1994 : apprentissage incrémental à population (PBIL)
!
1996 : algorithmes à estimation de distribution
!
1999 : compact genetic algorithm
!
2004 : équivalence avec d'autres métaheuristiques
74
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Origines
Idée originale
!
Simplifier les algorithmes génétiques
!
Un seul opérateur
Population Base Incremental Learning
Compact Genetic Algorithm
75
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithme
Idées de base
!
Distribution de probabilité choisie a priori
!
Échantillonnage
!
Opérateurs de réduction de variance (  sélection) →
76
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Algorithme
Initialisation
Jusqu'à critère d'arrêt
!
Estimation des paramètres
!
Tirage échantillon selon distribution
!
Sélection
Fin
77
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple continu
Distributions :
!
Uniforme
!
Gaussienne univariante
78
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple continu
Modèles classiques
!
Gaussienne univariante
!
Mélange de gaussiennes univariantes
!
Gaussienne multivariante
!
Mélange de gaussiennes multivariantes
79
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple discret : OneMax
80
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple discret : OneMax
81
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Exemple discret : OneMax
82
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Métaheuristiques : synthèse
h
t
t
p
:
/
/
f
l
i
c
k
r
.
c
o
m
/
p
h
o
t
o
s
/
m
p
d
e
h
a
a
n
/
3
1
7
7
3
1
0
3
/
83
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Caractéristiques de base
!
Global
!
Généraliste
!
Stochastiques
!
Facile à implémenter
84
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Parcours / population
85
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Intensification / diversification
Diversification = exploration
Intensification = exploitation
86
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Explicite, Implicite, Direct
87
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Classification
88
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Plan
Problèmes
!
Exemples
!
Caractéristiques
Applications
!
Validation
!
Performances ?
!
Paramétrage
!
Validation
!
Exemples
Métaheuristiques
!
Exemples
!
Synthèse
89
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Validation
h
t
t
p
:
/
/
f
l
i
c
k
r
.
c
o
m
/
p
h
o
t
o
s
/
i
n
g
l
e
i
t
e
s
/
9
5
3
8
1
0
4
4
/
90
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
No free lunch
Instance de méthode
!
Algorithme
!
Paramétrage
Instance de problème
!
Modèle
!
Caractéristiques
91
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Paramétrage
Instance métaheuristique
!
1 paramétrage optimal pour 1 instance de problème
!
Initialisation
!
Critère d'arrêt
!
Valeurs des paramètres
Quel paramétrage ?
!
Critères de performance
!
Vitesse ou précision ?
!
Production ou conception ?
92
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Performances
Vitesse
(x)OU
Précision
93
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Vitesse et précision
94
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Vitesse et précision
+ Stochastique
95
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Conception / production
Conception
!
Vitesse négligeable
!
Précision cruciale
!
Répétitions possibles
!
Recherche
!
Diversification 
Production
!
Vitesse cruciale
!
Précision négligeable
!
1 seul essai
!
Robustesse
!
Intensification
f(x)
F
f(x)
F
96
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Validation
Probabiliste   STATISTIQUE →
Plan d'expérience
!
Paramétrage
!
Répétitions
!
Tests statistiques
!
Analyse de données
97
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Paramétrage
Simple
!
Combinaisons de paramètres
!
Répétitions
!
Paramétrage optimal
Moins simple
!
Problème d'optimisation 
!
Problème d'estimation d'erreur
98
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Sequential Parameter Optimization
(I) analyse expérimentale
!
De plusieurs jeux de paramètres
(II) estimation des 
performance
!
Modèle de processus 
stochastique
(III) détermination de jeux 
supplémentaires à tester
99
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Sequential Parameter Optimization
Évaluation expérimentale
!
Plusieurs évaluations par jeu
!
Meilleur jeu précédent re­évalué
!
Nouveaux jeux évalués autant
Modélisation
!
Corrélation gaussienne
!
Régression polynomiale ordre 2
!
Estimation des performances pour jeux non testés
Nouveaux jeux à tester
!
Échantillonnage « Latin » de l'hypercube
!
Un seul essai par ligne/colonne
100
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Présentation
Bien
Pas bien
i
f(x)
101
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Boite à moustache
h
t
t
p
:
/
/
e
n
.
w
i
k
i
p
e
d
i
a
.
o
r
g
/
w
i
k
i
/
I
m
a
g
e
:
B
o
x
p
l
o
t
_
v
s
_
P
D
F
.
p
n
g
102
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Trouver le meilleur des deux
Test statistique
!
Déterminer si deux échantillons proviennent de la même distribution
!
Déterminer si deux méthodes se comportent différemment
!
Et donc, si l'un est meilleur que l'autre
!
Hypothèse « nulle » : les deux sont identiques
!
Acceptée : on ne sait pas faire la différence
!
Rejetée : ils sont différents
!
Avec une certaine probabilité de se tromper
103
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Test « U » de Wilcoxon­Mann­Whitney
Caractéristiques
!
Distributions non normales, mais similaires
!
Échantillons indépendants
!
Nombre de points faible
!
Variables continues
Procédure
!
Calcul du test
!
Hypothèse nulle rejetée avec p > P
seuil
   différents →
!
Au mieux, P
seuil
 = 0.95
104
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??
Applications
http://commons.wikimedia.org/wiki/Image:Industry_Torrance.jpg
105
M
é
t
a
h
e
u
r
i
s
t
i
q
u
e
s
 

 
2
0
0
8
 
­
0
5
/??

Auteurs

Johann Dréo

Yann Collette

 THALES Research & 
Technology
 Laboratoire mathématiques & 

 Renault

techniques de la décision

Métaheuristiques – 2008 ­05
2

/??

3

Métaheuristiques – 2008 ­05

/??

4 Métaheuristiques – 2008 ­05 /?? Optimisation difficile .

5 Métaheuristiques – 2008 ­05 /?? Optimisation difficile .

6 Métaheuristiques – 2008 ­05 /?? Métaheuristique .

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications Métaheuristiques – 2008 ­05  Exemples  Synthèse  Validation  Exemples 7 /?? .

Plan Problèmes Métaheuristiques  Exemples  Recherche opérationnelle  Ingénierie  Intelligence artificielle  Exemples  Synthèse  Caractéristiques Applications Métaheuristiques – 2008 ­05  Validation  Exemples 8 /?? .

Recherche opérationnelle Voyageur de commerce  Minimiser la longueur du trajet Métaheuristiques – 2008 ­05 9 /?? .

org/wiki/Image:Knapsack. http://fr. CC­BY­SA 2.svg Métaheuristiques – 2008 ­05 /?? Sac à dos Recherche opérationnelle  Maximiser l'intérêt de la  sélection d'objets .10 Dake.wikipedia.5.

Recherche opérationnelle Planification temporelle  Déterminer un emploi du temps Métaheuristiques – 2008 ­05 11 /?? .

Ingénierie Aérodynamique  Maximiser la portance Métaheuristiques – 2008 ­05 12 /?? .

 Djordje Mitrovic. Stefan Klanke. 2008 13 /?? .Ingénierie Déplacement de bras robot  Minimiser l'énergie dépensée Métaheuristiques – 2008 ­05 Adaptive Optimal Control for Redundantly Actuated Arms. and Sethu Vijayakumar.

Intelligence artificielle IA jeu vidéo  Maximiser le gain Métaheuristiques – 2008 ­05 14 /?? .

Ingénierie Problème du pont  Concours JET Métaheuristiques – 2008 ­05 15 /?? .

wikimedia.org/wiki/Image:Red­black_tree_insert_case_5.Caractéristiques des problèmes Optimisation continue Voisinage  Variables réelles Optimisation combinatoire Métaheuristiques – 2008 ­05  Implicite  Fonctions  Variables discrètes  Explicite  Permutation 16 /?? http://commons.png .

Difficultés avec les problèmes Trouver le problème Modélisation  Expression mathématique  Contraintes Métaheuristiques – 2008 ­05  Qualification des solutions  Objectifs contradictoires 17 /?? .

 Nombres de variables  Temps de calcul  Fonction objectif par simulation Métaheuristiques – 2008 ­05  Conception/Production 18 /?? .Difficultés avec les problèmes Résolution  Complexité  NP­...

wikimedia.org/wiki/Image:P_np_np­complete_np­hard.NP  Algorithme Non déterministe  Résolution Polynomiale  Oracle  Estimation valeur polynomiale http://commons.svg Métaheuristiques – 2008 ­05 19 /?? .

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Validation  Exemples Métaheuristiques – 2008 ­05  Synthèse 20 /?? .

Métaheuristiques : un peu d'histoire  1954 : Barricelli. L'approche vise à éviter les  optimums locaux par une stratégie d'interdiction  Métaheuristiques – 2008 ­05 (ou. plus généralement. superposée à une autre  heuristique.G. Fred Glover :  « La recherche avec tabou peut être vue comme  une "méta­heuristique". stratégies d'évolution  1986 :  terme méta­heuristique. Commercial  1996 : algorithmes à estimation de distribution /?? 21 . algorithmes génétiques  1989 : premier logiciel A.  optimisation  1965 : Rechenberg. de pénalisation) de  certains mouvements. simulation évolution. »   1988 : conférence.

Terminologie Fonction objectif  Minimisation  Mono­objectif Solution  Représentation  Valeur Échantillon Métaheuristiques – 2008 ­05 Stochastique  Ensemble de solution Voisinage  Probabiliste + temps Itératif  Critère d'arrêt 22 /?? .

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Validation  Exemples Métaheuristiques – 2008 ­05  Synthèse 23 /?? .

24 Métaheuristiques – 2008 ­05 /?? Recherche tabou .

Recherche tabou Recherche « tabou » ou « avec tabous » Liste « tabou » de mouvements interdits  Minimums locaux Voisinage Métaheuristiques – 2008 ­05  Initialisation  Modification de solution existante 25 /?? .

Recherche tabou

initialisation Oui

Stop Non Itérer ?

Modification voisinage

Sélection du meilleur voisin

MàJ mémoire

Métaheuristiques – 2008 ­05

Heuristique spécialisée

MàJ meilleure solution

26

/??

Recherche tabou

Voisinage

Métaheuristiques – 2008 ­05

Liste tabou

27

/??

Recherche tabou

Voisinage

! Liste tabou

Métaheuristiques – 2008 ­05
28

/??

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Validation  Exemples Métaheuristiques – 2008 ­05  Synthèse 29 /?? .

wikipedia.png .Algorithmes évolutionnistes Métaheuristiques – 2008 ­05 30 /?? http://en.org/wiki/Image:Ape_skeletons.

Algorithmes évolutionnistes 1965 : stratégies d’évolution 1966 : programmation évolutionnaire Métaheuristiques – 2008 ­05 1975 : algorithmes génétiques 1980 : programmation génétique 1986 : systèmes immunitaire artificiels /?? 31 .

Algorithmes évolutionnistes Métaheuristiques les plus connus Différences historiques entre algorithmes Concepts équivalents  Algorithmes génétiques  Algorithmes évolutionnaires  Algorithmes évolutionnistes Métaheuristiques – 2008 ­05 Algorithmes stochastiques Enchaînement d'opérateurs 32 /?? .

Terminologie Solution Échantillon Valeur Représentation = individu = population = fitness = codage http://www.flickr.com/photos/wishymom/566394520/ Métaheuristiques – 2008 ­05 33 /?? .

Opérateurs « Opérateurs »  Sélection  Croisement  Mutation Métaheuristiques – 2008 ­05 One Max ∑ xi i=0 4 01011 11111 10101 00110 00000 01000 11011 10010 00001  Évaluation  Remplacement /?? 34 .

Opérateurs « Opérateurs » 01011 11111 10101 00110 00000 01000  Sélection  Croisement  Mutation Métaheuristiques – 2008 ­05 11011 10010 00001  Évaluation  Remplacement /?? 35 .

Opérateurs « Opérateurs »  Sélection 10100  Croisement 00001 10101  Mutation Métaheuristiques – 2008 ­05  Évaluation  Remplacement /?? 36 .

Opérateurs « Opérateurs »  Sélection  Croisement  Mutation Métaheuristiques – 2008 ­05 10100 10101  Évaluation  Remplacement /?? 37 .

Opérateurs « Opérateurs »  Sélection  Croisement  Mutation Métaheuristiques – 2008 ­05  Évaluation  Remplacement /?? 10101 10101 38 .

Opérateurs « Opérateurs » 11100 11001 11101  Sélection  Croisement  Mutation Métaheuristiques – 2008 ­05 01011 11111 10101 00110 10010 00000  Évaluation  Remplacement /?? 01000 00001 11011 39 .

Algorithmes évolutionnistes Métaheuristiques – 2008 ­05 40 /?? .

Exemples d'opérateurs Sélection par « roulette proportionnelle »  surface proportionnelle à sa valeur 15% 45% x1 x2 20% 20% x3 x4 Problème  Biais selon échelle de la fonction objectif Métaheuristiques – 2008 ­05 41 /?? .

Exemple d'opérateurs Sélection par « tournoi stochastique »  k individus  Le meilleur est sélectionné  n fois 01011 00110 00001 10101 10010 00000 01000 11111 11011 Métaheuristiques – 2008 ­05 00110 < 11011 10010 > 01000 11011 10010 /?? 42 .

Exemple d'opérateur Mutation gaussienne  Pour tout x :  x  + N i i m.s Métaheuristiques – 2008 ­05 43 /?? .

xi2(t+1) = (1+bi).ui)(1/(1+η)) si ui≤0.xi2(t) 2.xi1(t) + (1­bi).xi1(t+1) = (1­bi).Exemple d'opérateur Simulated Binary Crossover ui ∈ U0.xi1(t) + (1+bi).1 Métaheuristiques – 2008 ­05 bi = (2.5     = (1/(1­ui))(1/(1+η)) sinon 2.xi2(t) /?? 44 .

Exemple d'opérateur Croisement multipoint Croisement uniforme 11001010 01011100 11 | 0010 | 10 01 | 0111 | 00 01 | 0010 | 00 11 | 0111 | 10 11001010 01011100 01110100 Masque 11001010 01011100 11011110 01001000 Métaheuristiques – 2008 ­05 45 /?? .

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Validation  Exemples Métaheuristiques – 2008 ­05  Synthèse 46 /?? .

jpg 47 /?? .org/wiki/Image:Hot_metalwork.wikimedia.Recuit simulé Métaheuristiques – 2008 ­05 http://commons.

 Gelatt et Vecchi concoivent le recuit simulé  1985 : indépendamment de ceux­ci.  1983 : Kirkpatrick. Černý propose le même algorithme Métaheuristiques – 2008 ­05 48 /?? .Historique Historique  1970 : Hastings propose l’algorithme de Metropolis­Hastings.

Recuit simulé Coté physique Coté optimisation Métaheuristiques – 2008 ­05 49 /?? .

 gardé  Sinon. accepte aléatoirement un voisin moins bon  Probabilité commandé par un paramètre T (« température »)  T décroît avec le temps Métaheuristiques – 2008 ­05 50 /?? .Description classique Méthode de descente  Si voisin meilleur.

Algorithme Xcourant: point de départ T = T0 Xsuivant = voisin(Xcourant) Contrôle de la proba d’accepter une mauvaise solution Si f(X )<= f(Xcourant) suivant Ou si exp((f(Xcourant)­f(Xsuivant))/T) > rand(0.1)                et f(Xsuivant)>f(Xcourant) Alors Xcourant = Xsuivant Métaheuristiques – 2008 ­05 Loi de décroissance de la température T = g(T) Fin 51 /?? .

Algorithme Xcourant: point de départ T = T0 Méthode de Metropolis Xsuivant = voisin(Xcourant) Si f(X )<= f(Xcourant) suivant Ou si exp((f(Xcourant)­f(Xsuivant))/T) > rand(0.1)                et f(Xsuivant)>f(Xcourant) Alors Xcourant = Xsuivant Métaheuristiques – 2008 ­05 T = g(T) Fin /?? 52 .

Metropolis­Hastings Échantillonnage de distribution de probabilité  Non intégrable. sans expression analytique. non normalisée  Fonction objectif → distribution de probabilité  Via distribution de Boltzman  p x= exp − f  x / T  ∑ exp − f  y/ T  y  Recuit simulé → échantillonner une distribution paramétrique (T) Métaheuristiques – 2008 ­05 53 Algorithme de Metropolis­Hastings  n'importe quelle distribution  /?? .

Échantillonnage de distribution paramétrique Métaheuristiques – 2008 ­05 54 /?? .

Convergence Garantie d'atteindre l'optimum en un temps fini. En pratique : t→ ∞   lim pt  x =1 Métaheuristiques – 2008 ­05 55 /?? .

Quelques problèmes Ergodicité ergodique  N'importe quelle solution atteignable  Quasi­ergodicité : nombre fini de changements  Voisinage Convergence non ergodique Métaheuristiques – 2008 ­05  Quasi­ergodicité  Décroissance par palier  Décroissance graduelle  T  ne décroit pas plus vite que : C/log(t) t  C. constante liée à échelle fonction objectif /?? T t 56 .

org/wiki/Image:Metropolis_hastings_algorithm.org/wiki/Image:3dRosenbrock.Exemple variables continues Métaheuristiques – 2008 ­05 57 /?? http://en.png http://en.wikipedia.wikipedia.png .

Tk­1 Les lois adaptatives: Van Laarhoven: T k =T k−1 Huang: Métaheuristiques – 2008 ­05 1 1 ln 1 3 T k −1 T k−1 T k =T k −1 exp Triki:  − T k −1  T k −1    T k =T k−1 1−T k −1 58 /??    T k−1  2 .Décroissance température La loi classique: Tk = α.

σ(Tk) ln(1+δ)/Cmax. σ2(Tk) λ.Décroissance température Loi de originale Van Laarhoven Otten Huang Métaheuristiques – 2008 ­05 Δ(Tk) ln(1+δ)/3.σ(Tk) 59 /?? .

Revenu simulé f(x) x p(x) T1 Métaheuristiques – 2008 ­05 x T2<T1 /?? 60 .

exp(­(f(x2)­f(xcourant))/T)) x2 x3 min(1.exp(­(f(x3)­f(xcourant))/T)) min(1.exp(­(f(x4)­f(xcourant))/T)) 61 /?? .exp(­(f(x5)­f(xcourant))/T)) min(1.Parallel Rejectionless Annealing min(1.exp(­(f(x1)­f(xcourant))/T)) x1 x5 xcourant x4 Métaheuristiques – 2008 ­05 min(1.

Plan Problèmes Métaheuristiques  Exemples  Recherche opérationnelle  Ingénierie  Intelligence artificielle  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Caractéristiques Applications Métaheuristiques – 2008 ­05  Synthèse  Validation  Performances ?  Paramétrage  Validation /?? 62  Exemples .

Algorithmes de colonies de fourmis Métaheuristiques – 2008 ­05 63 /?? .

 1983.Historique  1959. M. preuve d'équivalence avec d'autres métaheuristiques 64 /?? . Deneubourg et Pasteels  1989. comportement collectif  1988. Moyson et Manderick. modèle de comportement de recherche de nourriture  1991. première application aux réseaux de télécommunications  2000. Deneubourg. première preuve de convergence  2004. Aron. auto­organisation  1989. Pierre­Paul Grassé : stigmergie. Dorigo propose le Ant System Métaheuristiques – 2008 ­05  1997. travaux de Goss.

65 Métaheuristiques – 2008 ­05 /?? Origine de l'idée .

Algorithme de base : Ant System Initialisation Jusqu'à critère d'arrêt  Pour chaque fourmis  Parcours d'un trajet  Laisser piste (quantité fixe. étalée sur chaque arrête)  Évaporation Métaheuristiques – 2008 ­05 Fin 66 /?? .

67 Métaheuristiques – 2008 ­05 /?? Voyageur de commerce .

Ant System, détails
 t itérations, k fourmis, n villes, 
Jik villes à visiter

Choix d'une ville : visibilité

Quantité de phéromone

 ηij = 1/dij

   t= L k  t

k ij

{

Q

sii , j∈T k t 0 sinon

}

Choix ville
Métaheuristiques – 2008 ­05

  p  t= ∑  il t  ij   l ∈ Ji
k

k ij

{

ij  t ij 

si j∈ J i si j∉J ik

k

Évaporation

0

}

 ij  t1=1− ij t   ij t

68

/??

Hyper Cube & MinMax Ant Systems
MMAS HCAS

 τmin< τij< τmax  Ergodicité

 Problème codage binaire  Normalisation « fonction de qualité »

∑ Q f s  si

i =1− i
s∈ St

∑ Q f s 
s∈ St

Métaheuristiques – 2008 ­05

Q f  s∣S 1,  , S t = 0 1−

f s −LB  −LB f

69

/??

70

Métaheuristiques – 2008 ­05

/??

AntNet

Plan Problèmes Métaheuristiques  Exemples  Recherche opérationnelle  Ingénierie  Intelligence artificielle  Exemples  Recherche tabou  Algorithmes évolutionnistes  Recuit simulé  Colonies de fourmis  Estimation de distribution  Caractéristiques Applications Métaheuristiques – 2008 ­05  Synthèse  Validation  Performances ?  Paramétrage  Validation /?? 71  Exemples .

Estimation de distribution Métaheuristiques – 2008 ­05 72 /?? .

Historique  1994 : apprentissage incrémental à population (PBIL)  1996 : algorithmes à estimation de distribution  1999 : compact genetic algorithm  2004 : équivalence avec d'autres métaheuristiques Métaheuristiques – 2008 ­05 73 /?? .

Origines Idée originale  Simplifier les algorithmes génétiques  Un seul opérateur Population Base Incremental Learning Métaheuristiques – 2008 ­05 Compact Genetic Algorithm 74 /?? .

Algorithme Idées de base  Distribution de probabilité choisie a priori  Échantillonnage  Opérateurs de réduction de variance (→ sélection) Métaheuristiques – 2008 ­05 75 /?? .

Algorithme Initialisation Jusqu'à critère d'arrêt  Estimation des paramètres  Tirage échantillon selon distribution  Sélection Fin Métaheuristiques – 2008 ­05 76 /?? .

Exemple continu Distributions :  Uniforme  Gaussienne univariante Métaheuristiques – 2008 ­05 77 /?? .

Exemple continu Modèles classiques  Gaussienne univariante  Mélange de gaussiennes univariantes  Gaussienne multivariante  Mélange de gaussiennes multivariantes Métaheuristiques – 2008 ­05 78 /?? .

Exemple discret : OneMax Métaheuristiques – 2008 ­05 79 /?? .

Exemple discret : OneMax Métaheuristiques – 2008 ­05 80 /?? .

Exemple discret : OneMax Métaheuristiques – 2008 ­05 81 /?? .

com/photos/mpdehaan/31773103/ Métaheuristiques – 2008 ­05 /?? Métaheuristiques : synthèse .82 http://flickr.

Caractéristiques de base  Global  Généraliste  Stochastiques  Facile à implémenter Métaheuristiques – 2008 ­05 83 /?? .

84 Métaheuristiques – 2008 ­05 /?? Parcours / population .

Intensification / diversification Métaheuristiques – 2008 ­05 Diversification = exploration Intensification = exploitation /?? 85 .

 Implicite.Explicite. Direct Métaheuristiques – 2008 ­05 86 /?? .

87 Métaheuristiques – 2008 ­05 /?? Classification .

Plan Problèmes Métaheuristiques  Exemples  Caractéristiques Applications  Exemples  Synthèse  Validation  Performances ?  Paramétrage Métaheuristiques – 2008 ­05  Validation  Exemples 88 /?? .

89 Métaheuristiques – 2008 ­05 /?? Validation http://flickr.com/photos/ingleites/95381044/ .

No free lunch Instance de méthode  Algorithme  Paramétrage Métaheuristiques – 2008 ­05 Instance de problème  Modèle  Caractéristiques /?? 90 .

Paramétrage Instance métaheuristique  1 paramétrage optimal pour 1 instance de problème  Initialisation  Critère d'arrêt  Valeurs des paramètres Quel paramétrage ? Métaheuristiques – 2008 ­05  Critères de performance  Vitesse ou précision ?  Production ou conception ? 91 /?? .

Performances Vitesse (x)OU Précision Métaheuristiques – 2008 ­05 92 /?? .

93 Métaheuristiques – 2008 ­05 /?? Vitesse et précision .

Vitesse et précision + Stochastique Métaheuristiques – 2008 ­05 94 /?? .

Conception / production Conception Production  Vitesse négligeable  Précision cruciale  Répétitions possibles  Recherche  Diversification   Vitesse cruciale  Précision négligeable  1 seul essai  Robustesse  Intensification F Métaheuristiques – 2008 ­05 F f(x) /?? f(x) 95 .

Validation Probabiliste → STATISTIQUE Plan d'expérience  Paramétrage  Répétitions Métaheuristiques – 2008 ­05  Tests statistiques  Analyse de données 96 /?? .

Paramétrage Simple  Combinaisons de paramètres  Répétitions  Paramétrage optimal Moins simple Métaheuristiques – 2008 ­05  Problème d'optimisation   Problème d'estimation d'erreur 97 /?? .

Sequential Parameter Optimization (I) analyse expérimentale  De plusieurs jeux de paramètres (II) estimation des  performance  Modèle de processus  stochastique (III) détermination de jeux  Métaheuristiques – 2008 ­05 98 supplémentaires à tester /?? .

Sequential Parameter Optimization Évaluation expérimentale  Plusieurs évaluations par jeu  Meilleur jeu précédent re­évalué  Nouveaux jeux évalués autant Modélisation  Corrélation gaussienne  Régression polynomiale ordre 2 Métaheuristiques – 2008 ­05  Estimation des performances pour jeux non testés Nouveaux jeux à tester  Échantillonnage « Latin » de l'hypercube  Un seul essai par ligne/colonne /?? 99 .

Présentation f(x) Métaheuristiques – 2008 ­05 i Bien Pas bien 100 /?? .

org/wiki/Image:Boxplot_vs_PDF.Métaheuristiques – 2008 ­05 101 /?? http://en.png Boite à moustache .wikipedia.

Trouver le meilleur des deux Test statistique  Déterminer si deux échantillons proviennent de la même distribution  Déterminer si deux méthodes se comportent différemment  Et donc. si l'un est meilleur que l'autre  Hypothèse « nulle » : les deux sont identiques  Acceptée : on ne sait pas faire la différence Métaheuristiques – 2008 ­05  Rejetée : ils sont différents  Avec une certaine probabilité de se tromper 102 /?? .

95 103 /?? . Pseuil = 0.Test « U » de Wilcoxon­Mann­Whitney Caractéristiques  Distributions non normales. mais similaires  Échantillons indépendants  Nombre de points faible  Variables continues Procédure Métaheuristiques – 2008 ­05  Calcul du test  Hypothèse nulle rejetée avec p > Pseuil → différents  Au mieux.

wikimedia.org/wiki/Image:Industry_Torrance.Applications http://commons.jpg Métaheuristiques – 2008 ­05 104 /?? .

Métaheuristiques – 2008 ­05 105 /?? .

Sign up to vote on this title
UsefulNot useful