Professional Documents
Culture Documents
BD Images et video :
• Collections et catalogues des particuliers, entreprises
• Médiathèques
• Agences de photographie
• Internet (ex.AltaVista/Virage)
Applications :
• Médiamétrie (ex. empreintes digitales) • Données biomédicales
• Propriété des oeuvres • Imagerie satellitaire, aérienne
● Dessin, schéma
● Modèle CAO
● Carte
● Plan
● .../...
Evaluation des résultats :
Base de données
# réponses pertinentes
Précision =
# réponses
# réponses pertinentes
Rappel =
Difficultés : # données pertinentes
➢ à la différence de données textuelles, le contenu sémantique n'est jamais explicite.
Dimension multidisciplinaire :
Multimedia : texte, image, son - Problèmes de gestion de bases de données - Problèmes hardware - Problèmes liés à
l'apprentissage - Problèmes linguistiques,...
Il faut également citer l'émergence de nouveaux standards de codage video tels que
Mpeg7 qui intègre dans le codage des données explicites relatifs aux contenus
audiovisuels, dans le but de faciliter à la fois la recherche d'information dans une base de
données video, et la navigation « intelligente » dans une video.
Scène :
✗ Nature du lieu
✗ Présence d'un objet, d'un personnage
✗ Plan
image It transformée
Difficultés :
● Fondu-enchainés,
● Mouvements brusques,...
Logiciel MD-shots (IRISA Rennes / projet VISTA)
de découpage video, basé sur un descripteur global
du mouvement dominant (axe vertical)
{
x 0,0 x 0,1 , x 0p
......................
x 0n , x 1n , , x np
Base de
{M ,C ,} données
Données statistiques indices ● Temps de calcul de l'indexation : pas primordial
● Indices + données statistiques : calcul incrémental
......................
y 0, y 1, , y p
{M , C ,}
Base de données images
Données statistiques
x n0 , x 1n ,, x np
Base de
(2) Mesure de similarité de l'index données
inconnu avec les indices de la base indices
● Temps de calcul de la recherche : primordial
(3) Résultat : adresse des meilleurs ● Mesure de similarité : indice de confiance
Difficultés :
● Variabilité : rotation, translation, homothétie,...
● Reconnaissance 2d ou 3d
● Visibilité partielle
● Changement de luminosité
●.../...
Reconstruction 3d
Techniques de traitement d'images :
● Détection + chaînage de contours
(transformée de Hough)
Indices : listes de coordonnées des structures (segments, ellipses,...)
Métrique d'appariement : basée sur l'appariement des structures
Ex : Calcul de la transformation + Distance de Hausdorff
distance de Haussdorff entre
deux ensembles P et Q : H P ,Q=max {hP ,Q , hQ , P} avec : h X ,Y =max min d x , y
x∈ X y∈Y
● augmentation de la robustesse
i j
t t t ∂ t
Jet local : L =G ∗I
ij ij avec : G = i j G
ij
∂x ∂y Points d'intérêt
(méthode de Harris)
2 2
1 − x y
et : t
G x , y = exp t : facteur d'échelle
2 t2 2 t2
t
On notera : {Lij ; 0 i j3 }={L , L x , L y , L xx , L xy , L yy , L xxx , L xxy , L xyy , L yyy }
(dérivées jusqu'au 3e ordre)
Antoine MANZANERA – Cours Indexation / DEA IARFA page 16
Invariants géométriques et photométriques
Le principe de calcul des invariants est de combiner les différentes composantes du jet
local de manière à obtenir des grandeurs qui soient invariantes à divers changements
d'aspect, notamment transformation affines et changement d'illumination.
L xx = yy =0
Li Li Avec :
xy =− yx =1
Li Lij L j
Lii
= Notations d'Einstein : sommation sur les indices
Lij Lij
ij L jkl Li L k Ll −L jkk Li Ll Ll Par ex :
Liij L j Lk L k −Lijk Li L j L k
2 =Li Lij L j = L xx L x L x 2 L x L xy L y L yy L y L y
−ij L jkl Li L k Ll
7 =−ij L jkl Li L k Ll =L xxy −L x L x L x 2 L x L y L y
Lijk Li L j Lk L xyy −2 L x L x L y L y L y L y −L yyy L x L y L y L xxx L x L x L y
Distance euclidienne
Distance de Mahalanobis Distance des points de l'espace au centre d'inertie d'un nuage de points, en
distance euclidienne (à gauche) et en distance de Mahalanobis (à droite).
m x , x ' = t x−x ' C −1 x−x '
var x 1 cov x 1 , x 2 ⋯ cov x 1 , x n
cov x 2 , x 1 var x 2 ⋯ cov x 2 , x n cov x i , x j =〈 x i −i x j − j 〉=〈 x i x j 〉−〈 x i 〉〈 x j 〉
avec : C =
⋮ ⋮ ⋱ ⋮ var x i =cov x i , x i i =〈 x i 〉
cov x n , x 1 cov x n , x 2 ⋯ var x n
...où < . > désigne la moyenne.
Antoine MANZANERA – Cours Indexation / DEA IARFA page 19
Métriques d'appariement
La matrice de covariance C est calculée et mise à jour off-line.
Si on diagonalise C -1, on peut se ramener à un calcul de distance euclidienne par rapport
aux vecteurs descripteurs :
{
{
distance
normalisation ellipsoïdale
A chaque mise à jour de la base on doit donc :
- mettre à jour la matrice de covariance C.
- calculer et diagonaliser C -1.
- normaliser tous les vecteurs : x D Px
m x , y=e D P x , D P y
...
...
dimension
vecteur inconnu
un découpage alternatif
vecteur de la base de la base d'indices
représentation du voisinage du vecteur inconnu dans un Kd-tree
x 0,0 x 0,1 , x 0p
......................
y 0, y 1, , y p
n n n
x 0 , x 1 , , x p
y ' ' 0, y ' ' 1, , y ' ' p Le bouclage de pertinence (relevance feedback)
est une technique utilisant une évaluation
interactive de l'utilisateur pour modifier le
descripteur de la requête ou la métrique
d'appariement, par exemple en modifiant les
y ' ' ' 0, y ' ' ' 1, , y ' ' ' p
poids des composantes, ou bien en ne conservant
que les invariants jugés les plus pertinents au
regard des évaluations.
Antoine MANZANERA – Cours Indexation / DEA IARFA page 22
Bibliographie et sources
● P. Gros : Traitement des images par le contenu - document de cours - IRISA 1999.
● C. Schmid : Appariement d'images par invariants locaux de niveaux de gris - thèse
University