AM_Indexation

Indexation d'images

Cours Master IA&D
Cours Master IA&D
Techniques du traitement d'images
Techniques du traitement d'images
Antoine Manzanera - ENSTA /Unité d'Électronique et d'Informatique
Indexation - Introduction
Antoine MANZANERA – Cours Indexation / DEA IARFA page 2
Le sujet de ce cours est la recherche automatique de documents visuels (images,
séquences video), dans des bases de données de grande taille, à partir de requêtes relatives
au contenu de ces documents.
Ce problème fait actuellement l'objet de recherches très abondantes dans le domaine du
traitement d'images et de la vision par ordinateur. En effet, la généralisation des supports
numériques, l'apparition de formats video compacts, la chute du coût des média de
stockage a engendré une augmentation vertigineuse de la quantité des données
multimedia. Pour que ces données soient exploitables, il faut qu'elles puissent être
consultées efficacement comme par le biais d'un catalogue.
Les techniques présentées ci-après, dite d'indexation, se proposent d'attacher à une image
ou à une video un ensemble de descripteurs de leur contenu, dans le but de mesurer la
ressemblance avec les descripteurs correspondant à la requête.
Mais cette requête peut prendre des formes très différentes, elle peut être conceptuelle
(ex : mot), symbolique (ex : schéma) ou instancielle (ex : une autre image).
De la même façon, l'indexation sera sémantique (on attache des descripteurs de niveau
conceptuel au document) ou visuelle (on attache des descripteurs de niveau visuel au
document).
Applications et enjeux
page 3
BD Images et video :

Collections et catalogues des particuliers, entreprises

Médiathèques

Agences de photographie

Archives audiovisuelles (ex. INA)

Internet (ex.AltaVista/Virage)
Applications :

Médiamétrie (ex. empreintes digitales)

Propriété des oeuvres

Reconnaissance de visages, d'objets...

Données biomédicales

Imagerie satellitaire, aérienne

Video de télésurveillance
Antoine MANZANERA – Cours Indexation / DEA IARFA
Plan du cours Indexation
page 4
Indexation multimedia : Etat actuel et Perspectives
Recherche de documents multimedia par le contenu
Indexation sémantique manuelle
Indexation visuelle automatique
Aide à l'indexation manuelle
Sémantique de l'indexation video
Découpage en plans
Détection d'objets
Indexation automatique
Images structurées et texturées
Extractions des descripteurs
Appariement d'images
Métriques de similarité
Antoine MANZANERA – Cours Indexation / DEA IARFA
Recherche multimedia par le contenu
page 5
Difficultés :

à la différence de données textuelles, le contenu sémantique n'est jamais explicite.

les requêtes sont difficiles à exprimer, donc en général ambiguës, incomplètes.
Dimension multidisciplinaire :
Multimedia : texte, image, son - Problèmes de gestion de bases de données - Problèmes hardware - Problèmes liés à
l'apprentissage - Problèmes linguistiques,...
Types de requête :

Mot

Image

Dessin, schéma

Modèle CAO

Carte

Plan

.../...
Antoine MANZANERA – Cours Indexation / DEA IARFA
Evaluation des résultats :
Base de données
Requête
Résultat
Précision =
# réponses pertinentes
# réponses
Rappel =
# réponses pertinentes
# données pertinentes
Etat actuel : Indexation explicite
page 6 Antoine MANZANERA – Cours Indexation / DEA IARFA
Les outils de recherche de documents multimedia qui fonctionnent actuellement sont basés
sur une recherche de mots clefs explicitement attachés au document ou indexés
automatiquement à partir du texte environnant (Ex : Google.)
Les documents video telles que les archives audiovisuelles sont indexés manuellement par
des opérateurs spécialisés, à partir d'un descriptif très précis lié à un thesaurus.
Mais cette indexation manuelle s'avère une tâche pénible et longue (jusqu'à 10 fois la
durée d 'une séquence, alors que par exemple le fonds de document télévisuel de l'INA
représente 350.000 heures de programmes...)
De plus une donnée intéressante à une date donnée ne l'était pas forcément à la date de
l'indexation...
Il faut également citer l'émergence de nouveaux standards de codage video tels que
Mpeg7 qui intègre dans le codage des données explicites relatifs aux contenus
audiovisuels, dans le but de faciliter à la fois la recherche d'information dans une base de
données video, et la navigation « intelligente » dans une video.
Indexations sémantique et descriptive
page 7 Antoine MANZANERA – Cours Indexation / DEA IARFA
Par nature, l'indexation manuelle est sémantique. L'opérateur d'indexation attache au
document des données de haut niveau relatifs à la signification du contenu de l'objet. Les
requêtes associées sont en général des mots, désignant un objet, une action, le nom d'un
personnage ou d'un événement.
Par opposition, l'indexation automatique est essentiellement descriptive ou visuelle.
L'algorithme d'indexation attache des données de bas niveau sémantique, relatifs aux
contenus géométrique, spectral, de l'image, à un niveau local ou global. Les requêtes
associées se font en général par l'exemple, ou par modèle.
Mais l'analyse automatique de documents peut également être utilisée pour rendre plus
facile (plus rapide, moins pénible) le travail de l'opérateur d'indexation manuelle. Cela
concerne typiquement :

pré-tri de grosses bases de données images.

indexation automatique aiguillée par opérateur.

découpage de video et simplification en image-clefs.
Sémantique des séquences d'images
page 8 Antoine MANZANERA – Cours Indexation / DEA IARFA
Diagramme d'annotation d'une video
(Projet Sesame – Insa Lyon / RFV)
Avant d'analyser automatiquement ou manuellement une séquence d'images, il faut avoir défini
précisément la façon dont la video va être structurée. La structuration classique d'une video est celle
d'un découpage en scènes avec titre, résumé, mots-clefs.
Les outils d'aide à l'indexation video peuvent se fonder sur une structuration précise des videos,
utilisant plusieurs niveaux d'analyse.
Le premier objectif est de fournir un cadre riche et rigoureux pour faciliter l'indexation manuelle.
Le second objectif est de diminuer le niveau sémantique du découpage par scènes pour permettre
l'utilisation d'outil d'indexation visuelle automatique.

Nature du lieu

Présence d'un objet, d'un personnage

Plan
Scène :
Aide à l'indexation video
page 9 Antoine MANZANERA – Cours Indexation / DEA IARFA
Exemple : Découpages en plans (cuts) d'une video
Les techniques employées sont diverses ; elles sont
en général basées sur la détection de discontinuités
temporelles d'un ou de plusieurs descripteurs
globaux associés à :
* La couleur. Ex : moments d'histogrammes
couleurs.
* Le mouvement. Ex, ci-contre : extraction du
mouvement dominant (transformation affine 2d), et
mesure du taux de recouvrement entre image et
image transformée.
Difficultés :

Fondu-enchainés,

Mouvements brusques,...
Logiciel MD-shots (IRISA Rennes / projet VISTA)
de découpage video, basé sur un descripteur global
du mouvement dominant (axe vertical)
image I
t
image I
t+1
image I
t
transformée
Aide à l'indexation video
page 10 Antoine MANZANERA – Cours Indexation / DEA IARFA
Enfin, certaines techniques spécifiques de détection, reconnaissance, identification sont
utilisées pour effectuer des tâches particulières d'aide à l'indexation. Ce sont typiquement :
* La détection et le suivi des objets mobiles.
* La détection d'objets particuliers :
visages, véhicules, texte incrusté pour indentifier le type de scène
* Identification : le visage d'un personnage, un véhicule particulier,...
Un problème qui accompagne souvent celui de la segmentation en plans pour l'aide à
l'indexation video est l'extraction d'images-clefs dans chaque plan, c'est-à-dire d'images
« les plus représentatives » du plan. Les techniques utilisées actuellement reposent
généralement sur des statistiques liées aux descripteurs utilisés pour le découpage en plans.
On peut alors utiliser l'image médiane, les images extrêmes,...
Ex : video cliquable (INRIA)
page 11 Antoine MANZANERA – Cours Indexation / DEA IARFA
Interface de l'outil de segmentation video développé à l'INRIA Rhône-Alpes – projet MOVI
Indexation automatique d'images
page 12

Temps de calcul de l'indexation : pas primordial

Indices + données statistiques : calcul incrémental

Stockage : bases de données images et indices

Représentation des indices : primordial
Off-line : Indexation
Antoine MANZANERA – Cours Indexation / DEA IARFA
Base de données images
Base de
données
indices
¦ x
0
0,
x
1
0,
., x
p
0
)
¦ x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Calcul des indices de
description pour toutes
les images de la base.
{
¦M , C ,.¦
Données statistiques
Indexation automatique d'images
page 13 Antoine MANZANERA – Cours Indexation / DEA IARFA
On-line : Recherche
Base de données images
Base de
données
indices
¦ x
0
0,
x
1
0,
., x
p
0
)
¦ x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
¦M , C ,.¦
Données statistiques
Image
inconnue
(1) Calcul de l'index de description
pour l'image inconnue :
¦ y
0,
y
1,
., y
p
)
(2) Mesure de similarité de l'index
inconnu avec les indices de la base
(3) Résultat : adresse des meilleurs
images au sens de la mesure de
similarité

Temps de calcul de la recherche : primordial

Mesure de similarité : indice de confiance

Quels descripteurs ?

Quelles mesures de similarité ?
Indexation automatique d'images
page 14 Antoine MANZANERA – Cours Indexation / DEA IARFA
Difficultés :

Variabilité : rotation, translation, homothétie,...

Reconnaissance 2d ou 3d

Visibilité partielle

Changement de luminosité

.../...

Requête par un exemple : recherche d'images semblables

Recherche d'un objet, ou d'un type d'objets particulier
Appariement d'images structurées
page 15 Antoine MANZANERA – Cours Indexation / DEA IARFA
Images comportant des structures géométriques « simples » :
contours rectilignes, elliptiques...
Mise en correspondance de structures 2d
Techniques de traitement d'images :

Détection + chaînage de contours

Détection de formes paramétrées
(transformée de Hough)
Indices : listes de coordonnées des structures (segments, ellipses,...)
Reconstruction 3d
Métrique d'appariement : basée sur l'appariement des structures
Ex : Calcul de la transformation + Distance de Hausdorff
H¦ P , Q)=max ¦h¦ P , Q) , h¦Q, P)¦
h¦ X , Y )=max
x∈X
min
y∈Y
d ¦ x , y)
H¦ P , Q)=min¦\∈ℝ;6
B
\
¦ P)⊂Q et 6
B
\
¦Q)⊂P¦
distance de Haussdorff entre
deux ensembles P et Q :
avec :
lien avec la morphologie
mathématique :
6
B
\
: dilatation par une boule de rayon \
Appariement d'images texturées
page 16 Antoine MANZANERA – Cours Indexation / DEA IARFA
Dans ce cas, on ne recherche pas de structures particulières, mais des ressemblances globales
(histogrammes, spectres de Fourier), ou locales...
Si l'on cherche des ressemblances locales, il est essentiel de réduire l'espace de représentation, pour
deux raisons majeures :

réduction du temps de calcul

augmentation de la robustesse
Utilisation des points d'intérêt :
On extrait des descripteurs locaux uniquement aux voisinages des points
les plus « intéressants ».
Puis on représente le comportement local au voisinage de ces points par
les descripteurs différentiels :
L
i j
t
=G
i j
t
∗I G
i j
t
=

i+j
∂ x
i
∂ y
j
G
t
G
t
¦ x , y)=
1
2nt
2
exp¦
−¦ x
2
+y
2
)
2 t
2
)
Jet local : avec :
et :
¦L
ij
t
; 0 <i+ j<3 ¦=¦L , L
x
, L
y
, L
xx
, L
xy
, L
yy
, L
xxx
, L
xxy
, L
xyy
, L
yyy
¦
On notera :
(dérivées jusqu'au 3e ordre)
Points d'intérêt
(méthode de Harris)
t : facteur d'échelle
t
Invariants géométriques et photométriques
page 17 Antoine MANZANERA – Cours Indexation / DEA IARFA
Le principe de calcul des invariants est de combiner les différentes composantes du jet
local de manière à obtenir des grandeurs qui soient invariantes à divers changements
d'aspect, notamment transformation affines et changement d'illumination.
1=
¦
L
L
i
L
i
L
i
L
ij
L
j
L
ii
L
ij
L
ij
e
ij
¦ L
jkl
L
i
L
k
L
l
−L
jkk
L
i
L
l
L
l
)
L
iij
L
j
L
k
L
k
−L
ijk
L
i
L
j
L
k
−e
ij
L
jkl
L
i
L
k
L
l
L
ijk
L
i
L
j
L
k
)
e
xy
=−e
yx
=1
e
xx
=e
yy
=0
1
2
=L
i
L
ij
L
j
=L
xx
L
x
L
x
+2 L
x
L
xy
L
y
+L
yy
L
y
L
y
1
7
=−e
ij
L
jkl
L
i
L
k
L
l
=L
xxy
¦−L
x
L
x
L
x
+2 L
x
L
y
L
y
)
+L
xyy
¦−2 L
x
L
x
L
y
+L
y
L
y
L
y
)−L
yyy
L
x
L
y
L
y
+L
xxx
L
x
L
x
L
y
Invariants différentiels de Hilbert :
Notations d'Einstein : sommation sur les indices
Par ex :
Avec :
quantités invariantes par rotation (Notez : invariance par rotation du noyau gaussien)
1 - Invariance par déplacement
Invariants géométriques et photométriques
page 18 Antoine MANZANERA – Cours Indexation / DEA IARFA
2 - Invariance photométrique
Normaliser par l'un des invariants (par ex. Y
1
).
f ¦ I )=aI +b
L'objectif est d'être invariant à une modification affine de la fonction
d'illumination :
3 - Invariance par changement d'échelle
Utiliser des invariants à plusieurs échelles.
x=¦x
1
, ., x
n
¦
y=¦y
1
,., y
n
¦
.../...
Un vecteur d'invariants est donc
calculé pour chaque point
d'intérêt dans toutes les images.
Ce sont ces vecteurs qui seront
comparés par la suite.
Métriques d'appariement
page 19
Le problème consiste donc à comparer des descripteurs qui sont des vecteurs imprécis :
Métriques d'appariement :
Distance euclidienne
Distance de Mahalanobis
x=¦x
1
,., x
n
¦
C=
¦
var ¦ x
1
) cov¦ x
1
, x
2
) ⋯ cov¦ x
1
, x
n
)
cov¦ x
2
, x
1
) var ¦ x
2
) ⋯ cov¦ x
2
, x
n
)
⋮ ⋮ ⋱ ⋮
cov¦ x
n
, x
1
) cov¦ x
n
, x
2
) ⋯ var ¦ x
n
)
)
6
e
¦ x , x ' )=
.
¦ x−x ' )
t
¦ x−x ' )
6
m
¦ x , x ' )=
.
¦ x−x ' )
t
C
−1
¦ x−x ' )
cov ¦ x
i
, x
j
)=〈¦ x
i
−u
i
)¦ x
j
−u
j
)〉=〈 x
i
x
j
〉−〈 x
i
〉 〈 x
j

var ¦ x
i
)=cov¦ x
i
, x
i
)
u
i
=〈 x
i

Antoine MANZANERA – Cours Indexation / DEA IARFA
Distance des points de l'espace au centre d'inertie d'un nuage de points, en
distance euclidienne (à gauche) et en distance de Mahalanobis (à droite).
La distance euclidienne ne tient compte ni des
différences d'amplitude ni des corrélations
entre les différentes composantes du vecteur de
description.
On utilise plutôt la distance suivante :
avec :
...où < . > désigne la moyenne.
Métriques d'appariement
page 20
Le problème de la recherche s'exprime maintenant comme suit : étant donné une
donnée inconnue de vecteur descriptif x, et un seuil ε, trouver toutes les données de la
base dont les vecteurs descriptifs y sont tels que :
6
m
¦ x , y)=6
e
¦
.
DP x ,
.
DP y)<e
Antoine MANZANERA – Cours Indexation / DEA IARFA
La matrice de covariance C est calculée et mise à jour off-line.
Si on diagonalise C
-1
, on peut se ramener à un calcul de distance euclidienne par rapport
aux vecteurs descripteurs :
C
−1
= P
t
DP
.
¦ x−x ' )
t
C
−1
¦ x−x ' )=∥
.
DPx−
.
DPx '∥
{
{
distance
ellipsoïdale normalisation
A chaque mise à jour de la base on doit donc :
- mettre à jour la matrice de covariance C.
- calculer et diagonaliser C
-1
.
- normaliser tous les vecteurs : x -
.
DPx
Parcours de l'espace de recherche
page 21
Pour limiter le temps de recherche dans une grosse base d'indices, on cherche à limiter
la recherche à un certain « voisinage » de l'index inconnu. Ce problème est intimement
lié au stockage des vecteurs descriptifs de la base.
Antoine MANZANERA – Cours Indexation / DEA IARFA
Découpage de la base
d'indices en hypercubes :
e
vecteur inconnu
vecteur de la base
Représentation de la base
d'indices sous forme de Kd-
tree :
dimension
.
.
.
.
.
.
représentation du voisinage du vecteur inconnu dans un Kd-tree
Complexité de la recherche :
m
2
N 3
d
k
d
+m3
d
N = nombre d'images de la base
m = nombre d'invariants par image
k = nombre d'hypercubes par dimension
d = dimension des invariants
{
{
coût du
parcours du
Kd-tree
coût de l'appariement
2e
un découpage alternatif
de la base d'indices
Bouclage de pertinence et apprentissage
page 22 Antoine MANZANERA – Cours Indexation / DEA IARFA
Base de données images
Base de
données
indices
¦ x
0
0,
x
1
0,
., x
p
0
)
¦ x
0
n
, x
1
n
,., x
p
n
)
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
¦ y
0,
y
1,
., y
p
)
¦ y '
0,
y '
1,
., y '
p
)
¦ y ' '
0,
y ' '
1,
., y ' '
p
)
¦ y ' ' '
0,
y ' ' '
1,
., y ' ' '
p
)
Le bouclage de pertinence (relevance feedback)
est une technique utilisant une évaluation
interactive de l'utilisateur pour modifier le
descripteur de la requête ou la métrique
d'appariement, par exemple en modifiant les
poids des composantes, ou bien en ne conservant
que les invariants jugés les plus pertinents au
regard des évaluations.
utilisateur requête
Bibliographie et sources
page 23

P. Gros : Traitement des images par le contenu - document de cours - IRISA 1999.

C. Schmid : Appariement d'images par invariants locaux de niveaux de gris - thèse
de doctorat - INPG 1996.

J.M. Jolion et al : Projet Sesame / Rapport final - INSA 1998

R.C. Veltkamp, M. Tanase : Content-based image retrieval : a survey - Utrecht
University
Antoine MANZANERA – Cours Indexation / DEA IARFA

IRISA / TEXMEX : http://www.irisa.fr/texmex/index.htm

INRIAlpes / LEAR : http://www.inrialpes.fr/lear/index.html

INSA Lyon / RFV : http://telesun.insa-lyon.fr/kiwi/

Univ. Stanford / SIMPLICITY : http://www-db.stanford.edu/IMAGE/

Univ. Texas / CIRES : http://amazon.ece.utexas.edu/~qasim/research.htm

.../...

Indexation - Introduction
Le sujet de ce cours est la recherche automatique de documents visuels (images, séquences video), dans des bases de données de grande taille, à partir de requêtes relatives au contenu de ces documents. Ce problème fait actuellement l'objet de recherches très abondantes dans le domaine du traitement d'images et de la vision par ordinateur. En effet, la généralisation des supports numériques, l'apparition de formats video compacts, la chute du coût des média de stockage a engendré une augmentation vertigineuse de la quantité des données multimedia. Pour que ces données soient exploitables, il faut qu'elles puissent être consultées efficacement comme par le biais d'un catalogue. Les techniques présentées ci-après, dite d'indexation, se proposent d'attacher à une image ou à une video un ensemble de descripteurs de leur contenu, dans le but de mesurer la ressemblance avec les descripteurs correspondant à la requête. Mais cette requête peut prendre des formes très différentes, elle peut être conceptuelle (ex : mot), symbolique (ex : schéma) ou instancielle (ex : une autre image). De la même façon, l'indexation sera sémantique (on attache des descripteurs de niveau conceptuel au document) ou visuelle (on attache des descripteurs de niveau visuel au document).

Antoine MANZANERA – Cours Indexation / DEA IARFA

page 2

entreprises • Médiathèques • Agences de photographie • Archives audiovisuelles (ex. empreintes digitales) • Propriété des oeuvres • Reconnaissance de visages.. aérienne • Video de télésurveillance • Antoine MANZANERA – Cours Indexation / DEA IARFA page 3 .Applications et enjeux BD Images et video : Collections et catalogues des particuliers..AltaVista/Virage) • Applications : Médiamétrie (ex. d'objets. • Données biomédicales • Imagerie satellitaire. INA) • Internet (ex.

Plan du cours Indexation Indexation multimedia : Etat actuel et Perspectives Recherche de documents multimedia par le contenu Indexation sémantique manuelle Indexation visuelle automatique Aide à l'indexation manuelle Sémantique de l'indexation video Découpage en plans Détection d'objets Indexation automatique Images structurées et texturées Extractions des descripteurs Appariement d'images Métriques de similarité Antoine MANZANERA – Cours Indexation / DEA IARFA page 4 .

son .Problèmes liés à l'apprentissage . incomplètes.Recherche multimedia par le contenu Requête Types de requête : Mot ● Image ● Dessin. le contenu sémantique n'est jamais explicite..Problèmes de gestion de bases de données . Dimension multidisciplinaire : Multimedia : texte... schéma ● Modèle CAO ● Carte ● Plan ● ..Problèmes hardware .Problèmes linguistiques.. donc en général ambiguës./. Antoine MANZANERA – Cours Indexation / DEA IARFA page 5 .. ➢ les requêtes sont difficiles à exprimer. ● Résultat Evaluation des résultats : Base de données Précision = # réponses pertinentes # réponses Rappel = # réponses pertinentes # données pertinentes Difficultés : ➢ à la différence de données textuelles.. image.

à partir d'un descriptif très précis lié à un thesaurus. alors que par exemple le fonds de document télévisuel de l'INA représente 350. Antoine MANZANERA – Cours Indexation / DEA IARFA page 6 .. dans le but de faciliter à la fois la recherche d'information dans une base de données video. Mais cette indexation manuelle s'avère une tâche pénible et longue (jusqu'à 10 fois la durée d 'une séquence..000 heures de programmes. Il faut également citer l'émergence de nouveaux standards de codage video tels que Mpeg7 qui intègre dans le codage des données explicites relatifs aux contenus audiovisuels.. et la navigation « intelligente » dans une video..Etat actuel : Indexation explicite Les outils de recherche de documents multimedia qui fonctionnent actuellement sont basés sur une recherche de mots clefs explicitement attachés au document ou indexés automatiquement à partir du texte environnant (Ex : Google.) De plus une donnée intéressante à une date donnée ne l'était pas forcément à la date de l'indexation.) Les documents video telles que les archives audiovisuelles sont indexés manuellement par des opérateurs spécialisés.

à un niveau local ou global. l'indexation manuelle est sémantique. désignant un objet. Les requêtes associées sont en général des mots. ● ● Antoine MANZANERA – Cours Indexation / DEA IARFA page 7 . Cela concerne typiquement : ● pré-tri de grosses bases de données images. le nom d'un personnage ou d'un événement. une action. Mais l'analyse automatique de documents peut également être utilisée pour rendre plus facile (plus rapide. Par opposition. de l'image. découpage de video et simplification en image-clefs. ou par modèle. relatifs aux contenus géométrique. indexation automatique aiguillée par opérateur. Les requêtes associées se font en général par l'exemple. L'algorithme d'indexation attache des données de bas niveau sémantique. moins pénible) le travail de l'opérateur d'indexation manuelle. l'indexation automatique est essentiellement descriptive ou visuelle.Indexations sémantique et descriptive Par nature. spectral. L'opérateur d'indexation attache au document des données de haut niveau relatifs à la signification du contenu de l'objet.

La structuration classique d'une video est celle d'un découpage en scènes avec titre. Le premier objectif est de fournir un cadre riche et rigoureux pour faciliter l'indexation manuelle. il faut avoir défini précisément la façon dont la video va être structurée. d'un personnage ✗ Plan ✗ Diagramme d'annotation d'une video (Projet Sesame – Insa Lyon / RFV) Antoine MANZANERA – Cours Indexation / DEA IARFA page 8 . Le second objectif est de diminuer le niveau sémantique du découpage par scènes pour permettre l'utilisation d'outil d'indexation visuelle automatique. résumé. Scène : Nature du lieu ✗ Présence d'un objet. mots-clefs. Les outils d'aide à l'indexation video peuvent se fonder sur une structuration précise des videos.Sémantique des séquences d'images Avant d'analyser automatiquement ou manuellement une séquence d'images. utilisant plusieurs niveaux d'analyse.

basé sur un descripteur global du mouvement dominant (axe vertical) page 9 Antoine MANZANERA – Cours Indexation / DEA IARFA . ● Mouvements brusques.. et mesure du taux de recouvrement entre image et image transformée. Ex. image It image It+1 image It transformée Difficultés : ● Fondu-enchainés.Aide à l'indexation video Exemple : Découpages en plans (cuts) d'une video Les techniques employées sont diverses . elles sont en général basées sur la détection de discontinuités temporelles d'un ou de plusieurs descripteurs globaux associés à : * La couleur. Logiciel MD-shots (IRISA Rennes / projet VISTA) de découpage video... Ex : moments d'histogrammes couleurs. ci-contre : extraction du mouvement dominant (transformation affine 2d). * Le mouvement.

Antoine MANZANERA – Cours Indexation / DEA IARFA page 10 . c'est-à-dire d'images « les plus représentatives » du plan. un véhicule particulier. texte incrusté pour indentifier le type de scène * Identification : le visage d'un personnage. Ce sont typiquement : * La détection et le suivi des objets mobiles. reconnaissance. * La détection d'objets particuliers : visages.Aide à l'indexation video Un problème qui accompagne souvent celui de la segmentation en plans pour l'aide à l'indexation video est l'extraction d'images-clefs dans chaque plan. identification sont utilisées pour effectuer des tâches particulières d'aide à l'indexation.... véhicules.. Enfin. les images extrêmes. certaines techniques spécifiques de détection. Les techniques utilisées actuellement reposent généralement sur des statistiques liées aux descripteurs utilisés pour le découpage en plans. On peut alors utiliser l'image médiane...

Ex : video cliquable (INRIA) Interface de l'outil de segmentation video développé à l'INRIA Rhône-Alpes – projet MOVI Antoine MANZANERA – Cours Indexation / DEA IARFA page 11 .

..Indexation automatique d'images Off-line : Indexation Calcul des indices de description pour toutes les images de la base. x 0... x 1 .} Données statistiques Base de données indices . ● Base de données images Temps de calcul de l'indexation : pas primordial ● Indices + données statistiques : calcul incrémental ● Stockage : bases de données images et indices ● Représentation des indices : primordial page 12 Antoine MANZANERA – Cours Indexation / DEA IARFA ... x np  {M ... ..C .. {  x 0...  ..... x 0  0 1 p n n  x 0 ......

.....} Données statistiques Base de données images n  x n . y p  0...  ...... C .Indexation automatique d'images Image inconnue On-line : Recherche (1) Calcul de l'index de description pour l'image inconnue :  y 0..  x 0. x 1 ... {M ... x 0  0 p ... y 1.. x np  0 (2) Mesure de similarité de l'index inconnu avec les indices de la base (3) Résultat : adresse des meilleurs images au sens de la mesure de similarité Antoine MANZANERA – Cours Indexation / DEA IARFA Base de données indices Temps de calcul de la recherche : primordial ● Mesure de similarité : indice de confiance ● Quels descripteurs ? ● Quelles mesures de similarité ? ● page 13 .. x 1  ..

homothétie.../. ● Antoine MANZANERA – Cours Indexation / DEA IARFA page 14 . ● Reconnaissance 2d ou 3d ● Visibilité partielle ● Changement de luminosité ●...Indexation automatique d'images ● Requête par un exemple : recherche d'images semblables ● Recherche d'un objet. translation... ou d'un type d'objets particulier Difficultés : Variabilité : rotation..

. hQ . elliptiques. ellipses.. P} avec : h X .Y =max min d  x ... B  P⊂Q et  B Q⊂P}   B :  dilatation par une boule de rayon  Antoine MANZANERA – Cours Indexation / DEA IARFA page 15 .Q=min {∈ℝ . Mise en correspondance de structures 2d Reconstruction 3d Techniques de traitement d'images : ● Détection + chaînage de contours ● Détection de formes paramétrées (transformée de Hough) Indices : listes de coordonnées des structures (segments.Q .Q=max {hP .. y x∈ X y∈Y H  P .Appariement d'images structurées Images comportant des structures géométriques « simples » : contours rectilignes.) Métrique d'appariement : basée sur l'appariement des structures Ex : Calcul de la transformation + Distance de Hausdorff distance de Haussdorff entre deux ensembles P et Q : lien avec la morphologie mathématique : H  P .

L xxx . L xy . L yyy } (dérivées jusqu'au 3e ordre) Antoine MANZANERA – Cours Indexation / DEA IARFA page 16 .. 0 i j3 }={L . Puis on représente le comportement local au voisinage de ces points par les descripteurs différentiels : t Jet local : et : t L =G ∗I 2 2 t ij t ij t ∂ avec : G = i j G ∂x ∂y t ij i j Points d'intérêt (méthode de Harris) − x  y  1 G  x . L y . pour deux raisons majeures : ● réduction du temps de calcul ● augmentation de la robustesse Utilisation des points d'intérêt : On extrait des descripteurs locaux uniquement aux voisinages des points les plus « intéressants ».. spectres de Fourier). L xx . L yy . y = exp   2 t2 2 t2 t t : facteur d'échelle On notera : {Lij . L xxy . ou locales. L x . L xyy . il est essentiel de réduire l'espace de représentation. mais des ressemblances globales (histogrammes.Appariement d'images texturées Dans ce cas. on ne recherche pas de structures particulières. Si l'on cherche des ressemblances locales.

Invariance par déplacement Invariants différentiels de Hilbert : quantités invariantes par rotation (Notez : invariance par rotation du noyau gaussien) L Li Li Li Lij L j Lii = Lij Lij ij  L jkl Li L k Ll −L jkk Li Ll Ll  Liij L j Lk L k −Lijk Li L j L k −ij L jkl Li L k Ll Lijk Li L j Lk Antoine MANZANERA – Cours Indexation / DEA IARFA   Avec :  xx = yy =0  xy =− yx =1 Notations d'Einstein : sommation sur les indices Par ex :  2 =Li Lij L j = L xx L x L x 2 L x L xy L y L yy L y L y 7 =−ij L jkl Li L k Ll =L xxy −L x L x L x 2 L x L y L y  L xyy −2 L x L x L y L y L y L y −L yyy L x L y L y L xxx L x L x L y page 17 . 1 .Invariants géométriques et photométriques Le principe de calcul des invariants est de combiner les différentes composantes du jet local de manière à obtenir des grandeurs qui soient invariantes à divers changements d'aspect. notamment transformation affines et changement d'illumination.

.. x n } y={y 1 ../. Antoine MANZANERA – Cours Indexation / DEA IARFA page 18 .Invariance photométrique L'objectif est d'être invariant à une modification affine de la fonction d'illumination : Normaliser par l'un des invariants (par ex.. Y1). x={x 1 .Invariance par changement d'échelle Utiliser des invariants à plusieurs échelles.. y n } . Un vecteur d'invariants est donc calculé pour chaque point d'intérêt dans toutes les images..Invariants géométriques et photométriques 2 . Ce sont ces vecteurs qui seront comparés par la suite. f  I =aI b 3 .

x j =〈 x i −i  x j − j 〉=〈 x i x j 〉−〈 x i 〉〈 x j 〉 var  x i =cov  x i . x i  i =〈 x i 〉 page 19 ... x n  ⋯ cov  x 2 . > désigne la moyenne.. On utilise plutôt la distance suivante : x={x 1 . x 2  Antoine MANZANERA – Cours Indexation / DEA IARFA Distance des points de l'espace au centre d'inertie d'un nuage de points. x n  ⋱ ⋮ ⋯ var  x n   cov  x i . x 2  cov  x 2 .  ⋯ cov  x 1 . x 1  cov  x n . x ' = t x−x '  C −1  x−x '  var  x 1  cov  x 1 . en distance euclidienne (à gauche) et en distance de Mahalanobis (à droite). .où < .Métriques d'appariement Le problème consiste donc à comparer des descripteurs qui sont des vecteurs imprécis : Métriques d'appariement : Distance euclidienne e  x . x 1  var  x 2  avec : C = ⋮ ⋮ cov  x n . x n } Distance de Mahalanobis m  x . x ' =  t x−x '   x−x '  La distance euclidienne ne tient compte ni des différences d'amplitude ni des corrélations entre les différentes composantes du vecteur de description.

calculer et diagonaliser C -1. et un seuil ε.Métriques d'appariement La matrice de covariance C est calculée et mise à jour off-line.  D P y Antoine MANZANERA – Cours Indexation / DEA IARFA page 20 .normaliser tous les vecteurs : x   D Px Le problème de la recherche s'exprime maintenant comme suit : étant donné une donnée inconnue de vecteur descriptif x. Si on diagonalise C -1. trouver toutes les données de la base dont les vecteurs descriptifs y sont tels que : m  x . . . on peut se ramener à un calcul de distance euclidienne par rapport aux vecteurs descripteurs : C = P DP −1 t { {  t x−x '  C −1  x−x ' =∥ D Px− D Px '∥ normalisation distance ellipsoïdale A chaque mise à jour de la base on doit donc : . y=e   D P x .mettre à jour la matrice de covariance C.

dimension vecteur inconnu vecteur de la base .. un découpage alternatif de la base d'indices représentation du voisinage du vecteur inconnu dans un Kd-tree Complexité de la recherche : { m 2 N 3d d m 3 d k coût de l'appariement Antoine MANZANERA – Cours Indexation / DEA IARFA coût du parcours du Kd-tree N = nombre d'images de la base m = nombre d'invariants par image k = nombre d'hypercubes par dimension d = dimension des invariants page 21 { ..Parcours de l'espace de recherche Pour limiter le temps de recherche dans une grosse base d'indices. on cherche à limiter la recherche à un certain « voisinage » de l'index inconnu.. Ce problème est intimement lié au stockage des vecteurs descriptifs de la base. Découpage de la base d'indices en hypercubes : e Représentation de la base d'indices sous forme de Kdtree : 2e ..

. y ' ' 1. ou bien en ne conservant que les invariants jugés les plus pertinents au regard des évaluations.Bouclage de pertinence et apprentissage utilisateur requête  x 0. y ' ' p   y ' ' ' 0. par exemple en modifiant les poids des composantes. x p   y ' 0..  . y p   x 0 .  ....  y 0..... y ' ' ' 1..  ...  . y ' p  n n n Base de données indices Base de données images  y ' ' 0.. y 1.... .  . x 1 . x 0... y ' ' ' p  Le bouclage de pertinence (relevance feedback) est une technique utilisant une évaluation interactive de l'utilisateur pour modifier le descripteur de la requête ou la métrique d'appariement... y ' 1. page 22 Antoine MANZANERA – Cours Indexation / DEA IARFA .. x 0  0 1 p .

inrialpes.fr/texmex/index..C. M..M.htm INRIAlpes / LEAR : http://www.htm .INSA 1998 ● R./.fr/kiwi/ Univ. Stanford / SIMPLICITY : http://www-db.. ● C.thèse de doctorat .INPG 1996. Gros : Traitement des images par le contenu .utexas.insa-lyon.IRISA 1999.document de cours . Tanase : Content-based image retrieval : a survey ..edu/IMAGE/ Univ.fr/lear/index.Bibliographie et sources P.Utrecht University ● ➔ ➔ ➔ ➔ ➔ ➔ IRISA / TEXMEX : http://www. page 23 Antoine MANZANERA – Cours Indexation / DEA IARFA .ece.edu/~qasim/research. Texas / CIRES : http://amazon. Jolion et al : Projet Sesame / Rapport final . ● J.html INSA Lyon / RFV : http://telesun. Veltkamp. Schmid : Appariement d'images par invariants locaux de niveaux de gris .stanford.irisa.

Sign up to vote on this title
UsefulNot useful