You are on page 1of 29

Runion GdR ISIS

- Analyse des donnes RGB-Depth pour la robotique -

Evaluation et calibration dune camra RGB-D (Kinect v2)


pour la modlisation 3D dobjets courte porte

Elise LACHAT
Doctorante, ICube INSA Strasbourg
elise.lachat@insa-strasbourg.fr

Directeur de thse : M. Pierre GRUSSENMEYER


Co-encadrante : Mme Tania LANDES

Laboratoire Icube, INSA Groupe PAGE, Membre de lquipe TRIO


Contexte gnral

Domaines dutilisation des


camras RGB-D :
Novembre 2010 : Microsoft Kinect v1
dtection de mouvements
robotique
localisation, cartographie

Juillet 2014 : Kinect pour Windows v2

- Quelles proprits pour le nouveau capteur Kinect ?


- Pistes damlioration des donnes acquises ?
- Capacit dadaptation la modlisation 3D dobjets courte porte?

Runion GdR ISIS - 31 mai 2016 2/28


Contexte - Motivation
2012 2015 : thse de Marie-Anne Mittet
Camras 3D pour la localisation dun systme mobile
en environnement urbain

Prototype avec 3 camras Asus Xtion


et un objectif FishEye

Emprise au sol des 3 nuages de points

2014 : Projet de Fin dEtudes [Laboratoire ICube INSA groupe PAGE]


Evaluation de la technologie des camras 3D (Kinect v2) pour la mesure
et la reconstruction dobjets courte porte
Objectifs : numrisation 3D dobjets / analyse de la prcision des modles

Runion GdR ISIS - 31 mai 2016 3/28


Sommaire de la prsentation

Contexte

Capteur et mode dacquisition


Proprits du capteur : quelques tests

Calibration adapte

Acquisition de jeux de donnes et reconstruction 3D

Conclusion

Runion GdR ISIS - 31 mai 2016 4/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Caractristiques techniques Kinect v2


Deux lentilles :
Lentille infrarouge (IR)
rsolution : 512 x 424 pixels

Lentille couleur
rsolution : 1920 x 1080 pixels

Champ de vision 70 x 60 degrs


Frquence 30 Hz
Portes min. et max. pour la
de 0,5 m 4,5 m
mesure

Principe de mesure de la distance : Temps de vol

Runion GdR ISIS - 31 mai 2016 5/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Mthode dacquisition

Image IR Carte de profondeur Image RGB

Fonction de mise en
Fonction de mise en correspondance (SDK) correspondance (SDK)
Espace Profondeur Camra Espace couleur Profondeur
OU
Calcul par relation de gomtrie projective
Donne RGB rduite

X,Y,Z
Nuage de points Nuage de points coloris R,G,B

X,Y,Z,R,G,B

Runion GdR ISIS - 31 mai 2016 6/28


Sommaire

Contexte

Capteur et mode dacquisition

Proprits du capteur : quelques tests


Calibration

Acquisition de jeux de donnes et reconstruction 3D

Conclusion

Runion GdR ISIS - 31 mai 2016 7/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Temps de Laps de temps respecter afin que les mesures de


mise en distance soient relativement stables
chauffe

Moyennage Acquisition dune dizaine de cartes de profondeur successives, depuis un


temporel mme point de vue, puis calcul dune carte de profondeur moyenne

Proprits de Acquisitions ralises sur une planche compose dchantillons de diverses


lobjet observ couleurs, matires et rugosits

Acquisitions en Acquisitions ralises lors dune journe ensoleille


extrieur

Runion GdR ISIS - 31 mai 2016 8/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Temps de Laps de temps respecter afin que les mesures de


mise en distance soient relativement stables
chauffe valu
valu une trentaine
une de de
trentaine minutes
minutes

Runion GdR ISIS - 31 mai 2016 9/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Laps de temps respecter afin que les mesures de distances soient


Mise en chauffe relativement stables

Acquisition dune dizaine de cartes de profondeur


Moyennage
successives (mme point de vue), puis calcul dune carte de
temporel
des cartes profondeur moyenne
de effet de lissage des donnes, rduction du bruit dans
profondeur lerrddrrr

Proprits de Acquisitions ralises sur une planche compose dchantillons de diverses


lobjet observ couleurs, matires et rugosits

Acquisitions en Acquisitions ralises lors dune journe ensoleille


extrieur

Runion GdR ISIS - 31 mai 2016 10/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises
Acquisition dune dizaine de cartes de profondeur
Moyennage successives (mme point de vue), puis calcul dune carte de
temporel
des cartes profondeur moyenne
de
effet de lissage
effet desdes
de lissage donnes, rduction
donnes, du bruit
rduction dans
du bruit les nuages
dans les
profondeur nuages de points
de points

Acquisitions sur un mur plan, blanc


Porte 1,5 m ; surface couverte 2,1 x 1,7 m

Valeurs de pour chaque pixel (mm) Valeurs de pour chaque pixel (mm)
10 fentres successives 100 fentres successives

Runion GdR ISIS - 31 mai 2016 11/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Laps de temps respecter afin que les mesures de distances soient


Mise en chauffe relativement stables

Moyennage Acquisition dune dizaine de cartes de profondeur successives, depuis un


temporel mme point de vue, puis calcul dune carte de profondeur moyenne

Influence Acquisitions ralises sur une planche compose


des dchantillons de diverses couleurs, matires et rugosits
proprits
de lobjet
observ

Acquisitions en Acquisitions ralises lors dune journe ensoleille


extrieur

Runion GdR ISIS - 31 mai 2016 12/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Influence Acquisitions ralises sur une planche compose


des dchantillons de diverses couleurs, matires et rugosits
proprits
de lobjet desdes
analyse
analyse surfaces sombres,
surfaces zones
sombres, trstrs
zones rflchissantes,
rflchissantes,
observ

Variations des mesures de distances (mm)


Damier de nuances de gris Valeurs dintensit dans les cartes de profondeur

Runion GdR ISIS - 31 mai 2016 13/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Laps de temps respecter afin que les mesures de distances soient


Mise en chauffe relativement stables

Moyennage Acquisition dune dizaine de cartes de profondeur successives, depuis un


temporel mme point de vue, puis calcul dune carte de profondeur moyenne

Proprits de Acquisitions ralises sur une planche compose dchantillons de diverses


lobjet observ couleurs, matires et rugosits

Acquisitions ralises lors dune journe ensoleille


Acquisitions nuages de points extrmement bruits, nombreux points
en extrieur non reprsents

Runion GdR ISIS - 31 mai 2016 14/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Exprimentations ralises

Acquisitions ralises lors dune journe ensoleille


Acquisitions nuages
nuages de points
de points extrmement
extrmement bruits,
bruits, nombreux
nombreux points
points non
en extrieur non reprsents
reprsents
mais
mais : gomtrie
: gomtrie descne
de la la scne observe
observe reconnaissable
reconnaissable

Photo de la scne
observe (table,
environ 50 x 75 cm)

Nuage de points
correspondant

Nuage de points complet, vu de profil :


scne (encadre) et points volants (rouge)
Runion GdR ISIS - 31 mai 2016 15/28
Sommaire

Contexte

Capteur et mode dacquisition

Quelques tests

Calibration
Acquisition de jeux de donnes et reconstruction 3D

Conclusion

Runion GdR ISIS - 31 mai 2016 16/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Calibration adapte
Pourquoi calibrer un systme / une camra ?
Correction des diverses formes de distorsions

Distorsions gomtriques de la lentille Erreurs systmatiques de mesure


(composantes radiale et tangentielle) de la distance (lies la technologie)

Calibration gomtrique Calibration en distance


dtermination des paramtres de
distorsion analyse des dformations en fonction
dtermination des paramtres internes de la porte (en deux tapes)
(focale, point principal)

Mise en place partir Etape spcifique


dimages infrarouges aux camras RGB-D
Runion GdR ISIS - 31 mai 2016 17/28
Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Calibration en distance
Implantation de plusieurs stations (tachomtre)
distances connues par rapport au mur
intervalles de 25 cm
Kinect parallle au mur

Mesures
50 acquisitions par station

Runion GdR ISIS - 31 mai 2016 18/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Calibration en distance Etape 1


Objectif
Diminution de linfluence des erreurs systmatiques de mesure de la
distance sur lensemble du capteur

1re tape : analyse des dfauts de mesure en fonction de la porte

Runion GdR ISIS - 31 mai 2016 19/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Calibration en distance Etape 2


1re tape : analyse des dfauts de mesure en fonction de la porte

2nde tape : analyse des dformations locales sur lensemble du capteur


Calcul de rsidus par rapport un plan moyen, correction pixel par pixel

Nuage de points (en rouge) modlisant les rsidus (mm) par rapport un plan moyen,
reprsent conjointement avec la surface (dgrad color) approximant ce nuage

Runion GdR ISIS - 31 mai 2016 20/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Application des corrections


Rduction des dformations locales
Rduction des carts de mesure Reprsentation matricielle des rsidus en mm par rapport
un plan moyen (ici porte = 1m), pour chaque pixel
en fonction de la porte

avant correction

aprs correction

Runion GdR ISIS - 31 mai 2016 21/28


Sommaire

Contexte

Capteur et mode dacquisition

Quelques tests

Calibration

Acquisition de jeux de donnes et reconstruction 3D


Conclusion

Runion GdR ISIS - 31 mai 2016 22/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Mthode dacquisition
Kinect Fusion
+ outil automatique, fourni dans SDK
+ capteur Kinect la manire dun scanner main
+ obtention directe de maillages
Fragment de chapiteau
corinthien
Thtre gallo-romain,
- traitements non matriss (paramtres faire varier) Mandeure (25)

Maillages obtenus avec Kinect Fusion


15 cm Vue de face, de droite, arrire, et de droite

Runion GdR ISIS - 31 mai 2016 23/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Donne de rfrence
But : comparer les donnes acquises
ncessite un jeu de donnes de prcision suprieure

Outil : bras de mesure FARO


prcision submillimtrique (0,04 mm)

Nuage de points
5 millions de points
rchantillonnage : 0,1 mm

Maillage de rfrence
Environ 1 million de faces

Runion GdR ISIS - 31 mai 2016 24/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Evaluation de la prcision des modles


Comparaison donne de rfrence / donne Kinect
prrequis : alignement rigoureux des 2 jeux de donnes (ICP)

comparaison maillage / maillage (3D Reshaper)

50 % des
carts entre -1
and 1 mm
Ecart maximal :
environ 1 cm

Gomtrie respecte / lissage des dtails

Runion GdR ISIS - 31 mai 2016 25/28


Sommaire

Contexte

Capteur et mode dacquisition

Quelques tests

Calibration

Acquisition de jeux de donnes et reconstruction 3D

Conclusion

Runion GdR ISIS - 31 mai 2016 26/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Conclusion
Observations de nombreuses sources derreurs (instrumentales,
environnementales, )
Porte fiable pour la mesure : de 1 m 4 m
Augmentation de limprcision avec la porte
Influence du calcul de cartes de profondeur moyennes

Calibration en 2 tapes mise en place

Evaluation de la reconstruction 3D dobjets courte porte


Deux mthodes testes (seconde non prsente ici)
Kinect Fusion : meilleur rapport temps de ralisation / qualit du modle
Prcision atteinte de lordre du centimtre

Runion GdR ISIS - 31 mai 2016 27/28


Capteur Tests Calibration Acquisitions / Reconstruction 3D Conclusion

Publications
Lachat, E., Macher, H., Mittet, M.-A., Landes, T., and Grussenmeyer, P., 2015.
First experiences with Kinect v2 sensor for close range 3D modelling. In: The
International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences,
Vol. XL-5, Avila, Spain, 25-27 february 2015. [Best young author paper award]

Lachat, E., Macher, H., Landes, T., and Grussenmeyer, P., 2015. Assessment
of the accuracy of 3D models obtained with DSLR camera and Kinect v2. In:
SPIE Optical Metrology, Munich, Germany, 22-26 june 2015.

Lachat, E., Macher, H., Landes, T., and Grussenmeyer, P., 2015. Assessment
and calibration of a RGB-D camera (Kinect v2 sensor) towards a potential use
for close-range 3D modeling. Remote Sensing, 7(10), p. 13073-13097.

Runion GdR ISIS - 31 mai 2016 28/28


Runion GdR ISIS
- Analyse des donnes RGB-Depth pour la robotique -

Evaluation et calibration dune camra RGB-D (Kinect v2)


pour la modlisation 3D dobjets courte porte

Elise LACHAT
Doctorante, ICube INSA Strasbourg
elise.lachat@insa-strasbourg.fr

Directeur de thse : M. Pierre GRUSSENMEYER


Co-encadrante : Mme Tania LANDES

Laboratoire Icube, INSA Groupe PAGE, Membre de lquipe TRIO