You are on page 1of 70

GMCAO

´ ´ Commande en effort, comanipulation et telemanipulation

B. Bayle, ULP–ENSPS ´ ´ – Master ISTI, specialite PARI, parcours IRMC –

2008–2009
E-mail : bernard@eavr.u-strasbg.fr

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Configuration et situation d’un bras manipulateur
` ´ Configuration d’un systeme mecanique ` Vecteur permettant de commaitre la position de tous les points du systeme Cas d’un bras manipulateur : ´ ´ ´ ´ vecteur q de n coordonnees independantes appelees coordonnees ´ ´ ´ ` generalisees, appartenant a l’espace des configurations N ´ ´ ´ ´ Coordonnees generalisees : angles de rotation pour les liaisons roto¨des, valeurs des ı translations pour les liaisons prismatiques

Situation d’un solide ` ´ Position et orientation de ce solide dans un repere donne Cas d’un bras manipulateur : situation de l’OT d’un bras manipulateur : vecteur x de m ´ ´ ´ ` coordonnees operationnelles independantes appartenant a l’espace ´ operationnel M, de dimension m 6 ´ ` Definition de la situation selon le probleme (plan, positionnement seul . . .) et le ´ parametrage choisi (orientation notamment)

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

` ´ ´ Modeles geometriques
` ´ ´ Modele geometrique direct
MGD

d’un bras manipulateur : situation de son OT en fonction de sa configuration : f : N q −→ −→ M x = f (q)

´ ´ ´ Cas general : x = (x1 x2 x3 x4 x5 x6 )T , avec (x1 x2 x3 )T coordonnees de position dans ´ R0 et (x4 x5 x6 )T coordonnees d’orientation, en fonction de q ` ´ ´ Modele geometrique inverse
MGI

` ´ : la ou les configurations correspondant a une situation de l’OT donnee : f −1 : M x −→ −→ N q = f −1 (x)

´ ´ Resolubilite : existence d’un nombre fini de solutions Si n < m : pas de solution ´ ´ Si n = m : nombre fini de solutions (en general) ´ Si n > m : infinite de solutions

` ´ Modeles cinematiques
` ´ Modele cinematique direct
MCD

˙ ˙ ´ ´ ´ ´ : relation entre les vitesses operationnelles x et les vitesses generalisees q : ˙ ˙ x = Jq

ou J = J(q) est la matrice jacobienne de la fonction f , de dimension m × n : ` J : Tq N ˙ q −→ −→ Tx M ˙ ˙ x = J q, ou J = ` ∂f ∂q

` ´ Modele cinematique inverse
MCI

´ donne par J −1

` Modele dynamique direct
` Modele dynamique direct ´ ´ MDD : relation entre les couples articulaires et les accelerations, vitesses et ´ ´ ´ ´ coordonnees generalisees : ¨ ˙ Dq + C q + g + J T f = τ ˙ avec D = D(q) matrice d’inertie du robot, C = C(q, q) matrice des forces Coriofuges ´ ` ´ et g = g(q) terme lie a la gravite

´ Relation couples articulaires/efforts operationnels A vitesse constante, en compensant la pesanteur, la relation entre les couples ´ articulaires τ et les efforts f appliques par l’OT du bras manipulateur est : τ = JT f

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

` Problematique
Principe Quelle que soit la nature des informations concernant le robot (situation dans un ` ´ ´ ´ repere cartesien, position d’indices visuels dans l’image, etc.) : asservissement realise ` d’apres l’erreur entre consigne et mesure

Exemple :

x

+
J −1 LCP robot

q

x

MGD

Etude de cas : Neuromate, TIMC et ISS, Grenoble (1)
Neurochirurgie ` ´ ´ Extreme precision (dangerosite) ´ ´ Chirurgie stereotaxique et planification ´ ´ Nombreuses applications : biopsie, radiotherapie, pose de micro-electrodes

Biopsie du cerveau (1)

Biopsie du cerveau (2)

Etude de cas : Neuromate, TIMC et ISS, Grenoble (2)

Avantages ` ´ ´ Systeme d’une grande precision mecanique Recalage : imagerie, angiographie ` Cas cliniques des 1989

´ Inconvenients Bras robotique type industriel Fixation contraignante

Question

´ ˆ ´ Caracteristiques de ces taches medicales ? Limitations ?

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Commande au contact : solutions passives (1)
Compliance passive ´ Ajout au bout de l’OT du robot d’une structure deformable. ´ ` Limitation de la rigidite de l’ensemble du systeme robot/environnement

Avantages ´ Simplicite de mise en oeuvre Fiable Peu cher

´ Inconvenients ´ ´ ´ ´ ` ˆ Pas generique (dedie a la tache) ˆ Pas de controle des efforts

Commande au contact : solutions passives (2)
Contraintes passives ´ ´ Utilisation d’une cinematique adaptee : limitation des efforts applicables selon certaines directions

Avantage ´ ´ Securite passive

´ Inconvenient ˆ Pas de controle de l’effort

Etude de cas : Aesop, Computer Motion (1)
Laparoscopie Chirurgie minimallement invasive ´ Nombreuses applications (chirugie digestive, gynecologie) ` Succes commercial relatif (5000 exemplaires)

Etude de cas : Aesop, Computer Motion (2)
´ Laparoscopie robotisee ` Succes commercial relatif (5000 exemplaires)

Etude de cas : Aesop, Computer Motion (3)
´ Laparoscopie robotisee ` Succes commercial relatif (5000 exemplaires)

Avantages Personnel moins nombreux ´ ´ ` Securite intrinseque

´ Inconvenients Encombrement Prix ?

Commande au contact : solutions actives (1)
´ Commande en impedance ´ Objectif : imposer la relation dynamique entre position de l’OT et effort applique, i.e. ´ ´ ´ l’impedance=F(s)/X(s), generalement choisie du second ordre ´ Utilisation de donnees capteurs, position et/ou effort

Commande au contact : solutions actives (2)
Commande par raideur active ´ ´ Cas particulier du precedent : commande du robot afin que celui-ci se comporte, ` vis-a-vis de l’environnement, comme un ressort de raideur programmable : ´ grand gain pour les directions commandees en position ´ petit gain pour les directions commandees en effort

Avantage ´ Simplicite relative de mise en oeuvre

´ Inconvenient ´ Reglage des gains : connaissance parfaite de l’environnement

Commande au contact : solutions actives (3)
Commande hybride position/force Commande du robot en position selon certaines directions et en force selon les autres, ˆ ` ´ grace a une matrice de selection S = diag(s1 , . . . , snb ), avec si = 1 : pos et 0 : force

Commande au contact : solutions actives (4)
Commande hybride position/force ´ Commande du robot en position selon certaines directions de l’espace operationnel et en force selon les autres

´ Video Leuven

Commande au contact : solutions actives (5)
Commande hybride position/force ´ Commande du robot en position selon certaines directions de l’espace operationnel et en force selon les autres

Avantage ´ ˆ ` Action simultannee sur les deux grandeurs de sortie : position et force, grace a deux lois de commande

´ Inconvenients ´ Perturbation en position dans une direction commandee en force, aucune compensation (idem cas dual) ´ ´ Contact imperatif dans les directions commandees en force et sans contact dans ´ les directions commandees en position : connaissance parfaite de l’environnement

Commande au contact : solutions actives (6)
Commande hybride position/force externe ˆ ´ ´ ´ Meme principe que precedemment, mais la boucle de position est imbriquee dans la boucle de commande en force

Commande au contact : solutions actives (7)
Commande hybride position/force externe ˆ ´ ´ ´ Meme principe que precedemment, mais la boucle de position est imbriquee dans la boucle de commande en force

Avantages ` ´ Privilege donne aux consignes en force par rapport aux consignes en position ´ Pas de connaissance de l’environnement necessaire

´ Inconvenient ´ ˆ ` Instabilite potentielle, meme dans des configurations non singulieres

Etude de cas : Scalpp, LIRMM, Montpellier (1)
Chirurgie des brules ˆ ´ ` ´ ´ ` Systeme de coupe automatise pour le prelevement de peau : ´ ` ` ´ Prelevement de peau sur zones saines : quelques diziemes de mm d’epaisseur, ` 5 a 10 cm de largeur ´ Contact regulier et effort important (environ 100 N)

Etude de cas : Scalpp, LIRMM, Montpellier (2)
Chirurgie des brules ˆ ´ ` ´ ´ ` Systeme de coupe automatise pour le prelevement de peau

Etude de cas : Scalpp, LIRMM, Montpellier (4)
Avantages ´ Precision ´ ´ ´ Repetabilite ´ Simplicite d’utilisation

´ Inconvenient Utilisation clinique

´ Videos Scalpp

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Comanipulation : principe et vocabulaire
´ Definition ´ Comanipulation : utilisation par un operateur humain d’un ou plusieurs robots qu’il manipule directement ´ ´ ´ ` Robot tenu par l’operateur, guide par lui, et reagissant a ses consignes en retour

Avantages ˆ Contraintes guidant la tache : zones interdites, filtrage des tremblements, maintien de l’outil (fatigue) ´ ´ ` Securite intrinseque

Historique de la comanipulation
Origine ´ ´ ˆ Differentes origines revendiquees : Cobots, Hands-on robot, robot d’empechement. . .

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

´ Manipulation cooperative de robots industriels
´ ´ Proprietes ` ´ Systemes non reversibles Capteur d’effort

´ ´ Video Universite Austin

´ Inconvenient ´ ´ ` Pas de securite intrinseque

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Etude de cas : Acrobot, Imperial College, Londres (1)
Motivation ´ Orthopedie : ´ Decoupes osseuses pour la chirurgie du genou ` Pose de protheses de genou

Principe Comanipulation : ` Guidage par retour d’effort et systeme de navigation ` ´ Contraintes sur les zones a proteger

Etude de cas : Acrobot, Imperial College, Londres (2)
` Systeme de comanipulation Acrobot ` ` ´ Systeme a 4 DDL (1 commande en position, 3 en force)

Etude de cas : Acrobot, Imperial College, Londres (3)

Etude de cas : Acrobot, Imperial College, Londres (4)
` Systeme de comanipulation Acrobot ` ` ´ Systeme a 4 DDL (1 commande en position, 3 en force)

Etude de cas : Acrobot, Imperial College, Londres (5)
Avantages ´ Actionneurs reversibles ´ Chirurgien acteur de l’operation

´ Inconvenient ´ Defaut logiciel ?

Etude de cas : Steady-Hand, JHU, Baltimore (1)
Motivation ` ´ Problemes en microchirurgie de l’oeil (retine) : ´ ´ Precision du positionnement (tremblement et derive) Manque de sensation tactile instrument/tissu ` ´ ` Vision a travers la pupille (resolution 20 a 30 µm)

Principe Comanipulation : Manipulation sous microscope binocculaire ´ ´ ´ Vue augmentee de la retine (flux sanguin, differenciation des tissus) ´ Planification, puis comanipulation lors de l’execution

Etude de cas : Steady-Hand, JHU, Baltimore (2)
Principe de comanipulation

Etude de cas : Steady Hand, JHU, Baltimore (3)
` Systeme de comanipulation Steadyhand ` ` Systeme a 6 DDL, utilisant un logiciel de planification

Etude de cas : Steady Hand, JHU, Baltimore (4)

Structure de commande

Etude de cas : Steady Hand, JHU, Baltimore (5)
Avantages ´ Augmentation de la precision ˆ Traitement de patients qui ne pourraient l’etre autrement ` ´ Augmentation du taux de succes dans les operations ´ ´ ` ´ Reduction des couts sociaux associes a ces categories de malades ˆ

´ Inconvenients ` Capteurs : mesure d’efforts tres faibles (mN), asepsie Validation clinique

Etude de cas : PADyC, TIMC, Grenoble (1)
Objectif ´ ` ´ ˆ Realiser un systeme dont l’actionneur est l’operateur, dont seul le controle des ´ ´ mobilites et programme, selon certaines contraintes

Contraintes ` ´ Mode position : placer un outil a une position, selon une orientation donnee ´ ´ ´ Mode trajectoire : deplacer l’outil selon la trajectoire predefinie ´ ´ ´ ´ Mode region : garantir que l’outil reste dans ou hors d’une region predefinie

Etude de cas : PADyC, TIMC, Grenoble (2)
Principe ` Articulations a deux roues libres, en opposition : ´ 2 roues libres activees : aucun mouvement de l’articulation n’est possible ´ 2 roues libres inactivees : tout mouvement possible 1 roue active : mouvement permis dans une seule direction ˆ ´ ˆ Activation des roues libres grace aux moteurs associes : (vitesse= controle de la rotation)

Etude de cas : PADyC, TIMC, Grenoble (3)
Principe ` Articulations a deux roues libres

´ Video Surgetics.org

Etude de cas : PADyC, TIMC, Grenoble (4)
Avantages ´ ´ ´ Redondance des securites : operateur + contrainte ´ ` ´ Par defaut, systeme bloque

´ Inconvenient ´ Complexite ?

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

´ ´ Telemanipulation : principe et vocabulaire
´ Definition ´ ´ ´ ` Telemanipulation : utilisation par un operateur humain d’un robot qu’il manipule a distance

` ´ ´ ´ ´ Systeme de telemanipulation elementaire ´ ´ ˆ Robot maˆtre manipule par l’operateur, robot esclave qui effectue la tache distance ı

´ ´ Historique de la telemanipulation
Origine Besoin de manipuler des produits dangeureux

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

Etude de cas : da Vinci, Intuitive Surgical (1)
Contexte Laparoscopie : nombreux outils, gestes complexes, fatigue

Etude de cas : da Vinci, Intuitive Surgical (2)
Produits commerciaux ´ ´ ´ Porte endoscope Aesop teleguide par la voix ` ´ ´ Systeme de telemanipulation da Vinci

Etude de cas : da Vinci, Intuitive Surgical (3)
Principe ´ ´ ` Contrainte du trocar realisee de manere passive ` Large gamme d’outils a attache rapide

Etude de cas : da Vinci, Intuitive Surgical (4)
Principe ´ ´ ` Contrainte du trocar realisee de manere passive ` Large gamme d’outils a attache rapide

Etude de cas : da Vinci, Intuitive Surgical (5)
Chirurgie de la valve mitrale Insuffisance mitrale (fuite au niveau de la valve) ´ ´ ´ Retrecissement mitral (pb ecoulement oreillette-ventricule)

Etude de cas : da Vinci, Intuitive Surgical (5)
Chirurgie de la valve mitrale Insuffisance mitrale (fuite au niveau de la valve) ´ ´ ´ Retrecissement mitral (pb ecoulement oreillette-ventricule)

´ Video da Vinci

Etude de cas : da Vinci, Intuitive Surgical (6)
Avantages Confort ´ ´ ´ Realite augmentee ´ ´ ´ Outils avec degres de liberte supplementaires Nombreux cas cliniques

´ Inconvenients Investissement (daVinci 1,3 M$ + maintenance) Pas de retour d’effort Retour suffisant sur pratique clinique ?

Plan
1 ´ Modelisation des bras manipulateurs Configuration et situation d’un bras manipulateur ` Modeles Commande des bras manipulateurs en mode autonome Commande en position, sans contact Commande au contact Comanipulation ´ ´ ´ Generalites ´ Manipulation cooperative ´ Comanipulation en medecine

2

3

4

´ ´ Telemanipulation ´ ´ ´ Generalites ´ ´ ´ Teleoperation simple ´ ´ ´ Teleoperation avec retour d’effort

´ ´ ` Telemanipulation a retour d’effort
Historique ` ` Premier systeme haptique en 1967 Premier systeme commercial : Phantom

Etude de cas : TER, TIMC, Grenoble (1)
Motivation ´ ´ ´ ´ Telediagnostic echographique : operateur distant=expert

Existant ´ Porte endoscope leger (LER=Light Robotic Endoscope)

Etude de cas : TER, TIMC, Grenoble (2)
` ´ ´ ´ Systeme de teleoperation ` Maˆtre : Phantom Desktop (retour d’effort a 3 composantes) ı ´ ´ Esclave : LER, sangle sur le ventre du patient (sangles motorisees)

Etude de cas : TER, TIMC, Grenoble (3)
` ´ ´ ´ Systeme de teleoperation ` Maˆtre : Phantom Desktop (retour d’effort a 3 composantes) ı ´ ´ Esclave : LER, sangle sur le ventre du patient (sangles motorisees)

´ Videos LER et TER

P. Cinquin, E. Bainville, C. Barbe, E. Bittar, V. Bouchard, L. Bricault, G. Champleboux, M. Chenin, L. Chevalier, Y. Delnondedieu, L. Desbat, V. Dessenne, A. Hamadeh, D. Henry, N. Laieb, S. Lavallee, J.M. Lefebvre, F. Leitner, Y. Menguy, F. Padieu, O. Peria, A. Poyet, M. Promayon, S. Rouault, P. Sautot, J. Troccaz et P. Vassal. Computer Assisted Medical Interventions. IEEE Engineering in Medicine and Biology Magazine, vol. 14, no. 3, pages 254–263, mai/juin 1995. P. Dario, E. Guglielmelli, B. Allotta et M.C. Carrozza. Robotics for Medical Applications. IEEE Robotics and Automation Magazine, vol. 3, no. 3, pages 44–56, septembre 1996. P.S. Green, J.W. Hill, J.F. Jensen et A. Shah. Telepresence Surgery. IEEE Engineering in Medicine and Biology Magazine, vol. 14, no. 3, pages 324–329, mai/juin 1995. R.D. Howe, W.J. Peine, D.A. Kantarinis et J.S. Son. Remote Palpation Technology. IEEE Engineering in Medicine and Biology Magazine, vol. 14, no. 3, pages 318–323, mai/juin 1995. W.S. Ng, B.L. Davies, R.D. Hibberd et A.G. Timoney. Robotic Surgery. IEEE Engineering in Medicine and Biology Magazine, vol. 12, no. 1, pages 120–125, mars 1993. R.H. Taylor, J. Funda, B. Eldridge, S. Gomory, K. Gruben, D. LaRose, M. Talamini, L. Kavoussi et J. Anderson. A Telerobotic Assistant for Laparoscopic Surgery. IEEE Engineering in Medicine and Biology Magazine, vol. 14, no. 3, pages 279–288, mai/juin 1995.