Motion Capture

P. Rincn1 and E. Zambrano2

1 Curso 2 Curso

de Computacin Grca II, Universidad Simn Bolvar, Venezuela de Computacin Grca II, Universidad Simn Bolvar, Venezuela

RESUMEN En el siguiente trabajo se analiza la tcnica de Motion Capture como alternativa para la realizacin de modelos digitales que simulen un movimiento deseado. Se presentan las ideas que dieron origen a este mtodo, as como la historia detrs de su desarrollo. Adems se comparan las ventajas y desventajas con otras tecnologas utilizadas para el mismo propsito y por ltimo se mencionan algunas de sus aplicaciones en la actualidad. Palabras Clave: Computacin Grca []: Motion,capture

1. Introduccin Al observar un corto animado, uno de los factores ms importantes es el movimiento de sus personajes, debe ser coherente, uido y al mismo tiempo reejar la personalidad de los participantes en la escena. Lograr estas caractersticas no es nada fcil y es por ello que tcnicas como Motion Capture se utilizan para facilitar el trabajo de los diseadores, permitindoles grabar el movimiento (mediante mtodos que se mencionan ms adelante) para luego transponer dicho movimiento en un modelo digital, dando una base base lo sucientemente precisa como para lograr un realismo que confunde al ojo humano al no poder diferenciar a primera vista si lo que ve fue hecho mediante computadoras. La informacin recopilada mediante Motion Capture (MoCap)ha revolucionado la animacin computarizada en la ultima dcada. Tcnicas que editan, transforman y recomponen la informacin capturada pueden generar novelas animadas de una calidad sin precedentes [VAV 07]. Esta tcnica ha generado un fuerte debate entre los artistas en el mundo de la animacin con respecto a si se deben considerar a los cortos realizados con la ayuda de MoCap como animacin verdadera [Fur99]. El uso de este mtodo se ha expandido durante los ltimos aos a diferentes ramas del entretenimiento entre las que se encuentran los videojuegos, las propagandas e inclusive aplicaciones mdicas para la rehabilitacin de personas con problemas en el caminar. El desarrollo de distintas formas de grabar el movimiento utilizando equipos de bajo presupuesto ha permitido a desarrolladores darle una gran cantidad de nuevos usos al MoCap. [SFC 11]. En este trabajo se explica el funcionamiento del Motion Capture, las distintas formas de aplicar esta tcnica, adems de analizar como se utiliza la informacin obtenida para generar los modelos digitales.

2. Historia del Motion Capture El primer intento real de copiar el movimiento para animar personajes fue el rotoscoping, el cual fue inventado por Max Fleishcher en 1915. Esta tcnica consista en animar directamente sobre un movimiento lmado cuadro por cuadro. Uno de los usos mas notables ejemplos fue durante la produccin de Blanca Nieves y Los siete Enanos. El motion capture tiene sus inicios a nales de los 70s, cuando empez a ser factible animar personajes computarizados. Los primeros intentos se basaron en el rotoscoping, utilizando espejos especiales que sobreponan videos de actores sobre la pantalla del computador para crear una pose del personaje digital. Esta pose es luego utilizada por el computador como referencia para generar una animacin uida, generalmente las poses tenan unos pocos cuadros de diferencia. A principios de la dcada de 1980, Tom Calvert, profesor de kinesiologa y ciencias de la computacin en la universidad Simon Fraser, aadi potenciometros a un cuerpo y utiliz la salida del sensor para manejar guras animadas para estudios coreogrcos y el diagnstico de anormalidades del movimiento.Luego surgen los primeros sistemas de monitoreo visual, utilizando marcadores especiales en los cuerpos de los actores que son monitorizados por varias cmaras, por ejemplo Op-Eye y SelSpot. Estos sistemas estaban limitados por la velocidad en la que pueden ser examinados los marcadores, la resolucin de las cmaras y la oclusin de los marcadores por el cuerpo. En 1988, durante la conferencia SIGGRAPH de ese ao, Brad deGraf y Michael Warhman presentaron Mike the Talking Head [Par09], demostrando por primera vez una actuacin en tiempo real de un actor digital utilizando motion capture. En 1988, Rick Lazzarinis, comisionado de la PDI (Pacic Data Images) cre un dispositivo mecnico capaz de realizar la captura de movimiento de la parte alta del cuerpo y la cabeza, fue llamado exoeskeleton, se basaba en el uso de po-

Universidad Simn Bolvar tenciometros en cada articulacin. Dicho aparato fue utilizado para la realizacin de la pelcula Toys. En los principios de la decada de los noventa, los proyectos utilizando MoCap en computacin grca comenzaron a ser parte protagonista de los trabajos presentados, por lo que las compaias pioneras en esta tcnologia comenzaron a prosperar (MediaLab, Windlight Studios). En 1992 para promocionar una lotera de Pennsylvania se crea la primera propaganda con Motion Capture para animar a una multitud de tickets. Durante los siguientes aos, se crean nuevos equipos que utilizan distintos metodos para grabar de manera precisa el movimiento de actores y animales. Con el creciente aumento de la industria cinematogrca, las empresas de Motion Capture son presionadas por crear equipos de alto rendimiento que logren reejar un margen de error casi nulo. En la actualidad el Motion Capture se encuentra presente en el desarrollo de pelculas como El seor de los anillos, en videojuegos super realistas como FIFA 12, y en muchas otras ramas del entretenimiento. 3. Tcnicas de captura Existen distintas formas de registrar los cambios de posicin realizados por un objeto en movimiento. Estas tcnicas pueden depender de un traje mecnico, sensores de movimiento, cmaras e inclusive mediante sensores de sonido [VAV 07]. Los factores que afectan en la decisin de cual mtodo utilizar estan relacionados con el presupuesto disponible y del nivel de realismo al que se desee llegar. Por poner un ejemplo, un traje de MoCap utilizando sensores de inercia puede llegar a costar 80.000$. Los sistemas pticos o visuales capturan la informacin utilizando una o mas cmaras sobreponiendo la proyeccin del objeto grabado. Luego esta data es procesada para triangular la posicin del objeto. Se pueden utilizar materiales retroreectivos con marcadores (Passive markers) que reejan la luz que es generada cerca de las lentes de las cmaras las cuales estan graduadas para que ignoren la piel u otros elementos; LEDs (Active markers) para triangular la distancia que se desplaz una parte del objeto mediante software especializado; LEDs sincronizados mediante el uso de temporizadores (Time modulated active markers) los cuales funcionan como los marcadores activos pero mejorando la precisin de la captura; LEDs infrarrojos de alta velocidad (Semi-passive imperceptible markers) que utilizando camara infrarrojas detectan los LEDs adheridos al objeto permitiendo realizar la grabacin en ambientes con iluminacin natural; o sin ningn tipo de marcador (Markerless) mediante algoritmos diseados para recibir multiples grabaciones de una misma escena, para luego identicar las formas humanas con sus movimientos [LSG 11]. Con los sistemas no visuales, se utilizan otro tipo de sensores para triangular la posicin del objeto. Entre Las tcnicas de captura de movimiento no visuales se encuentran los sistemas de inercia, que consisten en colocar diminutos sensores como giroscopios o acelermetros, que envian la informacin que capturan de manera inalmbrica. Conociendo la posicin y la velocidad angular inicial e integrando las informaciones que recogen los sensores, es posible determinar la posicin, eje de giro y velocidad angular de cualquier sensor. Los datos recogidos por los sensores inerciales (inertial Informe Final 2 guidance system) se transmiten a un ordenador, donde luego se procesa la informacin. En el proceso de captura de movimientos con indumentaria electromecnica, el actor o intrprete viste unos trajes especiales, adaptables al cuerpo humano. Los trajes son generalmente estructuras rgidas compuestas de barras metlicas o plsticas unidas mediante potencimetros colocados en las principales articulaciones. Los sistemas de captura de movimiento electromecnicos tienen el problema, con respecto a otros sistemas de captura de movimientos, de ser incapaces de medir translaciones globales: son capaces de medir las posiciones relativas de los miembros, pero no el desplazamiento del actor en el escenario. Por este motivo, a veces se aade un sensor electromagntico al conjunto, aunque esto implica que podamos tener los problemas tpicos de los sistemas electrmagnticos, como la interferencia producida por metales, cables, etc. [Doe]. Los sensores magnticos tambin son utilizados para la captura de movimientos. El proceso consiste en en colocar una coleccin de sensores electromagnticos que miden la relacin espacial con un transmisor cercano. Los sensores se colocan en el cuerpo y se conectan a una unidad electrnica central, casi siempre mediante cables. Estn constitudos por tres espiras ortogonales que miden el ujo magntico, determinando tanto la posicin como la orientacin del sensor. El problema de utilizar esta tcnica es que el lugar donde se realice la captura debe estar libre de campos electromagnticos que puedan afectar el funcionamiento de los sensores. Por ltimo, La captura de movimientos mediante el uso de bra ptica radica en utilizar un conjunto de bras pticas que, al doblarse, atenan la luz trasmitida, permitiendo calcular la posicin de las extremidades del cuerpo que se esta grabando. Esta tcnica se ha utilizo en sus inicios para el diseo de sensores para guantes, pero en la actualidad ya existen trajes de cuerpo completo que usan esta tecnologa. Cada tcnica tiene sus ventajas y desventajas y su utilizacin depende de los objetivos deseados. Actualmente existen otros mtodos para la captura de movimiento que estan siendo desarrollados por distintas empresas y/o universidades donde el objetivo principal es lograr la mayor precisin de captura al menor costo posible. 4. Flujo de trabajo 4.1. Preparacin del esqueleto para el personaje 3D Consiste en preparar el modelo que se desea animar mediante la informacin recolectada mediante MoCap. Existen algunas restricciones dependiendo de la tcnica utilizada que restrigen el uso de cierto tipo de esqueletos. En el caso de mtodos visuales se debe considerar es que el esqueleto debe tener un parecido al traje que se utiliza para realizar la grabacin de los movimientos, esto con el n de lograr un resultado lo mas acorde a la realidad posible. En el esqueleto 3D, deben denirse las articulaciones y los puntos de unin con las extremidades, para luego colocar los sensores en los puntos claves del traje (en el caso que se utilicen marcadores pasivos) [KW08]. 4.2. Calibracin El primer tipo de calibracion consiste en preparar el sistema de Motion Capture para que pueda ubicar a todos los senPgina 2

APLICACIONES DEL MOTION CAPTURE

Universidad Simn Bolvar nal deseada, para luego unir las imagenes obtenidas en el video nal. 5. Aplicaciones del Motion Capture La mayora de los equipos de MoCap fueron diseados no teniendo en mente el mundo del entretenimiento. Muchos de estos equipos eran utilizados en otros campos como medicina o inteligencia militar para luego formar parte de las herramientas disponibles para la computacin grca. 5.1. Medicina Se utiliza para generar la informacin necesaria en el diseo de prtesis, anlisis de la locomocin animal (Gait analysis) y anlisis de los atletas en la medicina deportiva. El uso de MoCap permite detectar con precisin algun error en el caminar de un animal para luego generar una solucin adecuada. Anteriormente se utilizaba el anlisis de fotografas para este mismo objetivo pero los resultados no eran igual de ecientes. 5.2. Deportes El anlisis deportivo es uno de los campos donde ms se utiliza la tcnica de Motion Capture. La informacin 3D recopilada es usada para mejorar el desempeo de los atletas al momento de realizar alguna actividad fsica que incluya el movimiento de las extremidades. Esta tcnica permite clasicar los diferentes componentes que intervienen en el movimiento del atleta. Se puede tomar por ejemplo el Golf, donde el movimiento del jugador inuye directamente en la trayectoria de la pelota. Los benecios que se obtienen utilizando MoCap en comparacin con el anlisis de grabaciones son enormes por lo que actualmente el mercado de Motion Capture se encuentra en plena expansin. 5.3. Entretenimiento Durante los ltimos 5 aos la industria del entretenimiento reporta una de las mayores ganacias del mundo, por lo que muchas empresas buscan tecnologas que les permitan mejorar sus productos para satisfacer al mercado. Gracias a este creciente mercado es que el Motion Capture a logra su desarrollo en tan poco tiempo. 5.3.1. Video Juegos El motion capture se encuentra presente en practicamente todos los juegos que incluyan la aparicin de personajes realizando movimientos realistas como caminar o correr. Fue la primera de las empresas en utilizar Motion Capture como herramienta para el desarrollo de sus productos. Hace 10 aos los resultados logrados mediante MoCap contenian muchos errores debido a que las tcnicas estaban en pleno desarrollo, pero actualmente los resultados son tan realistas que juegos como LA Noire incluyen el movimiento de los personajes (movimiento facial) como parte clave del juego, generando una forma de juego nunca antes vista. 5.3.2. Televisin El uso de MoCap en esta rea se encuentra limitada por los altos costos del equipo necesario. Algunas series animadas 3 Informe Final

sores. Para lograr esto en sistemas visuales, Se debe congurar primero las camaras para establecer su posicion con respecto a las dems para lograr un resultado con la menor distorcin posible. En el caso de los sistemas magnticos, se deben corregir las interferencias de otros campos electromagnticos en la escena. El segundo tipo de calibracin esta relacionada al objetos del cual se quieren grabar sus movimientos. Esta calibracin consiste en indicarle al sistema de mocap con que tipo de objeto esta trabajando, en el caso de actores humanos, se coloca al actor en forma de T para que el el sistema MoCap registre el rango de movimiento"para identicar correctamente y seguir el movimiento de los marcadores. 4.3. Sesiones de captura Consituye el momento en el cual se realizan las grabaciones al objeto mediante el sistema de MoCap realizando los movimientos que se desean trasladar al modelo digital. Cada sesin de grabacin consiste en escenas de 15 a segundos donde las camaras registran el movimiento en el escenario de los marcadores en el caso de mtodos visuales, mientras que para los otros metodos los sensores registran cualquier tipo de movimiento con respecto al punto donde se encuentran. 4.4. Captura de datos los archivos que contienen la informacin de movimiento obtenida mediante MoCap dependen del tipo de tcnica utilizada. Los mtodos que muestran los resultados en tiempo real usualmente generan un ujo de informacin que es directamente utilizada por los softwares de animacin con la ayuda de extensiones especiales. Los mtodos que utilizan herramientas visuales para el reconocer el movimiento no generan la data en tiempo real por lo que es necesario guardar las imgenes capturadas por cada cmara para luego con la calibracin del escenario triangular la posicion 3D del objeto. Esta informacin es guardada en archivos (.acm y .asf) para luego ser procesados por programas de animacin como Maya o SoftImage. 4.5. Post proceso Cuando la informacin recopilada es editada y limpiada, es aplicada al personaje 3D relacionando los datos con el esqueleto del personaje. En el caso de marcadores, cada uno de estos deben ser asignados a las articulaciones del esqueleto y denir que parte del esqueleto se mueve o rota a causa del movimiento de los marcadores. Una vez que el movimiento es aplicado al personaje 3D, se realiza un proceso de depuracin donde los diseadores observan la escena de manera repetitiva arreglando cualquier imperfeccin o detalle que deba ser modicado en el esqueleto. Por ltimo, La escena es lmada por camaras virtuales en el software de edicion 3D para luego realizar un "pencil test", que consiste en renderizar los cuadros en una baja resolucin con el n de observar la ubicacin de la crama, el movimiento, la textura, la iluminacin, los efectos especiales y otros elementos de la animacin. Si el resultado es el esperado, se procede a renderizar la animacin en la resolucin

Universidad Simn Bolvar como "Jay Jay the Jet Planetilizaron la tcnica para la animacin de sus personajes, pero en estos momentos el Motion Capture no se encuentra entre el grupo de herramientas mas utilizadas por los diseadores. Por otro lado en el sector de publicidad la utilizacin de MoCap va creciendo poco a poco, principalmente para la animacin de equipos mecnicos. 5.3.3. Pelculas El nmero de pelculas que han utilizado MoCap para la grabacin de sus escenas va creciendo con el paso de los aos de manera acelerada. En el mundo del cine las pelcula animadas por computadora han sacado del mercado a las creadas mediante tecnicas de dibujos animados. En esta rea empresas como "Pixar"se rehusan a utilizar MoCap debido a que consideran la tcnica como un atajo on truco para la animacin, mientras que otras empresas como "Weta Digital"se especializan en el uso de MoCap como herramienta para el desarrollo de sus animaciones. 5.3.4. Derecho Distintas tcnicas Motion Capture son aplicadas por los forenses para reconstruir videos de eventos. Estos videos son utilizados como evidencia en juicios como forma de entender la opinin de un testigo con respecto al orden de un grupo particular de acontecimientos. Este tipo de evidencia es mucho mas efectiva con los jurados que otro tipo de evidencia demostrativa. Cuando se tienen problemas es ms fcil repetir la sesin de grabacin que tratar de manipular los datos. Solo unos pocos sistemas permiten la visin en tiempo real de los datos para decidir si son correctos o deben ser grabados de nuevo. La captura en personajes que no posean una forma humana puede llegar a ser muy complicada. Los movimientos que no siguen las leyes de la fsica generalmente no pueden ser capturados. Las tcnicas tradicionales de animacin, tales como la manipulacin de la forma del personaje, o movimientos secundarios, deben ser aadidos a posteriori. Si el modelo virtual tiene diferentes proporciones al capturado, puede que se presenten algunos fallos de colisin entre las extremidades. 7. Conclusiones En este artculo se describi la tcnica de Motion Capture como forma de generar modelos digitales cuyos movimientos son lo ms parecidos a la realidad. Se explican cuales fuerons los orgenes de la tcnica y se explican cuales son las diferentes maneras de realizar la captura de movientos. Por ltimo se presenta una lista de ventajas y desventajas donde se consideran aspectos diversos como el precio de utilizar esta tcnica, o los benicios para el diseador en cuanto a rendimiento y calidad. Referencias
[Doe] Mocap - tecnologas de captura de movimiento. http://sabia.tic.udc.es/gc/ContenidosMocap/ tecnol.htm/. [Online; accessed 21-March-2012]. [Fur99] F URNISS M.: Motion capture. http://web.mit.edu/ comm-forum/papers/furniss.html. [KW08] K ITAGAWA M., W INDSOR B.: MoCap for Artists: Workow and Techniques for Motion Capture. Focal Press, 2008. [LSG 11] L IU Y., S TOLL C., G ALL J., S EIDEL H.-P., T HEOBALT C.: Markerless motion capture of interacting characters using multi-view image segmentation. In CVPR (2011), IEEE, pp. 12491256. [Par09] PARENT. R.: Motion capture primer. In Computer Animation Complete: All-in-One: Learn Motion Capture, Characteristic, Point-Based, and Maya Winning Techniques. 2009, pp. 708 0. [SFC 11] S HOTTON J., F ITZGIBBON A. W., C OOK M., S HARP T., F INOCCHIO M., M OORE R., K IPMAN A., B LAKE A.: Realtime human pose recognition in parts from single depth images. In CVPR (2011), IEEE, pp. 12971304. [VAV 07] V LASIC D., A DELSBERGER R., VANNUCCI G., BARNWELL J., G ROSS M. H., M ATUSIK W., P OPOVIC J.: Practical motion capture in everyday surroundings. ACM Trans. Graph. 26, 3 (2007), 35.

6. Ventajas y Desventajas En comparacin con las tcnicas tradicionales de modelado por software, Motion Capture presenta las siguentes ventajas: La cantidad de trabajo no depende de la complejidad o duracin como en el caso de tcnicas tradicionales. A los diseadores se les facilita el trabajo de animar varios personajes o multitudes. Permite modelar las interacciones fsicas con otros elementos de la escena de una manera ms sencilla. Resultados ms rpidos y ms realistas Reduce los costes de desarrollo de animaciones frente a las tcnicas clsicas de creacin frame a frame. La cantidad de trabajo no vara tanto con la complejidad o longitud de la escena, con respecto a las tcnicas tradicionales. Esto permite un mayor nmero de pruebas o variaciones en busca de la escena nal. Se recrean fcilmente movimientos complejos y realistas, tales como movimientos secundarios, intercambios de fuerzas de una manera muy exacta, en comparacin con los mtodos tradicionales. En cuanto a las desventajas, destacan: Se necesita software y hardware especco para obtener y procesar los datos. El coste del equipamiento y del personal especializado restringe el acceso a las producciones de bajo presupuesto. El sistema de captura puede requerir conguraciones especcas para el espacio en el que es utilizado, dependiendo de la campo visual utilizado. Informe Final 4

Pgina 4