MIGUEL FERNANDO PAIVA VELHOTE CORREIA ANALISE DE MOVIMENTO EM SEQUENCIAS DE IMAGENS FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO FEVEREIRO 1995Andlise de Movimento em Sequéncias de Imagens por Miguel Fernando Paiva Velhote Correia Sumario Nesta tese é proposta uma metodologia para a andlise de movimento em imagens monocu- lares adquiridas com uma cémara fixa. Apresentam-se alguns conceitos relacionados com a percepgdo visual ¢ a sua transposigéo para sistemas computacionais e discittem-se alguns dos problemas e objectivos dessa tarefa. Identificam-se as fases fundamentais para a caracterizagio do movimento em imagens e efectua-se um estudo de métodos para essa caracterizagéo. Neste Ambito faz-se uma anilise de técnicas para a detecgfio, medigao ¢ caracterizagio de movimento, bem como para a detecgao de orlas de intensidade ~ uma carac “Apresenta-se a concepgdo ¢ desenvolvimento de uma metodologia de anélise do movimento de jeristica importante das imagens. uum objecto num meio estitico captado por uma cimara fixa ¢ implementa-se essa metodologia num sistema versétil para a caracterizagio do movimento no plano de formagio das imagens. A metodologia proposta nio utiliza modelos descritivos para objectos que possam estar presentes nas imagens e, como tal, pode ser generalizada a varias aplicagées, sendo a caracterizagéo do movimento essencialmente bidimensional. O sistema foi testado em imagens de cenas reais com resultados satisfatérios.Motion Analysis in Image Sequences by Miguel Fernando Paiva Velhote Correia Abstract In this thesis, T present a methodology for the analysis of motion in monocular image sequences captured with a fixed camera, Some of the concepts related to visual perception and its transfer to computer systems are discussed, as well as, some of the problems and goals of this task. The fundamental phases for the characterization of motion in images is identified and a study of methods for such characterization is performed. Within this scope the techniques for the detection, measurement and characterization of motion are analysed. Edge detection techniques are also considered, since they are one of the most important features in images. ‘The design and development of the methodology for the analysis of an object’s movement on a static background captured by a fixed camera is presented and implemented on a flexible system for the characterization of motion in the image plane. The proposed methodology does not use descriptive models for the objects shape or structure and, therefore, may be used in several different applications to obtain a bidimensional quantified charaterization of motion. ‘The system was tested on image sequences of real world scenes with satisfactory results.Oy 6?" EMSs Miguel Fernando Paiva Velhote Correia Analise de Movimento em Sequéncias de Imagens UMIVEREIDADE DO PORTO Ua, 24999 043 M Faculdade de Engenharia da Universidade do Porto o Fevereiro 1995 C8 awAndlise de Movimento em Sequéncias de Imagens por Miguel Fernando Paiva Velhote Correia Licenciado em Engenharia Electrotécnica e de Computadores pela Faculdade de Engenharia da Universidade do Porto (1990) Tese submetida ao Departamento de Engenharia Electrotécnica e de Computadores para satisfagao parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores Perfil de Automagao Industrial Orientador: Aurélio J. de Castro Campilho(Professor Auxiliar Agregado) Co-orientador: A. Jorge Neves Padilha(Professor Auxiliar)Agradecimentos ‘Aos Professores Aurélio C. Campilho e A. Jorge Padilha por terem orientado esta tese ¢ pelo encorajamento dado ao longo da sua execugao. Ao Professor Américo Pires da Costa por ter disponibilizado os recursos utilizados. Aos colegas Miguel Monteiro, Jorge Alves ¢ Ana Maria Mendonga pelo companheirismo e apoio sempre presentes. Ao INEB pelas excelentes condigdes de trabalho oferecidas para a elaboragio desta te: (O autor beneficiou da bolsa de mestrado BM/1852/91-RM no anibito do Programa CIENCIA)IndiceINDICE 2 1 Introdugio 1.1 Ambito 1.2 Motivacio e Objectivos 1.3 Organizacéo Global desta Tese 2 Percepgo Visual do Movimento 9 21 Introdugio. so... 6... 10 2.2 As Diferentes Fases........ 10 2.3 Os Mecanismos da Visio... 0. eet 2 23.1 O Fluxo Optico..... . eer 12 2.3.2. Correspondéncia de Blementos entre Imagens u 2.4 Formagio de Imagens Varidveis no Tempo . 15 2.5 Formulagio do Problema da Anélise de Movimento 7 2.5.1 A Determinagio de Velocidades no Plano-imagem 18 2.5.2 © Movimento e a Estrutura ‘Tridimensionais . 19 2.6 Conclusdes 20 3 Detecgio de Orlas de Intensidade 22 3.1 Introdugiio . 23 3.2 Diferenciagdo e Operadores Afins . . oy 3.2.1. Gradiente de uma Imagem 25 3.2.2 Laplaciano de uma Imagem .... « 27 3.3. Filtros para Deteccfio de Orlas de Intensidade . . . . 29 3.3.1 Critérios de Desempenho .......- + bees . 30 3.3.2 Filtros Propostos 36 3.3.3 Implementacio . . 5 39 3.3.4 Comparagdo dos Filtros Propostos . . . . 45 3.4 Operagées Complementares . . . 49 3.4.1 Supressfo de Nao-mézximos BL 3.4.2 Limiarizagio ......-.. . . 53 3.4.3 Validagdo das Passagens por Zero... ..-. wee eee BB 35 Conclusies «2... eee eee ee +. oTINDICE 4 O Movimento em Imagens 4. 42 43 44 45 46 O Sis o 5. 5.2 5.3 54 55 5.6 Introdugéio. . . . Deteceiio de Movimento . . . . 4.2.1 Imagem das Diferengas 4.2.2 Quociente de Verosimilhanga . 4.2.3 Método do Modelo de Sombreado . 4.24 Segmentagio de Objectos Méveis Medigéo do Movimento. 60... cece eee ee 4.3.1 Métodos de Medigio .....-. eee eee 4.3.2 Um Processo de Correspondéncias para Determinagiio de Movimento . . Estimagio Estocéstica Aplicada ao Movimento 4.4.1 0 Filtro de Kalman... . 4.4.2 Modelos Dinamicos e de Medigio 6... eee eee ee eee 4.4.3 Método para o Seguimento de Elementos ....--- +e eee sees Caracterizagao do Movimento de Objectos . . . Conclusbes . 0... ee eee eee eee eer stema de Anélise de Movimento Introdugio. ... - A Estrutura do Sistema... 6... ceeee Deserigéo Funcional 5.3.1 Detecgo de Movimento . . . 5.3.2. Deteccdo e Extraceo de Elementos Caracter“isticos . 5.3.3 Medigdo e Estimagio do Movimento . . . - 5.3.4 Marcagio das Correspondéncias... +--+ +++ Aplicagéo & Andlise de Imagens de Tréfego Automével 0-0-0. 2-0 ees Outras Perspectivas de Aplicagao Conclusies -.--- 6 Consideragées Finais A Manual de Utilizagio do Sistema B Artigos Publicados 59 60 60 61 62 63 66 68 69 8 82 83 86 87 90 92 96 97 97 99 99 100 101 103 104 108 108 110 121 127Capitulo 1 Introdugaoa INTRODUCAO 1.1 Ambito A anélise de imagem é um tema que tem vindo a despertar um grande interesse e tem rece- bido contribuigdes bastante significativas, nos tltimos anos, de varias comunidades cientificas espalhadas por quase todo 0 mundo. O interesse crescente na andlise de imagem reside na necessidade de automatizar tarefas cuja componente fundamental é a percepgio visual tirando vantagem das actuais capacidades de processamento dos sistemas informéticos. ‘As aplicagdes so varias e em campos to distintos como a medicina, a meteorologia, a producio industrial ¢ agricola, ete. Apenas para mencionar alguns exemplos mais conhecidos temos: @ 2 inspecgio visual automatica; © 0 rastreio e seguimento de objectos méveis; # a navegagio de vefculos auténomos; « a anilise do tréfego automével; © 0 crescimento das culturas agricolas; a previsio das condigées atmosféricas pela andlise do movimento das nuvens; a circulagio sanguinea. ‘Nos casos acima referidos praticamente todos eles implicam a obtengio de imagens varidveis no tempo e consequentemente a andlise de imagens de movimento. A interpretagéo do movi- mento visivel a duas dimensées 6, por isso, fundamental para se obter a informagiio pretendida em diversos casos préticos. O tema desta tese insere-se no que vulgarmente se designa por Visio Automatica ou Visio por Computador com recurso a téenicas de Processamento Digital de Imagem. A viséo au- tomatica pode ser descrita como uma tentativa de dotar um computador ou uma méquina computorizada da capacidade de visio, isto é, a ir além da simples aquisigio de imagens, por intermédio de dispositivos electro-épticos, e do armazenamento e tratamento dessas imagens para passar a obter uma interpretagao inteligivel para um ser humano incluindo, por exemplo, uma descrigio verbal das imagens da cena em andlise. Essas interpretagdes siio, obviamente, condicionadas pelas aplicagées e resultados pretendidos e tém, por isso, um ambito restrito.INTRODUCAO 6 Um dos interesses da utilizagdo de sistemas computacionais em tarefas de percepgo visual é a possibilidade de extrair informacao quantitiva e objectiva das imagens e de analisar de um modo mais preciso essa informagio. A anélise automética de imagens permite também obter resultados que, de outro modo ndo seria possfvel, pois a capacidade da visio humana, embora vasta e inegualdvel em muitas situagdes, é essencialmente qualitativa e subjectiva. Na andlise de movimento a partir de imagens, distinguem-se duas tarefas essenciais: a quan- tificagio e caracterizagio do movimento visivel a duas dimensdes e a extraccio de informagio tridimensional da cena, como seja a sua estrutura, 0 movimento de objectos no espago fisico em que se inserem, ou o movimento préprio do observador. O Ambito desta tese é precisamente a primeira daquelas duas tarefas: detectar, medir ¢ caracterizar © movimento visivel nas imagens. Essa caracterizacao é pois, essencialmente, bidimensional e consiste em determinar quantidades representativas do movimento, como sejam as velocidades de deslocamento de objectos méveis nas imagens ¢ as suas direcgGes ¢ trajectérias. Todavia, refere-se a relagio entre movimento visivel e movimento real, atendendo a que as imagens séo, geralmente, uma projeccéo do espago tridimensional e, como tal, determinados fenémenos s6 so caracterizéveis com recurso a essa informagao. Nao se faz, no entanto qualquer tentativa de extracgdo de informagdo tridimensional, jd que isso exigiria outro tipo de anélise e encontra-se fora do ambito desta tese. Neste trabalho consideram-se, fundamentalmente, imagens monoculares adquiridas com cAmara fixa de objectos em movimento, embora alguns métodos estudados e desenvolvidos possam ser generalizados para imagens adquiridas com camara mével. 1.2 Motivagao e Objectivos As aplicagées da andlise de movimento so varias, bem como so também muitos os métodos utilizados para a sua realizagio. No entanto, esses métodos sfio muitas vezes apresentados num dominio de aplicagio restrito e com objectivos especificos, 0 que os torna inadequados a outras aplicagées. Com este trabalho, pretendeu-se desenvolver uma metodologia que pudesse ser implemen- tada num sistema para a anélise automtica de imagens de movimento e que, para além disso, pudesse ser utilizada em aplicagées diferentes e, possivelmente, com fins distintos. Essa metodologia destina-se, primordialmente, a realizar a segmentagio dos objectos méveis em imagens e a obter uma caracterizacao do seu movimento a duas dimensdes. Neste trabalho éINTRODUCGAO a dado énfase & detecgao e estimagio do movimento no plano-imagem e ao desenvolvimento de ferramentas para a sua realizagéio, que possam ser aplicadas em vérias situacdes. De modo que ‘as questdes de interpretagio do movimento, no contexto em que se insere, no so resolvidas, ‘uma vez que dependem, fundamentalmente, da aplicagio em causa. Os objectivos deste trabalho so, assim: * o estudo de métodos para a caracterizacao de movimento; + a concepsio desenvolvimento de uma metodologia de andlise do movimento de um objecto em imagens; + a implementagao e ensaio dos métodos desenvolvidos em sequéncias de imagens reais. 1.3 Organizagao Global desta Tese A apresentagio dos temas que se abordaram neste trabalho segue essencialmente a mesma linha que se adoptou para realizar a tarefa pretendida, ou seja, a anélise automética de movimento em sequéncias de imagens. Os conceitos relacionados com a percepeo visual e a formaciio de sequéncias de imagens sio essenciais para se compreender o problema proposto e para formar uma ideia das limitagdes do processo de visio automético face as actualmente inegualdveis capacidades dos sistemas bioldgicos de visio. No capitulo 2 aborda-se este tema, apresentando-se alguns conceitos problemas associados & transposicdo desta tarefa para sistemas computacionais. O capitulo 3 esta relacionado com o tema da determinagio de elementos caracteristicos em imagens, nomeadamente, as orlas de intensidade que sfo uma caracteristica importante, pois permitem distinguir objectos diferentes, identificar estruturas nessas imagens e obter in- formagio precisa de movimento. No capitulo 4 aborda-se o problema da determinagéio do movimento representado em sequéncias de imagens. Apresentam-se varias téenicas para detecgio, medigao e caracterizagio do movimento em imagens, estudadas no decurso deste trabalho, e discutem-se algumas das suas vantagens e limitagSes. Neste capitulo, 6 feita a concepgio e descricéo de um método para a resolugio do problema proposto. Dada a natureza estocistica do problema em causa consideraram-se também, nessa resolugo, técnicas de estimagio de que se déo conta neste capitulo.INTRODUCAO 8 Apresenta-se, no capitulo 5, um sistema baseado nos métodos e técnicas anteriormente deli- neados, descreve-se a sua actual implementacdio, bem como algumas possibilidades de utilizagio das rotinas e programas desenvolvidos neste trabalho. Demonstra-se a utilizagio deste sistema em imagens de tréfego automével e apresentam-se os resultados obtidos na caracterizagio do movimento de objectos em imagens. Finalmente, no capitulo 6 fazem-se perspectivas para possiveis desenvolvimentos e apresen- tam-se as conclusdes desta tese.Capitulo 2 Percepcao Visual do MovimentoPERCEPGAO VISUAL DO MOVIMENTO 10 2.1 Introdugao ; ‘A percepedo visual desde hé longa data que é tema de investigac&o em varios ramos da ciéncia, como a neurofisiologia, a psicologia e, mais recentemente, a visio por computador. O estudo dos processos de visao tem por objectivo identificar e compreender um dos sentidos mais impor- tantes pelo qual os animais e, em particular, o ser humano se apercebern do meio ambiente em que se inserem. E facto conhecido que quase todos os animais desenvolveram mecanismos, por vezes sofisticados, de observagio, extracgio e utilizago de informagéo de movimento [UII81). ‘Algumas dessas capacidades sio de facto inegualveis por quaisquer processos autométicos até agora desenvolvidos. Tém-se vindo a dedicar maior atengdo ao sistema de viséo humano, em detrimento do de ‘outros animais, néo porque este seja mais adequado para incorporagao em sistemas computa- cionais, mas, muito simplesmente, pela existéncia de uma maior quantidade informagio e de um melhor conhecimento dos processos envolvidos. Os aspectos computacionais da percepgao visual do movimento tém sido estudados em duas vertentes: a detecgio e medida do movimento e a extracco ¢ interpretagéio da estrutura tridimensional da cena. Os métodos e técnicas desenvolvidos baseiam-se na sua maioria no conhecimento adquirido isto é, tem-se tentado modelar sobre o sistema de visio do ser humano e de outros seres vivos, os processos bioldgicos de viséo através do processamento digital de imagens adquiridas por dispositivos electro-dpticos. Neste capitulo abordam-se alguns coneeitos relacionados com a percepgao visual do movi- mento como sejam, as suas fases, 0s mecanismos envolvidos ¢ a sua transposigao para sistemas computacionais. Esta transposigio dos processos de visio para sistemas computacionais comega pela formagio de imagens digitalizadas. Neste ambito apresenta-se o modelo geométrico de pro- Jecgdo dos dispositivos electro-dpticos e os modos de captagao de imagens de movimento. Faz-se também neste capitulo a formulagéo do problema genérico da andlise de movimento a partir de imagens. 2.2 As Diferentes Fases De modo a melhor compreender os fenémenos e mecanismos envolvidos, é comum considerar visual do movimento [Jai81b]: trés fases principais na percepgaPERCEPGAO VISUAL DO MOVIMENTO at « inicial, de alerta ou detecgio; atentiva ou de medicao; * cognitiva ou de interpretagio. Na fase de alerta incluem-se os processos ditos de baixo nivel que conduzem a deteccio do movimento ¢ identificagio de regides de interesse, as quais deverd ser dedicada maior atengdo. Os processos envolvidos registam as dreas do campo visual nas quais se verificam alteragbes persistentes de cor, luminosidade, textura ou forma. Se bem que a informagao resultante desta fase no seja muito precisa, contribui significativamente para a redugio de ambiguidades nas fases posteriores. A contribuigdo mais importante, porém, é a possibilidade que oferece de se concentrar a analise subsequente apenas nas regides de interesse determinadas. Na fase atentiva é efectuada a medigéo dos parametros do movimento presente na cena. Aqui foca-se a atengdo nas dreas em que se verificam as alteragées com o intuito de determinar is como a a sua rapidez e direcgio de variagio e outras caracteristicas temporais e espaci constincia e uniformidade, a disperso ou concentragio, etc. Os processos que se consideram para esta fase tém por objectivo estimar as quantidades representativas do movimento a partir das variagdes temporais na imagem, resultantes de modificagdes na cena em observagio. A informagio obtida deverd ser o mais correcta possivel para que nfo se induzam erros na fase seguinte. ‘A classificagio e interpretagdo das caracteristicas do movimento permitem identificar ob- 10s diferentes, que se movem numa mesma cena, reconhecer classes de objectos idénticos, ject coneluir quanto A sua rigidez, inferir sobre a sua estrutura tridimensional e a do meio ambiente, etc, Estas sio as tarefas a realizar na fase cognitiva constituida por processos de alto nivel, por vvezes baseados em conhecimento previamente adquirido sobre a cena captada. Alguns exem- plos deste tipo de tarefas consistem em usar a coeréncia do movimento numa imagem para segmentag&o de objectos ¢ inferéncia da sua proximidade e forma, determinar se os objectos presentes no campo de visio so organismos biolégicos ou nao pela classificagéo do movimento como rigido ou nao rigido, obter informagado do movimento tridimensional relativo entre ob- jectos diferentes, recolher informagdo da sua estrutura tridimensional a partir das variagdes de perspectiva resultantes do movimento relativo entre esses objectos ¢ o observador.PERCEPCAO VISUAL DO MOVIMENTO 12 2.3 Os Mecanismos da Visao Na percepgio visual do movimento pelo ser humano considera-se provavel a existéncia de dois tipos de mecanismos diferentes: um, de curto aleance espago-temporal, que consiste na carac- terizagéo do movimento visivel como um campo de velocidades instantaneas [J.J79] e outro, de longo alcance espago-temporal, que se caracteriza pelo estabelecimento de correspondéncias entre elementos extraidos duma imagem da cena e perfeitamente identificéveis ao longo de varias imagens dessa mesma cena captadas posteriormente [S.U79]. Hé, no entanto, ainda alguma controvérsia quanto & sua utilizagdo efectiva no sistema de visio humano (ver [Mar82]). Medigio Interpretaciio Longo Alcance Temporal Correspondéncia Interpretagio de Elementos das entre Imagens |Correspondéncias Estrutura e Cena Retina Movimento —| da Cena Céleulo de Interpretagdo Velocidades dos Campos de Instant s Velocidades Curto Aleance Temporal Figura 2.1: Os mecanismos da visio. Na figura 2.1 ilustram-se as relagdes entre as fases da percepsio visual, atrés referidas, e estes dois mecanismos. O objectivo principal da visio 6, como se indica na figura, a identificagao da estrutura e movimento dos objectos no seu espago fisico real. 2.3.1 O Fluxo Optico No mecanismo de curto alcance é produzido aquilo a que se deu o nome de Fluxo Optico a partir das variagdes temporais nas imagens captadas pela retina. O fluxo éptico representa uma distribuigdo de velocidades, sendo associado a cada ponto na imagem, um vector que indica a direcc&o e amplitude dessas variages relativamente ao observador. Imagine-se, por exemplo, as imagens captadas pela retina de um individuo que se desloca ao mesmo tempo que observaPERCEPCAO VISUAL DO MOVIMENTO 13 © espago & sua frente. Dado que numa imagem se regista uma quantidade, como, por exemplo, o brilho ou lumi- nosidade em cada ponto da cena, as suas variagdes podem nfo ser devidas a movimento, mas sim, a diferengas na iluminagéo. Assim sendo, 0 fluxo éptico indica um movimento aparente que poderé no ter correspondéncia directa com movimento real na cena ~ esta poderé mesmo ser estética. Deste modo, s6 em alguns casos é que 0 fluxo éptico é equivalente & projecgao das velocidades de movimento dos pontos do espaco tridimensional observado. A essas veloci- dades bidimensionais diversos autores apelidam de fluxo de imagem ou velocidade de imagem [Sin91, Fle92], precisamente para as distinguir do fluxo dptico. Conforme demonstrado por Singh [Sin91], a equivaléncia entre fluxo de imagem ¢ fluxo éptico verifica-se na auséncia de variagdes temporais de iluminagio ¢ apenas para a componente normal da velocidade de uma superficie Lambertiana (de reflexdo perfeita ¢ homogénea em todas as direcgdes) com movi- mento puro de translagéo. A componente normal da velocidade é também aproximada pelo fluxo dptico nas regiées da imagem em que se verificam gradientes de intensidade elevados, ou seja, nos contornos de superficies ou fronteiras entre objectos. Hé, pois, que distinguir entre movimento aparente, que nos é indicado pelo fluxo éptico, ¢ movimento visivel a duas dimensées que corresponde & projeccéo no plano da imagem dos vectores de velocidade do movimento real, que, por sua vez, se verifica e caracteriza no espago tridimensional dos objectos fisicos. Dado que, a partir de imagens bidimensionais monoculares captadas de uma cena s6 nos é possivel estimar o fluxo éptico, o movimento real nem sempre pode ser obtido inequivocamente. Na fase de interpretago, a andlise do fluxo éptico permite, até certo ponto, fazer aquela distingao ¢ inferir sobre o movimento real e a estrutura tridimensional da cena. A segmentagdo de regides com fluxo éptico idéntico possibilita a identificagdo de objectos diferentes. E também um bom indicador do movimento proprio do observador e do movimento relativo entre objectos. Métodos para a estimagéo do fluxo éptico, a partir de imagens digitalizadas, tém sido estu- dados e desenvolvidos por vérios investigadores [HS81, Sin91, Fle92, Hee88] e as suas aplicagdes ‘so diversificadas, desde a determinagdo automatica da estrutura tridimensional da cena e/ou do movimento, reconhecimento de formas, medigao da profundidade, ete.PERCEPGAO VISUAL DO MOVIMENTO 4 2.3.2 Correspondéncia de Elementos entre Imagens © mecanismo de longo aleance consiste na identificagéo de elementos caracteristicos numa primeira imagem da cena, que vio sendo seguidos ao longo de imagens captadas posteriormente. O seguimento é conseguido & custa do estabelecimento de correspondéncias, de imagem para imagem, entre elementos que se destacam dos outros, mercé de alguma(s) das suas propriedades. O espagamento temporal entre cada duas imagens pode ser relativamente longo, desde que as variagdes no sejam bruscas. Deste modo, é construido um mapa das posigées ocupadas por cada elemento que variam com o tempo. A informagiio é mais esparsa do que no caso do fluxo éptico, na medida em que se usa um niimero de elementos limitado, nao se dispondo, por isso, de uma distribuigéo de velocidades estendida a todos os pontos do campo de visio, Os elementos escolhidos devem, assim, ser representativos dos objectos que se encontram em movimento na cena. Por um lado, esses elementos devem ser 0 mais distintos possivel para que surjam poucas ambiguidades, mas, por outro lado, quanto mais o forem, mais esparsa seré a informagdo de movimento. Alguns exemplos tipicos de elementos caracteristicos sio as variagdes acentuadas de intensidade originadas pelos contornos dos objectos, cantos, intercepgdes de linhas, segmentos rectilineos ou mesmo manchas que se distingam pela sua textura ou forma constante. O mapa temporal das posigdes dos elementos permite, entre outras, determinar as posigées tridimensionais dos elementos fisicos, cuja projecgio no plano da imagem lhes deu origem, as velocidades dos corpos rigidos que os contém e a estrutura tridimensional. Estas tarefas sio realizadas na fase de interpretagdo pela anélise das posigdes relativas entre elementos carac- terfsticos, quer seja numa tinica imagem ou instante, quer seja entre imagens consecutivas. Com vista transposic&o deste mecanismo para sistemas computacionais tém-se desen- volvido, ao longo dos iiltimos anos, métodos para extraccdo e seleccio de elementos carac- teristicos e para o estabelecimento de correspondéncias [JLW81], que é uma das operagées mais morosas no processamento digital de imagens. Algumas das solugées encontradas sio também usadas na correspondéncia entre imagens estereosedpicas ou binoculares [SW80]. Do mesmo modo que para 0 caso do fiuxo éptico tem-se explorado este tema para a caracte- ade rizagéio do movimento de corpos no espago tridimensional, para a determinagio de profundi e estrutura da cena, ete. A escolha entre a utilizagao do fluxo éptico ou das correspondéncias entre elementos ou ambos, num sistema automético de andlise de movimento, prende-se essencialmente com aPERCEPGAO VISUAL DO MOVIMENTO 15 densidade da informago de movimento pretendida ou exigida pela aplicagio e pelas condigdes do meio ou de aquisico de imagens. Assim, se se pretender analisar 0 movimento de varios objectos num meio ambiente estdtico serd pouco eficiente determinar 0 fluxo dptico sobre 0 plano de fundo, devendo-se entio optar por um método do tipo de anilise de correspondéncias. Se, por outro lado, as imagens apresentarem variagdes em todos os seus pontos, resultantes, por exemplo, do movimento préprio do observador, seré de considerar a determinago do fluxo 6ptico para todos os pontos da imagem. 2.4 Formagio de Imagens Varidveis no Tempo A captagéo de imagens de uma cena é realizada através de dispositivos electro-dpticos que obe- decem ao conhecido modelo de projeccdo geométrica de perspectiva que se ilustra na figura 2.2. Neste modelo um ponto no espago tridimensional de coordenadas P = (X,Y, Z), relativamente Plano-imagem Figura 2.2: A geometria da projecgao. ‘aum referencial-mundo associado & cena, é projectado sobre um plano-imagem num ponto de coordenadas p = (2,y), no referencial X’Y', dependentes da distancia focal f do disposi- tivo éptico utilizado medida relativamente a um terceiro referencial X-¥_Ze, a este associado, e que indica 0 centro éptico de visualizagéo. Do mesmo modo, a velocidade tridimensional desse ponto indicada pelo vector V seré projectado num vector bidimensional 3 = (u,v) no plano-imagem. Estas velocidades so relativas, na medida em que a cémara também se podePERCEPGAO VISUAL DO MOVIMENTO 16 encontrar ern movimento. Na captag&o de imagens, nas quais se pretenda ver representado o movimento numa cena hé ainda a considerar a dimensio temporal. Uma imagem representa uma projecgdo da cena num determinado instante, de modo que para se obter informacao de movimento sio necessérias varias imagens adquiridas em instantes de tempo diferentes. Para além disso, se se pretender inferir sobre 0 movimento real na cena, a partir do movimento bidimensional estimado no plano imagem, deve-se também ter conhecimento do intervalo de tempo entre cada duas imagens consecutivas. Distinguem-se, na captagio de imagens de movimento, dois modos com interesses ¢ resul- tados bastante diferentes: a captagio dita activa em que o dispositivo de captagio ou cémara se encontra em movimento e a captacdo passiva na qual a cémara permanece estética ao longo de todo 0 processo de captagéo. Imagens consecutivas resultantes de uma captagio activa apresentam alteragdes em quase todos os seus pontos consoante o movimento relativo entre a cémara e a cena captada e o proprio detalhe da cena, Numa captagao passiva, pelo contrario, a cena permanece praticamente inalterada durante toda a sequéncia de imagens, a menos dos ob- jectos que se encontrem em movimento. Resultam, destes dois modos de captagio, os seguintes cenario ‘* cémara estatica e objectos em movimento ~ neste cendrio, a cémara ou dispositive de captacdo é mantido numa posigo fixa sem estar sujeito a qualquer movimento de encontram translag&o ou rotagio durante a aquisigio de imagens duma cena na qual s um ou vésrios objectos em movimento; neste caso existe um plano de fundo que permanece inalterado de imagem para imagem, a menos das possiveis variagées de iluminagio; neste contexto o objectivo é determinar ¢ analisar 0 movimento dos objectos relativamente 20 meio estdtico em que se inserem; « cdmara em movimento e cena estética - aqui pretende-se, por exemplo, conhecer 0 movi- mento préprio de um vefculo consoante este percorre um espago envolvente ou tenta-se obter uma descrigao desse espaco, mediante a andlise das variagdes de perspectiva entre 0 é colocada uma camara sobre um veiculo observador e os objectos observados; para isso, @ admite-se que 0 espago envolvente permanece estatico juntamente com todos os ou- tros objectos que possa conter; as imagens assim obtidas néo apresentam dreas estaticas devendo ser processada toda a informaso da imagem para se obterem os resultados pre- tendidos; no entanto, se o detalhe da cena for reduzido ou a textura muito homogénea,PERCEPGAO VISUAL DO MOVIMENTO Ww haverd pouca informagio de movimen ¢ camara em movimento e cena dindmica ~ este é 0 caso mais complexo, dado que tanto a cémara como alguns objectos da cena se encontram em movimento e é necessério distin- guir entre movimento préprio ¢ movimento dos outros objectos; pretende-se aqui efectuar a navegagdo de vefculos auténomos em ambientes dindmicos e evitar possiveis colisé quer com objectos estiticos, quer com objectos méveis; nesta perspectiva, também é necessirio processar toda a informagio de fluxo dptico e é através da sua andlise cuidada que se alcangam os objectivos pretendidos. No Ambito deste trabalho dé-se particular atengdo ao primeiro cenério ~ cdmara fixa e objectos em movimento. Algumas técnicas estudadas e desenvolvidas, como a detecgio de movimento fazem efectivamente mais sentido neste cendrio, embora possam ser utilizadas com cficdcia nas outras situagées. A estimagio do movimento, por outro lado, pode ser vista como ferramenta de uso genérico aplicdvel em muitas das circunstdncias de anélise de movimento a partir de sequéncias de imagens. 2.5 Formulagao do Problema da Andlise de Movimento O problema genérico da andlise de movimento a partir de imagens pode pois ser formulado da seguinte forma: A partir de uma sequéncia de imagens captadas de uma cena dindmica, em intervalos de tempo regulares ¢ conhecidos, pretende-se determinar as velocidades instantaneas de um conjunto de pontos ou elementos da cena sabendo-se que esses pontos se encontram em movimento e, como tal, esto projectados em diferentes localizagées em cada imagem da sequéncia. Seguidamente, e com base nas estimativas dessas velocidades instantaneas inferir sobre as caracterfsticas do movimento dos objectos que os contém e/ou a estrutura tridimensional da cena. lise de movimento tem como entrada uma Deste modo, um sistema automdtico para a an: sequéncia temporal de imagens captadas em intervalos de tempo regulares. Essas imagens constituem uma amostragem temporal e espacial de uma propriedade, usualmente, o brilho ou intensidade, medida no campo de viséo que representa a cena observada. As tarefas do sistema podem-se identificar directamente com as fases da percepgio visual atrés referidas, istoPERCEPCAO VISUAL DO MOVIMENTO 18 6, a deteccdo, a medigéo ¢ a interpretago do movimento. O sistema de anélise de movimento deveré assim realizar as seguintes sub-tarefas genéricas: @ detectar variagdes temporais nas imagens, de preferéncia, distinguindo entre variagdes devidas a movimento e outras; # estimar a rapidez e direccdo dessas variagdes, admitindo que se devem a movimento na cena segmentar e agrupar a informagdo de movimento; * reconhecer a estrutura dos objectos e o seu movimento. Nao é no entanto, obrigatéria esta subdivisio para toda e qualquer aplicagdo ou tarefa a realizar. Em alguns casos 0 método utilizado para a caracterizagao do movimento realiza implicitamente uma detecg&o. Noutros bastard aplicar téenicas para a deteccio do movimento para obter uma descrigéo adequada aos resultados pretendidos [Jai81a]. Cada um dos cenérios anteriormente referidos representa um problema especifico de andlise de movimento que resulta da consideracdo de restrigées adicionais no movimento do observador, dos objectos, no meio ambiente ou nas condigdes de aquisicaio das imagens. 2.5.1 A Determinagio de Velocidades no Plano-imagem Em qualquer um dos cenérios apresentados para a captura de imagens hé um conjunto de factores dificilmente controléveis que dificultam o posterior processamento digital das imagens para a extracdo do movimento. Idealmente, a variagio temporal da intensidade duma imagem seria apenas resultado do movimento de objectos presentes nessa imagem. Na realidade porém, as variagées de perspectiva das superficies, os efeitos fotométricos, como sejam a sombra, 0 espelhamento, a variagdo da iluminac&o e também as distorgées introduzidas pela camara (mé. focagem, controlo de ganho, etc.) tém uma influéncia significativa, O sistema de andlise de imagem deverd, por isso, ser suficientemente robusto para fazer face a estas dificuldades. O problema seré tanto mais acentuado quanto menos restritivas forem as condigdes de aquisi¢éo de imagens. Em imagens captadas do exterior sera sempre de esperar fenémenos como variagées de iluminagdo, sombras e espelhamentos, enquanto que em imagens sintéticas ou adquiridas no interior de laboratérios esses fenémenos sio mais féceis de evitar ou controlar. Um outro problema relativo & estimagao de velocidade no plano da imagem deve-se & natureza local do processamento da informagio visual. A rapidez da variagio de intensidadePERCEPGAO VISUAL DO MOVIMENTO 19 num ponto da imagem é estimada recorrendo & informagéo numa vizinhanga espaco-ternporal desse ponto, de tal modo que se numa dada direcgSo, nessa vizinhanga, a intensidade ou brilho for homogéneo, seré impossivel determinar quaisquer variagdes temporais segundo essa direcgfio, no se podendo concluir quanto & presenga ou auséncia de movimento na regio correspondente da cena, Esta dificuldade é conhecida como o problema da “abertura” que no é mais do que a incapacidade de medir ou estimar 0 movimento em regides ou segundo direcgGes que ndo apresentem caracteristicas distingutveis. Tal é 0 caso de superficie planas sem textura ou de segmentos de recta cujas extremidades se situam fora dos limites do campo de vislio. Neste tipo de elementos s6 se consegue determinar a componente normal da velocidade, independentemente da técnica utilizada. 2.5.2 O Movimento e a Estrutura Tridimensionais Um problema comum aos varios cenérios atrés referidos é a determinagio da estrutura e do movimento tridimensionais de objectos, que se faz a partir das consideragdes geométricas do modelo de projecgio apresentado na figura 2.2. Assim, dada uma distancia focal f fixa do dispositivo electro-6ptico de captagio de imagens, temos que as coordenadas do ponto de projeccio no referencial do plano-imagem podem ser obtidas de: ra fXx/Z (21) y= F¥/% Se o ponto P se mover no espago tridimensional com velocidade instantanea dada por T [¢ Ea ¢| ~(L+9x P), em que T = (Te, Ty Ts) € 2 = (M2,M%, 22) 8 ValG & & componentes de translagio e rotagdo do movimento relativo entre objecto e cfmara, respecti- vamente, a projecgio dessa velocidade no plano-imagem seré obtida de: a & 1{f 0-7]. wos] a faz Vv @ of -y que, ao considerar as componentes de translagio e rotagao de V e exprimindo o produto externo dos dois vectores 2 e P por: Qe 2% 2 - OF o 1 -¥ Q% axP=|o,|x| 2 ]=| 2.2%-22 0 |} OQ. z Dott — 0427 ¥ -3 0 Q.PERCEPGAO VISUAL DO MOVIMENTO 20 resulta, por substituigo, em: - 4 1 f 0 f 0 -fy f+ Verifica-se, portanto, que a velocidade no plano-imagem depende de trés factores: dos = (uv) a (22) vectores de translagio T'e rotacdo 1 do movimento relativo entre os objectos e a cimara, cada um com trés componentes, e da profundidade Z, que define a estrutura da cena. A expresso 2.2 define para cada ponto p = (2, y) duas equagées lineares, de modo que é possivel resolver 0 problema inverso, isto é, determinar os factores T, e Z, para um dado objecto, se se conseguir estimar a velocidade no plano-imagem de cinco ou mais pontos sobre esse objecto [Sin91]. No entanto, dado que o vector de translagio e o inverso da profundidade aparecem na expresso multiplicados um pelo outro, a sua determinagdo é feita a menos de um factor de escala. Consegue-se, deste modo, obter apenas a direc¢io da translagio, uma profundidade relativa e ste facto esté relacionado com a incapacidade de distinguir entre os pardmetros da rotagio. um objecto que se move rapidamente, longe do observador ou lentamente mas préximo do observador. Se algum dos factores for previamente conhecido, por exemplo, pela imposigio de restrigdes ao movimento relativo entre os objectos ea cimara e mediante a sua calibragdo, seré posstvel, em principio, determinar os outros factores univocamente. Esta tarefa insere-se, por isso, na fase de interpretagdo da informagio visual dada a necessidade de conhecimento prévio sobre a cena observada. 2.6 Conclusdes ibilizar o leitor Apresentou-se, neste capitulo, 0 tema da percepgio visual com 0 intuito de se para o problema da anélise de movimento a partir de imagens. Consideraram-se as diferentes fases da visio, a saber: de alerta, atentiva e cognitiva, que reflectem de algum modo o estado actual do conhecimento nesta drea, bem como os mecanismos que, de acordo com alguns autores {J.J79, $.U79, existem no sistema de visio humano. Identificaram-se algumas das limitagdes nesses mecanismos, nomeadamente no que se refere A estimagdo do movimento a partir de imagens, que registam apenas o brilho ou luminosidade em cada ponto da cena observada. Constata-se, que o fluxo éptico, obtido num dos processos da visio, que constitui uma dis- tribuiggo de velocidades de movimento aparente resultante de variacdes temporais nas imagens, pode no estar directamente relacionado com movimento real. Verifica-se, no entanto, que em determinadas circunstincias, 0 fluxo éptico é uma boa aproximagio da projecgio, no plano daPERCEPGAO VISUAL DO MOVIMENTO 21 imagem, do campo de velocidades reais, em particular nos contornos de superficies e fronteiras entre objectos. Quanto & correspondéncia de elementos entre imagens consecutivas, classificado como um proceso de longo alcance temporal, verifica-se que a quantidade de informagao de movimento é mais esparsa consoante se pretende uma melhor distingZo entre elementos para a redugdo de ambiguidades. Também neste caso se verifica que os elementos com mais ¢ melhor informagao de movimento so os que surjem nas imagens como variagdes acentuadas de intensidade, devidas normalmente a contornos e fronteiras entre objectos. Conclui-se, por isso, que para a determinagéo correcta do movimento a partir de imagens & conveniente adoptar métodos que se baseiem na estimativa de velocidades em regides com gradientes de intensidade elevados, como, por exemplo, os contornos de objectos ou as orlas de intensidade em geral. [As condigées de aquisigéio de imagens, nomeadamente, os modos de captagdo activa ou passiva, as caracteristicas da iluminagio, 0s efeitos fotométricos, etc. influenciam em larga medida 0 tipo de métodos a utilizar nas fases de processamento e os resultados da anélise de movimento. O problema da anélise de movimento a partir de imagens foi apresentado tendo em consideragao esses diferentes modos de captagao e os diferentes cendrios daf resultantes. Conforme demonstrado anteriormente, conclui-se que s6 é possivel determinar, de forma univoca, o movimento ¢ estrutura tridimensionais a partir de imagens de intensidade monoct lares se forem impostas restrigdes adicionais ao problema. Doutro modo, a profundidade e a translacio sfo obtidos a menos de um factor de escala. Se a cémara permanecer estatica ao longo da captacdo da sequéncia de imagens pode-se determinar a estrutura ou profundidade a partir de um proceso de calibragio ¢ nesse caso, quer 0 movimento de translagao, quer 0 de rotacdo serdo determindveis a partir da estimagio de velocidades no plano da imagem. Neste trabalho dé-se particular atengdo & anélise do movimento de objectos em cenas estaticas, dado ser esse um dos objectivos principais. No capitulo subsequente apresenta-se um estudo da deteceao de variagées acentuadas de intensidade em imagens com vista & sua utilizagiio como elementos caracteristicos para a estimagio do movimento. Os métodos para realizar as tarefas de detecgio, medicao e interpretagio num sistema automitico de andlise de movimento séo apresentados e delineados no capitulo 4.Capitulo 3 Deteccao de Orlas de IntensidadeDETECGAO DE ORLAS DE INTENSIDADE 23 3.1 Introdugao Uma imagem 6 constituida por variagées de intensidade que so causadas por varios fenémenos fisicos distintos. Diferengas na iluminagéo - como, por exemplo, fontes de luz localizadas, sombras ¢ espelhamentos -, diferengas na orientagéo e distdncia de superficies de objectos relativamente ao observador, variagé mais ou menos graduais da reflexéo de superficies sio alguns desses fenémenos. ‘Numa imagem duma cena real encontram-se, normalmente, um misto de regides nas quais a intensidade varia suavemente e de regides que apresentam variagdes bruscas, dando origem a uma vasta gama de possiveis transigées de intensidade, quer seja na sua extensio, amplitude on forma. Essas transig6es caracterizam-se por perfis espaciais. Na figura 3.1 apresenta-se um exemplo de variagéo de intensidade numa imagens em tons de cinzento, bem como os perfis tipicos que as caracterizam. {ifr {lh a) FS (c) Figura 3.1: a) Imagem em tons de cinzento; b) Perfil de variagéo numa linha da imagem; ¢) Perfis modelo de variagGes de Intensidade. ‘As orlas de intensidade surgem nas fronteiras entre objectos, nos contornos das suas som- bras ¢ nas descontinuidades em superficies, constituindo, por isso, uma das mais importantes caracteristicas que permite dar um primeiro paso no sentido de interpretar ¢ compreender uma imagem duma cena real. A deteccio de orlas tem a propriedade de reduzir drasticamente a quantidade de informagio visual a processar, preservando, no entanto, toda a informagio de cstrutura dos objectos e da cena. A imagem resultante, consistindo apenas de orlas, é bastante inteligivel, uma vez que se assemelha a um esbogo ou desenho geométrico dos objectos presentes na cena.DETECGAO DE ORLAS DE INTENSIDADE 24 Uma aplicagao tfpica da detecgo de orlas de intensidade consiste na segmentacio de uma imagem em objectos distintos, com vista & sua posterior identificagio. Na anélise de movimento em sequéncias de imagens, as orlas constituem a fonte de in- formagao mais precisa, enquanto que as regides homogéneas tém pouca ou nenhuma informagéo de movimento e as regides da imagem com textura facilmente induzem erros de estimagio. A detecgo de orlas de intensidade é pois das operagdes mais elementares ¢ fundamentais na percepgao visual. As técnicas e métodos de deteccao tém sido estudados num contexto psico-fisiolégico e desenvolvidos na perspectiva do processamento digital de imagens. Exis- tem basicamente trés categorias diferentes para esta operagiio: métodos estocdsticos, ajuste de superficies e filtragem. Neste texto apresentam-se apenas métodos pertencentes & iltima cate- goria ~a filtragem. Esta escolha deve-se ao facto de serem métodos de realizagéio mais simples ¢ que podem facilmente ser implementados por algoritmos répidos, quer em software, quer em hardware. Remete-se 0 leitor interessado nos outros métodos para os trabalhos de Huang e ‘Tseng [HT88] - método estocdstico -, de Haralick (Har84] ¢ de Nalwa e Binford [NB86]~ ajuste de superficies. - No sub-capitulo que se segue abordam-se as operagGes de diferenciagao e as suas expressdes, vantagens e inconvenientes como método de detecgio de orlas de intensidade em imagens. Apresentam-se no sub-capitulo 3.3 os filtros de detecgo mais significativos propostos por varios autores, desenvolvem-se critérios comuns de desempenho e efectua-se uma anélise comparativa em termos de desempenho teérico, complexidade, questées de realizagéo pratica e resultados obtidos. Para além das operagies bisicas de filtragem referem-se também, no sub-capitulo 3.4, algumas operagdes fundamentais, que devem ser realizadas apés a filtragem, para uma correcta detecso das orlas de intensidade em imagens. 3.2 Diferenciacg&o e Operadores Afins Uma imagem pode ser modelada por uma fungéo a duas dimensdes definida num dominio normalmente limitado que representa o campo de visio, Esta abordagem é bastante comum no contexto do processamento digital de imagens permitindo descrever as operagées sobre imagens de forma objectiva pelo recurso & formulagio matematica, como é 0 caso da detecgéo de orlas. Nesta perspectiva, as orlas de intensidade correspondem a variagdes acentuadas da fungdo-imagem e a sua deteccio requer a aplicagéo duma operacio adequada. A diferenciagao é a operagiio matematica que permite determinar e caracterizar as variagGesDETECGAO DE ORLAS DE INTENSIDADE 25 de uma fungio. Os pontos em que essa variagio é acentuada e que, portanto, possam constituir uma orla, podem entéo ser obtides por determinacdo dos méximos de amplitude da primeira derivada ou das passagens por zero da segunda derivada da fungéo em andlise. Os operadores de diferenciag&o, que se apresentam de seguida, constituem uma primeira abordagem para 0 problema da detecedo de orlas de intensidade em imagens. 3.2.1. Gradiente de uma Imagem Considerando uma imagem como uma funcéo bidimensional I(z,y), a primeira derivada cor- responde ao gradiente dado por: ate) 4, 4 ew 4 VI(ay) = Ge tet HM ty (3.1) em que fz € dy so 0s versores associados ao referencial XY da fungio-imagem. Os pontos nos quais a amplitude de V/(z, y) seja superior a um nivel arbitrado e se verifique um maximo local so considerados elementos de orla ¢ marcados na imagem como tal. O gradiente permite também determinar a amplitude e a orientagéo de cada elemento de orla pelo céleulo de, respectivamente: Wiewl= Yew) + (Gen) (2) Z(VI(z,y)) = arctan (#23) (3.3) em que I,(z,y) ¢ I,(2,y) so as primeiras derivadas da fungao em ordem a z € y, respectiva- mente. A orientagdo de cada elemento 3.3 6 uma caracteristica importante uma vez que pode ser usada para relacionar pontos pertencentes a uma mesma orla fisica. No dominio discreto, 0 gradiente é estimado por equagies as diferengas que, a duas di- mensdes, constituem méscaras discretas de convolugio. As aproximagies mais vulgarmente utilizadas so as mascaras de Sobel, Roberts e Prewitt que se representam na figura 3.2. Nos operadores de Sobel e Prewitt as miscaras hz equivalem derivada segundo x ¢ as méscaras thy equivalem & derivada segundo y, tendo, por isso, um cardcter direccional. O operador de Roberts é também composto por méscaras direccionais mas orientadas segundo as diagonais principais dy ¢ dz A operacio de diferenciagdo de uma imagem, no dominio discreto, consiste entdo na con- volugdo dessa imagem com o filtro cuja resposta impulsional é dada por ha(x,y) em que o versorDETECCAO DE ORLAS DE INTENSIDADE 26 o}L 1) 2]. = 1/0}1 ljijil 0 1] 1) 0 2{o[2] [o[o]o -ajoji] [ololo 1 o| 0] -1 of1| jal2[a ; ; afofi} [afala i a at haa i ; Sobel Roberts Prewitt Figura 3.2: Mascaras de Convolugiio do Gradiente. ft indica a direcgdo de maior variagio de intensidade em cada drea da imagem ~ 0 gradiente ~ que, por definiggo, corresponde & direcgao normal as linhas de nivel de intensidade. A deteccio de orlas, com uma orientacdo inicialmente desconhecida, é realizada através da combinagio dos resultados da convolugao da imagem original com pelo menos duas méscaras com respostas direccionais perpendiculares, dado que a derivada segundo uma direcgio ar- bitréria num espago bidimensional pode ser expressa, por exemplo, em termos das derivadas parciais segundo os eixos coordenados. No caso de imagens sem rufdo basta usar essas duas direcges perpendiculares, todavia, numa imagem com ruido, a considerac&o de um maior ntimero de direcgSes permite melhorar a relagio Sinal-Rufdo do resultado da convolugéo [TP86}. Na utilizagio destes operadores surgem, no entanto, algumas dificuldades. A selecgdo do nivel de amplitude a partir do qual se marcam as orlas pode dar origem 0 aparecimento de tragos largos em vez de orlas bem demarcadas e estreitas; nesse caso é necessdria uma operagéio de adelgagamento aplicada & imagem resultante da convolugao. Esta operagdo consiste em eliminar todos os pontos que nao sejam méximos locais, de preferéncia segundo a direcgo da orla a que possam pertencer. Outro efeito indesejavel que surge na aplicagdo dos operadores de gradiente é a descon- tinuidade dos contornos detectados, inerente ao cardcter direccional das mascaras de convolugéo anteriormente mencionado. As orlas que apresentam uma amplitude elevada segundo uma di- recgdo terdo certamente variagées fracas na direcedo perpendicular e, como tal, um contorno curvilineo poderd ser detectado como varias pequenas linhas descontinuas. Para evitar essas quebras podem-se utilizar métodos de limiarizag&o espectficos, como por exemplo, limiarizagéo a dois niveis com histerese ou com base em histogramas locais (ver sub-capitulo 3.4).DETECGAO DE ORLAS DE INTENSIDADE 27 3.2.2 Laplaciano de uma Imagem Outra alternativa para a detecc&o de orlas consiste em determinar as passagens por zero da segunda derivada da fung&o-imagem, mas apenas segundo a direcgdo de variagiio méxima em cada ponto. Embora numa primeira andlise seja uma operagdo idéntica & anterior, apresenta a vantagem de se poder usar um operador independente da orientagéo ~ 0 Laplaciano -, cuja expresso num espaco bidimensional tem a forma: P(x) _, P(e.) aa? ay? ‘Também neste caso podemos passar a0 dominio discreto e aproximar o Laplaciano por V7I(2,y) = V(VI(2,9)) = equagées as diferencas, mas agora de segunda ordem, obtendo-se mdscaras de convolugo idén- ticas as que se ilustram na figura 3.3. Estas méscaras resultam também de se considerarem aproximagées diferentes, contudo, ao contrério das anteriores, tém um carécter no-direccional. ofa fo} jajaja} ja} 2]a 1f-4]a} [a}-s]r] [2 }-4] 2 of1fo} fafafa] fr] 242 Ina his hog ; Mascaras de Convolugao do Laplaciano. Figura 3 © Laplaciano duma imagem obtem-se por uma tinica convolugéo I(z,y) h(z,y), sendo A(e,y) dado por uma das méscaras da figura 3.3, da qual resultam as orlas presentes na imagem qualquer que seja a sua orientago. A mascara hy, na figura, no entanto, néo é sensivel as variagdes nas diagonais. Contrariamente aos méximos do gradiente, as linhas de passagem por zero tendem a ser continuas, fechadas e estreitas pois correspondem as denominadas linhas de nivel de intensidade (neste caso nfvel zero). Assim, so desnecessérias as operagées de adelgagamento e as condigdes para garantir a continuidade dos contornos. Todavia, ha uma condigdo que se deve verificar — as variages de intensidade na imagem devem ser lineares na sua direcgio longitudinal para que 0 Laplaciano apresente resultados correctos [MH80, TP86}, no que se refere & localizagao das orlas detectadas. Se tal no acontecer (por exemplo, nos cantos), as linhas de passagem por zero aparecem ligeitamente deslocadas junto das variagSes irregulares. Hé também uma grande quantidade de pontos a serem falsamente marcados como orlas dado nio ser imposta qualquer condico de amplitude minima aceitdvel, como no caso do gradiente,DETECGAO DE ORLAS DE INTENSIDADE 28 ou de declive minimo, que, neste caso, seria o mais adequado. Este factor é ainda mais agravado nas regides em que a varidncia local da imagem é reduzida, pois qualquer pequena variagao de intensidade na imagem produz passagens por zero do seu Laplaciano. Uma operacao vitil para reduzir este efeito 6, precisamente, impér um limite minimo de variancia local para que um ponto possa ser marcado como elemento duma orla numa dada regio [Lim90]. @ >) 3) : Resultados da deteccio de orlas com b) 0 operador de Gradiente de Sobel ¢ ¢) 0 operador de Laplaciano (his). |A maior desvantagem das operagdes de diferenciagio é a sua grande sensibilidade ao rufdo presente na imagem, que esta bem patente, quer no Laplaciano, quer no Gradiente, conforme se jlustra nas imagens da figura 3.4. 15, por isso, comum fazer uma filtragem prévia para remogio de ruldo que, no entanto, tem também efeitos adversos sobre a propria localizagio das orlas (ver, por exemplo, [BHJ87]) Gradiente Taplaciano Direccionalidade dos Operadores sim nao Numero Minimo de Convolugées 2 1 Tinearidade das Variagées na Imagem favordvel necessaria Continuidade dos Contornos Detectados fraca, boa Bspessura dos Contornos Detectados varidvel xa Deteccao de Orlas Falsas io sim Operagies Auxiliares ‘Adelgagamento | Validagio das Limiarizagéo orlas Quadro 3.1: Caracteristicas da Diferenciagio de Imagens. No quadro 3.1 sumarizam-se as caracteristioas das operagdes de diferenciagio duma imagem. edemonstram ‘Torre e Poggio analisam exaustivamente o problema da diferenciaglo numéri analiticamente estas caracteristicas, bem como a aplicagéo de alguns filtros para remogao deDETECQAO DE ORLAS DE INTENSIDADE 29 ruido, em [TP86] 3.3. Filtros para Detecgao de Orlas de Intensidade Experiéncias psico-fisiolégicas levadas a cabo por varios investigadores durante as iiltimas ‘do [MH80]. décadas revelaram alguns dos aspectos quantitativos dos processos biolégicos de vi E com base nessa informagao e no conhecimento da fase inicial da percepso visual humana que assenta uma das teorias para detecgdo de orlas de intensidade em imagens. ‘Segundo Marr [Mar82], a fase inicial da percepeo visual humana tem por objectivo elaborar uma representago simples, mas completa, das imagens e fé-lo & custa de uma decomposigao espectral em miultiplos canais de frequéncia espacial que respondem selectivamente as variagdes de intensidade presentes nas imagens. Esses canais apresentam como resultado-um conjunto de elementos simples - segmentos, manchas, etc.-, em diversas escalas espaciais, que correspondem aorlas de intensidade. Esses elementos sdo posteriormente seleccionados e agrupados, de acordo com relagdes geométricas, para formar objectos mais complexos. Esta foi a ideia bdsica no trabalho de Marr e Hildreth: detectar as orlas de intensidade na imagem em vérias escalas, através de filtros sintonizados para cada uma, ¢ agrupar os elementos resultantes ao longo dessas diferentes escalas. No que respeita & detecg&o de orlas, fazem-se, naquele trabalho, duas observagées importantes: uma, é que as variagdes de intensidade em imagens existem numa vasta gama de escalas espaciais e outra, & que essas variagdes tém uma extenso limitada, Deste modo, cada filtro deve ter um espectro de frequéncias de banda limitada, para detectar eficazmente as orlas numa dada escala, ¢ a sua resposta deve ser localizada no dominio espacial. A vasta gama de escalas de variagao, aliada ao ruido inerente aos processos autométicos de aquisigao e digitalizagdo de imagens, dificulta a detecgio de orlas por meios computacionais, na medida em que ndo é posstvel projectar um filtro tinico éptimo para todas as escalas e que sirva também em todos os casos ~ 0 que numa aplicago constitui uma variagéo acentuada de intensidade e pode ser elassificado como orla noutra aplicagao pode jé noo ser. No entanto, na maioria dos casos préticos, hd apenas uma gama limitada de variagées de interesse, bastando entéo um tnico filtro adaptado para detectar as orlas correspondentes, sem necessidade de recorrer A multiplicidade e aos agrupamentos acima referidos. O projecto do filtro dptimo para cada escala de variacdes 6 vulgarmente encarado de dois modos diferentes que, no entanto, so equivalentes. Num desses modos (seguido por Marr e Hildreth), considera-se a aplicagdo de um filtro de suavizagio h(z), para reduzir a gama deDETECOQAO DE ORLAS DE INTENSIDADE 30 escalas das variagdes e 0 rufdo na imagem I(c), sendo a detecco de orlas realizada depois pela procura dos extremos em D[J(z) * h(z)] ou das passagens por zero em D?[J(c) « h(z)] em que D e D? representam operadores diferenciais de primeira e segunda ordem, respectivamente. O outro modo (seguido por Canny [Can86}) consiste em determinar a expressio do filtro éptimo a cada escala de variagdes com base na resposta que se pretende. E é aqui que surge a pa equivaléncia destes dois modos. Em primeiro lugar, porque a resposta do filtro de detecsao 6ptimo a uma orla deverd ser um extremo ou uma passagem por zero e, em segundo Ingar, porque pelas propriedades da convolugio temos que: D[I (2) *h(x)] = I(x) * D{h(z)} ; D?[Z(x) « h(z)] = I(x) * D*[h(x)] ou seja, as primeira e segunda derivadas do filtro de suavizacao constituem filtros de detecgao cuja resposta a uma orla é, respectivamente, um méximo ou uma passagem por zero. Ai sane i @ @ 2x Figura 3.5: a) Orla em degran; b) Detecgio de maximos de amplitude; c) Detecgao de zeros; a), e), ) idem com ruido Gaussiano. A detecgio de orlas de intensidade pode assim ser realizada pela procura dos maximos de amplitude na resposta a um filtro com as caracteristicas de uma derivacdo de primeira ordem ou pela procura das passagens por zero na resposta de um filtro que apresente caracterfsticas de uma derivagio de segunda ordem (ver figura 3.5). 3.3.1 Critérios de Desempenho ‘A detecgio de orlas em sinais é um problema comum a muitas aplicagdes, sendo, por isso, de todo o interesse dispér de eritérios de desempenho genéricos para os detectores de orlas queDETECGAO DE ORLAS DE INTENSIDADE 31 sejam independentes das suas possiveis aplicagdes. Esses critérios sfo: a baixa probabilidade de erro, isto é, devem ser detectadas correctamente todas e apenas as orlas existentes no sinal ea sua localizagao deve ser tao precisa quanto possivel. Estes critérios foram inicialmente referidos, na perspectiva do processamento digital de imagens, por Marr e Hildreth [MH80], a sua formulagdo matemitica foi desenvolvida por Canny [Can86} ¢ formam a base de varios trabalhos e desenvolvimentos na detecgio de orlas em imagens (ver por exemplo [Der87], [SB91}, [SC92]). Um filtro, caracterizado pela sua resposta impulsional, constitui um bom detector de orlas se, através da convolugdo com o sinal original, se conseguir: 1. detecgao eficaz ~ com baixa probabilidade de nfo assinalar orlas existentes ¢ de assinalar orlas nfo existentes; dado que estas probabilidades decrescem monotonicamente com 0 aumento da relagdo Sinal-Ruido, um critério adequado consiste na maximizagao dessa relagéo; 2. localizagéio precisa ~ as orlas devem ser assinaladas com precisiio espacial, 0 mais préximo possivel do centro da orla real, e para isso, deve-se minimizar uma medida que represente essa distancia; 3. unicidade de resposta — deve existir uma relagdo unfvoca entre orlas reais e orlas assinaladas ou, por outras palavras, uma orla real deve ser assinalada uma tinica vez. se essencialmente nos A formulacio destes critérios, que se apresenta de seguida, baseia trabalhos de Canny [Can86], Sarkar e Boyer [SB91] e Shen ¢ Castan [S092]. Todavia, foi necessério adaptar e seleccionar os critérios mais adequados, visto que as definigdes encontradas nem sempre sio coincidentes e também por se pretender utilizar estes critérios para comparar os varios tipos de filtros propostos. A semelhanga do que é feito nas varias referéncias bibliogréficas, apresenta-se aqui a for- mulagdo para o caso de sinais unidimensionais. Esta abordagem é semelhante, por exemplo, a admitir que as variagdes de intensidade da imagem s6 existem, ou pelo menos s6 s&o conside- radas, numa tinica direcsSo, conhecida ou arbitrada.DETECGAO DE ORLAS DE INTENSIDADE 32 Relago Sinal/Rufdo Se representarmos por I(x) o sinal com uma orla zo e por f(z) a resposta impulsional de um filtro de detecgio, temos que o resultado da convolugio para 2 = 29 é dado por: 7 12) ewse = f , Meo- 2): H(2) de (34) sendo 2 a extenso da resposta impulsional do filtro. Sem perda de generalidade poder-se-ia considerar que a orla se situa na origem (zo = 0). Sob o pressuposto de ruido aditivo Gaussiano, o sinal I() € modelado por: I(z) = Iz) + N(@) (35) em que I,(2) representa o sinal sem qualquer ruido e N(z) representa rufdo branco (com distribuigéo Gaussiana) de média nula e variancia constante: E{N(2)} =0; E{N?(z)} = 03. A energia do ruido a safda do filtro serd entdo dada por: w en = E(IN(@) + f@)?}=08 f | $e) de (6) ea relaco Sinal-Ruido, no ponto zo onde a orla é detectada, é obtida pelo quociente de amplitudes das respostas ao sinal e ao ruido: |i 10-2) - (2) dz| ony Sw f(z) de Um sinal de particular importéncia, por ser de tratamento analitico mais simples e aparecer SNR= (3.7) com bastante frequéncia em imagens, é a variagao em degrau, que se encontra representado na figura 3.5a. Um degrau de amplitude A situado na origem (x = 0) ¢ expresso por: I(x) = A-u_1(2) em que u_;(2) representa o degrau unitdrio, Neste caso, a relago Sinal-Ruido assume a forma: (38) donde se pode constatar que o factor 33 depende apenas de f(x), constituindo portanto um indice de desempenho adequado para a comparagiio de filtros diferentes. Precisio na Localizagao A localizagio de uma orla detectada seré tanto mais precisa quanto menor for a sua distancia média quadrética ao centro da orla real. Uma vez que a resposta da convolucdo com o filtro,DETECCAO DE ORLAS DE INTENSIDADE 33 dada pela expresso 3.4, pode apresentar duas naturezas diferentes, consoante se trate de um filtro para detecgdo de méximos ou de um filtro para detecgdo de passagens por zero, a formulagio deste critério deve ser claborada para ambas as situagdes. Assim, um ponto rq seré indicado como localizagéo possfvel de uma orla real 1. um filtro fy(z) é diferenciador de 1ordem e, portanto, no ponto xg verifica-se: [s(2) * fi@)eneg + IN(@) * fi@)]anzy = Maximo (3.9) 2. um filtro fa(z) é diferenciador de 2*ordem e, portanto, no ponto rg verifica-se: Usa) * fo(@)Jeway + (Ne) * fal@leney = 0 (3.10) Se considerarmos o filtro de suavizagio correspondente, com resposta impulsional f(z), tal que fi(z) = h(x) e falz) = h"(2), sendo h’ (2) e A" (2) as primeira e segunda derivadas de (2) respectivamente, as condigées anteriores equivalem a apenas uma, que se traduz por: Ss [6(z) « h(z) + N(e) *h(2)goe, = 0 (3.1) e representa a passagem por zero da segunda derivada da convolugio da imagem com o filtro de suavizagdo no ponto zg. Pela propriedade da convolugio, anteriormente referida, e fazendo K,(2) = Io(2) * h"(@) @ Kn(t) = N(z) * hl"(2) a expresso anterior assume a forma: K;(za) + Kn(za) = 0 (3.12) Por expanséo de K,(z4), com zg = 79 + 6z, em série de Taylor em torno do ponto 20, assumido como localizacao correcta da orla real, temos: K,(20 + 62) K(20) + Kg(20) - 62 + O28) (3.13) em que O (22) representa os termos de derivagio de ordem igual ou superior a 2. Dado que se pressupés K,(z0) = 0 e que 0 ponto de detecgao difere da localizagdo da orla real: rg = xo + 52, temos entdo K,(za) © K,(z0) « 6 que por substituigéo em 3.12 resulta: Kates) ba = Teo) (3.14) ‘Vemos assim que o erro na localizag&o depende do declive K;(z9) na passagem por zero da segunda derivada da imagem suavizada.DETECGAO DE ORLAS DE INTENSIDADE 34 A distancia média quadritica é enti dada pelo valor esperado de 6, visto que Kn (xa) é uma varidvel aleatéria que resulta da filtragem do rufdo, e substituindo I, pela sua expressiio: K,(20) = {iy I'(co — 2) -h" (x) dz temos finalmente: E[(Ka(ea))?] Sy h'2(@) de (3.15) 1 El =~ Greeny? [Ret eo—2)-n'G@) aa]? Esta dltima expresso corresponde A varidncia da localizagio da orla, pelo que a precisio na localizagao pode ser obtida como a raiz quadrada do seu inverso, ou seja: [Piet @o-2)-h"(z) da| ony fy h'?(2) de Se tomarmos para sinal J(z) um degrau de amplitude A na origem, como anteriormente, (3.16) teremos que (zo) = A-h' (0) e, neste caso, podemos simplificar 3.16 para: pale = AA (3.17) ony fy h"%(x) dx jo da localizag&o pode exprimir-se em fungdo dos filtros de deteccio substituindo A preci h’ (2) pela expresso do filtro de detecodo correspondente, ou seja, f,(x) para o primeiro caso e fo(z) para o segundo caso. Pode-se ento constatar que o factor A depende apenas da expresso do filtro, constituindo, por isso, um outro indice de desempenho adequado para a comparacao de filtros diferentes. Unicidade de Resposta Nos critérios anteriores considera-se apenas a resposta do filtro no ponto em que se situa a orla. © comportamento do filtro na vizinhanga da orla nio é tido em considerago e, como tal, néo é analisada a influéncia que as respostas af presentes possam ter no desempenho do filtro. Assim, deve-se procurar limitar 0 mimero de méximos ou passagens por zero na resposta, de modo a garantir que cada orla real é assinalada uma tnica ver, principalmente na presenga de rufdo. Para este efeito, Canny adoptou uma medida de distdncia média entre maximos adjacentes, que se obtem com base na distdncia entre passagens por zero na resposta de uma fungéo a rufdo Gaussiano (ver [Can86]), e exprimiu este critério, para um filtro de detecgéo por maximos de amplitude, por: oye 1p iri) =kw (3.18) outed (roeDETECGAO DE ORLAS DE INTENSIDADE 35 de tal modo que o valor de k, devendo ser 0 mais elevado possivel, fixa 0 mimero de méximos devidos a ruido, admitido em toda a extensio espacial do filtro, que pode conduzir a uma resposta errada, Hi, no entanto, a ter em conta que este critério foi definido para um filtro com extensio espacial 2W finita e, portanto, nfo pode ser aplicado a filtros cuja resposta impulsional seja infinita, Em tal caso, deve-se considera uma definigio diferente. Sarkar e Boyer [SB91] sugerem que a extensio espacial efectiva do filtro deve ser definida como o desvio padrdo de f?(zr) em torno da origem, sendo este valor dado por: oo 42 f 1p We (Gz) (3.19) definigdo andloga & largura-de-banda eficaz de um filtro no dominio das frequéncias. Este critério fica assim definido tanto para filtros com resposta impulsional finita como infinita e exprime-se formalmente por: = (EES =e ( 2, f2(z) dr )" Jo F"%(2) de. J 2? F(z) dz que, como os anteriores, depende apenas da expresso do filtro em causa. Hé ainda a considerar (3.20) olf (2)}, © que garante a desejada que é invaridvel com a escala espacial, isto 6, tpp{f(x/a)] = dependéncia exclusiva na forma do filtro. Esta condigio verifica-se também para o produto BA. No que se refere & possibilidade de interferéncias entre orlas prdximas, admite-se que a extensio espacial, definida por 3.19, de um filtro adequado para uma dada escala de variages, garante que a maior parte da energia da resposta a cada orla se concentra numa faixa espacial estreita, de tal modo que as possiveis interferéncias néo so significativas. No entanto, para uma anélise mais rigorosa, que nfo ser aqui contemplada, deve-se efectuar um estudo de densidade espectral com um modelo de orlas miiltiplas, semelhante, por exemplo, a que é realizada por Shen e Castan em [SC92]. Apresentam-se, em resumo, no quadro 3.2 as expresses dos critérios de desempenho para o caso de filtros de detecco por maximos de orlas do tipo degrau. Low Se) ae| / Vf, Fedde Precisio na localizagéo: | A= |/(0)| / \/f"y f(z) dz Quadro 3.2: Critérios de Desempenho para filtros de detecco de orlas do tipo degrau. Relagio sinal / ruido: =DETECCAO DE ORLAS DE INTENSIDADE 36 3.3.2 Filtros Propostos Conforme jé referido anteriormente, um filtro adequado para a deteccdo de orlas, deve apre- sentar uma resposta espacial localizada com um desvio padrio Ax mfnimo e com uma banda de frequéncias limitada com um desvio padrio Aw também minimo. No entanto, estes dois requisites so conflituosos, na medida em que se encontram relacionados pelo principio da in- certeza (ver, por exemplo [MH80}), que postula que o produto daquelas duas quantidades, em 1 fendémenos fisicos, é constante e dado por: Ar - Aw > 4, observagio esta feita por varios autores [MH80, Can86, HB86a}. farr e Hildreth [MH80] definem, por isso, de uma forma empitica, 0 filtro de suavizagéo 6ptimo como sendo 0 Gaussiano; fungi que optimiza aquela relacdo ¢ cuja expressio é dada por: (3.21) sendo o filtro de detecodo obtido pela derivagio de primeira ordem - para um detector por méximos ~ ¢ de segunda ordem ~ para um detector por passagens-por-zero. Propdem assim, que a detecgéo de orlas numa imagem, em cada escala de variagdes, seja realizada pela operacéo: V*[I(z,y) * ha(e, y)] ou, equivalentemente [I(z,y) * V?he(z,y)] em que: 1_(2ty_,) -88) 2; = . ~2).e 22) Viole») = age ( HH -2)-<0 (8.22) expressio do conhecido Laplaciano do Gaussiano. 2. Canny [Can86] segue uma abordagem diferente e, apés estabelecer os critérios de de- sempenho para os filtros de detecgdo de orlas de resposta impulsional finita, maximiza 0 produto 3A para um detector por méximos (ver expresses 3.8 e 3.17), que se exprime | Pow £@) dx| Ir! DeA= > (3.23) Vie P@) de Py £(2) dz at ¢, recorrendo ao céleulo de variagdes, obtem, como solugéo geral no intervalo [-1V, 0], por: expresso: fol) = ay-e? sin (w+ 2)-+a-€* c0s (w+ 2)-+a3-e7** sin (w +2) Hage" cos (w+ 2)-e (3.24)DETECCAO DE ORLAS DE INTENSIDADE 37 para um filtro éptimo de detecgfo de orlas em degrau. As constantes a, a2, a3 ¢ a4 podem-se obter a partir das seguintes condig6es fronteira: Jo(0) =0 A fo(-W) = fo(W) =0 A fol0) =s A fo(-W) = fol) de modo que, este filtro fica definido pelos pardimetros a, w e B = s/e cujos valores devem maximizar o critério de resposta tinica. A forma do filtro depende da distancia minima entre respostas adjacentes o que dé origem, nfo apenas a uma funcdo, mas a uma classe de fungdes com diferentes valores de relagio sinal-ruido e precisfio na localizagio. 3. Deriche [Der87] propde a modificagao das condiges fronteira anteriores para as de um filtro de resposta impulsional infinita, nomeadamente, fazendo W —+ co, 0 que conduz & fp(2) = -c-e7@Flsin (w+ 2) (3.25) Neste caso, o filtro fica totalmente definido por apenas dois pardmetros a ¢ w, sendo o valor de ¢ determinado pela condigo de ganho que, normalmente, se pretende unitario. 4, Sarkar e Boyer [SB91] adoptam os critérios e a abordagem de Canny, excepto no que se refere & extensio espacial do filtro, em que optam pela extensio infinita, as condigdes fronteira, que sfo idénticas as de Deriche, e aos pardmetros escolhidos para a optimizagio por cdlculo de variagdes que os conduz, por aproximagao numérica, & expresso: fsp(z) = a-e7° - (cos($) ~ cos(Baxr + 4); a > 0 (3.26) os pardmetros que influem sobre a forma do filtro so ¢ ef, enquanto que a € a sio, simplesmente, a amplitude ¢ a escala pretendidas. De notar que, se ¢ = —n/2 esta expresso reduz-se & de Deriche. 5. Shen e Castan [SC92] efectuam uma anélise baseada em critérios de processamento de sinal, quer para um modelo de orla tinica, quer para um modelo estocéstico de orlas miiltiplas. No primeiro caso, argumentam que o filtro de suavizagio éptimo com resposta impulsional de extensio infinita h(z) deve satisfazer ¢ minimizar 0 seguinte critério: [o2 S22, t2(z) dz 02 [%,h(2) dx gS ARQ) (3.27) em que Ey ¢ By sio as energias do ruido e do seu diferencial e Es é a energia do sinal na resposta do filtro. O termo direita representa a expressiio de C’ para um sinal emDETECGAO DE ORLAS DE INTENSIDADE 38 degrau de amplitude A e com ruido aditivo Gaussiano de varidncia constante 02. No segundo caso, analisam a densidade espectral na resposta do filtro de suavizacgio a um sinal com miltiplos degraus. Em ambos, obtém uma expressiio equivalente hgo(z) = ¢-e7*#! (3.28) para filtro de suavizagio com vista A detecco de orlas do tipo degrau. Esta expressio tem apenas um pardmetro ajustavel a, sendo o valor de ¢ determinado por uma condig&io de ganho pretendido. A necessidade da andlise com 0 modelo estocdstico ¢ justificada pelo facto de se optar por uma extensio espacial infinita, que, segundo estes autores, deve ser realizada para substanciar quaisquer outros filtros com esta mesma caracteristica, nomeadamente, o de Deriche e o de Sarkar e Boyer. De notar que, & excepgio do Laplaciano do Gaussiano, todos os filtros foram idealizados com vista & detecgdo éptima de variagbes de intensidade em degrau. Nas figuras 3.6 ¢ 3,7 ilustram-se as representagdes gréficas das expressdes dos filtros pro- postos para 0 caso da detecciio por méximos comparativamente & primeira derivada do Gaus- siano. Utilizou-se © mesmo pardmetro de escala para todos os filtros de extensio infinita (1/2) masse visualmente da primeira derivada do Gaussiano. Esta escolha conduz, em termos da (a 1) e procurou-se um valor de W para o filtro de Canny que melhor 0 aproxi- resposta dos varios filtros, & deteccdo de variagdes em escalas diferentes, mas possibilita a sua melhor comparagio. De modo a que as escalas de detecsfio fossem as mesmas, seria necessirio igualar as expresses da largura-de-banda eficaz. (expresso 3.19) dos filtros apresentados. Os pardmetros utilizados na representagio foram, assim, os seguintes: © filtro de Canny: o = 2.052, w = 1.569, # = 2.915, indicados pelo autor como parametros Sptimos, e W © filtro de Deri 0.577, parametro que conduz a um maximo no critério de resposta Yinica, ea = 1; 1.201, ¢ © filtro de Sarkar e Boyer 0.771, indicados pelos autores como pardmetros éptimos, e a = 1; « filtro de detecgdo por maximos de Shen e Castan:DETECGAO DE ORLAS DE INTENSIDADE 39 Figura 3.6: Gréficos do filtros propostos para detecgfio por méximos: a) Canny, b) Deriche. ‘Todas as expressdes foram devidamente normalizadas, isto é, garantiu-se que o ganho dos OL mente as formas dos diferentes filtros de modo correcto. A tracejado representa-se a primeira filtros é unitéri EF (@) de| 1 para que se possam comparar visual- derivada do Gaussiano (com o = 1) também para uma comparagio mais fécil. 3.3.3 Implementagio Qualquer um dos filtros apresentados poderé ser usado num detector de méximos ou num detector de passagens-por-zero, bastando para tal que se considerem as expresses com cardcter de derivagio de primeira ordem ou de segunda ordem, respectivamente. Assim, um detector de méximos poderd ser realizado: pela primeira derivada do Gaussiano; pelas expresses dos filtros. de Canny, Deriche, Sarkar ¢ Boyer ou pela primeira derivada da expressiio do filtro de Shen e Castan, enquanto que os detectores de passagens-por-zero se realizam, por exemplo, através: do Laplaciano do Gaussiano; das derivadas das expresses de Canny, Deriche ou Sarkar e BoyerDETECCAO DE ORLAS DE INTENSIDADE 40 () Figura 3.7: Gréficos do filtros propostos para detecgdo por méximos: a) Sarkar ¢ Boyer, b) Shen e Castan. ou do Laplaciano do filtro de Shen e Castan. ‘As questées que se colocam na implementagio dos filtros propostos so questées comuns na implementagdo de filtros digitais para processamento de sinal ou imagens, nomeadamente: a escolha entre estruturas de resposta impulsional finita (FIR) ou infinita (IIR); a possibilidade de utilizar algoritmos recursivos, com vista a melhorar os tempos de processamento; a transformagio de filtros ndo-causais em filtros causais; 2 possibilidade de separagdo de filtros multidimensionais em operagées com filtros unidi- mensionais. Enquanto que os operadores de Gradiente ¢ de Laplaciano podem ser realizados com méscaras de pequeno suporte (3 x 3), 0s filtros aqui considerados requerem normalmenteDETECGAO DE ORLAS DE INTENSIDADE, 41 méscaras de maiores dimensdes para se conseguir uma imunidade eficaz ao ruido, Atendendo a que, de um modo geral, quanto maior a extensio de um filtro, maior é 0 seu tempo de processa- mento, hé todo o interesse em adoptar estruturas de realizacao de filtros digitais cujo tempo de processamento nao dependa proporcionalmente das dimensdes de uma méscara de convolugio. O filtro de Canny, de extensiio finita, pode ser implementado directamente numa estrutura do tipo FIR, enquanto que o Gaussiano e as suas derivadas de primeira e segunda ordem tém que ser aproximadas, ou por um filtro de extenso finita (ver, por exemplo, [HM86, SB89}), ou por um filtro de extensdo infinita como é demonstrado por Deriche em [Der93]. Os outros filtros apresentados sto todos de extensio infinita e, para além disso, so rea- lizdveis de modo exacto por estruturas IIR recursivas. Ha, no entanto, que transformar as partes néo-causais em causais. Apresenta-se de seguida os passos necessérios para implementar cada tipo de filtro para sinais unidimensionais sendo depois feita uma generaliza¢io para sinais bidimensionais ou imagens. Filtros Digitais de Resposta Impulsional Finita (FIR) O projecto deste tipo de filtros resume-se a0 célculo dos coeficientes f(k) da equagio de con- volug&o, que nos dé o sinal resultante y(n) da aplicagdo do filtro f(n) a um sinal de entrada digitalizado 2(n): a y(n) =o F(k) -2(n—k)s N-1 (3.29) f= representando N e M as dimensdes do sinal de entrada e da resposta impulsional do filtro, respectivamente, Esta expresso nfo é recursiva, de modo que sao necessdrias um total de M x (N —1) adigdes e M x N multiplicagdes para se obter a resposta do filtro ao sinal de entrada. © tempo de processamento serd, por isso, tanto maior quanto maior for a dimenséo M do filtro. 0 filtro proposto por Canny pode ser realizado desta forma, através de uma amostragem discreta da sua expresso continua. Assim, para uma dada extensio espacial 2W/ do filtro continuo, selecciona-se uma amostragem com M pontos igualmente espagados, de tal modo que seja satisfeito 0 teorema de amostragem de Nyquist — 0 perfodo de amostragem deveré ser inferior a duas vezes 0 intervalo da variago mais répida da fungéo amostrada. Hé também a considerar o efeito de corte que resulta de se truncar a extensao espacial do filtro em valores néo nulos, Este efeito manifesta-se pelo aparecimento de picos nas derivadas o que dé origem & introdugdo de rufdo adicional no processo de detecgao.DETECGAO DE ORLAS DE INTENSIDADE 42 filtro de Canny, em principio, ndo apresenta este tipo de problema, uma vez que os valores extremos da janela de convolugéo podem ser escolhidos como nulos. Se se aproximar um filtro de extensio infinita por um de extensio finita, por exemplo o Gaussiano, serd de esperar este tipo de fenémeno [HB86b, HM86, SB89). Filtros Digitais de Resposta Impulsional Infinita (IIR) Neste caso, para a realizagio do filtro, recorre-se & equago das diferengas que define o sinal Ge resposta y(n) do filtro em fungo das saidas anteriores ¢ das entradas anteriores, actuais ¢ futuras. Esta dependéncia nas entradas futuras, se existir, denota a ndo-causalidade do filtro, va que pode ser enquanto que a dependéncia nas saidas anteriores denota uma estrutura recursi usada com vantagem. A equagio das diferencas tem a forma: (3.30) sendo N a dimensio do sinal e M, Np e Np, 0 nimero de saidas anteriores e de entradas anteriores e posteriores de que depende o valor da resposta num ponto n. Numa realizagHo concreta é necessério transformar a parte néo-causal do filtro para causal, © que se consegue através de deslocamentos da jancla de convolugio e dos sinais de entrada e de safda. Um método usual consiste em subdividir o filtro néo-causal em dois filtros causais: ‘um, de recursividade & esquerda ou positiva, e outro, de recursividade & direita ou negativa (ver [Der87, Der93]). Para isso, consideram-se as seguintes amostragens da expresso do filtro continuo: f(r) in2o Oo jn>0 f(r) 6 <0 F@)= foe (3.31) ¢, através da Transformada Z, obtem-se a fungio de transferéncia discreta do sistema, dada por: te ° Ltrs DY me" (3.32) = (3.33) de tal modo que os valores dos coeficientes a, ¢ b,, bem como a ordem M da estrutura IR obtém-se, por correspondéncia directa, em fungio dos pardmetros que definem o filtro.DETECGAO DE ORLAS DE INTENSIDADE 43 A Transformada Z Inversa das expressdes F+(z) e F~(z) dé origem as seguintes expresses recursivas para n crescente e decrescente, respectivamente: Np M y(n) = Yoax-a(n—h) + Vb yt(n—h)s (3.34) au Vm) = Yay-2(n+k)+ Db -y (+h); n=N- int ist A resposta total y(n) serd entiio a soma de duas contribuigées. Se o filtro for simétrico (filtro de suavizacao), temos: y*(n) +y7(n) — agz(n) (3.35) ‘em que o termo apz(n) deve ser subtrafdo para que nao seja considerado duas vezes, Seo filtro for anti-simétrico (filtro de detecedo por méximos) deve-se considerar: y(n) = 97 (2) - 7 (n) (3.36) Extensfio a Duas Dimensdes Num dominio bidimensional, uma orla caracteriza-se nao s6 pela sua localizagio - agora com duas coordenadas -, mas também por uma direccéo, definida como a direcgdo da recta tangente linha desenhada pela orla. De modo a detectar uma orla com uma dada direcco é necessério, em prinefpio, aplicar um filtro orientado segundo essa direcgao, como no caso do Gradiente de uma imagem, ou usar um filtro cuja resposta seja independente da orientagio, como o Laplaciano. Estes filtros bidimensionais obtém-se pela consideragdo de uma fungdo das duas coordenadas D (m,n) tal que: f (mn) = f (D(mn)) (3.37) podendo considerar-se para D(m,n) as distancias Buclideana, de valores absolutos ou de maximo dadas por, respectivamente: D(m,n) = Vm? +n2; D(m,n) Se bem que a distncia Euclideana seja mais “natural” e apresente simetria circular, a sua |m|+|n|; D (m,n) = max(m,n). realizag&o prética 6 demasiado complexa e, na maioria dos casos, s6 ¢ conseguida & custa de aproximagées. Por este facto, a disténcia de valores absolutos é vulgarmente preferida pela sua facilidade de implementagdo (ver [SC92]), que resulta em filtros separdveis, isto 6, um filtro bidimensional f (m,n) obtem-se de: F (m,n) = 91 (m) - 92 (nr) (3.38)DETECGAO DE ORLAS DE INTENSIDADE 44 podendo 9; assumir a forma do filtro de detecgio ¢ go a de uma fungéo de projeccio ou vice- versa consoante a operagao e direccio pretendidas. Deste modo, a expresso 3.38 corresponde A multiplicagéio da expresso de f(x) segundo a direcgo normal a da orla com ume fungiio de projeccio na direcdo perpendicular. Obtem-se ‘uma implementagdo eficiente se se escolher para fungio de projecgio o filtro de suavizagio h(z) correspondente ao integral de f(z). Assim, define-se um filtro digital bidimensional f(m,n) a partir de dois filtros unidimensionais. Se se pretender a detecgao por méximos serd necessirio obter pelo menos dois filtres, um para cada uma de duas direcgdes perpendiculares, que podem, para maior simplicidade, ser tomadas como as direcgdes de um referencial associado 4 imagem. Teremos ent&o dois filtros bidimensionais fj ¢ fa para as direcgdes rh e f, respectivamente, que se obtém de: Fakmyn) = f(m) h(n) Salm, n) = h(m) - f(n) sendo, portanto, necessério combinar os resultados de duas convolugées para a deteccdo de orlas segundo todas as direcgdes numa imagem. As amplitudes e orientagdes de cada ponto da orla obtém-se entéo a partir das expressdes: A(mn) = yG%, (m,n) + G5 (mn) (m,n) = arctan (Be) em que Gy € Ga sao 0 resultado das convolugSes (m,n) * fin (m,n) © I(m,n) * fa (m,n), respectivamente. Uma detecgéo de passagens-por-zero no dominio bidimensional requer consideragées idénti- cas, ou seja, a expressio de f(z) teré um carécter de uma segunda derivada direccional ou, no caso de se pretender usar o Laplaciano, a expresso do filtro bidimensional resulta directamente de 3.37. ‘Assim, a realizagio de um filtro digital bidimensional segundo a direcgio sh consiste na sequéncia de operagées algébricas seguinte: "Fax (mn b) +3, bY (m,n —b) po Me "SS" AX (math) + bY (mnt k) y= = = NL An = NC .u51 (3.39) NC ¥ (m,n) = ¥+ (m,n) — ¥~ (m,n) 5mDETECCAO DE ORLAS DE INTENSIDADE 45 Net M RE (mn) = YY (m=kyn) + Fo deRt(m—kyn) jm=1j.NLAn=1y,NC Nea i Re (mn) = E ea¥ (mt kyn) + Yo dye (ma kyn) pm = NEw An = Lyon NC (3.40) NC (3-41) R(m,n) = Rt (m,n) + Ro (m,n) — co¥ (m,n) 3m 4NLAn=1, em que os coeficientes aj ¢ bk dizem respeito ao filtro de detecco por maximos, enquanto que cx © dy, so os coeficientes do filtro de suavizagéio. Os valores NL e NC representam, respectivamente, as dimensées vertical e horizontal do sinal bidimensional. Para a direcgao perpendicular basta trocar a, por c, e 0, por dy ou a ordem das operagées. As expressdes algébricas agrupadas por chavetas em 3.39 e 3.40 podem ser realizadas em paralelo. 3.3.4 Comparagio dos Filtros Propostos Faz-se aqui uma anélise comparativa dos filtros apresentados. Chama-se a atengio para o facto de, como anteriormente referido, qualquer uma das expressdes poder estar na base de filtros de detecgao de maximos ou de passagens-por-zero. Embora as caracteristicas elementares apre- sentadas no quadro 3.3 digam respeito s formulagdes originais, as questdes de complexidade € desempenho s6 so compardveis se se considerarem filtros com a mesma natureza, razio pela qual se apresentam esas caracteristicas para 0 caso da detecciio de méximos, ou seja, consideram-se as expresses, cuja representagio grAfica foi j4 apresentada nas figuras 3.6 e 3.7 € que so as seguintes: © primeira derivada do Gaussiano; © expressio do filtro de detecgfio de méximos de Canny; * idem de Deriche; * idem de Sarkar e Boyer; « primeira derivada do filtro de suavizagao de Shen e Castan. De notar ainda que esta comparagio tem apenas em conta a operagio de filtragem bisica, uma vez que quaisquer operagées complementares, como as que se apresentam subsequente- mente, sfio comuns e necessérias independentemente do filtro utilizado. Das questdes de implomentagéo anteriormente expostas ficou patente que as estruturas IIR recursivas para realizagéio de filtros digitais tém vantagens inegdveis sobre as outras, em part cular, no que se refere & inexisténcia do efeito de corte, & independéncia do miimero de operagéesDETECCAO DE ORLAS DE INTENSIDADE 46 aritméticas e, consequentemente no tempo de processamento, relativamente & extensio do fil tro. Para além disso, os erros de quantificagao e arredondamento serdo tanto menores quanto mais exacta for a implementagéo do filtro digital, 0 que ndo se verifica quando se recorre a aproximagées numéi icas finitas de expressdes continuas infinitas. Gaussiano | Canny | Deriche | Sa.&B. Sh.&C. Tipo de Filtro | suavizagao_| méximos | maximos | _maximos suavizacao [Bxtensao infinita finita_| infinita | infinite infinita, Continuidad continuo ‘continuos continuo Jae 2a deriv. primitivas e las derivadas Ja derivada continuas continuas descontinua, | Critérios de formulacao: ‘modelo de Principio Relagio Sinal/Ruido Min. resp. ruido orla tinica da Incerteza Precisio na localizacio e sua derivada Unicidade de resposta Max. resp. sinal modelo de = = = = Estimagao orlas miiltiplas estocéstica Realizacdo pratica: ~ FIRoulk | FIR TR TR TR Aproximada | Exacta | Exacta | Aproximada Exacta Recursiva | Recursiva Recursiva Quadro 3.3: Caracteristicas Bésicas. ‘Assim, do quadro 3.3 pode constatar-se que os filtros que apresentam melhores condigdes de realizagio sio o de Deriche e o de Shen e Castan. O filtro de Canny poderd ser uma boa opgiio se se usarem méscaras de dimensio reduzida (até 11 x 11) e 0 tempo de processamento nio for um factor essencial de escolha. No que se refere & complexidade, apresentam-se no quadro 3.4 os pardmetros ajustéveis, © mimero de coeficientes que é necessdrio calcular no projecto de um filtro bidimensional ¢ 0 niimero de operagdes aritméticas necessétias por elemento de imagem para realizar a filtragem para detecgao de maximos numa tinica direcgio. ‘Também aqui a melhor opgdo recai sobre o filtro de Shen e Castan, dado que apresenta os, menores ntimeros de coeficientes diferentes, a calcular para as operagées algébricas de imple- mentag&io apresentadas em 3.41, e de operagées aritméticas por ponto de imagem. De notar que nao é possivel alterar a forma deste filtro, ou seja, as caracteristicas de desempenho inalterdveis, apenas se conseguindo mudar a escala de variagSes detectadas. © Gaussiano e suas derivadas podem ser aproximados, quer por estruturas FIR com ex- tensio M grande, quer por estruturas IIR recursivas de 3° ou 4* ordem, 0 que resulta emDETECGAO DE ORLAS DE INTENSIDADE AT Gaussiano | Canny | Deriche | Sa.&B. ‘Paramotros configuraveis: escala o Ww aw a forma _ = au B[m=ajo| 68 = Ordem do filtro recursivo 4 = 2 3 1 No. de Coeficientes 24 wa 8 8 3 No. de Operacées aritméticas por pixel ~ ‘multiplicagoes 32 13 20 3S ‘adigdes 32 12 20 10 Quadro 3.4: Complexidade. qualquer dos casos num elevado niimero de coeficientes e de operacdes aritméticas por ponto de imagem. O gréfico da figura 3.8 ilustra os valores de desempenho obtidos para cada tipo de filtro. Os indices considerados sio o produto da relagio sinal-rufdo pela localizagéo 3 - A Figura 3.8: Desempenho dos filtros de detecgio de orlas de intensidade: trago continuo ~ filtro de Canny; trago descontinuo ~ filtro de Deriche; tracejado ~ filtro de Sarkar e Boyer; losingulo ~ filtro de Shen e Castan e cfrculo ~ Primeira derivada do Gaussiano, versus ko eritério de unicidade de resposta (ver quadro 3.2 na pagina 35) porque nio variam com a escala dos filtros, dependendo apenas da sua forma. Quanto mais elevados forem 0s dois indices tanto melhor seré o desempenho do filtro. B, pois, de notar que a primeira derivada do Gaussiano, bem como o filtro de Shen ¢ Castan, apresentam indices de desempenho fixos para cada escala, enquanto que em todos os outros pode-se aumentar um dos indices com a reduglo dos outros. O filtro de Deriche apresenta, um valor maximo para o eritério de unicidade de resposta (k = 2.56) e 0 que apresenta indices com maior variabilidade 6 0 de Sarkar e Boyer. 0 filtro de Canny 6 0 que apresenta indices deDETECCAO DE ORLAS DE INTENSIDADE 48 desempenho mais baixos, devido em parte & sua extenséo finita. valor de desempenho para o filtro de detecgo de Shen e Castan, indicado no gréfico pelo losdngulo, obtém-se se considerarmos o valor da derivada lateral (a esquerda ou a direita) na viainhanga da origem para o céleulo de A. No entanto, dado que a sua expressio é descontinua na origem, o erro na localizagio resulta nulo, mesmo na presenga de ruido (ver [$C92] para uma anélise detalhada). Assim sendo, a preciso na localizagdo obtida pela expresso 3.17 é infinita, ou seja, este filtro detecta as orlas em degrau sem qualquer erro de localizagio. [ Re. ruido e difer./sinal_| Gaussiano | Canny | Deriche | Sa.&B. | Sh.&C. f mene f eres Cy = 59097 1.235 | VEG | wv y2i5| 1 1.235 > 11s Quadro 3.5: Desempenho. Apresenta-se também no quadro 3.5 0s valores correspondentes ao critério de Shen e Castan (ver expresso 3.27), aplicando-o As expréssdes dos filtros de suavizagdo cortespondentes. Para © filtro de Canny assumiu-se a aproximacio A primeira derivada do Gaussiano sugerida pelo autor, no de Deriche considerou-se a = mw e no de Sarkar e Boyer utilizaram-se os parametros B = 1.201 e $ = 0.71, recomendados pelos autores. Conforme seria de prever, uma vez que este foi o critério de optimizagio empregue na sua formulagio, o melhor indice (mfnimo) & obtido para o filtro de Shen e Castan. Nas figuras 3.9, 3.10 e 3.11 apresentam-se os resultados da detecgio de orlas em imagens pelos filtros de Canny, Deriche ¢ de Shen e Castan. O filtro de Sarkar e Boyer no foi testado, uma vez que se assemelha ao de Deriche, apresentando, no entanto, uma maior complexidade. ‘As imagens nas alineas b), ¢) ¢ d) das figuras 3.9, 3.10 ¢ 3.11 resultam, directamente, da aplicagio dos filtros referidos e previamente & realizagdo das operagdes complementares descritas no subcapitulo seguinte. E de notar a diferenca das imagens da figura 3.9 para as resultantes da aplicacao dos operadores de Sobel e do Laplaciano apresentadas na figura, 3.4, nas quais 6 manifestamente mais elevada a amplitude do rufdo em toda a imagem. Na imagem sintetizada da figura 3.10 pode verificar-se a independéncia da resposta segundo as vérias direccdes e a influéncia da proximidade de orlas para cada tipo de filtro. A imagem sintetizada foi severamente degradada com a adigio de ruido Gaussiano, podendo-se constatar, nas imagens da figura 3.11, a degradagdo causada nos resultados da detecgio. Verifica-seDETECGAO DE ORLAS DE INTENSIDADE 49 (eo) (a) Figura 3.9: Resultados da deteccéo de orlas numa imagem real a) por: b) Filtro de Canny com M = 11; ¢) Filtro de Deriche com a = 1.0 e w = 0.0001; 4) Filtro de Shen e Castan com a=10. nao haverem diferencas significativas no comportamento dos varios filtros, chamando-se, no entanto, a atengio para o tragado mais delineado do filtro de Shen ¢ Castan que denota a melhor localizagio das orlas. 3.4 Operagdes Complementares ‘A aplicagio de qualquer um dos filtros anteriormente apresentados a uma imagem, com vista & deteccao das orlas de intensidade, constitui de facto apenas um estigio de processamento para a realizagio desta operagio. Os filtros apresentados so todos Sptimos segundo os eritérios que esto na base da sua formulagio e, no entanto, a imagem resultante da filtragem est longe de ser uma representacioDETECCAO DE ORLAS DE INTENSIDADE 50 (c) () Figura 3.10: Resultados da detecco de orlas numa imagem sintetizada a) por: b) Filtro de Canny com M = 11; ¢) Filtro de Deriche com a = 1.0 ew = 0.0001; d) Filtro de Shen © Castan com a = 1.0, fidedigna e precisa das orlas de intensidade na imagem original. Em particular, os problemas que surgem na diferenciagio de imagens, mencionados no subcapitulo 3.2 subsistem, embora em menor escala, nas imagens resultantes da aplicagdo de qualquer um dos filtros propostos, quer seja numa configuragdo de detecgao por méximos, quer seja numa configuragdo de detecgio por passagens-por-zero. Por este motivo é comum realizar operagées que validam e melhoram aquela representagiio (ver, por exemplo, [CM89]), algumas das quais se dé conta de seguida, O tipo de filtragem utilizada ~ detecgio por méximos ou deteccio por passagens-por-zero ~ determina a on as operagées aplicaveis. Nomeadamente, as operagées de supressio de niio-méximos e de limiarizagdo s6 so aplicaveis a imagens resultantes de uma filtragem por detector de méximos de amplitude do gradiente, enquanto que a operacio de validacio de passagens-por-zero, como o nome indica, é aplicdvel a imagens de orlas detectadas por derivagées de segunda ordem.DETECGAO DE ORLAS DE INTENSIDADE 51 oy @ Figura 3.11: Resultados da detecgo de orlas na imagem sintetizada e com rufdo Gaussiano em a) por: b) Filtro de Canny com M = 11; ¢) Filtro de Deriche com @ = 1.0 ¢ w = 0.0001; d) Filtro de Shen ¢ Castan com @ = 1.0. 3.4.1 Supressiio de Nao-maximos Esta operagiio tem por objectivo remover todos os pontos que, no sendo méximos de amplitude na resposta do filtro & imagem original, se situam nas suas imediagdes e apresentam ainda um nivel elevado que poderd conduzir a uma localizagio imprecisa da orla correspondente. O que se pretende é realizar uma espécie de adelgacamento direccionado segundo o gradiente de intensidade em cada ponto da imagem. ‘Uma vez que, da detecciio por méximos, se obtém pelo menos duas componentes, resultantes da aplicagio do filtro em outras tantas direegées, dispomos da amplitude ¢ da direego da orla que possa estar subjacente em cada ponto da imagem. Para que um ponto com amplitude A (m,n) na imagem resultante da fitragem possa ser declarado méximo, os seus vizinhos mais préximos segundo a direc¢do da variagao néo theDETECCAO DE ORLAS DE INTENSIDADE 52 150° Ei onto em andise _/ recgaa da tangent a oa Vizinnos a consderer = cbincidéncia de pontos Figura 3.12: Adjacéncias para a Supressio de Nio-maximos. podem ser superiores. De modo a limitar o ntimero de méximos locais usam-se as seguintes condigdes: A(m, n) 2 ey - A(mi, m1) + ¢2 - A(ma,n2) A A(m,n) 2 er - A(ms,n3) + cg - Arg, n4) em que os pares (m1, 11), (m2,n2), (ms,ns) ¢ (4,4) representam as coordenadas dos pontos Pi, Px, Py © P adjacentes segundo a direcgio do gradiente e os coeficientes c1 e 2, cujos valores devem ter soma unitdria, tém em consideracio a direcgdo predominante. Na figura 3.12 indicam-se os pontos a considerar consoante a direcgfio da orla varia de 0° a 180°. As suas coordenadas so dadas por: my = m+ minint (Y2cos0) mg = 2m—m, ny = n+ minint (yBsind) © | ng =2n—n eS my = m+ maxint (v2cos@) P m4 = 2m— mp ny = n-+maxint (V3sin8) ng =2n—na em que “maxint” e “minint” representam os valores inteiros, respectivamente, maior e menor em valor absoluto aos seus argumentos, enquanto os valores de c1 e cz obtém-se, por exemplo, de: . max (Gnl Gal), _ min (IGnal |Gnl) au Ann) * ‘AGm,n) de modo atribuir, pelo coeficiente ¢1, um peso superior ao ponto mais prdximo e a satisfazer a condigio ¢ + ¢2DETECGAO DE ORLAS DE INTENSIDADE 53 Comparam-se na figura 3.13 as imagens de uma orla extrafda da imagem da figura 3.94 antes e depois desta operagio. Conforme se pode constatar da figura, a espessura das orlas poderé resultar superior a um pizel mesmo apés a sua aplicacao. @) (b) : Orla antes a) e depois b) da Supressdio de Nao-méximos. Figura 3.1 3.4.2 Limiarizagao ‘A limiarizagio de uma imagem de orlas de intensidade destina-se a transformé-la numa repre- sentagdio gréfica ou mapa das orlas mais significativas presentes na imagem original, removendo- se todas aquelas que correspondem a pequenas transigées de intensidade, vulgarmente associa- das a ruido nos processos de aquisigéo e digitalizagio de imagens. Esta operagéo néo esté, todavia, isenta de dificuldades. O rufdo na imagem de amplitudes das orlas, apés as operagdes de filtragem, da origem a flutuagdes de amplitude ao longo de uma, mesma orla, de tal modo que a escolha de um limiar global de valor elevado poderd levar & quebra dos contornos detectados. Por outro lado, a escolha de um limiar de valor reduzido anmenta a sensibilidade havendo por isso maior probabilidade de assinalar as orlas causadas pelo rnido. Para obstar a este problema, é vulgarmente proposta (ver [Can86] ¢ [Der87]) uma limi- arizagio a dois nivois com histerese. Esta técnica consiste em seleccionar todos os pontos cuja amplitude seja superior a um limiar elevado, bem como todos os segmentos conexos que contém cesses pontos ¢ cuja amplitude se situe acima de um segundo limiar de valor mais reduzido. Deste modo, consegue-se, através de uma seleccio criteriosa desses limiares, assinalar todas as orlas significativas e, em simulténeo, reduzir as probabilidades, quer de quebras de contornos, querDETECCAO DE ORLAS DE INTENSIDADE 54 de indicar orlas resultantes de ruido. Este método, no entanto, ndo é automatico, o que significa que os valores para cada limiar tém de ser escolhidos por experimentagao e observagio ou através da estimagiio do ruido a saida da operacio de filtragem. Para além disso, é inevitavelmente um processo sequencial uma vez que é necessério proceder ao seguimento de contornos, o que é uma desvantagem considerdvel. Um outro método, recentemente proposto ({AID93)) determina automaticamente, com base em histogramas locais de intensidade, os niveis adequados para a limiarizagdo de imagens de amplitudes de orlas. O algoritmo baseia-se no facto de as orlas serem elementos espacialmente localizados. Enquanto que um histograma global de uma imagem de amplitudes de orlas sé em raras situagdes é que apresenta uma distribuigo bimodal, um histograma local de uma drea de pequenas dimensdes, pelo contrario, tem normalmente duas modas: uma indicativa do fundo e outra da orla ou orlas af contidas. A imagem de amplitudes das orlas é subdividida em blocos de M x M pontos. Para cada um desses blocos 6 caleulado o histograma local e, através de um processo iterativo, é determinado © limiar que da origem a médias iguais das duas populagées resultantes da sua aplicagéio. Em cada iteragio k o valor do limiar Tj, para um dado bloco da imagem, é ajustado de acordo com a seguinte formula: (3.42) em que — 1 6a intensidade ou brilho; = h(a) é 0 ntimero de ocorréncias desse brilho no bloco da imagem; — N 60 mimero total de niveis de intensidade. A expresso representa 0 ponto médio entre médias das populagées de pontos que se con- sideram pertencentes a orlas ¢ pontos que se consideram do plano de fundo. © valor inicial T; absolutamente arbitrério e influencia apenas no niimero total de iteracdes que ird ser realizado até se obter um valor estavel. No caso de um bloco nao apresentar um histograma bimodal, 0 seu limiar assume-se idéntico ao do bloco vizinho anterior. ‘A dimensiio M dos blocos est dependente de dois factores: cada bloco deve, de preferéncia, incluir apenas uma orla para que o histograma local seja bimodal, 0 que implica uma dimensio pequena; a sensibilidade 20 rufdo, por outro lado, impde uma dimensio grande. A solugioDETECGAO DE ORLAS DE INTENSIDADE 55 reside, obviamente, num compromisso de desempenho (encontra-se em {AID93] um estudo comparativo para M =4e M =8). Outro factor que influencia o desempenho deste método e que deve ser considerado 6 0 niimero de niveis de intensidade usado para a selecgio dos limiares. Para um bloco de 8 x 8 pontos, é pouco eficiente determinar um histograma de, por exemplo, 256 nfveis de intensidade, dado que, nesse bloco, s6 podem existir até 64 niveis diferentes. Para além disso, 0 processo iterativo de selecgio do limiar seré também pouco eficaz, Estes dois motivos levam a que os autores proponham uma quantificago néo-uniforme para 14 niveis (N= 14) baseada no limiar de visibilidade da percepgio visual humana [SN77], o que resulta numa menor sensibilidade a0 ruido e também numa melhor eficiéncia do ponto de vista do processamento. Na figura 3.14 apresentam-se resultados de ambos os métodos. Verifica-se que o método local detecta mais orlas nas regides com textura, 0 que poder néo ter interesse se 0 objectivo for, por exemplo, a determinagao de linhas de estrutura de objectos. Figura 3.14: Limiarizago de uma imagem de orlas de intensidade: a) com histerese, niveis 10 20; b) método local com blocos de 8 x 8. 3.4.3 Validagao das Passagens por Zero No que diz respeito & deteccio de orlas pelas passagens-por-zero de um operador de derivagio de segunda ordem, deve-se ter em atengio a frequéncia com que surgem detecgdes falsas. Estas no tém nenhuma correspondéncia directa com variagdes nos sinais originais e as suas causas sio principalmente duas:DETECGAO DE ORLAS DE INTENSIDADE 56 * 0 ruido nos sinais ou imagens originais, introduzido possivelmente pelos dispositivos de captagdo, e que dio origem a desvios na resposta do operador; ‘* as variagdes no sinal ou imagem serem tais que, devido as suas interferéncias, surjam minimos locais na amplitude da primeira derivada, Torna-se assim necessério validar as passagens-por-zero que correspondem efectivamente as variagdes existentes e remover as passagens-por-zero que surgiram indevidamente, Clark examina em [Cla89] as situagSes que do origem a essas falsas detecgdes e propde um método para a sua classificagio. A remocio de detecgdes falsas pode ser conseguida em dois passos (ver [SC92]). Em primeiro lugar determina-se, para cada ponto de passagem-por-zero da imagem filtrada, o valor de am- plitude do gradiente no ponto homélogo da imagem original e procede-se a uma limiarizagio de todos esses valores com vista & remogio, do mapa de passagens-por-zero, dos pontos que apre- sentam um gradiente de baixa amplitude. Esta operagio nao é mais do que uma limiarizagao da amplitude do gradiente que pode ser realizada pelos métodos apresentados anteriormente, mas tendo apenas em consideragdo os pontos de passagem-por-zero. Em segundo lugar aplica-se, por exemplo, o método proposto por Clark, idéntico ao utilizado de sinal entre a primeira derivada por Shen e Castan, que consiste em verificar a concordan a transi¢&io da segunda derivada. Assim, uma orla seré real se: * ogradiente for positivo e a transig&o na passagem-por-zero se realizar de valores positivos para negativos; ogradiente for negativo e a transig&o na passagem-por-zero se realizar de valores negativos para positives. Em qualquer outra situacdo a passagem-por-zero no corresponde a uma variagio real da intensidade na imagem original e como tal deve ser removida do mapa de orlas de intensidade resultante. Podemos, por isso, constatar que numa deteccao de passagens-por-zero é também necessario dispor dos valores do gradiente que se determinam, por exemplo, através de uma detec¢o porDETECGAO DE ORLAS DE INTENSIDADE ° 87 3.5 Conclusdes Neste capitulo abordou-se o problema da detecgdo de orlas de intensidade em imagens, Apresen- taram-se os operadores de diferenciagéio numérica - nomeadamente, o Gradiente eo Laplaciano ~e a sua aplicagio a imagens em tons de cinzento como método de detecgio de transigdes acentuadas de intensidade. Estes operadores, embora de grande utilidade pela sua facilidade de realizagio, revelam-se pouco eficazes na deteccio de orlas em imagens captadas de cenas reais, uma vez que estas imagens, de um modo geral, apresentam ruido que Ihes ¢ induzido pelos dispositivos e processos de aquisicao e digitalizagao. De modo a fazer face Aquela dificuldade propés-se ¢ apresentou-se 0 método baseado na aplicagio de filtros éptimos de detecgiio, adaptados &s formas e escalas das variagdes de inte- resse, Para o efeito escolheram-se alguns dos filtros mais significativos, propostos por virios au- tores, ¢ realizou-se um estudo comparativo em termos de caracteristicas, complexidade, desem- penho e resultados obtidos, quer para sinais unidimensionais, quer para imagens. Formularam- se critérios comuns de desempenho que permitiram uma comparagéo justa dos varios filtros ¢ apresentou-se um modo genérico para a sua implementagao em estruturas digitais de resposta, impulsional finita ou infinita, Da anilise efectuada conclui-se que o filtro que retine as melhores condigées é 0 proposto por Shen e Castan por ser 0 de menor complexidade, para além de apresentar os melhores indices de desempenho e também os melhores resultados. Em particular, é de realgar 0 facto de o erro de localizagao deste filtro ser nulo, mesmo na presenga de rufdo. No entanto, a forma deste filtro é inalterdvel, 0 que significa que o seu desempenho é constante nio se podendo ajustar os pardmetros de acordo com as caracteristicas dos sinais ou imagens ¢ 0 tipo de variagées pretendidas, excepto no que se refere & sua escala. Quanto realizagio prética, verifica-se que as estruturas digitais de resposta impulsional infinita (IIR) tém vantagens sobre as outras, nomeadamente, dada a auséncia do efeito de corte, o mimero de operagées aritméticas por elemento do sinal ou imagem de entrada e a constancia do tempo de processamento. Assim, hi interesse em adoptar filtros passiveis de uma implementagdo deste tipo e, de preferéncia, com uma boa aproximag&o, como é 0 caso dos filtros de Deriche e de Shen e Castan. Para além disso hé também a possibilidade de usar hardware especifico comercialmente disponivel. Contudo, a operacao de filtragem é apenas um dos estgios de processamento neste método, de modo que a importéncia da escolha do filtro éptimo é relativa, podendo mesmo ser umaDETECGAO DE ORLAS DE INTENSIDADE 58 questo secundéria. De facto, o resultado da filtragem deve ser refinado para que possa repre- sentar com fidelidade a localizagio das orlas no: inais ou imagens originais. Para isso tém-se duas alternativas: a detecgdo dos maximos de amplitude de uma derivagio de primeira ordem ou a deteccdo das passagens-por-zero numa derivagio de segunda ordem, Do anteriormente exposto pode concluir-se que a detecgio dos maximos, embora exija um minimo de duas con- volugées, é mais eficiente do ponto de vista de implementagio, uma vez que a detecgio das passagens-por-zero obriga ao cdleulo dos mesmos valores de amplitude, além da operacdo de convolugéo, para a remogio de orlas falsamente detectadas. Além disso, se se usar um opera- dor do tipo Laplaciano, deve-se ter em conta que as orlas detectadas em cantos podem surgir deslocadas da sua localizagéo correcta. Di-se pois preferéncia & deteccio dos méximos de amplitude nas imagens resultantes da aplicagéo de um filtro implementado numa estrutura digital recursiva de resposta impulsional infinita, As orlas detectadas por este método representam, no contexto deste trabalho, elementos caracteristicos provavelmente associados a objectos que se podem encontrar em movimento na cena.Capitulo 4 O Movimento em Imagens 59O MOVIMENTO EM IMAGENS 60 4.1 Introdugio Como foi referido no capitulo 2, a captagio ou registo do movimento em imagens é realizado através da aquisi¢&o, em intervalos de tempo regulares, de varios quadros instantdneos da mesma cena, formando-se assim uma sequéncia temporal de imagens. Para além disso, 0 processo de aquisigao pode ser levado a cabo em diferentes circunstdncias, dando origem a sequéncias de movimento com caracterfsticas diversas e cuja andlise se destina a fins distintos. No entanto, ha um conjunto de fases de processamento e procedimentos comuns, nos quais se podem utilizar métodos idénticos para os varios tipos de sequéncias. As fases da percepco visual, nomeadamente, a detecgio, medigio e interpretagao do movi- mento podem e tém sido transpostas para sistemas computacionais, durante os iiltimos anos. Para as duas primeiras existem jé muitos métodos computacionais genéricos, enquanto que a interpretagéio do movimento é normalmente resolvida caso a caso, consoante as exigéncias das aplicagées e atendendo aos resultados pretendidos. Neste capitulo apresentam-se alguns métodos para a detecgio, medicdo e caracterizagdo do movimento de objectos rigidos ou quase-rigidos conforme captado, por uma cémara, numa. sequéncia de imagens digitalizadas e adquiridas em intervalos de tempo regulares. A anélise essencialmente, realizada sobre as duas dimensdes do plano-imagem. Admite-se que sfo conhecidas as condigGes fisicas de posicionamento da cAmara e a relagiio geométrica existente entre a cena em observagio e o plano de formagao das imagens. De modo que, hé ja algum conhecimento prévio no que se refere A dimensio dos objectos méveis na imagem e & amplitude méxima do seu movimento. Dedicou-se, neste trabalho, maior atengao ao estudo e desenvolvimento de métodos adequa dos ao processamento de imagens resultantes de aquisigdes com camara fixa e objectos méveis. No subcapitulo 4.2 apresentam-se algumas técnicas para a detec¢io de movimento nessas ima- gens. A medigo e estimago do movimento sio apresentadas nos subcapitulos 4.3 e 4.4 como ferramentas de uso genérico aplicdveis em muitas das circunstancias de andlise de movimento a partir de sequéncias de imagens. 4.2 Detecgéio de Movimento Em muitos casos, quer seja com a cdmara fixa ou em movimento, uma grande porgéo da rea das imagens permanece inalterada ao longo de uma sequéncia (por exemplo, se existiremO MOVIMENTO EM IMAGENS 61 superficies homogéneas e extensas na cena). Nessas circunstancias, a determinagéo prévia das dreas em que existe actividade permite reduzir de forma significativa a quantidade de dados a processar. A medida e caracterizagao do movimento é ento realizada apenas nessas éreas néio se desperdicando tempo e recursos de processamento nas areas estaticas. O movimento de um objecto numa cena dé origem a uma variagSo local da intensidade duma imagem em tons de cinzento. A relativa facilidade com que o ser humano com visio normal 6 capaz de se aperceber dessa variacio e de a atribuir a uma situagdo de movimento leva a crer que a deteccdio de movimento é tarefa simples ¢ trivial. No entanto, no processamento automitico de imagens, aquele tipo de variacao dificilmente se distingue duma variagdo causada por uma alteracdo nas condigSes de iluminagio da cena. Este facto deve-se a que os métodos usuais para a detecgdo de variagdes nio discriminam tipos de variagées diferentes e como tal apresentam resultados idénticos em situagdes distintas. Torna-se, por isso, mais diffcil aquilo que é visualmente simples ~ segmentar as dreas estdticas das dreas com movimento, Existem diversos algoritmos para a detecgio de variagdes ou mudangas [SJ89] que podem ser utilizados com maior ou menor eficécia para esse fim. 4.2.1 Imagem das Diferengas Uma das técnicas mais simples para a detecgio de mudangas ou de movimento consiste em obter a diferenca de intensidades de pontos homélogos entre cada duas imagens consecutivas. Cada imagem de diferengas 6 gerada por: =le-K-1 (4.1) D(z,y) = Ik sy) ~ Tees (29) para todos os pontos (2,y) de uma grelha discreta de M x N pontos numa sequéncia de K imagens. As diferengas significativas de intensidade indicam alteragdes relevantes na cena, sendo necessdrio estabelecer um limiar que concretize este critério. Deste modo, gera-se uma imagem binarizada B na qual todas as diferengas de valor superior a um limite arbitrado L sio aceites como mudangas significativas, isto & Benya} ° & Pest (42) 1 se D(z,y)>L e, no caso de imagens de movimento, considera-se que essas mudangas se devem ao movimento de objectos na cena. Este método apresenta bons resultados apenas quando néo existem variagdes significativas de iluminagdo ao longo de toda a sequéncia de imagens. Em imagens obtides num laboratérioO MOVIMENTO EM IMAGENS 62 pode ser esse o caso, mas numa cena a luz do dia ser de esperar grandes variagGes de iluminagio, sombras ¢ espelhamentos que certamente degradam os resultados assim obtidos. A andlise das imagens de diferengas foi um tema bastante estudado por Jain [Jai8la] que elabora em [Jai81b] uma descri¢éo e interpretagio directamente a partir dessas imagens. Para isso, Jain recorre as diferengas acumuladas ao longo de varias imagens da sequéncia numa tentativa de extrair informagdo de direcgio ¢ sentido do movimento de cada objecto baseada na forma e nos valores das dreas de diferencas, que se assumem resultantes do movimento dos objectos. Os resultados, no entanto, no s4o muito promissores para imagens reais do exterior, devido & sua complexidade e A variabilidade das condigdes de iluminagao. 4.2.2 Quociente de Verosimilhanga ‘Um outro método, que se apresenta mais robusto do que o anterior no que diz respeito ao ruido nas imagens, consiste em calcular 0 quociente de verosimilhanga, dado pela expressio: ass (gta) | Tat FRR (43) para, regiées locais homélogas em imagens consecutivas. As quantidades 1, e 0? representam a média ¢ a varidncia locais, respectivamente, da intensidade numa regio da imagem k sendo Hiei © Of, essas mesmas quantidades nas regides homélogas da imagem consecutiva na sequén- cia. Do mesmo modo, serdo aceites como regiées de actividade significativa todas as que apre- sentem um valor de \ superior a um limiar arbitrério. A vantagem deste método reside tinica e exclusivamente na utilizagio de uma medida mais rigorosa e robusta para a comparagio das caracteristicas de intensidade. A aplicago desta operagio pode ser efectuada para todos 03 pontos das imagens se se considerarem Areas locais em sobreposigéo. Consoante se aumenta a dimens&o dessas reas maior seré a probabilidade de no detectar movimentos lentos ou de objectos pequenos. Todavia, esta técnica nao se mostra eficaz na deteccdo de movimento em imagens nas quais se verifiquem variagées de iluminagao, conforme demonstrado por Skifstad ¢ Jain [$J89).