Katholieke Hogeschool Brugge-Oostende Oostmeers 27, 8000 Brugge www.khbo.

be
Departement industrile wetenschappen en technologie Campus Oostende Zeedijk 101, 8400 Oostende Tel. (059) 56 90 00 fax. (059)56 90 01

USER IDENTIFICATION THROUGH IMAGE & AUDIO PROCESSING

EINDRAPPORT

Vak : Begeleider :

Projectlab Elektronica - ICT Jurgen Baert

Projectleden : Ludovic Espeel Jan Staelens Steven Puttemans

ABSTRACT Het project bestaat erin om een persoonsherkenning - systeem uit te bouwen die later kan worden ingebouwd in een spelconsole. Op deze manier moet een persoon de mogelijkheid krijgen om zich aan te melden op een spelconsole, zodanig dat de spelconsole zelf beseft met welke persoon hij te maken heeft. Vanuit deze gedachte werd het project opgesplitst in 3 grote onderdelen, die elk uitgewerkt werden in een afzonderlijk deelproject. Bij elk deelproject werd er van uitgegaan dat er op de spelconsole een camera verbonden zit om de persoon te lokaliseren en dat er een microfoon aanwezig is om de persoon te bepalen op basis van geluid. Een eerste deelproject omvat het herkennen van een persoon op basis van "geometric feature based matching". Hierbij wordt vertrokken vanuit het gezicht van een persoon, die uit het camerabeeld wordt opgehaald. Daarna wordt in het gezicht op zoek gegaan naar specifieke kenmerken van een persoon zoals neus, mond en ogen. Aan deze kenmerken wordt een centerpunt meegegeven dat aanzien wordt als een "geometric feature" van die persoon. Tussen al deze centerpunten worden vervolgens afmetingen en verhoudingen bepaald die een persoon gaan voorstellen. Op basis van deze afmetingen en verhoudingen, die opgeslaan worden in een databankstructuur, zal nadien een persoon herkend kunnen worden in beeld. Een tweede deelproject omvat het herkennen van een persoon op basis van "eigenface matching". Hierbij wordt ook vertrokken vanuit het gezicht van een persoon, die uit het camerabeeld wordt opgehaald. Op dit beeld wordt vervolgens het "Principal Component Analyses" - algoritme toegepast. Via dit algoritme wordt voor elke persoon een reeks van eigenwaarden opgebouwd die aanschouwd kunnen worden als specifieke vectoren die de persoon omschrijven. Deze reeksen van eigenwaarden worden centraal opgeslaan in een databank. Door nadien personen te gaan vergelijken ten opzichte van deze databank zal een persoon herkend kunnen worden. In een derde deelproject werd getracht de persoon te herkennen op basis van "speaker recognition". Hierbij wordt vertrokken vanuit de stem van een persoon. Deze spreekt een stuk tekst in waarna gezocht wordt naar kenmerken die specifiek bij deze persoon horen. Dit gebeurt door op het geluidsfragment heel wat filters en bewerking te gaan uitvoeren. Ten slotte wordt op het gefilterde signaal een techniek van "codebook matching" uitgevoerd. Hiermee zal opnieuw een set van audio componenten per persoon aangemaakt worden, die vervolgens in een centrale databankstructuur worden opgeslaan. Door personen met deze componenten te vergelijken kan achterhaald worden welke persoon probeert op het systeem aan te melden. Deze drie deelprojecten werden tot slot samengevoegd tot n werkend geheel waarbij de drie technieken gecombineerd zullen worden om een persoon, die op het systeem inlogt, te herkennen. Daarom werd ook gekozen om een centrale opslagstructuur te gebruiken onder de vorm van een centrale XML database.

INHOUDSOPGAVE

INLEIDING EN DOELSTELLINGEN Zoals reeds vermeld in het abstract heeft het project als doel om een persoon te herkennen op basis van uiterlijke kenmerken in combinatie met een specifiek stempatroon per persoon. Hierbij werd het project opgesplitst in 3 deelprojecten, die afzonderlijk uitwerkt werden, en waarbij dus ook voor elk project afzonderlijk enkele doelstelling opgebouwd werden. Algemene doelstellingen : Herkennen van een persoon via een cameratoevoer. Herkennen van een persoon via een microfoontoevoer. Uitwerken van een centraal registratiesysteem. Uitwerken van een evenwichtig en robuust systeem dat er in slaagt om personen met een groot slaagpercentage te herkennen, op basis van de data dat vergaard wordt uit de voorgaande stappen. Uitwerken van een centraal database systeem waarin personen opgeslaan worden met hun bijhorende kenmerken.

Specifieke doelstellingen voor "geometric feature based matching" : Uitfilteren van het gezicht uit een foto van een persoon. Bepalen van locatie van ogen, neus, neusgaten en mond van de persoon. Bepalen van geometrische afstanden tussen de specifieke kenmerken die een persoon typeren. Herkennen van personen op basis van geometrische componenten in een gezicht van een persoon.

Specifieke doelstellingen voor "eigenface matching" : Uitfilteren van het gezicht uit een foto van een persoon. Verwerken van de gezichten via een eigenface algoritme. Opbouwen van een eigen en werkend PCA algoritme. Herkennen van personen op basis van eigenwaarden die berekend worden via het PCA algoritme.

Specifieke doelstellingen voor "speaker recognition" : Uitzuiveren van een stem van een persoon uit de omgeving. Op zoek gaan naar specifieke kenmerken die een stem van een persoon typeren. Op zoek gaan naar mogelijke algoritmes om kenmerken uit een stem te halen. Herkennen van personen op basis van stempatronen.

Al deze doelstelling werden gebruikt om enerzijds drie werkende deelprojecten op te bouwen en om deze vervolgens samen te brengen in n werkend geheel.

GLOBALE AANPAK EN OPLOSSING Het is belangrijk om even na te gaan wat het globale doel is van het projectwerk en het terug te koppelen naar het finale resultaat dat behaald werd. GLOBALE AANPAK

GLOBALE OPLOSSING

GEOMETRIC FEATURE BASED MATCHING

EIGENFACE MATCHING

SPEAKER RECOGNITION

CENTRALE DATAOPSLAG

BESLUIT EN EINDRESULTAAT

10

GEBRUIKTE BRONNEN

11

BIJLAGEN

12