ОТКРИВАНЕ И СЛЕДЕНЕ НА ЦЕЛИ С МОБИЛЕН РОБОТ ПО

АУДИОВИЗУАЛНА ИНФОРМАЦИЯ

SEARCH AND TRACKING OF TARGETS WITH MOBILE ROBOT BY USING

AUDIO-VISUAL INFORMATION

П. Венков, А. Бекярски, Ш. Сехати, Сн. Плешкова – Бекярска

Keywords : Surveillance robot, Video surveillance, Audio surveillance, Scene

segmentation, Target detection, Object-based video segmentation

In this paper describes the sensor systems of a surveillance robot, aimed to

detect abnormal events by utilizing video and audio information. At the first stage
the robot detects moving target by using a passive acoustic device. Then the
robot tracks the target across the field of vision of a pan/tilt camera platform. The
surveillance robot has to detect abnormal behavior such as “falling down” or
“jumping” and abnormal audio information like “crying”, “groan”, “gun shooting”. If
some abnormal event is confirmed, the robot has to send the image captured by
the vision system to a human-operator.
 Системи за видео-наблюдение

• Видео-наблюденията се реализират със стационарни и/или

мобилни ТВ камери. При работа със стационарни ТВ камери
задачата за обхващане на наблюдаван обем и фокусировка на
камерите се решава предварително от оператор.

• Когато ТВ камерата е монтирана на мобилен робот тя

регистрира част от наблюдавания обем, обхваната от ъгъла на
обектива. Това налага периодично сканиране на помещението
или “насочване на вниманието” към зони, в които има движение
или друг тип активност. Както при човека, това може да стане
чрез оглед на помещението (периодично преместване на
оптическата ос на камерата) или с насочване на камерата от на
друг сензорен канал, например от стерео-слух, ако търсеното
събитие генерира информативен акустичен сигнал.
• Най-разпространеният подход за автоматично видео-наблюдение
открива движещите се обекти с изваждане на текущото изображение
от усреднения фон. Камерата е неподвижна. Процедурата се
изпълнява с монохроматични изображения или с едноименните
компоненти на цветни изображения.
• По-прецизен и сложен е подходът за видео-наблюдение, който
открива и следи зони или контури на движещите се обекти в средата.
Той гарантира ниско ниво на фалшиви аларми и пропуски на целта.
Проследява се движението на зони със зададена форма и цвят в
поредица от кадри и се формират описания на пространствено-
времеви обекти I(x, y, t)
y t

x
Постановка на задачата за наблюдение и охрана с мобилен робот
• Обектът на разработка са информационните канали е мобилен
робот за наблюдение и охрана в затворени помещения с ниска
динамика –помещения в дом, хоспис, санаториум, фирмен
офис, магазин и др. Задача на визуалния сензор е да
регистрира и следи движещи се субекти в средата и да
разпознава нетипична стойка или положение на тялото (падане,
търкаляне, свиване) на наблюдаваните субекти. Задача на
акустичния сензор на робота е да детектира специфични
акустични сигнали за бедствие (вик, плач, заплаха, кавга, звук
от чупене, изстрел с оръжие) и да определи положението на
източника на сигналите в репера на робота.
• При отсъствие на релевантна акустична информация роботът
сканира помещението с хоризонтално въртене на камерата.
Във всеки сектор се търсят движещи се субекти. При
откриването им се активира процедурата за проследяване.
Сканирането на средата се прекъсва от акустичната система
при регистриране на сигнал за бедствие. ТВ камерата се
насочва към източника на звукови сигнали и анализира
състоянието на движещите се субекти.
 Мобилният робот позиционира неподвижно камерата в зададен
сектор за регистриране на движещи се обекти. Той периодично
сменя сектора на наблюдение, а при необходимост и позицията си,
за да обхване цялото помещение.

Сектор 3

Сектор 2

Сектор 1

Позиция 2
 Синтез на алгоритми за аудио системата на робота

В предлаганият автономен робот за охрана и наблюдение в социална

среда като аудио сензорна система е използвана микрофонна решетка тип
Acoustic Magic Voice Tracker Microphone Array на фирмата Acoustic Magic
[10], външният вид на която е показан на Фиг.2. Основните възможности и
характеристики на използваната микрофонна решетка са:
- осем микрофона, разположени в хоризонтална линия;
- съдържа алгоритъм за подтискане на шумове, който обработва
постъпващите звукови сигнали;
- автоматично локализира направлението на източника на звук или
говорящ човек;
- електронно управление на диаграмата на насочване на микрофонната
решетка.

Фиг.2.
 Синтез на алгоритми за аудио системата на робота

Real
Speaker
На Фиг.3. е представен Position
алгоритъм за случай на
DOA
определяне направлението M1 S1(t) H1 sh1
(DOA) или ъгъла към
позицията на говорещ θ
човек (Real Speaker M2 S2(t) H2
Position).
Микрофонната решетка е с sh2
два микрофона M1 и M2, но
действието на алгоритъма GCC
може да се обобщи и за
случаи на n-микрофона.
θ DOA

Фиг.3.
 Синтез на алгоритми за аудио системата на робота

Описанието на алгоритъма от Фиг. 3. включва следните по-важни изрази:

s1  t   s  t   n1  t  (1)

s2  t   s t     n2  t  , (2)

където

s t  е звуковия сигнал от източника (говорящия човек);

s1  t  и s2  t  - сигналите приети от микрофоните М1 и М2;

n1  t  и n2  t  - шумови сигнали приети от микрофоните М1 и М2;

α -коефициент на затихване на сигнала от микрофона М2 спрямо

микрофона М1;

 - време на закъснение между сигналите на микрофоните М1 и М2;

 Синтез на алгоритми за аудио системата на робота
Описанието на алгоритъма от Фиг. 3. включва следните по-важни изрази:

Rsh1sh2     g  f  Gs1s2  f  e j 2 df , (3)

където

Gs1s 2  f  е спектър на взаимната мощност на сигналите от микрофоните

М1 и М2;
 g  f   H1  f  H 2*  f  - обобщена спектрална функция;

H1  f  , H 2  f  - честотни характеристики на филтрите Н1 и Н2;

d 2a  
   sin  , 0    (4) d  a  a sin  , 0    , (5)
c c 2 2
c  342m / s скорост на звука във въздушна среда.

От (5) за разликата d в разстоянията на микрофоните М1 и М2 до източника на

звука може да се определи ъгъла  на посоката (DOA) към говорещ човек или
други звуци (вик, плач, скандал, изстрел) свързани с предназначението на
робота за охрана и наблюдение в социална среда.
 Синтез на алгоритми за аудио системата на робота
Предложеният алгоритъм
е проверен чрез
симулации с избрани
примерни звукови
сигнали за бедствена
ситуация. Показано е
(Фиг.4.), че предлаганите
акустични модели чрез
коефициенти за линейно
предсказване на
спектралната плътност на
мощността на отделените
звукови сигнали, се
различават съществено
помежду си и могат с
достатъчна точност да се
използват при реални
ситуации на откриване и
разпознаване на звукови
сигнали за бедствена Фиг.4. Спектрална плътност на мощността
ситуация. на отделени звукови сигнали за думи
„Ааааааа.....” и „Ооооооо....”
 Алгоритми на системата за видео наблюдение

В системи за наблюдение със сканираща камера не се използва

стационарен модел на фона. Движещите се обекти се откриват
по разликата в нивата на сиво в текущото I(x,y,t) и предишното
I(x,y,t-1) изображение. Приема се, че промените в нивата на
сиво на I(x,y,t) се дължат на движението на обектите, а
осветяването на затворената среда е постоянно.

Отделяне на движещ се човек от фона с изваждане на кадри и

прагова детекция на разликите. Изтъняване и свързване на зоните
от примитиви в контури. Подобен резултат се получава при висок
контраст между субекта и фона и изразена скорост на движение.
• Контрастът може да е разлика в нивата на сиво на осветеността B
или разлика в цветовата координата H в изображения с цветови
формат HSB.

В задачата за видео наблюдение цветовете на движещите се обекти

не са известни предварително. За определяне подобието на
цветовете на съседните пиксели с цел групирането им в зона се
дефинира предикат за цветово подобие D между цветовете C1, C2:
D(C1,C2) = 1, ако C1 и C2 са подобни;
0, в противен случай.
Проблем на предиката D(C1,C2) е, че когато S и B са малки, цветовата
координата H става нестабилна (при S=0 или B=0, H е неопределена).
В ε околността на точката (0,0,0) на HSB се налага да се отчитат
разликите в S и B на сравняваните пиксели с предиката.
Сегментирането на зоните на движещ се обект е трудно поради
разнообразието от обекти с различна осветеност и цвят. То може да
се реализира бързо и прецизно в правоъгълен прозорец, описан
около движещия се обект. Прозорецът се строи около зоните на
примитивите на движение и се позиционира в кадъра с центъра на
тежест на тези зони.

Процедурата за търсене на примитиви на движението се активира и

регистрира движещ се обект. Ако получените примитивите не могат да
се изтънят и свържат в затворен контур се описва правоъгълна рамка
около тях и се извикват процедурите за сегментиране на зони по
осветеност или цвят в зададената рамка.
Синтез на алгоритми за класификация и следене на движещо се тяло
Класификацията на пози на човешкото тяло, което е деформируемо и
пластично, е сред най-тежките задачи в теория на рапознаване на
образи. Деформируемите тела могат да се представят като
мобилни структури от твърди сегменти или чрез еластични
деформации на контурите на плоски зони.

Предложен метод за откриване

и сегментиране субекти с
йерархия от части на тялото на
човек, за които системата е
предварително обучена.
Разпознаването на частите е
формулирано като задача за
бинарна класификация.
Използва се оператор за
сегментиране на целия обект и
няколко детектора на части от
обекта, работещи с локални
признаци на формата.

Wu B, R.Nevatia, Int. J. Computer

Vision (2009), Vol.82: 185–204
Следене на човешкото тяло с алгоритъм за моделно воден анализ с
три детектора на части от обекта, работещи в локални прозорци

• Идеята за разделяне на човешкия силует на три части се използва

за ускоряване на алгоритмите за детектиране и следене на
подвижни силуети. За разделяне на главата от торса и краката на
силуета спомага правоъгълната рамка около примитивите на
движение. Алгоритмите за зонова сегментация по яркост и цвят
допринасят за обособяване на трите части на тялото.

Важна цел на следенето на субекта

е да се открият нетипични и рискови
пози на залитащо или паднало на
земята тяло, което е свързано с
промени в положението на главата,
торса и краката
 При проверката за съвпадение между сегментите и
K1=0.57
моделите се определят коефициенти за подобие
за всяка част, които формират сумарната
достоверност на хипотезата за детектиран
силует.
В сумарния коефициент за достоверност на
K2=0.83 хипотезата за наличие на мобилен силует,
детекторите на части участват с различни тела,
които са определени емпирично:

K3=0.18 KH = 0.4 K1 + 0.5 K2 + 0.1 K3

Най-нисък е тегловния коефициент на краката, а

ръцете се изключват от модела на торса, поради
тяхната изразена мобилност при ходене и бягане.

При използване на робота на банков офис или магазин за скъпи стоки,

ръце с оръжие или ръце прибиращи предмети, придобиват важно
значение. Те се въвеждат в алгоритъма за наблюдение със собствени
детектори на части .
• За регистриране на критични състояния на залитане, лягане върху
мебел или падане на земята, е необходимо към транслацията на
детекторите на части да се добавят формални оператори за
ротация на моделните контури. Това се постига с програмата за
моделно воден анализ на изображения с контурни модели.

Трите детектора на части от обекта, работещи с локалните контурни

модели, изчисляват равнинните трансформации Tj=(k, tx, ty, θ), j=1,2,3
определящи взаимното разположение на главата, торса и краката на
тялото, от които се определя човешката поза в кадъра.
 Робот за дистанционно наблюдение Wifibot

Мобилният робот WiFiBot е предназначен за

дистанционно наблюдение. Той предава цветните
изображения на ТВ камерата към стационарен
компютър по безжична локална мрежа. Освен ТВ
камерата притежава два IR сензора за откриване
на препятствия. Има вградени I2C, RS232 и USB
интерфейсни входове за включване на външни
сензори, в частност акустични микрофони, които
също се свързват през WLAN със стационарния
РС. След обработка на данните от средата,
Интерфейс стационарният РС изпраща команди към робота
4x Ethernet 10/100 BaseT
за текущата позиция и сектор на наблюдение.
1x USB
1x I2C bus
1x RS232 port
Вграден контролер Безжична мрежа:
Сензори MIPS processor AMD WiFi 802.11a/b/g
1x Pan-Tilt IP camera Au1500 Seamless Roaming
2x IR range sensors 400MHz RAM 64MB Mesh Network (OLSR)
2x optical encoders Flash Storage 32 MB WLAN AP, Bridge, Client
Battery level Bridge / Router
1x Antenna 5dBi
 Експериментални резултати и изводи
• Посоката към източника на звуков сигнал се определя от стерео
микрофоните с точност до 100;
• Отделянето на сегменти и части на контури на тялото на
движещ се човек с изваждане на последователни кадри е
стабилно при динамични движения и добър контраст между
субекта и фона;
• Проследяването на зони в последователност от кадри I(x,y,t) с
предиката за цветово подобие работи стабилно в добре
осветена среда при условие, че цвета на зоната контрастира на
цветовете във фона.
• Използването на локални детектори за части от тялото
ускоряват крайното решение, но са чувствителни към формата
и облеклото на субекта (шапки и широки връхни дрехи могат да
компрометират разпознаването)
• Благодаря за вниманието