Stereovizní kamerový systém Surveyor SVS

Martin Beneda

Univerzita Tomáše Bati ve Zlíně, Fakulta aplikované informatiky, nám. T. G. Masaryka 5555, 760 01 Zlín
email: beneda@fai.utb.cz

Abstrakt:
Článek pojednává o volbě kamerového systému pro mobilní robotický systém smožností implementace pokročilých funkcí počítačového vidění, založených především na zpracování stereoskopické obrazové informace. Ačkoli je tato problematika vztažena přednostně ke konkrétnímu stereoviznímu systému firmy Surveyor, dotýká se obecných požadavků na kamerové systémy a jejich vhodnost pro využití vpočítačovém vidění.

Abstract:
This article deals with the choice of a camera system for a mobile robotic system with a possibility to implement the advanced functions of a computer vision based mainly on processing of stereoscopic information.  Despite the fact that this issue relatives to the concrete Surveyor stereo vision system, it concerns the general demands on camera systems and their fitness for the computer vision.

Klíčová slova:
Mobilní robotický systém, steroskopická orazová informace

Key words:
Mobile robotics, stereoscopic image information

Úvod

Základním předpokladem realizace výzkumu voblasti počítačového vidění je výběr a pořízení vhodného kamerového systému. 

Prvním krokem bývá zpravidla nadefinování určitého množství požadavků a jejich následné seřazení dle priorit. Počet a důležitost těchto požadavků se poněkud mění vzávislosti na tom, jaké funkce má kamerový systém plnit. Nejčastěji se jedná o kompromis mezi základními parametry, jež jsou:

•  Analog vs. Digital (kamera, zpracování obrazu, přenos)
•  Rozlišení kamery
•  Počet snímků za vteřinu
•  Kompatibilita a podpora produktu
•  Cena

Uveďme konkrétní příklad. Cílem grantové činnosti, sjejímž přispěním vznikl tento článek, je realizace mobilního robotického systému vybaveného stereovizním kamerovým systémem. Zdůvodu následného počítačového zpracování je tedy vhodné zvolit kameru digitální. Co se týče rozlišení kamery, dá se bez skrupulí tvrdit: „Čím větší, tím lepší“. Srostoucím obrazovým rozlišením značně stoupá přesnost např. algoritmů vyhledávajících významné body a linie vobraze. Další parametr, počet snímků za vteřinu (fps), má přímý vliv na požadavek rozlišení kamery a jejich vzájemný vztah se přibližuje nepřímé úměrnosti. Rychlost obrazových čipů, přenosových protokolů, a následného zpracování obrazu ve většině cenově dostupných zařízení nedostačuje kplynulému snímkování (řekněme 25 fps) při dostatečném rozlišení (cca 1,3 megapixel a více). Tím spíše, pokud se jedná o stereo systém, kde je potřeba přenášet a zpracovávat obrazy ze dvou kamer. Takto se dostáváme kdalším požadavkům na speciální kamerové systémy. Vpřípadě stereovize je zde tedy potřeba dvojice kamer, jejichž snímky jsou pořizovány synchronně. Synchronnost zaručuje, že na obou snímcích bude vyobrazena tatáž scéna, pouze zmírně odlišné perspektivy. Mezi dalšími významnějšími parametry je potřebné ještě jmenovat často opomíjenou kompatibilitu kamerového systému scílovým zařízením pro zpracování, což je zpravidla osobní počítač sdaným operačním systémem. Podporou produktu je míněna dostupnost ovladačů, programových knihoven a šablon usnadňujících uživateli přístup kfunkcím kamerového systému.   

Po specifikaci všech požadavků následuje vyhledávání produktů, jež se svými charakteristikami co možná nejvíce přibližují těm, jež jsme si stanovili. Jak již bylo řečeno, je zpravidla potřebné podstoupit kompromis, jelikož trh scenově příznivými kamerovými systémy pro počítačové vidění je stále velmi úzký. Po zvážení všech kritérií byl pro stereovizní robotický systém vybrán kamerový systém SVS firmy Surveyor. Pojďme si přiblížit jeho charakteristiky, výhody i nevýhody.

Specifikace systému SVS

Kamerový systém Surveyor SVS (viz Obrázek 1) je složen ze dvou původně samostatných modulů SRV-1 a jednoho WiFi modulu Lantronix Matchport, jež jsou propojeny na společnou platformu, která mimo jiné obstarává napájení celého systému. Každý modul SRV-1 je osazen mikrokontrolérem Blackfin 537 firmy Analog Devices. Je to výkonný 32 bitovým RISC mikrokontrolér s taktovací frekvencí CPU 500MHz a zabudovaným DSP. Dále je ke každému SRV-1, 32-pinovým konektorem, připojena deska s1,3 megapixelovým kamerovým čipem OmniVision OV9655.

Obrázek 1 Stereovizní systém Surveyor SVS[3]

Tento typ kamery nabízí širokou variabilitu funkcí. Poskytuje možnost snímání vzákladních rozlišeních SXGA (při 15 fps), VGA, CIF a menších ve formátu YUV, RGB a dalších. Díky vestavěnému DSP umožňuje konverzi výstupních formátů a kontrolu kvality obrazu. Výhodou je taktéž automatické nastavování doby expozice, zisku či např. vyvážení bílé; tyto parametry lze ovšem taktéž řídit programově[4].

Na Obrázku 2 je znázorněno zjednodušené blokové schéma systému, kde je dobře patrné propojení bloků sériovými sběrnicemi. Duplexní komunikace mezi mikrokontrolérem a kamerovým čipem je určena převážně pro ovládání funkcí snímání a je realizována rozhranním I2C. Obrazová informace je poté zkamer přenášena na vstupní GPIO piny Blackfinu (v závislosti na výstupním formátu až po 10 vodičích). Obrazová informace může být určitým způsobem předzpracována a předána po sběrnici SCI do WiFi modulu kodeslání do sítě WLAN. Mezi oběma mikrokontroléry je sériová komunikace ve vztahu Master/Slave implementována po sběrnici SPI.    

Obrázek 2 Blokové schéma stereovizního kamerového systému Surveyor SVS

Softwarová podpora

Aby bylo možné pracovat skamerovým systémem, je nutné se nejprve připojit kbezdrátové síti, jejíž SSID je od výroby nastaveno na „SRV1“ a síť není zabezpečená. Tyto a další parametry je možné upravit po telnetovém připojení kMatchportu, jehož adresa je 169.254.0.10 na portu 9999.

Obrázek 3 Vstup do menu Matchportu

Každému SRV-1 je přidělen jiný port, tedy pro první např. 169.254.0.10:10001 a druhý 169.254.0.10:10002.   Připojením ktěmto adresám přes webový prohlížeč přímo dostáváme obraz zkamer (Obrázek 4) doplněný o možnost ovládání případných (servo)motorů.

Obrázek 4 Příklad snímků pořízených systémem SVS; Na obrázku jsou vyobrazeny snímky ze systému SVS bez jakéhokoli zpracování. Kamery nejsou kalibrovány, tudíž jsou snímky navzájem mírně pootočeny a je na nich patrné zkreslení způsobené čočkami kamer (efekt je dobře vidět na hraně stolu, nebo vertikální hraně počítače pravého snímku). Taktéž nejsou snímky ani vertikálně zarovnané. Ze snímků je taktéž čitelné lehce odlišné nastavení kamer, především zisku a vyvážení bílé.

Ve smyslu algoritmizace procesů zpracovávání obrazových informací je potřebné přistupovat ksystému prostřednictvím uživatelského programu. Vtomto ohledu nabízí výrobce uspokojivou podporu pro programovací jazyky C (C++), C#, Object Pascal a JAVA. V řešeném grantovém projektu je preferován jazyk C++. Zde je kdispozici vzorový kód „stereo. c“ využívající knihovnu SDL[2]. Přesto, pro urychlení vývoje aplikace by dozajista bylo potřeba většího množství šablon.

Závěr

Zuvedených charakteristik vyplývá, že kamerový systém Surveyor SVS nabízí uživateli bohaté možnosti využití. Dovoluje mu prostřednictvím programování mikrokontrolérů přímo řídit komunikaci na sériových rozhraních, či měnit způsob získávání obrazové informace a její následné předzpracování, případně přenos do cílového zařízení (např. PC, SmartPhone,…). Pro relativní složitost systému je ovšem úprava firmwaru spíše doménou pokročilých uživatelů. Pro většinu aplikací plně dostačuje předinstalovaný firmware, který definuje jednoduchý komunikační protokol umožňující základní práci se systémem. 

Surveyor SVS je kamerový systém primárně určený kesnadné implementaci vmobilních robotických systémech. Ztohoto základního východiska výrobce vychází určitá omezení konstrukce a stávajícího firmwaru pro potřeby pokročilého zpracovávání stereoskopické informace. Systém dosahuje uspokojivé plynulosti videa při rozlišení kamer 320x240 a kompresi do formátu JPEG, zatímco při maximálním rozlišení 1280x1024 bez komprese, mnohem vhodnějším pro algoritmické zpracování, se pohybuje kolem 1 fps. Dalším kritickým faktorem je absence synchronizace snímání na hardwarové úrovni.  Toto však lze ošetřit programově nastavením časovačů, případně i doplněním synchronizačního vodiče na příslušné piny mikrokontrolérů. Poslední nedostatek se váže kpotřebě programátora využívat softwarové knihovny pro počítačové vidění, jako je například OpenCV. Vtomto ohledu není dosud žádná softwarová podpora pro Surveyor SVS.

Třebaže popsaný stereovizní kamerový systém Surveyor SVS dovoluje uživateli proniknout na nejnižší úrovně hardwaru i softwaru a pro zmiňované neduhy, není zcela vhodný vpočáteční fázi realizace výzkumu. Přijatelnou cestou se ukazuje být pořízení dvojice relativně levných USB webových kamer, jež jsou kompatibilní sOpenCV a teprve po sestavení konečné aplikace pro mobilní robot se pokusit tento software přizpůsobit na mnohem sofistikovanější kamerový systém, jakým je Surveyor SVS.     

Poděkování

Tento článek vznikl za podpory grantu IGA Univerzity Tomáše Bati ve Zlíně, Fakulty aplikované informatiky, číslo IGA/47/FAI/10/D a Evropského Fondu pro Regionální Rozvoj při projektu CEBIA-Tech No. CZ.1.05/2.1.00/03.0089.

Reference

[1] Beneda, Martin. Stereo image sighting robotic system. In Extreme Robotics. Nano-, Micro- and Macrorobots : Int. Conf. with Elements of Scientific School for Youth.Divnomorskoye Village, Gelendzhik, Russia : [s.n.], 2009. s. 189-191. ISBN 978-5-904030-94-0.
[2] Surveyor Corporation. Surveyor Corporation : Surveyor Stereo Vision System ("SVS") [online]. 8 December 2009 15:50 gmt [cit. 2011-03-26]. Dostupné z WWW: <http://surveyor.com/>.
[3] BRADSKI, Gary. OpenCV [online]. 2011-03-25 [cit. 2011-03-27]. Dostupné z WWW: <http://opencv.willowgarage.com/wiki/>.
[4] OmniVision Technologies, Inc. OV9655 datasheet. 1341 Orleans Drive; Sunnyvale, CA USA, 2006. s. 28. Dostupné z WWW: <http://www.surveyor.com/blackfin/OV9655-datasheet.pdf>.