Slováci učia roboty chápať svet

Kvalitné snímanie trojrozmerného priestoru získava čoraz väčší význam aj vďaka vzostupu priemyselnej automatizácie a robotizácie. Vo výrobe sa s robotizáciou stretávame stále častejšie, problém klasických robotov však spočíva v tom, že sú presne naprogramované na pohyb z miesta A do miesta B a nedokážu ­reagovať na okolité prostredie. Spoločnosť Photoneo sa preto rozhodla vytvoriť pre roboty „oči a mozog“, aby boli schopné nielen vidieť, ale aj rozumieť svojmu okolitému prostrediu a dokázali reagovať na rôzne situácie. Preto vyvinuli technológiu, na ktorej postavili svoju unikátnu 3D kameru.

O čo vlastne ide?

Na trhu je pomerne veľké množstvo produktov umožňujúcich snímanie trojrozmerného priestoru. Čo má väčšina z nich spoločné, je to, že môžu kvalitne snímať iba statické scény (3D skenery). Pri 3D kamerách, ktoré sú schopné snímať objekty v pohybe, prichádza k výraznému zníženiu kvality výstupu, či už ide o presnosť, alebo nižšie rozlíšenie. Takéto kamery úplne postačujú v hernom priemysle (zoberme si napríklad senzor Kinect v konzole Xbox, ktorý je pomerne presný, intuitívny a rýchly), no na využitie v priemysle predstavujú značný problém. Všetky 3D kamery a 3D skenery, ktoré sa na trhu ponúkajú, sú založené na technológiách, ktoré by sme mohli rozdeliť do troch hlavných kategórií: time-of-flight (založená na rýchlosti odrazeného svetelného lúča), stereovízia (princíp disparity obrázkov) a technológie využívajúce premietanie štruktúrovaného svetla. Aký je medzi nimi rozdiel a ktorá technológia je najefektívnejšia?

Technológia time-of-flight je založená na meraní času, za ktorý sa svetelný signál vyslaný z projektora odrazí od skenovaného objektu a následne vráti na čip. Zatiaľ čo rýchlosť skenovania je pomerne vysoká, limitáciou je práve rýchlosť svetla. Malá chyba pri výpočte okamihu dopadu svetla sa prejavuje v milimetrových až centimetrových odchýlkach merania. Zároveň majú senzory pomerne malé rozlíšenie. Time-of-flight využívajú vo svojich produktoch napríklad spoločnosti Sony, Microsoft, Panasonic alebo Espros.

Naproti tomu technológia využívajúca ­aktívne stereosnímanie, ktoré spadá pod triangulačné systémy, funguje na princípe výpočtu trojuholníka kamera – snímaný objekt – kamera. Klasické stereo hľadá korešpondencie medzi kamerami na základe textúry (rovnakých znakov v obrázkoch) a na základe disparity určí vzdialenosť (hĺbku) od objektu. Takýto prístup však nefunguje napríklad na bielej stene, na ktorej nemožno určiť spoločné znaky. Preto sa pridala aktívna zložka vo forme svetelného vzoru, ktorý vytvára v scéne korešpondencie. Nevýhodné je to, že na rozpoznanie korešpondencie a nameranie jedného hĺbkového bodu potrebujeme viacero pixelov, čím sa dostávame k nízkemu počtu nameraných bodov, spravidla s nižšou robustnosťou. Na tejto technológii sú založené 3D kamery značiek ako Intel, ZED či Ensenso.

Ďalšia triangulačná metóda je nasvietenie snímaného objektu tzv. štruktúrovaným svetlom. Technológia sa zakladá na premietaní svetelného vzoru projektorom a zachytení deformácie tohto vzoru 2D kamerou. Trojuholník v tomto prípade tvorí sústava projektor – snímaný objekt – kamera. Výhodou oproti aktívnemu stereu je jednoduchší výpočet. Nevýhodná býva napríklad riedkosť svetelného vzoru, ktorá núti podstúpiť kompromis medzi kvalitou rekonštrukcie (presnosťou) skenovania a množstvom meraných bodov. Využívajú ju napríklad značky Apple alebo Orbbec.

Žiadna z uvedených technológií neposkytuje možnosť skenovať objekty v pohybe vo vysokom rozlíšení a zároveň pri presnosti merania menšej než milimeter. Tento problém vyriešila úplne nová, revolučná metóda na zachytenie 3D scény v pohybe. Ide o technológiu paralelného štruktúrovaného svetla, založenú na špeciálne vyvinutom čipe CMOS s vlastnou mozaikovou uzávierkou (doteraz existovali dve hlavné triedy vyčítavania hodnoty pixelov: rolling shutter a global shutter). Výstup z čipu sa prepočítava priamo v kamere a dáta sa následne posielajú do špeciálne vyvinutého softvéru na zobrazovanie mračna bodov. Vďaka tejto technológii ponúka slovenská 3D kamera 10-násobné rozlíšenie v porovnaní s inými 3D kamerami a schopnosť snímať objekty pri rýchlosti pohybu až do 40 m/s.

Prečo dať robotom „oči a mozog“?

Vďaka vývoju 3D strojového videnia nadobudla priemyselná automatizácia výrobných procesov úplne nový rozmer. Podstatou a hlavnou víziou je zefektívniť ľudskú prácu a odľahčiť personál, aby sa nemusel namáhať s ťažkým materiálom. Inými slovami, odobrať ľuďom monotónnu a nebezpečnú prácu a prenechať ju strojom.

Najrozšírenejšia aplikácia takýchto systémov sú riešenia bin picking, ako je napríklad robotické vyberanie náhodne uložených predmetov zo škatule a ich následné orientované ukladanie na vopred určené miesto. Kamera nasníma scénu, systém lokalizuje objekt pomocou modelu CAD, pošle robotu informáciu a ten koná. 3D snímanie v pohybe nachádza využitie aj pri mobilných výrobných linkách, kde sa na páse pohybujú rôzne typy produktov a na základe systému 3D vision s nimi robot manipuluje. Súčasne vznikla aplikácia založená na umelej inteligencii, vďaka ktorej robot dokáže v kontajneri lokalizovať a uchopiť predmety rôznej veľkosti a tvaru. Táto aplikácia nevyžaduje nijaký model CAD, s ktorým by dané predmety porovnala a potom lokalizovala, naopak, funguje na základe strojového učenia.

Predstava robotického ramena ukladajúceho predmety z jedného kontajnera do druhého môže znieť pomerne jednoducho, pretože človek „pozrie a vidí“. Pre robota však videnie znamená obrovské množstvo čísel reprezentujúcich vzdialenosti jednotlivých bodov okolia. Spracovanie týchto čísel do pochopenia rozloženia objektov v priestore si vyžaduje veľmi pokročilé algoritmy. Treba vedieť rozpoznať objekty čiastočne zakryté inými objektmi a otočené úplne náhodne. Veľmi dôležitá je navigácia robota k správnemu miestu uchopenia objektu, rešpektujúca ťažisko a okolité objekty, aby nemohlo dôjsť ku kolízii. Každý pohyb robota je úplne unikátny a reaguje na situáciu pred ním.

Okrem priemyselnej výroby, logistiky, paletizácie a depaletizácie i robotickej manipulácie posunulo 3D strojové videnie vpred míľovými krokmi aj inšpekciu kvality a metrológiu. Toto nie sú jediné oblasti, kde sa dá využiť 3D strojové videnie. V  rámci vývoja bol zostrojený aj autonómny mobilný robot (AMR), určený na transport a donášku materiálov v nemocniciach, hoteloch, skladoch a továrňach. Je to prvý slovenský priemyselne vyrábaný a certifikovaný AMR. Toto senzoricky navigované zariadenie uľahčuje prácu a šetrí čas pracovníkom nemocnice Košice-Šaca, kde preváža lieky a iné zdravotnícke pomôcky, pričom je schopné uniesť 100 kg a ťahať náklad až do 350 kg.

3D strojové videnie postupne prekračuje hranice priemyselnej výroby a preniká do takých sfér, ako je medicína alebo dokonca potravinárstvo. Rovnako aj využitie novej technológie v dronoch je otázka relatívne blízkej budúcnosti, pretože je dostatočne svižná na to, aby umožnila rýchlo letiacemu dronu okamžite reagovať na okolité prostredie.

Autonómny mobilný robot uľahčuje prácu zamestnancom nemocnice Košice-Šaca

Čo prinesie budúcnosť?

Napriek rýchlemu pokroku je vývoj snímania trojrozmerného priestoru ešte stále iba v     začiatkoch. Škála aplikácií, kde by sa 3D kamery a 3D skenery dali využiť alebo kde budú dokonca nevyhnutné, sa stále rozširuje. Snímanie 3D priestoru bude čoraz užitočnejšie v priemysle, no bude stále viac a viac zasahovať do „bežného“, spotrebiteľského sveta.

Je len otázkou času, kedy tieto technológie preniknú do oblasti virtuálnej reality a umožnia spotrebiteľom „stretnúť“ vo svojej obývačke napríklad Arnolda Schwarzeneggera alebo 3D model inej obľúbenej svetovej hviezdy. Smer, akým sa uberá vývoj 3D technológií, veští už v dohľadnom čase využitie 3D kamier pri rozpoznávaní tváre alebo skenovaní celého tela. Integrácia so smartfónmi je takisto hudba veľmi blízkej budúcnosti, takže spotrebitelia sa určite majú na čo tešiť.