Když se před dvěma lety Dr. James Truchard loučil na konferenci NIweek se svojí pozicí ve výkonném vedení společnosti, kterou založil, konstatoval, že další významný pokrok technologií bude založen na vývoji zcela nových senzorů, umožňujících interpretovat strojové vidění světa lepším způsobem než dnes. Když se podíváme na senzoriku obecně, vývoj se za posledních 100 let moc nepohnul. Kromě bezesporu menších a spolehlivějších senzorů se stále spoléhají na binární výstup (prostě to jde anebo ne) a na jednorozměrný signál, reprezentovaný například proudem 4-20mA, změnou tlaku nebo mechanickým převodem. To je ideálu lidského těla daleko. V každé okamžiku vnímáme hmatem, zrakem, čichem, sluchem, chutí, cítíme teplo a chlad, obsah kyslíku, změny tlaku vzduchu. To vše dokáže lidský mozek proměnit najednou do mnoharozměrného obrazu prostředí a děje okolo.

Zpracování dat z více senzorů umožňuje získat komplexnější pohled na sledovaný děj nebo prostředí. Senzorová fúze také eliminuje řadu rizik běžné senzoriky v podobě chyb měření, tolerance hodnot, ale také limitů prostorového a časového snímání. Jedním z mála příkladů masově rozšířené senzorové fúze je zatím smartphone. Kombinace GNSS modulu, gyroskopu, akcelerometru a magnetometru umožňuje bez problémů určit polohu, směr a rychlost pohybu. Používají to skoro všichni a na tomto zázraku stojí úspěch celého subsektoru spotřební elektroniky fitness a wearables.

Senzorová fúze v kostce - Teorii senzorové fúze se věnuje mimo jiné článek element14 neob starší článek o Sensor hubech od DigiKey.

To je mimochodem důvod, proč tento senzorový čip, nebo SOC najdeme v nabídce všech významných výrobců součástek. Proč ale nemají jiné vícesenzorové čipy? Zde je možné začít s hledáním příčin, proč se senzorové fúzi v některých sektorech daří a někde ne.
Na první pohled je věc jasná. Všechny senzory jsou umístěny v jednom pouzdře zařízení (a často také v jednom čipu). Pracují současně a řídící procesor je vzdálený pár milimetrů daleko na plošném spoji, pokud koprocesor není již součástí čipu. Všechna data jsou zpracována ve stejnou chvíli, software se postará o virtuální dopočet chybějících dat i kalibraci měření.

Ve chvíli, kdy senzory rozmístíme dále od sebe, vzniká první bariéra. Přenos informací na větší vzdálenost a jeho zpoždění. Systém musí také určit, která data musí centrální procesor dostat v původní podobě (raw data), zpracované podobě (feature input) nebo v podobě výsledku (decision input). O této kombinaci  a procesech fúze byly napsány stohy vědeckých i pavědeckých prací, realita je zajímavější.

Více hlav, více smyslů

První oblastí, kde se senzorová fúze uplatňuje v širokém měřítku je virtuální realita. Zde je důvod jasný, Dokonalý virtuální výsledek závisí na dokonalém poznání původního jevu a prostředí. Při hraní hry nebo řízení robota, operujícího lidský mozek má svoji cenu každý impuls, který nástroj dokáže předat a interpretovat zpět obsluze. Výsledkem je silnější zážitek, vyšší přesnost a reálnější virtuální realita.

Z virtuálního světa je jen krůček do podporovaného světa Augmented reality. Zde je množství informací, dodaných obsluze také klíčem k úspěchu.

Pokročilá senzorová fúze je dnes předmětem zájmu v automobilovém průmyslu. Systémy Autonomous Driver Assistance (ADAS) pracují s výkonnými systémy kamerového vidění, radarů a lidarů, aby umožnily systému zvládnou zdánlivě jednoduché rozhodování o směru a rychlosti jízdy a také o řešení potenciální kolize (zastavit, objet nebo přejet?). V tomto oboru je pokrok znatelný, ale za cenu využití obrovské výpočetní kapacity a modelů s nekonečnými objemy dat. Tento obor má také další zajímavý fenomén. Každý další pokrok v testování odhalí nové mezery v senzorice. Do systému tak postupně přibyl lidar, ultrazvukový senzor a radary se rozdělily podle vzdálenosti detekce. S každým dalším systémem roste řádově objem zpracovávaných dat, počet situací, na které je nutné reagovat a tím i velikost a cena systému. Mimochodem, výrobcům automobilů, kteří vývoj štědře financují, tak spíš než funkcionalita a cena systému dělá starosti triviální otázka složité a objemné kabeláže mezi senzory a CPU.

ADAS – příklad pokročilé senzorové fúze

Do oblasti senzorové fůze s podobnými datovými a výpočetními nároky lze zařadit také advanced imaging, všechny technologie zpracování obrazu z více kamer za účelem rozpoznávání osob, pohybu či toku lidí a podobně.

Méně dat a více praxe

Přestože nové přelomové senzory zatím na trhu nejsou, řada aplikací používá senzorovou fúzi pro docela běžné úkony. Průmyslové systémy jsou osazeny systémy pro rozpoznávání tvaru, barvy, hmotnosti předmětu, které často pracují s několika senzory stejné veličiny a komparace dat umožňuje sestavit výslednou informaci pro aktuátory. Díky senzorové fúzi tak běží řada detektorů neshodných výrobků a třídičů. Tento přístup, často skromně označený jako 2D sensing nebo 3D sensing ukazuje, že i s jednoduchými senzory a limitovanou výpočetní kapacitou lze vyřešit skoro každý praktický problém.

Rozpoznávání jednodušších i složitějších tvarů – dnes již celkem běžná technická úloha

Senzorová fúze má významnou roli také v oblasti monitoringu prostředí, ať jde o vnitřní prostor chladícího boxu, kancelářskou budovu, město nebo rozlehlou oblast oceánu. Rozprostřením senzorové sítě, označované jako gridová síť, lze získat současně data o stejné veličině z velké oblasti a následně z nich vytvářet mapy prostředí. Zde je ovšem typické centrální zpracování surových dat.

Reálnou a úspěšnou výjimku potvrzují Mesh sítě, které na základě dat ze senzorů teploty, osvětlení, nebo vlhkosti dokáží okamžitě iniciovat jednotky, odpovědné za regulaci svítidel, klimatizačních jednotek nebo závlahy v zemědělství. Přestože používají zcela běžné senzory, síťová technologie zde poskytuje přiměřenou inteligenci pro odhalení chyb jednotlivých senzorů a bez větších problémů může fungovat i při výpadku kteréhokoli prvku.

Kdo hledá, najde

U výrobců čipů je v této oblasti poměrně malý výběr. Zatímco řada z nich senzorovou fúzi odbývá pouze klasickou kombinací gyroskopu, akcelerometru a magnetometru, další výrobci mají poměrně rozsáhle rozpracovanou nabídku senzor hubů, založených na DSP a MCU – například Bosch SensorTec, Texas Instruments, u nás méně známý Lapis Semiconductor , Infineon nebo ST Micro. A zde je možné nalézt potenciál pro vývoj.

Kde a kdy lze tedy očekávat nějaký průlom v senzorice? V nejbližších pěti letech to asi nebude. Zcela jistě se rozšíří a zlevní senzorika s podporou kamerových systémů, využívající analýzy obrazu. Zlevnění a miniaturizace čeká také celý systém ADAS. Tento jev celkem nenápadně proběhl i u autonomních vozidel v průmyslu, kde dopravní roboty řídí jednotka o velikosti DVD přehrávače. Na skvělé multisenzorové čipy si ale ještě počkáme.