Tým studentů Vysokého učení technického v Brně (VUT) vyvinul software, který hodně pomůže s orientací v krajině. Přímo v terénu díky ní člověk pozná, na jaké kopce, turistické cesty či města se dívá. Doma u počítače se pak může do míst přenést znovu s 3D brýlemi ve virtuální realitě. Studenti na softwaru pracují společně s Adobe Research a technologii si nechávají patentovat.
Člověk se dívá do krajiny a zasněně pozoruje vrcholky vzdálených Krkonoš. Říká si: Ach, ta Sněžka je tak krásná! Ale ve skutečnosti se dívá na Studniční horu, která je hned vedle s vrcholkem o 50 metrů nižším. A když „Sněžku“ ještě hrdě ukáže přítelkyni, trapas je na světě. Kdyby měl dotyčný v mobilu software LandscapeAR z brněnského VUT, něco podobného by se mu nemohlo stát. Je to aplikace, která pozná, kde fotograf stojí a co fotí, nebo jak dané místo vypadá v nejrůznějších podmínkách. Stačí tak mobil namířit na objekt zájmu, třeba na jakousi chatu kdesi v dálce, a aplikace ukáže, že se jedná třeba o Špindlerovu boudu. Stejně tak je potom možné doma fotku různě upravit, třeba doostřit či změnit stíny nebo se na místo pořízení snímku znovu přenést prostřednictvím virtuální reality.
Aplikaci vyvíjí tým pěti mladých vědců, konkrétně čtyři doktorandi a jeden docent, z oboru výpočetní fotografie Fakulty informačních technologií VUT ve spolupráci s Adobe Research. Nový nástroj společně představili loni na prestižní konferenci ECCV, nyní čekají na udělení patentu.
„Náš software umí zpřesnit pozici a orientaci kamery v prostředí outdooru. V mobilní aplikaci pak nabídne prostřednictvím rozšířené reality různé informace o okolí – názvy řek a hor, vrstevnice nebo třeba vzdálenost k horské chatě – zkrátka dokáže zobrazit jakoukoli topografickou informaci v reálném terénu," popisuje vedoucí výzkumné skupiny CPhoto@FIT Martin Čadík. Jednoduše řečeno, obrazovka mobilu s tímto softwarem vypadá jako jakási živá mapa, kterou tvoří fotka toho, co uživatel vidí, doplněná mnoha názvy a daty.
Martin Čadík, docent Ústavu počítačové grafiky a multimédií a člen výzkumné skupiny z FIT VUT. (Foto: Archiv VUT)
Uživateli může zobrazit jakoukoli informaci o místě, která je k dispozici v digitální formě. „Představme si například mapu na internetu - cokoli je v této mapě zobrazeno, může vidět uživatel ve své fotografii na obrazovce. Problémem zde je, jak zachovat čitelnost a stravitelnost velkého množství takových informací,“ zamýšlí se Čadík. Pokud například uživatel zabírá mobilem na obzoru velké množství vrcholů, je složité rozmístit na malém displeji jejich názvy tak, aby byly čitelné. „Na této úloze také pracujeme a první výsledky již máme,“ říká Čadík a odkazuje tím na speciální přehledný způsob zobrazování popisků, které se navzájem nepřekrývají, ani když se objeví na monitoru najednou ve větším počtu.
Ukázka zobrazení většího počtu vrcholků najednou. (Foto: Archiv FIT VUT)
Metoda, kterou tahle výzkumná skupina vyvinula, se jmenuje LandscapeAR. Začali na ní pracovat zhruba před třemi lety s informatikem Martinem Šimonovským, se kterým se seznámili na Institutu Maxe Plancka v německém Saarbrückenu, což je mimochodem jedna z nejprestižnějších výzkumných organizací na světě. „V té době jsme ovšem ještě neměli dostatečné množství dat potřebných pro natrénování neuronových sítí. V projektu jsme pokračovali s kolegou Janem Brejchou, který potřebná data získal pomocí fotogrammetrických metod. Již z dřívějška jsme měli velmi dobré zkušenosti se spoluprací s kolegy z Adobe Research, kteří nám pomohli i s touto metodou,“ dodává Čadík.
V praxi použití LandscapeAR vypadá tak, že mobil si díky určení polohy GPS zobrazí virtuální pohled na krajinu, podobně jako například Google Earth. Z fotografie nebo obrazovky potom detekuje významné body, třeba obrysy kopců, řek nebo lesů, porovná je s terénními modely a díky tomu dokáže určit polohu i orientaci kamery na metry přesně. Porovnání bodů z fotografie a z 3D modelu terénu dělá automaticky pomocí neuronové sítě. Tu výzkumníci natrénovali na tisícovkách fotografií krajin z vlastních archivů a snímcích stažených z internetu.
Takto počítač vidí krajinu, kterou software zpracovává. (Foto: Archiv FIT VUT)
Výhodou je, že metoda funguje i offline v místech, kde není žádný internet. „V současné době využíváme v mobilní aplikaci pouze signál GPS pro prvotní hrubý odhad pozice. Věřím, že v budoucnu nebudeme potřebovat již ani GPS signál, což může být výhodné například pro lokalizaci fotografií na internetu,“ podotýká Čadík.
LandscapeAR zatím existuje pouze jako prototyp implementovaný na mobilním telefonu iPhone, ale vývojáři už mají i zárodek aplikace pro Android. „Náš tým na problematice zajímá zejména výzkumná část, ale pokud by nám s implementací aplikace chtěl někdo pomoci, spolupracovali bychom velmi rádi. Samotné jádro metody, která se stará o odhad pozice fotoaparátu, jsme dali k dispozici veřejně ve formě zdrojových kódů,“ říká Čadík. Časem má být software pro všechny operační systémy k dispozici zdarma. Praktické je, že toto zobrazení funguje všude na světě, vedle obrázků z Evropy i na fotografiích třeba z Nepálu nebo Jižní či Severní Ameriky.
Algoritmy uživatelům pomůžou nejen v terénu, ale i doma u počítače. Ten už díky softwaru dokonale zná místo, odkud byl snímek pořízen, i orientaci kamery. Díky tomu jsou možné úpravy snímků, které by jinak byly hodně komplikované. Uživatelům umožní třeba zaostřit na jiný vrchol než v původním snímku, přidat stíny nebo změnit osvětlení fotky. Software také dokáže zasadit pořízenou fotografii přímo do terénu a může pak ve virtuální realitě vrátit fotografa přímo na místo, odkud byl snímek pořízen. Fotograf pak prostřednictvím 3D brýlí může své kamarády či rodinu na místo virtuálně vzít a ukázat jim, jak vypadá okolí i mimo záběr fotografie.
