Určit z videa natočeného mobilem rychlost letícího tenisového míčku nebo z jediné rozmazané fotky poznat, že šmouha na snímku není UFO, nýbrž pták. To umí metoda absolventa Fakulty elektrotechnické ČVUT Denyse Rozumného, která pomocí strojového učení rekonstruuje z rozmazaných snímků ostré obrazy zachycených objektů. Před pár týdny pomohla rozlousknout pět let starou záhadu kolem údajného UFO nad USA. Pro StartupJobs Newsroom výzkumník nastínil, kam se bude jeho metoda dál ubírat a kde by se možná mohla využít.
Z „neidentifikovatelného létajícího objektu”, zkráceně UFO, spatřeného údajně v roce 2016 v americkém státu Utah, se rázem stal identifikovaný objekt, konkrétně sokolovitý pták raroh velký. Klíčem k rozpoznání záhadné šmouhy na záběrech z dronu, o níž se řada lidí domnívala, že se jedná o mimozemský objekt, byl výzkum. Jeho vývoj započal Denys Rozumnyi před pěti lety v rámci svého bakalářského studia na FEL ČVUT a nadále jej rozvíjí i během současného doktorského studia na prestižní univerzitě ETH v Curychu.
DeFMO, jak se metoda nazývá, znamená deblurring fast moving objects, tedy zaostřování (či přesněji od-rozmazávání) rychle letících objektů a dovede na základě strojového učení a pomocí výpočtu trajektorie zrekonstruovat ostrý obraz objektu z rozmazané fotky. „Metoda byla naučená na to, aby se snažila vysvětlit vstupní obrázek jako pozadí a kombinaci ostrého obrazu objektu v různých pozicích, navíc aby v tom obrázku vynikl objekt, který se pohybuje. A když zprůměrujeme všechny tyhle ostré snímky, dostaneme vstupní obrázek, “ vysvětluje pro StartupJobs Newsroom Denys Rozumnyi.
Metoda je natrénována na vzorcích asi deseti tisíc dat. Při tréninku výzkumníci předvedli, jak vypadá objekt rozmazaný a jak má vypadat objekt ostrý. Algoritmus se pak snažil zrekonstruovat z rozmazaných snímků originál. Jakmile se toto naučil, byl schopný rozmazané obrázky velmi přesvědčivě „doostřit” i v reálném čase.
Výsledek je z velké části výpočet, upozorňuje Rozumnyi, jehož algoritmus vychází ze znalosti toho, co se děje při snímání rychle se pohybujících objektů. „V rozmazání je objekt vidět, ale pro člověka je to těžké, lidské oko ho tam neuvidí. Naštěstí, stroj tu informaci z rozmazaného obrázku dostane, ale je potřeba ho tomu naučit,” upřesňuje.
V budoucnu podle autora může metoda posloužit například ve sportu: „Dokážeme i u méně kvalitních záběrů rozpoznat, kde je fotbalový míč nebo tenisový míček. Při použití rychlé kamery takový problém nenastane, ale když je záběr natočen třeba na mobilní telefon, je tam často velké rozmazání a člověk neví, co se na snímku děje. My dokážeme i v takových případech vygenerovat obraz, jako by pocházel z rychlé kamery, a dokážeme dopočítat třeba i rychlost objektu.”
Za tímto účelem již vznikla i mobilní aplikace, která umí rozpoznat rychlost podání v tenisu. Další využití by mohla technologie najít u autonomních vozidel, kde by pomáhala reagovat na náhlá nebezpečí.
Na zpeněžení technologie však Denys Rozumnyi zatím nepomýšlí, ostatně metoda je k dispozici jako open source kód na vývojářské platformě GitHub. Tam ji také našel provozovatel twitterového účtu Flyinghigh, který ji uplatnil na záběry filmařů z roku 2016. A dospěl ke zjištění, které mnohým ufologům vzalo vítr z plachet - místo mimozemského plavidla se jednalo o obyčejného ptáka. Tak se dostala metoda, na jejíž současné podobě začal Rozumnyi a jeho tým pracovat loni v červnu a s níž se zapsal na mezinárodní konferenci CVPR (Conference on Computer Vision and Pattern Recognition), do povědomí.
Yes I also used to think it was a bug, but it's actually a gyrfalcon.
— Flyinghigh (@Flyingh43892139) June 3, 2021
This amazing "AI" called DeFMO worked really well on this frame https://t.co/P1sknDZeF5 pic.twitter.com/Yfqb8LeHp6
Technologie už si pak poradí s jakýmkoliv jiným obrázkem, aniž by ho předtím znala, a to na základě jediného snímku. „DeFMO nebylo trénováno na jediném obrázku živého tvora, výsledek není halucinace, ale výpočet, který využívá znalosti, co se děje při snímání rychle se pohybujících objektů. Během trénování metoda viděla jenom syntetické 3D objekty, které využila k tomu, aby se naučila využívat informaci schovanou v rozmazání k rekonstrukci objektu a vysvětlení vstupního rozmazaného obrázku. V trénovacích datech určitě žádný pták nebyl,” dodává autor výzkumu a odmítá, že by si snad výsledná rekonstrukce sama „vymýšlela”, co na fotce není.
Tématu se věnuje už od bakalářského studia. Od té doby zaznamenal asi pět publikací. Dosud však metoda měla různá omezení, až nyní se dostala do fáze, kdy je možné ji použít obecně na jakýkoliv rychle se pohybující objekt.
Výzkum začal ve spolupráci se špičkovými odborníky z ČVUT, jako je profesor Jiří Matas, a z Ústavu teorie informace a automatizace Akademie věd ČR (ÚTIA) s docentem Filipem Šroubkem. Současně se tým hodně rozšířil a na výzkumu se podílejí odborníci z ETH v Curychu, Googlu a Microsoftu.
V rámci dokončení doktorandského studia pracuje Rozumnyi na zlepšení v tom, aby byla jeho technologie schopna vytvořit ze záběrů letících objektů rovnou celkovou 3D rekonstrukci. „Teď jsme schopni udělat z rozmazaného ostrý obrázek. Ale pro vás je lepší, když budete mít celkovou 3D rekonstrukci, tedy třeba v případě toho ptáka byste s ním mohl rotovat a podívat se, jak vypadá zleva, zprava. Částečně to už máme, ale chceme to ještě víc vylepšit,” prozrazuje s tím, že pak by bylo možné uvažovat také o nějakém byznysovém využití.
Foto: Twitter Flyinghigh, Archiv Denise Rozumného
