Když vás zajímá rozvoj umělé inteligence a její fungování v současném světě, je ideálním kandidátem na zpovídání profesor Michal Pěchouček, technický ředitel Avastu a vedoucí AI Centra FEL ČVUT. I zdánlivě složité problémy dokáže vysvětlit srozumitelně a na příkladech. Ve velkém rozhovoru pro StartupJobs Newsroom hovořil o tom, jak se liší románové představy o robotech od reality, i kam může dospět rozvoj chytrých algoritmů na sociálních sítích. „Většina lidí se může ocitnout v Matrixu,“ varuje zcela vážně. A přidává i tip na oblasti, kam by svou pozornost měly zaměřit technologické startupy či investoři.

Když se podíváte na rozvoj umělé inteligence a porovnáte ho s tím, co známe z různých sci-fi románů, řeší vědci stejné věci? Třeba to, že umělá inteligence nesmí ublížit člověku, strojové učení a podobné záležitosti?

Určitá podoba s románovými věcmi je založená na tom, že umělá inteligence, když se podíváme na jádro toho, co dělá, něco optimalizuje. Když rozpoznává obličeje na fotografiích, minimalizuje chybu, že se splete. My trénujeme algoritmy tak, aby se dokázaly samy rozhodnout, a objektivní funkce, tedy to, co se optimalizuje, je ta chyba.

Stuart Russell, profesor na University of California v Berkeley a zakladatel skupiny CHAI, což je Center for Human-Compatible Artificial Inteligence pracoviště, napsal knihu, kde tvrdí, že do té doby, co lidé budou určovat předmět optimalizace, máme umělou inteligenci pod kontrolou a ona se nevymkne. Ve chvíli, kdy bude sama umělá inteligence určovat, co optimalizuje, tak jsme na hraně a je to nebezpečné. A to je technický argument, jenž je podobný zákonům robotiky, které jsou spíše románové a romantické.

Příkladem může být práce s energií. Na optimalizaci správy energie už dneska potřebujete algoritmy umělé inteligence, ale zatím člověk určuje, kam se energie „leje“ a na co je potřeba. Kdybychom se dožili doby, kdy se algoritmy budou rozhodovat, že budou potřebovat více energie na to, aby počítaly, a méně energie posílaly do domácností na klimatizace nebo na dobíjení aut, tak se můžeme ocitnout v prostoru, kdy nás může začít ohrožovat.

Robot se „nerozkouká“

Může umělá inteligence sama dojít k rozhodnutí, že naše mantinely jsou špatné, a vzbouřit se?

Ne. Je to o tom, že dneska optimalizuje věci, které chceme. Učení a optimalizace jsou jiné věci. Umělá inteligence nefunguje tak, že ji někam hodíte, ona tam něco dělá a z toho, co dělá, se učí a zlepšuje. Takto fungují řídicí systémy v jiných oborech, koncept zpětné vazby a zlepšování chování je spíše vlastností kybernetiky. Umělá inteligence pracuje s trénovací sadou a tyto trénovací příklady jsou dnes bohaté, detailní a je jich velké množství. Díky tomu jsme schopni vytrénovat velmi kvalitní chování umělé inteligence.

Ale to ještě neznamená, že když umělou inteligenci vytrénujeme, tak ji necháme něco dělat, a ona se potom rozmyslí, že bude dělat něco jiného. Představa, že přijde robot, někde se rozkouká, něco se naučí a potom něco udělá, je moc romantická. To, čemu bychom měli zabránit, je to, že umělé inteligenci dáme takovou objektivní optimalizační funkci, které úplně dobře nerozumíme, nebo takovou, která v sobě může skrytě představovat nějaké nebezpečí pro člověka.

Když přemýšlím třeba o samořiditelném autě, vybaví se mi známé příklady tramvajového dilema (trolley problem), kdy se rozhodujeme o různých špatných možnostech. Představme si, že se takové auto ocitne v nečekané situaci a bude se muset rozhodnout o tom, jestli stočí volant napravo a přejede dítě, nebo nalevo, a přejede babičku. Jsou i toto hranice, o kterých rozhoduje člověk?

Když jsme se bavili o tom, co jsou reálné a romantické příklady, tak toto velmi citované a diskutované tramvajové dilema je nereálný příklad. Kolikrát se stalo, že by se člověk musel takto rozhodnout? Máme někde v judikatuře zaneseno, že někdo přejel babičku, protože nechtěl přejet dítě? Já takový příklad neznám a podle mě neexistuje a nebude existovat ani u samořiditelného auta.

Vědecká komunita vytváří nereálný a absurdní problém umělé inteligence, a přitom najdeme spoustu příkladů, kde ohrožuje naše bezpečí, svobodu a zdraví. Vždycky říkám, ať se zaměřujeme na důležité problémy. Ale rozhodně to není „trolley problém“, a ani nebude.

Algoritmy budou vždycky naprogramovány tak, že nesmí nikoho zabít, a podle toho se budou rozhodovat. Ale nikdy to nebude rozhodnutí tohoto typu, tedy jestli zabije babičku, nebo dítě. Algoritmus bude fungovat tak, že nebude chtít zabít ani jednoho. A nakonec rozhodnou podmínky, které jsou mimo kontrolu auta, jako je kvalita vozovky, počasí nebo kvalita snímku z kamery.

Jak od sebe rozlišit umělou inteligenci a algoritmus?

Umělá inteligence se realizuje pomocí algoritmů umělé inteligence. Je to speciální třída algoritmů, která se dneska z velké části redukuje na strojové učení, což je ještě podtřída algoritmů. Ale my vědci, kteří se zabýváme umělou inteligencí, tvrdíme, že pokud algoritmus realizuje racionální chování, podobné tomu, jak by se choval člověk, je to projev strojové umělé inteligence.

Je i spousta algoritmů, které pohánějí naše stroje, dělají spoustu věcí, ale nemají nic společného s umělou inteligencí. To znamená, že v sobě nemají strojové učení a ve své podstatě neimitují racionalitu člověka. Příkladem je správa datových center, kde všechno řídí algoritmy a dělají věci, které člověk ani nedokáže úplně pochopit. Ale samozřejmě to není umělá inteligence.

Jak zásadní roli hraje umělá inteligence v oblasti sociálních sítí a internetového vyhledávání?

Toto je hezký oslí můstek k vaší první otázce. Umělá inteligence něco optimalizuje, je navržena tak, aby zajišťovala optimální chování. V případě sociálních sítí je to pozornost, umělá inteligence optimalizuje pozornost a snaží se získat co nejvíce pozornosti uživatele. Primárně se snaží člověku zavděčit a dává mu contenty, které chce vidět, i když to pro něj není výhodné, nebo mu to dokonce ubližuje.

Příkladem je, a to je statisticky prokázáno, že lidé více klikají na šokující než mírumilovnou zprávu. A jestli chce sociální síť více pozornosti, velmi brzo se naučí, že vám bude dávat šokující a těžko uvěřitelné zprávy a zprávy na hranici pravdy, protože budete více klikat. A díky tomu, že umělá inteligence shání zprávy na hranici pravdy, občas sáhne i po nepravdě, protože se ukazuje, že nepravda má více kliků, a začne ji tam „cpát“ zcela automaticky. A tím ubližuje společnosti, rozděluje ji, vytváří závislost na šokujících informacích, sociální bubliny, ve kterých posiluje přítomnost lidí v určitých sociálních skupinách, relativizuje pravdivou informaci. A je to proto, že optimalizuje pozornost.

Bohužel, a to ilustruje můj první bod, lidstvo si tam před 15 lety dalo nějakou objektivní funkci, kterou chtělo optimalizovat, a netušilo, že umělá inteligence může takto hrubě poškozovat společnost. To je neočekávaný důsledek této funkce. Podobných věcí se může stát spousta, a tady se vracím k tomu příkladu s energií. To je stejná kategorie, můžeme se snažit dělat něco dobře, a nedojde nám, že tam je nějaké nebezpečí.

Já věřím, že Facebook nechtěl rozdělit Ameriku, ale důsledkem této objektivní funkce, která je napojená na jejich byznys model, se to stalo. A Facebook za to opravdu může, je to jeho vina. A když pak někdo diskutuje „trolley problem“, tak říkám, že to není důležité. Důležitá je umělá inteligence, která řídí pozornost lidí na sociálních sítích.

PŘEČTĚTE SI: „Sto tisíc uživatelů jsme měli rychleji než Instagram.“ Na pozadí Like House vzniká v Česku sociální síť Oukee s globálními ambicemi

Může se situace ještě zhoršit?

Může se to zhoršit, ze sociálních sítí se může stát Matrix. Sestry Wachowské, které před 20 lety natočily Matrix, byly vizionářky, protože predikovaly něco, k čemu opravdu spějeme. Lidé se mohou většinově ocitnout v Matrixu a může být jen malá skupina lidí, která tam nebude a bude využívat toho, že v něm ostatní lidé jsou a utrácejí tam své peníze. Dokonce se to může stát motorem ekonomiky, bude tady ohromné množství lidí, kteří budou totálně ovládnutí sociálními sítěmi.

Když se podíváte na ten film, jak to tam funguje, a zároveň na to, jak dnes lidé na sociálních sítích fungují a jak žijí na internetu, je to dystopický scénář, který vůbec není nereálný. Takže horší to být může.

Další aspekt může být ten, že to část lidí začne opravdu zneužívat. U politické reklamy za Brexitu i za volby Donalda Trumpa se ukázalo, že to skvěle funguje a že to přináší moc. Někteří lidé mohou začít chladně zneužívat Matrixu, aby ovládali jiné lidi, a to nejen pro klik a prodej reklamy, ale i pro volby.

Michal Pěchouček patří mezi největší experty na AI v Česku, nyní působí v Avastu.

Mozkové implantáty neprojdou

Nadnárodní technologické společnosti jako Google nebo Facebook o nás mají ohromné množství osobních dat, takzvaných velkých dat. Dříve se říkalo, že ještě nemají dostatečný počítačový výkon, aby je dokázaly efektivně analyzovat a zpracovávat. Padly už tyto limity?

Nejsem si vědom žádných technologických limitů na zpracování velkých dat. Tyto firmy jsou technicky tak vyspělé, že limity už dávno vyřešily. Vstupuje do toho spíše etický rozměr, co si mohou dovolit a co si chtějí dovolit.

Ony mají ohromnou moc, mají dokonce větší moc než státy, a mohou rozhodovat o světě. Ale ony zároveň vědí, že toho nesmí zneužít, protože když půjdou vyloženě proti vládám, tak se to celé „zadře“, a nakonec skončí i jejich byznys model. Takže spolupracují a budou spolupracovat. Privátnost a etika práce s privátními daty, to je něco, kde velké firmy budou s Evropskou unií a regulátory spolupracovat a budou nacházet nějakou střední cestu.

Máte nějaký příklad toho, kdy si velká firma sama stanovila etické limity?

Amazon pomocí umělé inteligence dokázal rozumět tomu, jak dobré systémy vytvářejí startupy. Startupy si totiž nekupují železo, ale pronajímají si servery na Amazonu, a ten vidí, co tam dělají, jaké používají technologie a jaké dělají chyby. A Amazon dokázal predikovat úspěšnost startupů podle toho, jak používají jeho infrastrukturu. Byla i varianta, že by podle toho investoval, ale pak se sám Amazon rozhodl, že je to neetické a nebude to dělat. To je příklad takového limitu.

Zajímavé byly také slavné Google brýle. Všechny to před několika lety ohromilo a očekávalo se, že se na svět budeme dívat přes Google brýle. Ale Google to zastavil ne proto, že by to nefungovalo, ale protože to snižovalo soukromí a začalo to být neetické. Google věděl, že v nějakém okamžiku to přestane být pro společnost přijatelné. Takže dneska se ty brýle používají v nějakých povoláních, kde to je legitimní, ale není to v mainstreamu.

Z těch samých důvodů si myslím, že se nepovolí mozkové implantáty. Nevěřím, že to bude možné. Elon Musk sice do mozkových implantátů investuje, ale nebude to eticky přípustné, regulátor to nepovolí. A navíc to bude zbytečné, protože práce s mobilním telefonem už je velmi blízko mozkovému implantátu.

Je to příklad odvětví, které se bude deprioritizovat. Zatímco umělé oči se dělat budou, brzy budou nevidomí lidé vidět přes kamery, které se budou integrovat do mozku, a dokonce bych si troufal tvrdit, že právě Elon Musk svou investici otočí tímto směrem, ale že bychom si mohli mozkem brouzdat internetem, to nebude.

Když se podíváte na další rozvoj umělé inteligence, napadají vás oblasti, které budou v dohledné době velmi atraktivní pro startupy a investory?

Medicína a zdravotnictví, to je ohromně neprobádané pole. Sice to není nic nového, investuje se tam už deset let a spousta technologií vzniká, ale myslím si, že jsme úplně na začátku. Umělá inteligence v medicíně bude mít za důsledek to, že se zlevní zdravotní péče a bude dostupná většímu množství lidí.

Příkladem startupu, který má už dnes miliardovou hodnotu, je Butterfly v USA. Dokázal vyrobit přístroj na zpracování ultrazvuku, který je ve velikosti iPhonu a stojí jako iPhone. Demokratizace a zpřístupnění ultrazvuku na těchto zařízeních úplně mění diagnostiku ve zdravotnictví.

Nebo zpracování tomografických snímků, to už dneska nedělá člověk, umělá inteligence ho překonává. Také ve vědě je umělá inteligence úspěšná. My vědci jsme si mysleli, že jsme imunní vůči umělé inteligenci, ale nejsme. Teď DeepMind vydal AlphaFold algoritmus, který už dnes řeší problém skládání proteinů pro vývoj vakcín a překonává člověka. Ohromná věc! Takže věřím, že zdravotnictví a diagnostika je pole, kde se toho ještě hodně stane, a klidně bych do toho investoval.

Druhou velkou oblastí je regulatorika umělé inteligence a schopnost umělou inteligenci hlídat, jestli se náhodou nechová manipulativně, jestli v sobě nemá nějaké bias (datový předsudek, pozn. red.), neznevýhodňuje určitou skupinu lidí nebo jestli nedegeneruje k nebezpečnému chování. Budou potřeba technologie, které budou monitorovat a hlídat chování umělé inteligence v různých aplikacích, je to velké pole, které zajímá i regulátory a politiky.

Hlídání umělé inteligence? Povězte mi k tomu více…

Zjištění bias není tak těžké jako umět ho z toho vypreparovat a systém spravit. To jsou těžké problémy a je spousta startupů, které se tím zabývají. Například dokážou zjišťovat, jestli chování bankovních systémů, které doporučují credits (forma půjčky, pozn. red.), nedeprioritizuje černošské obyvatelstvo. Cílem je, aby stroj rozhodoval inkluzivněji než bankovní úředníci, u kterých se to umělá inteligence naučila.

Také rozpoznávání obličejů může mít závažné bias. V Americe jsme viděli, že když se kamery dívají na autobusovou zastávku, dokážou přivolat policejní hlídku, když je tam větší množství černošského obyvatelstva. A třeba již zmíněná umělá inteligence v energetice – také bude potřeba pustit tam nějaký algoritmus, který bude monitorovat, jestli se ta umělá inteligence neposouvá do prostoru, který už je nepřijatelný.

PŘEČTĚTE SI: Bezpečnostní stíny nad firmami i startupy: O tom, kde hřešíme, a útočnících, kteří umí „zavřít krám“

Algoritmy proti algoritmům

Momentálně působíte v oblasti počítačové bezpečnosti. Jakou roli hrají algoritmy tady? Mám pocit, že dochází nejen ke střetu útočníků a ochránců, ale také algoritmů…

Střet mezi ochránci a kriminálníky je starý jako lidstvo samo, ale posledních 30 let se přenesl také do počítačového světa a je tam extrémně silný.

Jsou tam dva zajímavé jevy. Jedním je automatizace útoků, je jich čím dál více, jsou masivní, jsou všude a umělá inteligence v nich hraje čím dál větší roli. Není tolik hackerů, aby dokázali způsobit takovou škodu, takže potřebují umělou inteligenci, aby dopad jejich kriminální činnosti byl co možná nejúspěšnější a nejširší. Takže používají umělou inteligenci, aby automatizovali, škálovali a dokázali toho udělat více.

Pro obránce je umělá inteligence také důležitá, abychom neutráceli lidskou sílu analytiků na to, aby bojovali s umělou inteligencí. To je jev, který tam dříve nebyl, útoky vedené umělou inteligencí se mohou snadno škálovat, útočník si koupí jen další výpočetní prostor v datovém centru a má jich zase tisíckrát více. Lidští obránci se nemůžou takhle rychle škálovat, takže je důležité, aby cyber security průmysl bojoval proti umělé inteligenci pomocí umělé inteligence. Musíme psát automatické algoritmy, které také pustíme na datová centra, a také jen koupíme další servery. Lidi potřebujeme na to, aby pracovali s těmi špeky, s těmi složitými věcmi, které napsali lidští hackeři, kteří jsou sofistikovaní. Potřebujeme lidi, aby bojovali s lidmi.

Druhý zajímavý jev je ten, že se změnila cyber security oblast. Dříve byl vektor útoků počítač, nějaký firewall, telefon nebo USB tyčka. Útočilo se na přístroje, které byly zranitelné, ale dneska je to člověk a většina úspěšných útoků je způsobena chybou člověka.

Jako útočník potřebujete zmanipulovat člověka, aby udělal něco, co udělat nechce, například aby klikl na nějakou toxickou linku. Útočníci se dnes zabývají tím, jak ošálit člověka, aby to, co po něm chtějí, vypadalo uvěřitelně. Aby se mezi stovkami a tisíci legitimních akcí, které každý den na internetu děláme, schovala jedna toxická akce. A proto je potřeba umělá inteligence, sbírání privátních informací a modelování, abyste člověka dokázali ošálit.

V čem konkrétně může umělá inteligence pomoct útočníkům?

Kdybych si vzal váš inbox na Gmailu a pustil na něj umělou inteligenci, jsem schopen napsat nějaký phishing e-mail, který nerozpoznáte. I já sám, vzdělaný člověk a expert na kyberbezpečnost, bych se nechal ošálit. Takže je nutné chránit svá privátní data, své kliky, e-maily a chaty, protože to je materiál, ze kterého se dá postavit přesný kognitivní útok.

Podle mě je internetová manipulace na sociálních sítích takový phishing 2.0. Můžu se stát předmětem lží na internetu, potom se rozhodnu, že se nenechám naočkovat a kvůli tomu umřu nebo umře můj blízký. Je to hodně podobné phishingu, dělám něco, co bych, kdybych nebyl manipulován, nikdy neudělal, protože to není racionální a je to hrubě v můj neprospěch. Spousta lidí si dnes takto nevědomky ubližuje a já tady vidím propojování internetové manipulace a toho, co dělají útočníci, kteří chtějí, abyste klikli na nějaký toxický link. My technologové se na to díváme podobným způsobem.

Zmínil jste, že počet útoků roste. Když si vezmeme nějakou zažitou filmovou představu, že hackeři útočí na vládní systémy nebo centrály CIA, to už dnes asi neplatí a terčem může být i malá firma nebo začínající startup…

Když jste dříve chtěl udělat udělat sofistikovaný útok, potřeboval jste armádu lidí a byla to taková inženýrská práce. Ale dneska se s pomocí umělé inteligence cena útoku snižuje, takový útok je klidně stokrát levnější, než byl v minulosti. A díky tomu už se ho vyplatí pustit na malou firmu.

Velkým trendem jsou ransomware útoky, které za sebou mají výborný obchodní model, kdy se ty peníze strašně rychle sbírají. Vyplatí se vám udělat tisíc generických útoků, poslat je na všechny ordinace zubařů, protože víte, že oni vám těch 100 dolarů pošlou. A 100 dolarů krát tisíce ordinací je efektivnější než útok na středně velkou firmu. Takže i tady vidíme automatizaci.

Bohužel se tady spojují ještě dva nešťastné jevy, na jedné straně je skvělý ekonomický model pro útočníka, na druhé ty útoky způsobují chaos, nestabilitu a strach ve společnosti. Existují organizace nebo státy, pro které je nejistota v západní Evropě výhodná. Díky tomu existují symbiotické zájmy, někdo na tom vydělává peníze a někdo rozkládá naše hodnoty, vytváří strach a bojuje proti naší západní civilizaci.

Jaké jsou dnes limity toho, aby se podobné útoky vypustily napříč na všechny lidi, kteří mají v ruce telefon nebo používají jakékoliv chytré zařízení?

Limitem je obrana. Společnost investuje neskutečné prostředky do kybernetické bezpečnosti, na vládních úrovních, ve velkých i malých firmách, je to hrozně moc peněz, velikánská daň. Kdybychom to nemuseli dělat, tak se ty peníze dají použít třeba na vzdělávání nebo cestu do vesmíru. Je potřeba ohromné množství lidí a kreativity, aby se vytvářela silná bariéra.

Připomíná to lidský organismus, který má v sobě také pořád nějaké bakterie a viry, ale fungujeme s nimi, máme silný imunitní systém, občas se někde naočkujeme. A stejně funguje kyberbezpečnost. Nikdy to nebude úplně vyřešené, ale potřebujeme, aby to bylo pod kontrolou.

Foto: Avast