Strojové učení a neuronové sítě dnes velmi úspěšně používáme především v analýze obrazových dat. Tedy třeba k identifikaci, jestli je na fotografii pes, nebo kočka. Tímto způsobem používají techniky z ranku A.I. třeba internetové vyhledávače k indexaci skutečného obsahu obrázků na webu a počítá se i s masivním nástupem do průmyslu.
V každém případě, strojové učení a neuronové sítě jsou jedním ze symbolů další generace automatizace úplně všeho. Pokud chceme naše procesy automatizovat, musí to ale fungovat. A v podstatě bezchybně!
Google Photos vám díky strojovému učení dohledají třeba všechny vaše nohy
A tady se už dostáváme na velmi tenký led, současné techniky obrazových neuronových sítí jsou totiž náchylné k tzv. adversarial attacks, což jsou útoky, kdy obrazová data upravíme tak, že sice člověk nic nepozná, ale stroj to naprosto zmate.
Přesvědčíme neuronku, že je lesní roh ve skutečnosti čivava
Nyní si to můžete vyzkoušet přímo ve svém webovém prohlížeči na webu adversarial.js. Stačí z nabídky zvolit některý z modelů neuronové sítě pro rozpoznávání obrázků, třeba ImageNet a kontrolně provést detekci. Pozor, vše probíhá přímo ve vašem prohlížeči a na vašem procesoru, takže to nějaký čas zabere.
Když to bude fotka lesního rohu, ImageNet korektně odpoví, že na snímku vidí s 97% pravděpodobností lesní roh. Vidí ho tam proto, protože v rámci počátečního strojového učení viděl desítky a stovky lesních rohů a pomocí neuronů sítě vytvořil na pixelové úrovní statistický model toho, které pixely a jejich vzájemná poloha nejčastěji odpovídají tomu, čemu říkáme lesní roh.
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně.
Tak a teď ta legrace. V rámci adversariálního útoku pozměníme pixely lesního rohu takovým způsobem, aby si tatáž neuronová síť myslela, že to není lesní roh, ale čivava! Ale pozor, to neznamená, že snad budeme do snímku prolínat fotku ušatého psíka, ale do obrazu vložíme jen nepatrný šum.
Zatímco my uvidíme jen cosi, co připomíná JPEG artefakty, pro neuronovou síť ImageNet to bude vzor pixelů, ve kterých vidí rysy čivavy. ImageNet není lidský mozek, nemá oči a na pixely pohlíží jako na pole červeného, zeleného a modrého RGB subpixelu, takže i typické rysy čivavy vnímá úplně jinak než my.
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně.
Jako útočníkům nám tedy stačí analyzovat, jak se neuronová síť učí vidět čivavu, no a pak tyto rysy promítnout do snímku lesního rohu. Toto vše za nás naštěstí udělala už stránka Adversarial.js, která dodá do snímku lesního rohu onen speciální šum a ImageNet na fotce rázem místo rohu uvidí čivavu.
Nebezpečí pro automatizovaný svět zítřka
Z tohoto důvodu budou adversariální útoky výhledově velmi nebezpečné, mohou totiž zcela zničit práci nějakého obrazového detektoru. Stačí mu předložit upravená data. Mohlo by se jednat třeba o hack chytré kamery, do jejíhož proudu H.264 snímků by malware doplňoval právě podobný šum.
Fotka lesního rohu a detekce pomocí modelu neuronové sítě ImageNet. S 97% pravděpodobností se jedná o lesní roh, takže detekce dopadla správně.
Člověk by jej prakticky nevnímal, A.I. detekci obrazu, třeba nějaký bezpečnostní systém, by to ale naprosto vyřadilo ze hry, přestala by totiž v obrazu vidět lupiče. A to raději ani nemluvme o automobilové autonomii na bázi běžného kamerového vstupu pro rozpoznávání okolí.
Možnosti obrany proti těmto útokům se teprve studuje, jednou z cest je ale jeho obrazová detekce. To znamená, že neuronové sítě nebudou na snímcích hledat jen nějaké konkrétní objekty, ale právě i tento speciální šum, který se naučí hledat podobným způsobem, jako se dříve naučily vnímat, jak vypadá skutečný lesní roh.
