Bezpečnostní rizika: phishing, deepfaky a útoky na AI systémy

Rozvoj AI přinesl i nové podoby bezpečnostních hrozeb, které jsou často těžko rozeznatelné od legitimní komunikace. Tento modul vysvětluje, jak tyto hrozby vznikají a jak je v praxi poznat dříve, než způsobí škodu.

Účastníci se seznámí s personalizovaným phishingem a sociálním inženýrstvím, které dnes díky AI působí mnohem věrohodněji než dříve. Modul vysvětluje, jak vzniká syntetický hlas, obraz a video, a jak deepfaky zneužívají důvěru v to, co vidíme nebo slyšíme. Pozornost je věnována i tématům specifickým pro AI systémy samotné – prompt injection, zneužití instrukcí nebo únik dat přes nevhodně formulované zadání.

Modul dále ukazuje, jak může docházet k manipulaci výstupů a falešné autoritě modelu, kdy je přesvědčivá odpověď mylně považována za důvěryhodnou. Účastníci si osvojí základní ochranné návyky pro běžné uživatele a naučí se, jak postupovat při podezření na zneužití nebo podvod – tedy na koho se obrátit a jaké kroky podniknout, než dojde ke škodě.

• zaměstnancům a manažerům, kteří se mohou stát cílem personalizovaného phishingu nebo deepfake podvodu,
• firmám, které chtějí zvýšit bezpečnostní povědomí týmu v souvislosti s AI hrozbami,
• lidem, kteří chtějí rozumět novým typům útoků a vědět, jak na ně reagovat,
• účastníkům navazujícím na předchozí moduly AI Akademie.

• Personalizovaný phishing a sociální inženýrství
• Syntetický hlas, obraz a video
• Deepfaky a manipulace důvěry
• Prompt injection a zneužití instrukcí
• Únik dat přes nevhodné zadání
• Manipulace výstupů a falešná autorita modelu
• Základní ochranné návyky pro běžné uživatele
• Jak reagovat při podezření na zneužití nebo podvod

• Rozpoznat personalizovaný phishing a techniky sociálního inženýrství.
• Chápat, jak vznikají a jak se používají syntetický hlas, obraz a video.
• Rozumět principu deepfaků a manipulace důvěry.
• Orientovat se v hrozbách specifických pro AI systémy, jako je prompt injection.
• Vědět, jak reagovat při podezření na zneužití nebo podvod.

Co je personalizovaný phishing a proč je díky AI nebezpečnější?
Jde o cílený podvodný útok, který AI umožňuje přizpůsobit konkrétní osobě nebo situaci, čímž působí mnohem věrohodněji než obecné podvodné zprávy.

Co je deepfake?
Syntetický obraz, hlas nebo video vytvořené AI tak, aby vypadalo nebo znělo jako reálná osoba, často s cílem oklamat nebo manipulovat.

Co znamená prompt injection?
Technika, kdy útočník zneužije zadání nebo obsah tak, aby AI systém vykonal nezamýšlenou instrukci nebo vydal citlivé informace.

Jak se chránit před těmito typy hrozeb?
Důležité je ověřovat neobvyklé požadavky jiným kanálem, nedůvěřovat výstupu jen na základě jeho přesvědčivosti a znát interní postup pro hlášení podezření.

Co dělat při podezření na zneužití nebo podvod?
Nereagovat okamžitě, ověřit situaci jiným kanálem a kontaktovat odpovědnou osobu nebo bezpečnostní oddělení v organizaci.