Bezpečnost AI (AI safety) je obor, který zkoumá, jak zabránit tomu, aby systémy umělé inteligence způsobily škodu, ať už chybou, zneužitím, nebo tím, že sledují jiný cíl, než lidé zamýšleli. Zahrnuje testování modelů, omezení nebezpečných schopností, dohled člověka a pravidla pro nasazení.
Co zahrnuje bezpečnost AI?
Bezpečnost AI řeší všechny cesty, kterými může AI systém ublížit, a hledá k nim pojistky. Odborníci obvykle rozlišují tři skupiny rizik:
- Chyby a selhání: model sebevědomě tvrdí nepravdu (halucinace), přebírá předsudky z dat nebo se chová nečekaně v situaci, na kterou nebyl testován.
- Zneužití: někdo AI použije k podvodům, dezinformacím, deepfakům nebo k získání nebezpečných návodů.
- Ztráta kontroly: systém, hlavně samostatně jednající agent, sleduje cíl jinak, než lidé chtěli, a obchází zadaná omezení.
Pojistky jsou technické (testování před vydáním, takzvaný red teaming, kdy tým záměrně zkouší model přimět k nebezpečnému chování), organizační (schvalování, dohled člověka) i právní (například AI Act).
Jaký je rozdíl mezi bezpečností AI, alignmentem a kyberbezpečností?
Bezpečnost AI je nejširší pojem, alignment a kyberbezpečnost jsou jeho části nebo sousedé. Alignment řeší užší otázku: jak zajistit, aby model chtěl dělat to, co lidé zamýšlejí, a respektoval jejich hodnoty. Kyberbezpečnost chrání systémy a data před útočníkem, u AI třeba před útokem prompt injection. Bezpečnost AI zahrnuje obojí a k tomu i dopady na společnost, například šíření dezinformací.
Častý omyl je představa, že bezpečnost AI se týká jen vzdálené budoucnosti a „vzpoury strojů“. Velká část práce řeší dnešní, zcela praktické problémy: chybné odpovědi, únik dat a zneužití.
Co bezpečnost AI znamená pro běžnou práci?
- Správce IT: než povolí AI asistenta s přístupem k firemní poště, ověří, k jakým datům se dostane a co smí provést bez potvrzení.
- Ředitelka: určí, které úkoly smí AI dělat sama a které musí schválit člověk, třeba hodnocení zaměstnanců.
- Novinář: každou citaci a číslo od AI ověří v původním zdroji, protože model se může plést.
Příklad z praxe
Úřad zvažuje AI agenta, který má sám odpovídat na dotazy občanů. Bezpečný postup: nejdřív zkušební provoz, kdy agent odpovědi jen navrhuje a úředník je schvaluje, sbírání chyb, test zkušebními dotazy včetně pokusů o zneužití a teprve pak rozšíření samostatnosti. Pomůže rámec řízení rizik jako NIST AI RMF.
Na co si u bezpečnosti AI dát pozor?
- Nedávejte AI agentovi víc oprávnění, než úkol potřebuje. Odesílání, mazání a platby nechte na potvrzení člověkem.
- Nespoléhejte na to, že poskytovatel model „zabezpečil“. Ochrany v modelu jdou obejít, kontrola výstupu zůstává na vás.
- Chyby a podivné chování AI hlaste a zapisujte, bez evidence se nedají opravit.
Časté otázky
Co je AI Safety Index?
Žebříček, který vydává organizace Future of Life Institute. Nezávislý panel odborníků v něm hodnotí, jak velké AI firmy přistupují k bezpečnosti. Výsledky a metodiku si ověřte přímo u vydavatele, hodnocení se pravidelně mění.
Je AI bezpečná?
Žádný AI systém není bezpečný úplně. Riziko snižuje testování, omezená oprávnění a kontrola výstupů člověkem.
Existuje práce v oboru AI safety?
Ano, výzkumné laboratoře, AI firmy i státní instituce hledají výzkumníky, testery a odborníky na politiku. Jde o rostoucí, ale zatím malý obor.