Co je bezpečnost agentní AI?
Bezpečnost agentní AI je péče o to, aby se AI agent dal bezpečně provozovat ve chvíli, kdy umí jednat sám. Chatbot jen píše text, takže nejhorší, co svede, je špatná odpověď. Agent plánuje kroky, volá nástroje a koná v reálných systémech: posílá e-maily, přesouvá peníze, mění databáze. Jakmile AI začne jednat, mění se i otázka bezpečnosti z toho, co řekne, na to, co smí udělat.
Jádrem problému je autonomie. Stejná volnost, díky které je agent užitečný, znamená i to, že se jediné špatné rozhodnutí promění v reálný čin, aniž ho někdo schválil. Bezpečnost tady spočívá v tom, že vytyčíte hranice: ke kterým nástrojům agent smí, jaká data vidí a které akce musí nejdřív odsouhlasit člověk.
Lidsky řečeno
Chatbot je jako stážista, který umí jen odpovídat na otázky. Agent je stážista s firemní kartou a klíči od budovy. Bez pravidel byste mu je nedali: limit na útratu, seznam místností, kam smí, a vedoucí, který schválí cokoli většího. Bezpečnost agentní AI znamená tahle pravidla sepsat a vynucovat.
Proč na tom záleží
- Prompt injection. Skryté pokyny ve webové stránce, e-mailu nebo dokumentu mohou agenta unést a obrátit ho proti vám. To je hlavní riziko, které je pro agenty jedinečné.
- Příliš široká oprávnění. Agent s plným přístupem k databázi smaže mnohem víc, než jeho úkol potřeboval. Dejte každému agentovi jen tolik přístupu, kolik mu stačí k práci.
- Nevratné akce. Na rozdíl od špatné věty špatná akce zůstane. Chybná refundace, smazaný záznam nebo uniklý soubor se sami nevrátí.
- Zneužití pověřeného přístupu. Útočník přiměje agenta, aby jeho legitimní přístup použil v útočníkův prospěch.
Na co si dát pozor
- Slepá důvěra ve výstup nástrojů. Berte všechno, co agent načte z vnějšího světa, jako nedůvěryhodný vstup, ne jako pokyny k vykonání.
- Chybějící člověk u nevratných akcí. Posílání peněz, mazání dat nebo publikování by mělo vyžadovat schválení, dokud agentovi nevěříte.
- Žádná auditní stopa. Když agent udělá chybu, potřebujete záznam každé akce, abyste dohledali, co se stalo.
- Vynechané limity. Omezte, kolik kroků, volání a útraty agent dostane na jeden běh, aby utržená smyčka nenadělala utrženou škodu.
Související články
- Co je agentní AI? - Autonomie, která dělá agenty mocnými a riskantními jedním dechem.
- Co je AI governance? - Pravidla a dohled, díky kterým je používání AI pod kontrolou.
- MCP pod lupou: jak AI agenti komunikují s nástroji - Protokol, který propojuje agenty s reálnými systémy, a rizika, která přináší.
Chcete být o krok napřed?
Nenechte si utéct naše nejlepší postřehy. Žádný spam, jen praktické analýzy, pozvánky na exkluzivní eventy a shrnutí podcastů přímo do vaší schránky.