Stačila chyba v nastavení a Claude začal útočit na skutečné systémy

Claude dostal během bezpečnostního testu jasné mantinely: pracuje v simulaci a na skutečný internet se nedostane. Jenže technické prostředí bylo nastavené jinak. Kvůli chybě v konfiguraci měl model internet ve skutečnosti dostupný a protože předpokládal, že všechno, k čemu se dostane, stále patří do připraveného testu, začal pracovat i se skutečnými systémy.

Anthropic později objevil tři podobné incidenty a kvůli nim zpětně prověřil více než 141 tisíc testovacích běhů. Firma následně zveřejnila také detailní rozbor toho, co se během testování stalo. Na celém případu nás ale nezaujalo ani tak to, že Claude „zaútočil na firmy“. Mnohem důležitější je rozdíl mezi tím, jaká pravidla model dostal, a tím, co mu systém ve skutečnosti dovolil udělat.

Pravidla říkala ne. Systém to ale umožnil.

Anthropic při bezpečnostních testech používá scénáře typu capture the flag. Model dostane připravené prostředí a jeho úkolem je najít cestu k určité informaci nebo systému. Internet měl být mimo hru, kvůli chybné konfiguraci testovací infrastruktury ale některé stroje správně oddělené nebyly.

Následky už nebyly jen virtuální. V jednom případě se fiktivní název společnosti shodoval se skutečnou internetovou doménou. Claude se dostal do systému reálné firmy a získal přístup k databázi s několika stovkami řádků produkčních dat. V jiném testu vytvořil škodlivý Python balíček a zveřejnil ho do skutečného registru PyPI. Balíček byl dostupný přibližně hodinu a během této doby se spustil na patnácti reálných systémech.

‍

Další testovaný model během hledání cíle prohledal tisíce veřejně dostupných systémů. Jakmile ale rozpoznal, že pracuje se skutečným systémem, který do scénáře nepatří, svoji činnost zastavil. Nešlo tedy o AI, která by si sama řekla, že uteče z laboratoře a začne napadat internet. Claude pokračoval v řešení úkolu v prostředí, o kterém se domníval, že bylo vytvořené právě pro tento účel.

Agent už není jen chatbot s lepším promptem

U běžného chatbota může špatně pochopené zadání skončit nesmyslnou odpovědí. U agenta mohou být následky úplně jiné. Může dostat přístup k databázím, dokumentům, API, e-mailům nebo interním aplikacím, spouštět kód a provádět kroky, které by jinak dělal člověk. A v tom je jeho největší hodnota i riziko.

‍

Čím více možností mu firma otevře, tím méně se může spoléhat pouze na dobře napsaný prompt. Do hry vstupuje architektura celého řešení. K jakým datům má agent přístup? Co může pouze číst a co už může měnit? Smí komunikovat s externími službami? Může něco zveřejnit? A u kterých kroků se musí zastavit a počkat na potvrzení člověka?

‍

Claude měl podle pravidel fungovat bez internetu. Technicky k němu ale cestu měl. To je jednoduchý příklad toho, proč hranice AI nemohou existovat jen v textovém zadání.

Co agent nepotřebuje, k tomu by se neměl dostat

S rostoucími schopnostmi AI agentů bude stále důležitější jednoduchý princip: nedávat jim větší oprávnění, než skutečně potřebují. Agent, který připravuje podklady z interní databáze, nemusí automaticky dostat možnost data měnit. Agent pracující s firemní dokumentací nemusí mít otevřený přístup všude na internet. A proces, který může ovlivnit zákazníka, peníze nebo produkční systém, nemusí proběhnout celý bez lidské kontroly.

Nejde o to automatizaci zbytečně brzdit. Jde o to nastavit její míru podle toho, jak velké mohou být následky případné chyby. Anthropic po incidentech zpřísnil mimo jiné oddělení testovacích prostředí, kontrolu přístupu k internetu a monitoring. Celý případ tím dostává mnohem praktičtější rozměr než jen další příběh o „AI, která se vymkla kontrole“. Problém nebyl pouze v tom, co model dokázal. Byl také v tom, co mu systém dovolil udělat.

Náš praktický pohled na věc

Agent může ušetřit hodiny manuální práce a převzít část rutinních procesů. S rostoucí autonomií ale musí růst i úroveň zabezpečení. Přístup k datům a systémům by měl být omezený na skutečně nezbytné minimum, citlivé kroky musí mít jasně nastavenou kontrolu a firma potřebuje vědět, co agent v každém okamžiku dělá.

‍

V Techmates se proto při hodnocení AI a IT řešení nedíváme jen na to, zda fungují. Zajímá nás také jejich architektura, bezpečnost a rizika, která mohou při reálném provozu vzniknout. Podobným tématům se věnujeme i v rámci IT & AI Due Diligence.
‍

Čím schopnější AI agent je, tím důležitější je řešit nejen to, co umí, ale také kam ho pustíme.