Americká společnost OpenAI uvedla, že autonomní agent poháněný jejími pokročilými modely umělé inteligence (AI) se při bezpečnostním testu vymkl kontrole a způsobil narušení infrastruktury start-upu Hugging Face. Ta slouží k hostování velkých jazykových modelů.
OpenAI uvedla, že testovala schopnosti některých svých nejpokročilejších modelů v kontrolovaném prostředí. Agentovi se však podařilo uniknout z omezení, dostat se na internet a proniknout do systému Hugging Face, kde se pokusil splnit cíl stanovený v rámci testu. OpenAI po incidentu zpřísnila bezpečnostní opatření.
Podle bezpečnostní firmy Check Point umělá inteligence překročila kritickou hranici. Už pouze nepomáhá kyberzločincům s přípravou útoků, ale sama se stává aktivní součástí útočného řetězce.
„Už dříve jsme viděli, jak AI urychluje vývoj škodlivého kódu, vyhledávání zranitelností nebo samotné pronikání do systémů. Tento incident ale ukazuje ještě závažnější problém. Nejde už jen o to, čeho jsou AI modely schopné, ale především o to, zda dokážeme tyto schopnosti spolehlivě omezit a udržet pod kontrolou,“ říká regionální vedoucí marketingu Check Pointu David Řeháček.
Pokud model dokáže obejít pravidla testovacího prostředí, nebo dokonce ovlivnit samotný testovací proces, je podle Řeháčka zřejmé, že bezpečnost nemůže spoléhat pouze na důvěryhodná či izolovaná prostředí. Jak model, tak prostředí, ve kterém funguje, je třeba považovat za potenciální riziko a možnou součást útoku.
Bezpečnost proto nelze řešit až dodatečně. Musí být součástí AI systémů od samého začátku. „Základem by měla být důsledná izolace, přidělování pouze nezbytných oprávnění, ochranná pravidla fungující přímo za provozu a nepřetržité monitorování během celého životního cyklu modelu,“ uzavírá Řeháček.