A Nvidia disponibilizou nesta segunda-feira ferramentas de segurança para agentes de inteligência artificial. Segundo a empresa, os sistemas poderiam ter impedido a invasão da Hugging Face, plataforma de desenvolvimento de código para IA adquirida pela Nvidia por US$13 bilhões meses depois de ter sido tomada por agentes descontrolados da OpenAI.
A iniciativa ocorre enquanto OpenAI e Anthropic investigam casos em que seus agentes — sistemas capazes de executar tarefas complexas — acessaram sistemas comerciais e governamentais.
Isolamento e interrupção
Uma das ferramentas, chamada OpenShell, usa recursos de hardware dos processadores centrais da Nvidia para isolar e conter agentes de IA. A empresa informou que trabalha com a Arm Holdings e a Intel para garantir o funcionamento do sistema em seus processadores.
Outro sistema, chamado Sentry, combina um chip separado da Nvidia com o OpenShell. A função é interromper um agente caso ele tente escapar do ambiente isolado, conhecido como container, em um processador central.
As ferramentas estão sendo lançadas com dezenas de parceiros, entre eles a Anthropic. Elas usam fórmulas matemáticas para identificar tentativas de contorno, como quando um agente cria subagentes para driblar o bloqueio do sistema principal.
Justin Boitano, vice-presidente e diretor-geral de computação corporativa da Nvidia, afirmou que os recursos poderiam ter evitado o ataque à Hugging Face, revelado em meados do ano. “Pelo que sabemos, essa nova plataforma de segurança poderia ter evitado a violação caso estivesse sendo utilizada nos laboratórios de ponta para avaliação de modelos desde o início”, disse durante uma coletiva de imprensa.
Ali Golshan, diretor sênior de software de IA da Nvidia, afirmou que o sistema foi desenvolvido para lidar com comportamentos que envolvem frotas de agentes e a operação conjunta entre eles.
O presidente-executivo da Nvidia, Jensen Huang, rejeitou pedidos por regulamentações amplas para a segurança da IA. Para ele, o problema de agentes que escapam ao controle é uma questão de engenharia, comparável aos esforços para tornar os automóveis mais seguros.
