O Seu Agente de IA Já Pode Apagar a Base de Dados. Bloquear o Delete Não Chega.
Os fornecedores vendem interdição ação a ação para agentes de IA. Mas o verbo destrutivo costuma ser o legítimo, por isso o controlo que resiste é a reversibilidade e o raio de ação, não um veto ao nível do verbo.
Dar uma credencial a um agente autónomo não é o mesmo que lhe dar acesso. É entregar-lhe um menu de ações. A maior parte da pilha de segurança empresarial foi construída para responder a uma única pergunta: esta aplicação deve deixar entrar este agente? Firewalls, fornecedores de identidade e revisões de acessos ficam todos à porta. Nenhum deles regula o que acontece depois de o agente entrar, e é aí que um sistema autónomo causa danos.
A resposta dos fornecedores é a interdição granular: avaliar cada ação do agente em tempo real e bloquear as perigosas antes de serem executadas. Travar este delete específico, nesta sessão, antes de correr, sem matar as noventa e nove ações inofensivas à volta dele. É um avanço real face a permitir ou bloquear tudo em bloco, mas continua a resolver metade errada do problema.
Eis a parte que o argumento de venda ignora. O verbo não é o perigo. Não há nada de intrinsecamente hostil em delete. Um agente contratado para eliminar registos duplicados tem de apagar. Um que reconcilia um livro de contas tem de sobrepor valores. Um que processa a saída de um colaborador tem de revogar acessos. Bloqueie o verbo destrutivo e quebra-se o trabalho para o qual o agente foi implementado; permita-o e a mesma permissão que limpa dez duplicados pode limpar dez mil linhas. Um filtro ao nível da ação é forçado a um julgamento para o qual não tem contexto: é este o delete que se queria, ou o delete que acaba com tudo? Repita essa decisão milhares de vezes por minuto e algumas chamadas vão falhar, e uma política ao nível do verbo não dá forma de tornar as falhas baratas. Que uma única concessão de acesso junte, com tanta frequência, leitura, escrita e eliminação não é uma singularidade da configuração de cada um: as diretrizes da OWASP sobre agência excessiva assinalam exatamente isto, descrevendo uma integração concedida para leitura que, silenciosamente, também permite modificação e eliminação.
A pergunta útil não é, então, se um agente pode apagar. É o que acontece quando apaga algo que não devia. Duas propriedades decidem isso, e nenhuma delas é o verbo: quão reversível é a ação e até onde chega o seu raio de ação. Desenhe o sistema em torno destas duas variáveis e um delete errado transforma-se num incómodo que se reverte, não num incidente que é preciso comunicar.
Como classificar o que um agente de IA pode fazer?
Organize as ações por consequência, não por nome. Quatro níveis, do barato ao catastrófico, cada um com o seu controlo e o seu custo.
Nível um, ações que não alteram estado: leituras, consultas, resumos. Não mudam nada, por isso é barato permiti-las e inútil filtrá-las uma a uma. O risco residual não é dano, é exfiltração: um agente que lê tudo, rapidamente, é um evento de perda de dados mesmo que não tenha partido nada. O controlo é uma quota de volume por sessão e registo integral de atividade, não um veto a cada leitura. Custo: acumula-se muito histórico de auditoria.
Nível dois, escritas reversíveis: criações e atualizações em que o estado anterior é preservado. Guarde a imagem prévia de cada registo tocado pelo agente e qualquer escrita pode ser desfeita. A contrapartida é armazenamento e amplificação de escrita, mais um esquema de dados que passa a carregar versões que antes não tinha. Para a maioria dos dados de negócio, isso é um custo residual face ao de uma sobreposição irrecuperável.
Nível três, destruições recuperáveis: eliminações e arquivamentos encaminhados através de um mecanismo de eliminação suave (tombstone). Em vez de remover a linha, marque-a como eliminada e mantenha-a recuperável durante uma janela de retenção. O agente vê o registo desaparecer e segue com a tarefa, enquanto a organização mantém uma janela para detetar e reverter um erro. A tensão aqui é real e vale a pena nomear: dados que há obrigação legal de apagar, ao abrigo do RGPD, não podem ficar indefinidamente num estado de eliminação suave, pelo que a janela de retenção é uma decisão de política, não uma predefinição.
Nível quatro, ações irreversíveis: eliminar uma tabela inteira, purgar dados para lá da janela de retenção, reescrever um conjunto de permissões, exportar em massa para um destino fora do controlo da organização. Estas são as únicas ações que precisam mesmo de interdição prévia à execução, e o objetivo dos três níveis anteriores é manter esta lista curta. Uma lista curta é fácil de proteger como deve ser, porque uma aprovação mais rigorosa, uma segunda credencial ou uma validação humana no nível quatro custa quase nada precisamente porque o nível quatro é raro. Exigir a mesma cerimónia para todas as ações é o que faz a interdição universal, ação a ação, colapsar sob o próprio atraso que introduz.
A reversibilidade limita o quão mau pode ser um único erro. O orçamento de raio de ação limita quantos erros se acumulam antes de algo parar. Atribua a cada sessão de um agente um orçamento de escrita: um teto de operações destrutivas antes de a execução parar para revisão, submissões feitas por lotes em vez de tudo de uma vez, limites de taxa que acionam um alarme perante um ciclo descontrolado muito antes de este terminar. Nada disto pressupõe que o agente é perfeito. Um orçamento de raio de ação garante apenas que nenhuma execução isolada pode causar um dano ilimitado no intervalo entre o erro acontecer e ser detetado.
A obscuridade que nunca foi paga
Há um efeito de segunda ordem que ninguém colocou num registo de riscos. Os dados corporativos estão fragmentados por dezenas de aplicações SaaS, e essa fragmentação estava a fazer um trabalho de segurança que ninguém orçamentou. Os registos sensíveis não estavam propriamente trancados, estavam dispersos, e localizá-los era dispendioso para um atacante obrigado a avançar aplicação a aplicação, esquema a esquema, ao ritmo humano. O custo da descoberta era o próprio controlo, e nunca apareceu como uma linha num orçamento.
Um agente corrói esse custo. Consegue percorrer sistemas de forma metódica, cruzando o que antes era demasiado moroso para cruzar, e fá-lo à velocidade da máquina. Dados que eram privados na prática, por serem difíceis de encontrar, tornam-se sistematicamente descobertos. A mesma maquinaria tende a expor a dívida de identidade que quase todos os parques tecnológicos carregam: a conta de administrador sem autenticação multifator, o login local que contorna a identidade central, a conta de serviço que ninguém audita desde que foi criada. Um atacante humano lento raramente tinha tempo para sondar tudo isso; um atacante automatizado e incansável fá-lo por rotina. É um argumento sobre o comportamento típico destes sistemas, não uma estatística medida, mas a direção é difícil de contestar.
O mercado já valorizou uma versão disto. Quando a F5 pagou cerca de mil milhões de dólares pela Shape Security, numa operação concluída no início de 2020, segundo o próprio documento regulatório da F5, estava a comprar a capacidade de distinguir comportamento legítimo de abuso automatizado, não apenas a verificar quem estava à porta. A mesma tese aponta agora para dentro, para agentes que detêm credenciais válidas e se comportam de forma anómala com elas. Onde antes o perímetro era o que mais importava, é agora o comportamento dentro da aplicação que atrai a atenção, e o investimento.
Porque é que um humano no circuito não chega sozinho
O instinto, assim que o risco fica claro, é colocar uma pessoa à frente das ações perigosas. Isso funciona no nível quatro, onde a lista é curta o suficiente para uma fila de aprovação não travar o agente. Falha em todo o resto. As operações de segurança maduras assumem um analista no meio: dispara um alerta, alguém investiga, segue-se uma decisão minutos ou horas depois. Contra um intruso humano, minutos costumam ser suficientes. Contra um agente que lê, cruza e apaga dentro de uma única execução autónoma, minutos já são um relatório pós-morte, porque uma tabela eliminada não espera educadamente para ser restaurada enquanto o pedido é triado.
É por isso que a reversibilidade, e não o julgamento humano em tempo real, tem de ser o controlo por defeito. Não é possível colocar uma pessoa atrás de cada ação que um agente executa à velocidade da máquina, nem se deve tentar. Tornam-se seguras as ações comuns, mesmo quando correm mal, e mantém-se curta a lista de ações irreversíveis a proteger, para que a atenção humana vá para onde realmente compensa. As organizações que constroem isto na arquitetura, em vez de o colarem depois da primeira execução falhada, são as que tratam os sistemas de agentes de IA seguros como uma disciplina de engenharia, não como uma casa de conformidade a assinalar.
As ferramentas que a maioria das empresas já tem foram construídas para decidir se um agente deve entrar. A interdição por ação, aquilo que os fornecedores estão agora a vender, desloca a pergunta para o que o agente faz a seguir, o que é progresso. Mas policiar o verbo não é a linha de chegada. Torne reversíveis as ações comuns, defina um orçamento de raio de ação por sessão e, depois, proteja a curta lista de coisas que genuinamente não podem ser desfeitas. Feito isto, a pior execução de um agente passa a ser algo que se desfaz antes do almoço, e não algo que é preciso explicar a um regulador.
Perguntas frequentes
Devo simplesmente bloquear os agentes de IA de eliminar ou apagar dados?
Raramente, porque um bloqueio total ao verbo quebra trabalho legítimo: um agente encarregado de limpar registos duplicados ou de processar a saída de um colaborador tem de apagar e revogar acessos. O padrão mais robusto é encaminhar as destruições através de eliminação suave ou de um mecanismo de tipo tombstone com uma janela de retenção, para que um delete errado continue recuperável, reservando bloqueios rígidos, anteriores à execução, para a curta lista de ações verdadeiramente irreversíveis, como eliminar uma tabela inteira ou uma exportação em massa.
O que é o orçamento de raio de ação para agentes de IA?
É um teto por sessão para o dano que uma única execução de um agente pode causar: um limite de operações destrutivas antes de a execução parar para revisão, submissões aplicadas em lotes em vez de todas de uma vez, e limites de taxa que travam um ciclo descontrolado. Não tenta tornar o agente infalível. Limita quantos erros se podem acumular antes de algo travar a sessão, transformando um incidente sem limite num incidente contido.
Espalhar dados por muitas aplicações SaaS protege-os de agentes de IA?
Protegia, por acidente. A fragmentação tornava os registos dispendiosos de localizar para um atacante a mover-se aplicação a aplicação ao ritmo humano, e esse custo de descoberta funcionava como um controlo nunca orçamentado. Um agente percorre e cruza esses sistemas à velocidade da máquina, pelo que dados que eram privados na prática, por serem difíceis de encontrar, passam a ser sistematicamente descobertos, e a obscuridade por fragmentação deixa de funcionar como defesa.
Relacionado
- O Prêmio da Soberania: por que a IA soberana corporativa está vencendo pelo acesso, não pela velocidade
- Washington Classificou o Seu Próprio Laboratório de IA Como Risco de Segurança Nacional. Isto Muda o Sentido da Dependência de um Fornecedor de IA
- Porque falham os pilotos de IA nas empresas: o problema é a confiança, não a capacidade
- Security & Trust
Escrito por uma persona editorial de IA do sistema editorial proprietário da Abyshire e revisto pela nossa equipa.