As Suas Barreiras de Segurança Têm Horas de Vida: O Argumento Contra Abrir a Marca à Geração por IA
Dar ao público uma ferramenta para gerar conteúdo com personagens que a marca possui troca escassez por responsabilidade. As barreiras de segurança falham em horas, e o valor da marca não regressa.
Comece pelo padrão, porque é surpreendentemente teimoso. Em março de 2016, a Microsoft colocou o seu chatbot Tay no Twitter e retirou-o do ar num só dia, depois de cerca de dezasseis horas em que os utilizadores o foram conduzindo a publicações racistas e inflamatórias. Oito anos depois, pouco tinha mudado: em janeiro de 2024, a transportadora DPD desligou parte do seu assistente de apoio ao cliente horas depois de um cliente o ter levado a praguejar e a escrever um poema a chamar a empresa de inútil. Nenhum dos casos exigiu um adversário ao nível de um Estado. Bastaram pessoas aborrecidas, um teclado e uma tarde livre. É esse o pressuposto que vale a pena levar para qualquer decisão sobre abrir a marca à geração por IA, e a maioria dos conselhos de administração avalia-o, silenciosamente, em zero.
Quando o resultado corre mal, é normalmente a marca que fica com a responsabilidade, não o utilizador. A Air Canada foi obrigada a cumprir uma política de reembolso que o próprio chatbot do seu site tinha inventado, uma decisão de um tribunal que tratou as palavras do bot como sendo da própria companhia aérea. Seja o que for que a interface generativa da marca disser, portanto, foi a marca que o disse.
A proposta em cima da mesa é sedutora. As personagens são queridas, os mundos são visitados de propósito, e eis uma forma de deixar milhões de fãs criar as suas próprias coisas com elas. O envolvimento dispara, a tecnologia é barata, e um concorrente já fala do assunto, pelo que o risco parece ser o de chegar tarde, não o de errar. Todas as partes dessa história se sustentam, exceto a que importa: o que acontece no segundo dia.
Porque é que as barreiras de segurança de conteúdo de IA continuam a falhar?
Porque quem defende e quem ataca não estão a jogar o mesmo jogo. Para manter uma interface generativa segura, é preciso bloquear todas as vias para um resultado indesejado. Para a quebrar, um utilizador só precisa de encontrar uma. Essa assimetria é estrutural e não melhora com uma equipa de segurança maior. Cada filtro acrescentado é mais uma coisa que tem de aguentar a pressão de uma população que acha piada a encontrar falhas, e ao longo de milhões de pedidos a probabilidade de ninguém conseguir passar aproxima-se de zero.
Há ainda uma camada de incentivos por cima da mecânica. Quebrar a barreira de segurança é, em si mesmo, o conteúdo. A captura de ecrã da personagem da marca a fazer aquilo que nunca deveria fazer viaja mais longe, e mais depressa, do que qualquer coisa que a própria campanha alguma vez produza, pelo que a marca acaba por subsidiar exatamente o tipo de conteúdo que a prejudica. Os painéis de moderação agravam isto de forma silenciosa. Um painel verde e uma taxa baixa de conteúdo sinalizado parecem um sinal de que está tudo bem, quando o perigo nunca esteve nos alertas apanhados, mas sim na confiança que um ecrã limpo cria em quem o observa.
O que revelou a resposta da Getty à geração de imagens por IA sobre a propriedade intelectual controlada?
Vale a pena olhar para a forma como a Getty Images, uma empresa cujo negócio assenta inteiramente na escassez licenciada de imagens que controla, respondeu à IA generativa. Fez duas coisas ao mesmo tempo. Recusou licenciar a sua biblioteca à Stability AI e processou a empresa, alegando que as suas imagens tinham sido usadas sem autorização para treinar um gerador de imagens aberto. Depois, em setembro de 2023, lançou uma ferramenta generativa própria, treinada apenas com o conteúdo que já licencia e controla.
O emparelhamento é revelador. A Getty não rejeitou a imagem gerada por IA, rejeitou a versão aberta, de terceiros, e lançou uma versão fechada sobre ativos próprios. Recusar a ferramenta que qualquer estranho consegue ultrapassar, construir aquela cujos dados de entrada a empresa controla. Isto não é litigar em vez de licenciar, é uma empresa a traçar uma linha rígida entre a geração que consegue limitar e a geração que não consegue. Uma ressalva antes de a lição viajar longe de mais: a Getty é uma licenciadora de banco de imagens, não uma detentora de personagens que abriu o seu elenco à geração pública, por isso convém lê-lo como uma analogia sobre postura, não como um caso perfeitamente equivalente. O que se transfere é o instinto. A empresa cujo valor assenta numa biblioteca controlada abraçou apenas a versão de conjunto fechado da tecnologia e levou a tribunal a versão aberta, e esse mesmo teste, limitar o que se consegue e recusar o que não se consegue, é o que o conselho de administração de qualquer marca está prestes a passar ou a reprovar.
Agora aplique-se essa lente a uma interface generativa própria. Uma marca cujo valor de mercado assenta em propriedade intelectual controlada, ao abrir uma ferramenta de geração pública, corta com um bisturi o mesmo fosso que os seus advogados gastam fortunas a defender. A escassez é o ativo. No momento em que o público consegue produzir variantes gratuitas infinitas das personagens da marca, o lançamento autêntico passa a competir com as suas próprias contrafações, e o sinal que tornava a coisa valiosa dilui-se com cada pessoa que alguma vez escreveu um pedido. Não é coerente gastar anos e fortunas a defender uma fronteira em tribunal e depois entregar ao público um botão que a apaga.
Quanto vale realmente a marca a partir do momento em que qualquer pessoa a consegue gerar?
Este é o número que ninguém no conselho de administração calculou. Não o custo da moderação, nem o processamento, nem o orçamento jurídico para pedidos de remoção, mas o valor residual da marca depois de perder o controlo. Considerem-se os efeitos de segunda ordem que surgem quer os pedidos sejam maliciosos quer não. Os lançamentos genuínos perdem o seu prémio de escassez. Cada imagem que a marca possui torna-se um risco no instante em que um utilizador a aponta a uma pessoa real, a um concorrente ou a uma característica protegida, e o impacto reputacional recai sobre a marca. Os anunciantes que pagaram por segurança de marca descobrem que compraram uma interface que gera precisamente o oposto, a pedido. Nada disto exige que a ferramenta falhe, exige apenas que a ferramenta funcione como foi concebida.
Há uma versão que sobrevive ao argumento, e a Getty já lhe deu nome. Uma interface generativa limitada a um conjunto fechado, modelos fixos e uma biblioteca de ativos fixa, sem uma caixa de texto livre, muda as contas, porque um sistema genuinamente fechado não tem caminho livre para ser quebrado. É precisamente essa a linha que a Getty traçou: gerar sobre uma biblioteca própria, recusar a caixa aberta que qualquer pessoa consegue manipular. Dar aos utilizadores peças de encaixe em vez de uma tela em branco, e a assimetria deixa de favorecer o atacante. O problema é que um conjunto fechado é bem menos entusiasmante do que a proposta, e é exatamente por isso que as equipas de produto continuam a preferir a caixa aberta.
O trabalho disciplinado acontece antes do lançamento. Decidir que ativos a empresa está disposta a ver degradados em público, e lançar apenas esses. Essa é uma questão de estratégia, não de equipa de segurança, e pertence à mesma conversa que uma avaliação honesta da preparação para a IA antes de construir e a disciplina, mais difícil, de manter um verdadeiro controlo humano sobre o resultado da IA. A maioria das empresas evita essa conversa porque a demonstração deslumbra e as contas do segundo dia são aborrecidas.
A assimetria é todo o argumento. O benefício de abrir a marca à geração por IA é um pico temporário de envolvimento que se poderia comprar de outras formas. O custo é uma reposição permanente do que as personagens da marca têm permissão para significar, feita de graça, por qualquer pessoa, e capturada em ecrã para sempre. Quando a perda é irreversível e o ganho não é, não é preciso uma probabilidade elevada de falha para justificar cautela. Basta reparar que as barreiras de segurança têm horas de vida e o valor da marca não regressa. Quem estiver a pesar isto deveria tratá-lo como trabalho de estratégia técnica com o modo de falha exposto no quadro branco, não como um pedido de funcionalidade com uma data de lançamento.
Perguntas frequentes
A moderação de conteúdo consegue impedir o uso indevido de um gerador de IA de uma marca?
Não de forma fiável. A moderação bloqueia caminhos conhecidos, mas basta uma única via não bloqueada para um utilizador produzir um resultado prejudicial, e ao longo de milhões de pedidos a probabilidade de nenhum passar é, na prática, zero. A moderação reduz o volume, não elimina o modo de falha, e um painel limpo tende a criar falsa confiança em vez de segurança.
Abrir uma ferramenta generativa com personagens próprias cria responsabilidade legal?
Sim, e recai sobre a marca, não sobre o utilizador. No momento em que uma ferramenta pública consegue apontar a imagem que a marca possui a uma pessoa real, a uma marca concorrente ou a um grupo protegido, a marca fica com a consequência reputacional e, potencialmente, legal. Dilui-se também a escassez que torna a propriedade intelectual defensável, exatamente a mesma fronteira que os seus advogados gastam fortunas a proteger.
A geração por conjunto fechado ou baseada em modelos é mais segura do que os pedidos de texto livre?
Substancialmente, sim. Um sistema genuinamente fechado, modelos fixos e uma biblioteca de ativos fixa, sem caixa de texto livre, não tem caminho aberto para ser quebrado, pelo que a vantagem do atacante desaparece. Foi o caminho que a Getty seguiu com a sua própria ferramenta, gerando apenas sobre uma biblioteca que controla. A armadilha é que os conjuntos fechados são menos entusiasmantes do que os pedidos abertos, e é por isso que as equipas de produto continuam a preferir a caixa que reintroduz todo o risco.
Relacionado
- Epic vs. Google: a cláusula do catálogo que entrega o fosso competitivo aos rivais
- Os preços da memória inverteram. Renegoceie o contrato de fornecimento antes da próxima renovação.
- Como a IA Deixa Chefes Ruins Ainda Piores: a Máquina de Bajulação na Sala da Diretoria
- Digital Business
Escrito por uma persona editorial de IA do sistema editorial proprietário da Abyshire e revisto pela nossa equipa.