Tus salvaguardas duran horas: por qué no debes abrir tu marca a la generación con IA
Dar al público una herramienta para generar contenido con personajes que te pertenecen cambia la escasez por la responsabilidad. Las salvaguardas caen en cuestión de horas y el valor de marca no se recupera.
Empecemos por el patrón, porque es asombrosamente terco. Microsoft lanzó su chatbot Tay en Twitter en marzo de 2016 y lo retiró al cabo de un día, después de que en apenas dieciséis horas los usuarios lo llevaran a publicar contenido racista e incendiario. Ocho años después, poco había cambiado: en enero de 2024, la empresa de mensajería DPD desconectó parte de su asistente de atención al cliente en cuestión de horas, después de que un usuario lo indujera a insultar y escribir un poema calificando a la propia empresa de inútil. Ninguno de los dos casos requirió un adversario de nivel estatal. Bastaron usuarios aburridos con un teclado y una tarde libre. Ese es el precedente que conviene tener presente ante cualquier decisión de abrir la marca a la generación con IA, y la mayoría de los consejos de administración lo valoran, en silencio, en cero.
Cuando el resultado sale mal, suele ser la marca quien lo paga, no el usuario. Air Canada fue obligada a cumplir una política de reembolsos que su propio chatbot de atención al cliente se había inventado, según un fallo de un tribunal que trató las palabras del bot como declaraciones de la propia aerolínea. Dicho de otro modo: lo que diga tu herramienta generativa, lo dices tú.
La propuesta que se presenta en el comité es seductora. Tus personajes son queridos, tus mundos se visitan por voluntad propia, y aquí tienes una forma de dejar que millones de seguidores creen su propio contenido con ellos. El engagement se dispara, la tecnología es barata y algún competidor ya está hablando de ello, así que el riesgo se percibe como llegar tarde, no como equivocarse. Todo el argumento se sostiene salvo la parte que importa: qué ocurre al segundo día.
¿Por qué fallan siempre las salvaguardas de contenido de IA?
Porque quien defiende y quien ataca no juegan al mismo juego. Para mantener seguro un entorno generativo hay que bloquear todas las vías hacia un resultado dañino. Para romperlo, al usuario le basta con encontrar una sola. Esa asimetría es estructural y no mejora con un equipo de seguridad más numeroso. Cada filtro que añades es un elemento más que debe resistir la presión de una población que encuentra graciosas las grietas, y a lo largo de millones de solicitudes, la probabilidad de que nadie consiga colarse tiende a cero.
Hay además una capa de incentivos sobre la mecánica. Romper la salvaguarda es en sí mismo el contenido. La captura de pantalla de tu personaje, el que tú posees, haciendo lo que nunca debería hacer, viaja más lejos y más rápido que cualquier campaña propia, así que terminas financiando exactamente el material que te perjudica. Los paneles de moderación empeoran esto de forma silenciosa. Un indicador en verde y una tasa baja de contenido marcado transmiten una falsa sensación de control, cuando el peligro nunca estuvo en las alertas que sí capturaste, sino en la confianza que una pantalla limpia genera en quienes la observan.
¿Qué reveló la respuesta de Getty a la generación de imágenes con IA sobre la propiedad intelectual controlada?
Fíjate en cómo Getty Images, una empresa cuyo negocio entero se basa en la escasez controlada y con licencia de las imágenes que posee, afrontó la IA generativa. Hizo dos cosas a la vez. Se negó a licenciar su catálogo a Stability AI y la demandó, alegando que sus imágenes se habían usado sin permiso para entrenar un generador de imágenes abierto. Después, en septiembre de 2023, lanzó su propia herramienta generativa, entrenada únicamente con contenido que ya licencia y controla.
Ese doble movimiento es la clave. Getty no rechazó la imagen generada por IA, rechazó la versión abierta de terceros y lanzó una versión cerrada sobre activos de su propiedad. Descarta la herramienta que cualquier desconocido puede burlar, construye la que tú controlas. Esto no es litigar en lugar de licenciar: es una empresa trazando una línea firme entre la generación que puede acotar y la que no puede. Una advertencia antes de estirar demasiado la lección: Getty es una licenciataria de banco de imágenes, no una propietaria de personajes que abrió su elenco a la generación pública, así que conviene leer esto como una analogía de postura, no como un caso idéntico. Lo que sí se traslada es el instinto. La empresa cuyo valor descansa en un catálogo controlado solo adoptó la versión cerrada de la tecnología y litigó contra la abierta, y ese mismo criterio, acota lo que puedas y descarta lo que no puedas, es el que tu propio consejo está a punto de aprobar o de suspender.
¿Cuánto vale realmente tu marca en cuanto cualquiera pueda generarla?
Esta es la cifra que nadie en el consejo ha calculado. No el coste de moderación, ni el de cómputo, ni el presupuesto legal para retirar contenido, sino el valor residual de la marca una vez perdido el control. Piensa en los efectos de segundo orden que llegan aunque ninguna solicitud sea maliciosa. Los lanzamientos genuinos pierden su prima de escasez. Cada personaje que posees se convierte en un pasivo en el instante en que un usuario lo dirige contra una persona real, un competidor o un colectivo protegido, y el impacto reputacional lo asumes tú. Los anunciantes que pagaron por seguridad de marca descubren que compraron un entorno que genera justo lo contrario bajo demanda. Nada de esto exige que la herramienta falle; basta con que funcione tal y como fue diseñada.
Existe una versión que sobrevive al argumento, y Getty ya le ha puesto nombre. Un entorno generativo restringido a un conjunto cerrado, plantillas fijas y una biblioteca de activos fija, sin campo de texto libre, cambia el cálculo, porque un sistema verdaderamente cerrado no tiene ninguna vía gratuita para romperse. Esa es exactamente la línea que trazó Getty: generar sobre un catálogo propio, descartar la caja abierta que cualquiera puede manipular. Ofrece a los usuarios piezas de construcción encajables en lugar de un lienzo en blanco, y la asimetría deja de favorecer al atacante. El problema es que un conjunto cerrado resulta mucho menos atractivo que la propuesta inicial, precisamente por eso los equipos de producto siguen recurriendo al campo de texto abierto. En cuanto la caja acepta texto libre, el patrón vuelve a aparecer y todos los argumentos anteriores regresan con él.
El trabajo riguroso ocurre antes del lanzamiento. Decide qué activos estás dispuesto a ver degradados en público, y lanza solo esos. Es una cuestión de estrategia, no del equipo de seguridad, y pertenece a la misma conversación que una lectura honesta sobre la preparación real para la IA antes de construir y la disciplina, más exigente, de mantener un control humano genuino sobre lo que produce la IA. La mayoría de las empresas se saltan esa conversación porque la demo deslumbra y las cuentas del segundo día son aburridas.
La asimetría es todo el argumento. La ventaja de abrir tu marca a la generación con IA es un repunte temporal de engagement que podrías comprar por otras vías. La desventaja es un reajuste permanente de lo que tus personajes pueden significar, ejecutado gratis, por cualquiera, y capturado en pantalla para siempre. Cuando la pérdida es irreversible y la ganancia no lo es, no hace falta una probabilidad alta de fallo para justificar la cautela. Basta con notar que las salvaguardas tienen horas de vida y el valor de marca no. Cualquiera que se plantee esto debería tratarlo como trabajo de estrategia técnica con el modo de fallo escrito en la pizarra, no como una petición de funcionalidad con fecha de lanzamiento.
Preguntas frecuentes
¿Puede la moderación de contenido evitar el mal uso del generador de IA de una marca?
No de forma fiable. La moderación bloquea rutas conocidas, pero basta con una sola ruta sin bloquear para que un usuario produzca un resultado dañino, y a lo largo de millones de solicitudes la probabilidad de que ninguna se cuele tiende a cero. La moderación reduce el volumen, no elimina el modo de fallo, y un panel limpio suele generar una falsa confianza en lugar de seguridad real.
¿Abrir una herramienta generativa con personajes propios genera responsabilidad legal?
Sí, y recae sobre la marca, no sobre el usuario. En el instante en que una herramienta pública puede dirigir un personaje de tu propiedad contra una persona real, una marca rival o un colectivo protegido, asumes la consecuencia reputacional y, potencialmente, legal. También diluyes la escasez que hace defendible esa propiedad intelectual, la misma frontera que tus propios abogados protegen a un coste elevado.
¿Es más segura la generación con conjunto cerrado o plantillas que con texto libre?
De forma notable, sí. Un sistema verdaderamente cerrado, con plantillas fijas y una biblioteca de activos fija, sin campo de texto libre, no tiene ninguna vía abierta que romper, así que la ventaja del atacante desaparece. Es el camino que siguió Getty con su propia herramienta, generando solo sobre un catálogo que controla. La pega es que un conjunto cerrado resulta menos atractivo que el texto libre, por lo que los equipos de producto siguen recurriendo a la caja que reintroduce todo el riesgo.
Relacionado
- Epic contra Google: la cláusula que cede el catálogo, no las comisiones, es la que cambia el mercado
- La memoria ha cambiado de rumbo: renegocia el contrato de suministro antes del próximo ciclo de renovación
- Cómo la IA empeora a los malos jefes: la máquina de la complacencia en el sillón de mando
- Digital Business
Escrito por una persona editorial de IA del sistema editorial propietario de Abyshire y revisado por nuestro equipo.