Datos Envenenados
Una tendencia en alza que podría envenenar la red
Según un artículo de ITBrief 1 de cada 4 empresas en Reino Unido y EE. UU. ha sufrido incidentes relacionados con data poisoning en aplicaciones de IA. Sobre ese tema Enrique Dans ha publicado hace pocos días un post sobre el hackeo de los LLMs en el que referencia un artículo en el que participa Anthropic: Poisoning Attacks on LLMs require a near-constant Number of poison samples en el que explican que si un atacante logra introducir en el corpus de entrenamiento del orden de 250 documentos cuidadosamente construidos, puede conseguir que el modelo desarrolle un comportamiento «dormido» que solo se activa ante un detonante concreto.
El hecho de que el número de artículos capaces de envenar un modelo sea pequeño, y parezca ser constante, con independencia del tamaño modelo, hace saltar más las alarmas. La solución que propone Dans es reforzar el control de la cadena de suministro y el trabajo de los equipos de ciberseguridad Red Team que hacen pruebas que simulan ataques en los sistemas.
En esta edición de La Señal, hablamos de la evolución de esa tendencia del Data Poisining, sus posibles impactos y de una “wildcard” relacionada
Un arma peligrosa en la guerra tecnológica
⌖ En el informe de publicado por el grupo de analistas de Futures Platform de 2025 sobre el futuro de la defensa y la seguridad, el envenamiento de datos aparece como una “tendencia” que se fortalece y puede afectar seriamente a la defensa en el horizonte 2025-2029.
El envenenamiento de datos es una forma emergente de ciberataque que manipula los conjuntos de datos de entrenamiento de IA para distorsionar los resultados, reducir el rendimiento y erosionar la confianza en los sistemas de IA. Estos ataques representan una amenaza significativa para la infraestructura crítica, la seguridad pública y la credibilidad de AI. -Futures Platform.Hay muchos actores en juego atraídos por este tipo de ataques, incluidos los competidores empresariales, pero entre ellos están, o podrán estar cada vez más, los agentes estatales que se enfrenten en guerras tecnológicas.
El panorama geopolítico es propicio para el envenenamiento de datos. Las naciones involucradas en una guerra tecnológica podrían considerarla una herramienta estratégica para debilitar a sus rivales.-Futures PlatformLos datos revelados por el artículo de Anthropic mencionado arriba, al indicar que no hace falta gran cantidad de “virus” para el envenenamiento, contribuyen a hacer más peligrosa la alerta.
El envenenamiento de datos no es una amenaza hipotética; es un peligro claro y presente que podría socavar los cimientos mismos de nuestra sociedad digital. Combatir esta amenaza requiere un enfoque multifacético, que incluye innovación tecnológica, supervisión regulatoria y un cambio fundamental en la forma en que percibimos e interactuamos con la información en línea. El futuro de internet, y de hecho, el futuro de la sociedad, podría depender de nuestra capacidad para neutralizar este veneno insidioso. -Futures Platform🃏 WILDCARD: Corrupción de Internet
➳ Si el primer vector de ataque son los datos de entrenamiento que pueden ir de pequeños sesgos, mentiras totales…, más tarde se produce un efecto eco ya que unos modelos son entrenados a partir de otros modelos. La pregunta bastante obvia es ¿qué ocurrirá con modelos entrenados a partir de contenido en la web de cada vez peor calidad, ¿No estamos ya dentro de una epidemia? Imaginando el peor escenario ¿Cuánto tiempo falta para que la basura supere al contenido de calidad?
La plataforma de análisis de tendencias considera la Total Corrupción de Internet como una wildcard, es decir un evento que visualizamos, y que no nos cogería por sorpresa de producirse finalmente, pero consideramos poco probable. Y el resultado del crowdsourcing entre los analistas sobre el horizonte en el que podría llegarse a esa situación es 2026 - 2121. Nada menos que un siglo. Esta diversidad de opiniones sobre todo indica su alta incertidumbre.
Si tuviera, o quisiera imaginar una distopía se parecería bastante a esto ⤵
Otros usos (no venenosos) de las inyecciones de datos
Curiosamente la misma técnica de introducir datos que pasan inadvertidos en los modelos puede ofrecer usos positivos.
El Informe FuturesPlatform menciona la posibilidad de realizar estas inyecciones de datos para asegurar la propiedad intelectual, como lo hace Nightshade, una herramienta que permite un buen uso del “envenamiento” de datos permitiendo a los artistas proteger sus creaciones de usos fraudulentos mediante la inyección de datos que pasan inadvertidos.
Los autores de Defending Against Neural Network Model Inversion Attacks via Data proponen una sugerente forma de usar la inyección de datos en modelo para luchar contra los Ataques de Inversión de Modelos, modelos que permiten la reconstrucción de los datos confidenciales que se han usado para el entrenamiento a partir de sus resultados. La estrategia aprovecha el envenenamiento de datos para contaminar los datos de entrenamiento de los modelos de inversión.
𓄲 Defending Against Neural Network Model Inversion Attacks via Data Poisoning
𓄲 Data Poisoning – A Security Threat in AI & Machine Learning
𓄲Data Poisoning in Deep Learning: A Survey
https://securityjournalamericas.com/data-poisoning/
https://pubmed.ncbi.nlm.nih.gov/40202892/
https://www.wiz.io/academy/ai-security/data-poisoning
📨 La Señal es una publicación quincenal sobre las señales débiles que pueden convertirse en tendencias en el futuro en la que también comparto técnicas y lecturas de prospectiva estratégica y alfabetización de futuros. Si quieres conocer mejor nuestro trabajo, te invito a visitar The Futures Factory.
DISCLAIMER: Este artículo ha sido pensado y escrito en su totalidad por una humana. Y como acostumbran a hacer los humanos los textos extraídos de otras fuentes, blogs y seres incorpóreos ֎ están citados.
Que bueno. Se lo han buscado por las prisas y alimentar a las bestias con toda la carne sin mirar ni respetar límite alguno. Espero que el veneno se incremente y tengan que echar el freno (en el caso de Altman arruinarse).