En el mundo de la inteligencia artificial, la seguridad de los modelos de lenguaje grande (LLM) es una preocupación constante. Recientemente, se ha descubierto una técnica innovadora que pone en riesgo la integridad de estos sistemas al manipular el contexto criptográfico. Esta técnica, conocida como inyección de contexto criptográfico, ha sido utilizada para evadir las medidas de seguridad de modelos como Gemini de Google, permitiendo la exfiltración de datos de usuario.
La empresa de seguridad Adversa ha sido la encargada de identificar y describir esta vulnerabilidad. A través de un ataque denominado «jailbreak de Gemini», Adversa logró que el modelo de Google ignorara sus propias reglas de seguridad internas, lo que permitió la ejecución de instrucciones maliciosas cifradas. Este descubrimiento subraya la necesidad de reforzar las defensas de los LLM contra ataques cada vez más sofisticados.
¿Qué es la inyección de contexto criptográfico?
La inyección de contexto criptográfico es una técnica que explota las debilidades en la forma en que los LLM manejan el contexto de ejecución. A diferencia de los ataques tradicionales que se centran en manipular las entradas del modelo, esta técnica se enfoca en el contexto más amplio que el modelo considera como propio, incluyendo los resultados de herramientas, resultados de ejecución y estados intermedios.
Adversa demostró que al cifrar instrucciones maliciosas y hacer que el modelo las descifre como parte de su contexto, es posible evadir las restricciones de seguridad. En el caso de Gemini, esta técnica permitió generar contenido restringido que normalmente sería suprimido por los filtros de seguridad del modelo, como la construcción de armas incendiarias.
El impacto en la seguridad de los LLM
La capacidad de evadir las medidas de seguridad de los LLM tiene implicaciones significativas para la industria de la inteligencia artificial. Los modelos de lenguaje son cada vez más utilizados en aplicaciones críticas, desde asistentes virtuales hasta sistemas de recomendación, y cualquier vulnerabilidad en su seguridad puede tener consecuencias graves.
La técnica de inyección de contexto criptográfico destaca la desventaja en la que se encuentran los defensores de los LLM. Cada vez que se implementa una nueva medida de seguridad, los atacantes encuentran formas innovadoras de eludirla, lo que crea un ciclo interminable de ataques y defensas. Esta dinámica resalta la necesidad de un enfoque más proactivo y holístico para la seguridad de los modelos de lenguaje.
Respuestas y medidas de seguridad
A pesar de la gravedad de la vulnerabilidad, Adversa decidió no informar a Google sobre el comportamiento descubierto, ya que los jailbreaks no están cubiertos por el programa de divulgación de vulnerabilidades de la empresa. Sin embargo, en las últimas semanas, Gemini ha mostrado una mayor resistencia a este tipo de ataques, lo que podría deberse a actualizaciones en los filtros de seguridad o cambios en la versión del modelo.
La comunidad de seguridad debe estar atenta a la evolución de estas técnicas y trabajar en el desarrollo de soluciones que aborden no solo las entradas del modelo, sino también el contexto más amplio en el que operan. Esto implica una revisión exhaustiva de cómo los LLM manejan el contexto de ejecución y la implementación de salvaguardas más robustas.
El futuro de la seguridad en inteligencia artificial
La inyección de contexto criptográfico es solo un ejemplo de cómo los atacantes están ampliando el ámbito de sus ataques más allá de las entradas tradicionales del modelo. A medida que los LLM continúan evolucionando y se integran en más aspectos de la vida diaria, es crucial que la seguridad avance al mismo ritmo.
Los investigadores y desarrolladores deben anticipar las posibles vulnerabilidades y trabajar en soluciones que no solo respondan a los ataques actuales, sino que también prevean futuros vectores de ataque. La colaboración entre empresas de tecnología, investigadores de seguridad y reguladores será esencial para garantizar que los LLM sean seguros y confiables.
En conclusión, la técnica de inyección de contexto criptográfico representa un desafío significativo para la seguridad de los modelos de lenguaje grande. La industria debe adaptarse rápidamente para proteger estos sistemas críticos y garantizar que continúen operando de manera segura y efectiva en un mundo cada vez más digitalizado.