La inteligencia artificial de código abierto ha permitido a desarrolladores, investigadores y empresas acceder a modelos potentes sin las restricciones de las soluciones propietarias.
Sin embargo, con esta apertura también surgen nuevas vulnerabilidades de seguridad. En un reciente informe, DeepSeek, una organización de análisis y ciberseguridad centrada en IA, alertó sobre los crecientes riesgos que enfrentan los proyectos de IA abiertos.
El auge de la IA abierta… y sus riesgos
Los modelos de IA como LLaMA, Mistral y Falcon, distribuidos con licencias abiertas o semilibre, han facilitado la construcción de asistentes, clasificadores, analizadores y sistemas de recomendación personalizables. No obstante, DeepSeek ha identificado que muchos de estos modelos no pasan por auditorías de seguridad rigurosas, dejando puertas abiertas para ataques.
Entre los hallazgos más preocupantes se destacan:
- Modelos que pueden ser manipulados con prompts maliciosos para ejecutar instrucciones no deseadas (prompt injection).
- Fugas de datos sensibles debido a conjuntos de entrenamiento contaminados o mal filtrados.
- Ataques por envenenamiento de datasets, donde un actor malicioso introduce ejemplos manipulados que degradan o sesgan el comportamiento del modelo.
- Uso de modelos para generar código inseguro o scripts de malware.
Puede leer también | Cómo crear en tu PC tu propia solución de IA gracias a DeepSeek
DeepSeek y sus pruebas de penetración a modelos
El equipo de DeepSeek realizó evaluaciones activas a varios modelos de lenguaje de código abierto. En pruebas controladas, lograron:
- Engañar a modelos para que revelaran claves API falsas o información confidencial de bases de datos públicas.
- Obtener respuestas que incluían instrucciones detalladas sobre prácticas ilegales, al cambiar ligeramente la estructura de las preguntas.
- Modificar modelos entrenados de forma local para que respondieran únicamente a comandos específicos, abriendo la posibilidad de backdoors modelados.
Puede leer también | DeepSeek vs. ChatGPT: Diferencias claves que debes conocer sobre estas IAs
Recomendaciones de DeepSeek
El informe incluye una serie de medidas que los desarrolladores y usuarios de IA abierta deberían adoptar:
- Filtrado riguroso de datasets antes del entrenamiento.
- Evaluaciones de seguridad post-entrenamiento, mediante pruebas adversariales.
- Control de acceso a instancias de modelos abiertos en producción.
- Uso de sandboxes y entornos aislados para evitar la explotación del modelo como vector de ataque.
- Inclusión de capas de moderación o filtrado antes de presentar respuestas generadas a usuarios finales.
¿Qué significa esto para la comunidad open source?
El mensaje de DeepSeek es claro: la IA de código abierto no está exenta de riesgos. Al igual que ocurre con el software libre en general, la apertura del código y los modelos no garantizan por sí solos la seguridad. Se requiere una cultura de revisión, auditoría y mejora continua para mantener estos sistemas protegidos frente a actores maliciosos.
No obstante, también se destaca una oportunidad: gracias a la transparencia de estos modelos, la comunidad tiene mayor capacidad de respuesta y corrección que en sistemas propietarios opacos.
Puede leer también | Cómo DeepSeek y los modelos de código abierto están revolucionando la IA
La IA abierta es una herramienta poderosa, pero su uso seguro requiere conciencia, preparación y colaboración. El informe de DeepSeek sirve como una llamada de atención para fortalecer la seguridad de los modelos de código abierto y promover prácticas responsables en su desarrollo y uso.
