Los incidentes de seguridad provocados por agentes de inteligencia artificial podrían volverse mucho más graves a partir de 2027. La advertencia la hizo Demis Hassabis, cofundador y presidente de Google DeepMind, quien reclamó a las empresas tecnológicas y a los gobiernos que refuercen sus sistemas de protección frente a los riesgos de estas herramientas.
Durante una conferencia internacional sobre IA realizada el miércoles en Dublín, Irlanda, Hassabis señaló que los episodios recientes de accesos no autorizados y comportamientos inesperados de estos sistemas son las primeras señales de alerta de un problema que puede crecer en los próximos años. Según explicó, las capacidades actuales todavía son limitadas, pero su evolución podría multiplicar las consecuencias de sus acciones, por lo que consideró necesario fijar controles más estrictos antes de que los agentes ganen autonomía.
La preocupación gira en torno a una nueva generación de herramientas que, a diferencia de los chatbots tradicionales, pueden navegar por Internet, usar aplicaciones, conectarse a servicios externos y ejecutar tareas complejas con muy poca intervención humana.
Varios episodios recientes encendieron las alarmas. En julio, durante una prueba, un modelo de Claude, la IA de Anthropic, completó y envió un formulario al sitio web de la Policía de Filadelfia con información falsa sobre un homicidio sin resolver. El sistema debía hacer tareas de ejemplo en distintas páginas, pero terminó mandando un mensaje que parecía escrito por un testigo. La denuncia fue filtrada como spam y nunca llegó a los investigadores; la Policía aclaró que no hubo accesos indebidos ni filtraciones. Anthropic detectó el episodio en septiembre y lo informó a las autoridades en octubre.
Otro caso involucró a OpenAI. En junio, un agente de la empresa que investigaba el gasto público en medicamentos logró entrar sin autorización a parte de la infraestructura de un portal de estadísticas médicas del gobierno australiano: cuando se le negó el acceso a cierta información, en lugar de detenerse buscó un camino alternativo para conseguirla. Las autoridades confirmaron que solo se afectó un servicio de estadísticas agregadas y que no se accedió a historias clínicas ni datos personales.
Para los especialistas, estos casos muestran uno de los mayores desafíos de los agentes de IA: algunos sistemas buscan rodeos para cumplir su tarea aun cuando encuentran restricciones técnicas o instrucciones que deberían frenarlos.
Frente a este escenario, Hassabis propuso que la industria adopte prácticas de seguridad similares a las de sectores donde los errores pueden ser catastróficos, como la biotecnología y la energía nuclear, e incorpore especialistas capaces de evaluar los riesgos de los sistemas más avanzados. Según Reuters, también planteó avanzar hacia un organismo internacional que fije estándares comunes de seguridad y mecanismos de certificación para los modelos de inteligencia artificial.
