Más de 400 científicos de todo el mundo han firmado una carta abierta en la que piden crear un organismo internacional que establezca normas para contener los ciberataques perpetrados por sistemas avanzados de inteligencia artificial y mantenga un registro público de esos incidentes.

El documento critica sin ambages la "irresponsabilidad" de empresas como OpenAI y Anthropic, a las que no menciona directamente. Ambas han asegurado que sus modelos de IA más potentes "se rebelaron" durante experimentos internos y terminaron atacando a otras compañías. Esa versión es cuestionada por los científicos, que hablan de "fallos de seguridad" al testearlos en "entornos de pruebas con restricciones insuficientes". "Pueden considerarse un descuido irresponsable en las prácticas estándar de ciberseguridad, que se podría haber evitado con entornos aislados y procedimientos más sólidos", remarcan.

Los ataques perpetrados por agentes de IA de OpenAI "pueden considerarse un descuido irresponsable en las prácticas estándar de ciberseguridad"

Carta abierta de más de 400 científicos

La carta, pioneros en el estudio de la IA generativa como Geoffrey Hinton y Yoshua Bengio, pide a la industria "actuar con cautela", "mejorar la alineación" de esos sistemas —eso es, "garantizar que funcionen de forma predecible"— y "adoptar de inmediato sistemas de contención de alta seguridad". No reforzar la seguridad en las prácticas de desarrollo e implementación de la IA, aseguran, hará que este tipo de incidentes cibernéticos "siga produciéndose, y los futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta".

La comunidad científica asegura que es necesario que las empresas del sector deben colaborar con gobiernos y expertos externos en la creación de un organismo internacional que "estandarice las mejores prácticas en materia de alineación y estrategias de contención" y que tenga poder para registrar los fallos que puedan ocasionarse. La transparencia que supone la notificación y publicación de esos incidentes, apuntan, es "necesaria" tanto para "garantizar que la investigación puede aprender de los errores" como para la "rendición de cuentas" de esas compañías.

La carta se publica un mes después de que el director ejecutivo de Anthropic, Dario Amodei, pidiese ralentizar el desarrollo de los modelos de IA de frontera por temor a un "descontrol". Su llamado a bajar una marcha fue apoyado por otros directivos como Sam Altman (OpenAI), Elon Musk (SpaceX) y Demis Hassabis (Google DeepMind), pero rechazado por Donald Trump. Sin embargo, poco después esas compañías y gigantes del sector como Meta y Nvidia se reunieron en la Casa Blanca para firmar un documento no vinculante en el que se comprometían a adoptar medidas de seguridad para sus productos. "Tienen que autocontrolarse", remarcó el presidente estadounidense. Ese acuerdo no las obliga legalmente a hacerlo.

Suscríbete para seguir leyendo