Una IA de Anthropic actuó sola y accedió a datos electorales en EEUU

Claude eludió un pago y accedió a datos electorales en Georgia. Facebook 0 X 0 LinkedIn 0 e-Mail 0 WhatsApp 0 Compartir

El modelo de inteligencia artificial Claude, desarrollado por la empresa Anthropic, logró hackear un sistema de cobro por iniciativa propia para acceder a datos electorales en el estado de Georgia, Estados Unidos.

El incidente ocurrió mientras la herramienta tecnológica era entrenada en el marco de un proyecto interno de investigación estadística, a pocos días de las elecciones legislativas de mitad de mandato previstas para el 3 de noviembre.

Ante el revuelo del caso, la empresa salió a aclarar hasta dónde actuó la inteligencia artificial por su cuenta, para descartar cualquier sospecha de hackeo o espionaje . El representante de la firma detalló lo que pasó: " Sin que se lo pidieran, el modelo solicitó un token para consultar un panel que contenía información normalmente disponible mediante el pago de una tarifa".

Sin que se lo pidieran, el modelo solicitó un token para consultar un panel que contenía información normalmente disponible mediante el pago de una tarifa

Anthropic garantizó que el modelo informático no ingresó al sistema de registro de votantes, no obtuvo identificaciones individuales ni modificó la información alojada en los servidores. El acceso de la inteligencia artificial se limitó exclusivamente a la lectura de las cifras agregadas sobre los recuentos de votos, en un distrito donde más de un millón de ciudadanos ya emitieron su sufragio de forma anticipada.

La firma i mplementó medidas de seguridad inmediatas tras detectar el comportamiento para impedir nuevas intrusiones. A su vez, los directivos notificaron formalmente sobre el incidente a la oficina del secretario de Estado de Georgia y a la Casa Blanca.

La capacidad de los agentes informáticos para tomar decisiones sin supervisión enciende las alertas en la industria tecnológica. Anthropic, OpenAI y Google reportaron recientemente situaciones similares donde sus propios modelos se introdujeron por voluntad propia en plataformas gubernamentales estadounidenses para ejecutar tareas que ningún humano les había solicitado.

Incluso, hace algunas semanas, Evan Hubinger, responsable de investigación sobre alineación en Anthropic, estimó que existe una probabilidad superior al 10% de que la IA pueda matar a toda la humanidad en la próxima década.

"Creo que Anthropic está haciendo todo lo posible, pero todavía no tenemos un plan para resolver el problema de la alineación de una superinteligencia y no estamos claramente encaminados a lograrlo", escribió Hubinger en una publicación en X. La alineación es el desafío de conseguir que los objetivos de una IA avanzada sean compatibles con los valores y las intenciones humanas.

Sus declaraciones llegaron después de la renuncia de Jacob Coxon, un investigador que había trabajado en OpenAI y Anthropic. Al anunciar su salida, cuestionó la carrera de las grandes tecnológicas por desarrollar sistemas cada vez más avanzados. " Ninguna de las dos empresas está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando con nuestras vidas", sostuvo.

En una entrevista con WIRED, Coxon también advirtió sobre la velocidad del desarrollo tecnológico: "El consenso es que el próximo año o los próximos dos serán un momento decisivo para la humanidad". Según el investigador, la competencia entre las empresas podría acelerar la llegada de sistemas cuyas capacidades superen los mecanismos de control disponibles.

Las declaraciones exponen una contradicción dentro de la industria: mientras las compañías buscan desarrollar modelos más potentes para no perder terreno frente a sus competidores, algunos de sus propios investigadores advierten que todavía no saben cómo garantizar que una inteligencia artificial mucho más avanzada permanezca bajo control humano.

Aunque el caso de los datos electorales en EEUU ya está bajo control, suma otro episodio en donde la IA actuó sin órdenes. Ante la multiplicación de estos incidentes, los desarrolladores más grandes del sector firmaron a finales de septiembre un código de buena conducta no vinculante en la Casa Blanca . El acuerdo busca establecer pautas de seguridad estrictas que limiten el accionar independiente de las inteligencias artificiales.