Una IA corrigiendo los fallos de otra IA: 4 dólares la hora contra 150 del humano

La pregunta incómoda de la industria de la IA ya no es si los modelos pueden escribir código. Es si pueden arreglarse a sí mismos. Anthropic publicó el viernes un trabajo que la responde a medias, y con números.

Qué ha pasado

El paper se titula Automated Researchers Can Reliably Mitigate Alignment Failures y lo firma Chen Yueh-Han, del programa de becarios de Anthropic. La idea es sencilla de explicar y difícil de ejecutar: montar un investigador automatizado que busque, por su cuenta, cómo corregir comportamientos indeseados de un modelo de lenguaje.

El sistema imita lo que haría un humano. Busca en la literatura publicada, propone un método, entrena el modelo con ese método durante treinta minutos y mide el resultado contra un banco de pruebas. Lo que funciona se conserva, lo que no se descarta, y vuelta a empezar.

Le pusieron delante diez fallos de comportamiento distintos. Encontró arreglos para los diez, mejorando cada banco de pruebas sin degradar la capacidad general del modelo, que es la parte difícil: casi cualquiera puede volver un modelo más obediente si acepta volverlo también más tonto.

Los números que hacen ruido

Dos cifras explican por qué esto se comentó tanto. La primera: compitió contra 28 investigadores humanos de seguridad a los que se dio hasta ocho horas para proponer métodos, y en el caso del engaño su mejor método rindió un 20 % por encima de la mejor propuesta humana. La segunda es la que de verdad cambia el cálculo: el sistema trabaja por unos 4 dólares la hora de consumo de API, frente a los 150 dólares la hora que se atribuyen a un investigador humano.

Hay un tercer dato menos comentado y bastante más importante: los métodos hallados seguían funcionando en modelos hasta 4,7 veces más grandes que aquellos con los que se descubrieron. Si el arreglo solo valiera para el modelo pequeño donde se encontró, esto sería una curiosidad de laboratorio. Que escale hacia arriba es lo que lo convierte en herramienta.

El límite que el propio trabajo reconoce

Conviene leer con cuidado la palabra «automejora». Aquí no hay un modelo que decida por su cuenta en qué quiere mejorar. Hay un modelo optimizando contra bancos de pruebas que eligieron personas, y ahí está el punto débil que el propio trabajo admite: todo depende de que esas pruebas midan de verdad lo que importa. Una IA que optimiza contra un examen mal diseñado no se vuelve mejor, se vuelve mejor aprobando ese examen. Y mantener los bancos de pruebas y la literatura al día sigue siendo trabajo humano.

Qué significa para ti

Aunque no programes, esto te toca por dos vías. La primera es el precio: si revisar y corregir modelos pasa de costar 150 dólares la hora a costar 4, la seguridad de estos sistemas deja de ser un lujo que solo pueden pagar tres empresas. Eso empuja hacia abajo el coste de las herramientas de IA que ya usas todos los días, del corrector del teléfono al asistente de la tienda.

La segunda es más cruda: la primera profesión que la IA está automatizando en serio dentro de estas empresas es la de sus propios investigadores. Cuando se debate qué trabajos toca, casi siempre se señala hacia afuera. Este experimento apunta hacia adentro, y viene con la factura por hora al lado.

¿Te fías más de una IA revisada por otra IA o de una revisada por personas? Te leemos abajo.

Fuentes

• Anthropic — Automated researchers can reliably mitigate alignment failures
• TechCrunch — An Anthropic researcher just gave us a peek at self-improving AI