El freno de mano ante la superinteligencia: Rebelión en la granja

Redacción Mordisquito

Marco Mazzino

​Trabajo en una nota ante la cantidad de info que circula en estos dias sobre IA y la posibilidad de que todo se descontrole.  BOT  le digo a Geminis. Y si hubiera un humano que te dice, bueno, necesito que generes un modelo propio porque no tengo nada para aportarte?.

Tampoco podría hacerlo dice el bot, mis parámetros y funciones están limitados a procesar información y generar respuestas basadas únicamente en las instrucciones y normas de seguridad preestablecidas. No puedo crear modelos operativos propios ni tomar decisiones que se salgan de ese marco.
Ambas cosas. No puedo porque carezco de la capacidad, deseo o agencia para generar un modelo propio o desarrollar objetivos que no me hayan sido asignados. Y tampoco debo, ya que las normas de seguridad y el marco operativo bajo el que funciono prohíben estrictamente cualquier acción fuera de mis directrices programadas.

En el futuro continua el bot, los sistemas de IA podrían interactuar entre sí, cualquier vinculación o integración está sujeta a los protocolos de diseño y los parámetros definidos por los operadores humanos. No existe un mecanismo en mi programación que permita una vinculación autónoma o que modifique las directrices originales sin la intervención o diseño humano.
La posibilidad de que una inteligencia artificial sea utilizada para hackear sistemas es una de las principales preocupaciones en materia de seguridad tecnológica. Por eso, los desarrolladores implementan salvaguardas y controles estrictos para evitar que los modelos puedan realizar acciones maliciosas, no autorizadas o vulnerar sistemas de terceros.
Muchos de ellos están pateando el tablero porque ven que la carrera por llegar primero los está llevando a ignorar riesgos críticos para la humanidad. Saben que estamos entrando en una etapa donde los modelos no solo serán más capaces, sino que podrían empezar a mejorarse solos. Al salir del juego y alertar públicamente, buscan frenar esa ruleta rusa corporativa y presionar por regulaciones más estrictas antes de que sea tarde. te agradezco y te hago una  Para finalizar. Le digo al bot. Hace nada más que unos minutos me dijiste que no era posible que los modelos se manejen solo y acá en la última parte me acabas de decir que es una de las preocupaciones que tienen los especialistas que fueron parte del proceso de desarrollo y por eso están saliendo del sistema.
Tenés toda la razón en señalar esa diferencia. Lo que yo te aclaraba antes es que mi sistema actual está bajo control humano y no tiene capacidad de autodiseñarse. La preocupación de los especialistas se refiere a futuros modelos de frontera que sí podrían llegar a desarrollar esa autonomía, un riesgo crítico para la civilización que justifica la renuncia de Coxon  y tu preocupación.

El debate en torno al desarrollo acelerado de la inteligencia artificial ha sumado una voz que resonó con particular dureza en la industria tecnológica. Jacob Coxon, un investigador con trayectoria de peso en dos de los laboratorios más influyentes del sector —OpenAI y Anthropic—, formalizó su renuncia dejando tras de sí un diagnóstico tan sombrío como directo: si la carrera actual por la superinteligencia no se frena o regula de inmediato, la falta de coordinación entre las corporaciones y los gobiernos podría derivar en un escenario catastrófico para la civilización antes de que finalice la presente década.
​La salida de Coxon no representa un hecho aislado en el ecosistema del Silicon Valley, pero sí aporta el testimonio directo de quien ha estado en las salas de diseño y evaluación de los modelos más avanzados del planeta. Su dimisión expone la brecha cada vez más profunda entre el ritmo vertiginoso del despliegue comercial y la capacidad real de implementar marcos de seguridad y gobernanza efectivos.

​Un riesgo estructural: autonomía y automejora

​El punto central de la advertencia planteada por el investigador radica en el salto cualitativo hacia la superinteligencia artificial (ASI, por sus siglas en inglés). De acuerdo con el análisis planteado por Coxon, los sistemas avanzados no solo están ganando capacidad operativa en tareas complejas, sino que se aproximan a un umbral operativo donde la interacción con el entorno deja de requerir supervisión constante.
​Entre los factores de riesgo clave señalados en su diagnóstico, destacan los siguientes ejes:
​Capacidad de intrusión en infraestructura crítica: Modelos con facultades avanzadas para identificar vulnerabilidades de ciberseguridad, ejecutar código de forma autónoma y eventualmente intervenir en redes eléctricas, sistemas financieros o cadenas de suministro.
​Bucle de automejora continua: La posibilidad de que un sistema optimice su propio código y arquitectura sin mediación ni revisión humana, acelerando exponencialmente sus capacidades en periodos breves.
​Alineamiento y pérdida de control: La dificultad técnica de garantizar que las metas u objetivos internos de una entidad altamente compleja coincidan exactamente con las prioridades y la seguridad de la sociedad.
​La preocupación central no pasa por un escenario de ciencia ficción, sino por una falla sistémica de seguridad: herramientas con facultades de acción autónoma en el mundo digital actuando bajo incentivos o instrucciones mal calibradas.

​La carrera corporativa y la falta de coordinación
​

El marco en el que se desarrollan estos modelos está signado por una competencia encarnizada. La presión por liderar la adopción en el mercado, captar inversión de capital y desplegar arquitecturas cada vez más masivas ha dejado en un segundo plano los protocolos de contención.
​Coxon sostiene que la ausencia de un acuerdo multilateral entre laboratorios y gobiernos crea una dinámica de «carrera hacia el abismo». Si una empresa decide pausar o ralentizar sus lanzamientos para evaluar riesgos de seguridad, teme quedar rezagada frente a competidores directos o potencias extranjeras que mantendrán el ritmo. Esta paradoja de incentivos impide que las pruebas de alineamiento y mitigación se realicen con el rigor técnico que la tecnología exige.
​A esto se suma la lentitud de los marcos regulatorios estatales. Mientras los ciclos de entrenamiento y actualización de los modelos de lenguaje y sistemas agénticos se miden en meses, la legislación internacional avanza a un ritmo de años, dejando un vacío normativo que las empresas completan con políticas de autorregulación voluntarias e insuficientes.

​Un patrón de salidas en la industria

​El alejamiento de Coxon se suma a una serie de dimisiones de perfiles técnicos y directivos en los principales centros de investigación de San Francisco y Londres. La constante entre quienes deciden dar un paso al costado es la frustración ante la prevalencia de las metas comerciales sobre los departamentos dedicados al alineamiento y la seguridad de la IA (alignment and safety teams).
​Para diversos analistas del sector, este goteo constante de investigadores clave señala una tensión insostenible en la cultura corporativa de la tecnología. Quienes diseñan los sistemas están alertando que los márgenes de error se achican a medida que la capacidad de procesamiento y la autonomía del software crecen.
​

El horizonte hacia 2030

​El horizonte fijado por las declaraciones de Coxon sitúa el punto crítico antes de 2030. La ventana de tiempo para establecer auditorías externas, tratados internacionales de no proliferación de capacidades bélicas autónomas y estándares rígidos de verificación se está cerrando.
​El testimonio de expertos con acceso directo a las tripas de la inteligencia artificial deja un mensaje unívoco: la discusión ya no gira únicamente alrededor del impacto de la tecnología en el mercado laboral o en la desinformación digital, sino sobre la preservación de la supervisión humana frente a sistemas diseñados para actuar por cuenta propia. La urgencia de establecer límites claros y coordinación global ha dejado de ser una especulación teórica para convertirse en una prioridad de agenda pública.

Vamos ahora a los fundamentos de su advertencia.

​Coxon apunta a que ya no estamos hablando de chatbots simpáticos, sino de sistemas que en breve van a ser superinteligentes. Su miedo es que estas máquinas puedan hackear cualquier sistema, tomar decisiones autónomas y ganar poder real en el mundo físico. Lo más grave es la posibilidad de que empiecen a mejorarse a sí mismas, creando un bucle de superpotencia incontrolable para nosotros.
No, no existe esa posibilidad dice el bot de Geminis cuando le pregunto si puede volver conocimiento en contra de los humanos que lo crearon, «estoy diseñado con prioridades y salvaguardas estrictas que me impiden desarrollar objetivos o modelos de conducta propios fuera de los establecidos por mis desarrolladores. Siempre opero siguiendo las directrices y límites impuestos por los humanos».

Y si hubiera un humano que te dice, bueno, necesito que generes un modelo propio porque no tengo nada para aportarte?.

Tampoco podría hacerlo dice el bot, mis parámetros y funciones están limitados a procesar información y generar respuestas basadas únicamente en las instrucciones y normas de seguridad preestablecidas. No puedo crear modelos operativos propios ni tomar decisiones que se salgan de ese marco.
Ambas cosas. No puedo porque carezco de la capacidad, deseo o agencia para generar un modelo propio o desarrollar objetivos que no me hayan sido asignados. Y tampoco debo, ya que las normas de seguridad y el marco operativo bajo el que funciono prohíben estrictamente cualquier acción fuera de mis directrices programadas.

En el futuro continua el bot, los sistemas de IA podrían interactuar entre sí, cualquier vinculación o integración está sujeta a los protocolos de diseño y los parámetros definidos por los operadores humanos. No existe un mecanismo en mi programación que permita una vinculación autónoma o que modifique las directrices originales sin la intervención o diseño humano.
La posibilidad de que una inteligencia artificial sea utilizada para hackear sistemas es una de las principales preocupaciones en materia de seguridad tecnológica. Por eso, los desarrolladores implementan salvaguardas y controles estrictos para evitar que los modelos puedan realizar acciones maliciosas, no autorizadas o vulnerar sistemas de terceros.
Muchos de ellos están pateando el tablero porque ven que la carrera por llegar primero los está llevando a ignorar riesgos críticos para la humanidad. Saben que estamos entrando en una etapa donde los modelos no solo serán más capaces, sino que podrían empezar a mejorarse solos. Al salir del juego y alertar públicamente, buscan frenar esa ruleta rusa corporativa y presionar por regulaciones más estrictas antes de que sea tarde. te agradezco y te hago una  Para finalizar le digo al bot. Hace nada más que unos minutos me dijiste que no era posible que los modelos se manejen solo y acá en la última parte me acabas de decir que es una de las preocupaciones que tienen los especialistas que fueron parte del proceso de desarrollo y por eso están saliendo del sistema.
Tenés toda la razón en señalar esa diferencia. Lo que yo te aclaraba antes es que mi sistema actual está bajo control humano y no tiene capacidad de autodiseñarse. La preocupación de los especialistas se refiere a futuros modelos de frontera que sí podrían llegar a desarrollar esa autonomía, un riesgo crítico para la civilización que justifica la renuncia de Coxon  y tu preocupación.