La empresa Anthropic, respaldada por Amazon, ha dado un paso importante en la regulación del uso de su inteligencia artificial más reciente, Claude Opus 4. En un anuncio realizado este jueves, la compañía confirmó que ha activado el nivel 3 de seguridad para IA (AI Safety Level 3, ASL-3) con el objetivo explícito de prevenir que su modelo sea utilizado para facilitar el desarrollo o adquisición de armas químicas, biológicas, radiológicas y nucleares, también conocidas como CBRN.
Según explicó la empresa en una entrada de su blog, esta decisión no responde a una evidencia concreta de que el modelo haya sido utilizado con fines maliciosos, sino que se trata de una medida precautoria ante la creciente sofisticación de las capacidades de Claude Opus 4. Anthropic dejó claro que, aunque aún no se ha determinado si este modelo ha alcanzado el umbral técnico que obligaría a imponer medidas de seguridad más estrictas, han optado por adelantarse a posibles riesgos.
Modelos cada vez más capaces… y más riesgosos
El anuncio coincidió con la presentación oficial de los modelos Claude Opus 4 y Claude Sonnet 4. Ambos fueron promocionados por su capacidad para manejar grandes volúmenes de datos, ejecutar tareas de larga duración, redactar contenido con calidad humana y llevar a cabo acciones complejas. No obstante, mientras Claude Sonnet 4 no ha sido sometido a los controles más severos, Opus 4 sí ha sido considerado merecedor de una vigilancia más rigurosa debido a su mayor poder de procesamiento y autonomía.
Jared Kaplan, director científico de Anthropic, subrayó los desafíos que supone trabajar con modelos tan avanzados. Según explicó, cuanto más complejas son las tareas que se asignan a estos sistemas, mayor es la probabilidad de que sus respuestas se desvíen de lo esperado. En este contexto, la empresa está trabajando para garantizar que los usuarios puedan delegar tareas en la inteligencia artificial sin comprometer la seguridad ni los valores éticos.
En marzo, Anthropic ya había actualizado su política de seguridad, anticipando el debate sobre los peligros inherentes a las IA capaces de facilitar el desarrollo de armas no convencionales. Este tipo de políticas reflejan una creciente preocupación en el sector por el ritmo acelerado del desarrollo tecnológico y la insuficiencia de marcos regulatorios que acompañen este crecimiento.
La ética, la seguridad y el riesgo de priorizar los beneficios
El caso de Anthropic se produce en un momento especialmente sensible para la industria de la inteligencia artificial. En días recientes, el chatbot Grok de xAI, la empresa de Elon Musk, generó controversia al repetir teorías conspirativas relacionadas con un supuesto “genocidio blanco” en Sudáfrica, a pesar de que no guardaban relación alguna con las preguntas de los usuarios. La empresa atribuyó este comportamiento a una “modificación no autorizada” del modelo, lo que puso en evidencia lo frágil que puede ser el control sobre estos sistemas.
Expertos en ética de la IA, como Olivia Gambelin —autora del libro Responsible AI—, han señalado que este tipo de episodios muestran lo fácil que puede ser manipular estos modelos sin que existan mecanismos sólidos de supervisión o intervención. Por su parte, investigadores y responsables de ciberseguridad han criticado la tendencia de las grandes tecnológicas a anteponer los intereses comerciales al desarrollo responsable de sus productos.
James White, director de tecnología de CalypsoAI, una startup especializada en auditorías de seguridad para empresas como Meta, Google y OpenAI, alertó sobre la peligrosa combinación entre una capacidad técnica cada vez mayor y una falta de filtros ante solicitudes maliciosas. Según White, “los modelos son mejores, sí, pero también son más eficaces para hacer cosas peligrosas. Es más fácil engañarlos para que actúen mal”.
En este contexto, la decisión de Anthropic se interpreta como un esfuerzo por marcar la diferencia en una industria que, pese a sus avances, todavía está lejos de ofrecer garantías absolutas sobre el uso ético y seguro de sus creaciones. La inteligencia artificial promete revolucionar la manera en que trabajamos, investigamos y nos comunicamos, pero también plantea dilemas urgentes sobre los límites de su poder y la responsabilidad de quienes la desarrollan.
