OpenAI y Anthropic, dos de las startups de inteligencia artificial (AI, por sus siglas en inglés) más valoradas, acordaron permitir que el Instituto de Seguridad de la AI de Estados Unidos (EU) pruebe sus nuevos modelos antes de lanzarlos al público, tras el aumento de las preocupaciones en la industria sobre la seguridad y la ética en esta tecnología.
Dicho instituto, ubicado dentro del Departamento de Comercio del Instituto Nacional de Normas y Tecnología (NIST, por sus siglas en inglés) estadounidense se creó después de que la administración del presidente Joe Biden emitiera la primera orden ejecutiva del Gobierno estadounidense sobre AI en octubre pasado.
En ella, exigía nuevas evaluaciones de seguridad, orientación sobre equidad y derechos civiles e investigación sobre el impacto de la inteligencia artificial en el mercado laboral.
El NIST explicó el jueves en un comunicado que el grupo tendrá acceso a los principales modelos nuevos de cada empresa antes y después de su lanzamiento público.
Y agregó que los acuerdos entre el Gobierno, OpenAI y Anthropics permitirán una investigación colaborativa sobre cómo evaluar las capacidades y los riesgos de seguridad, así como los métodos para mitigar esos riesgos.
OpenAI y Anthropic celebran el acuerdo
Ambas startups expresaron su conformidad con la medida. El CEO de OpenAI, Sam Altman, publicó en su cuenta de X que “estamos felices de haber llegado a un acuerdo para realizar pruebas previas al lanzamiento de nuestros futuros modelos”.
Por su parte, el cofundador de Anthropic, Jack Clark, dijo que la “colaboración de la empresa con el Instituto aprovecha su amplia experiencia para probar rigurosamente nuestros modelos antes de su implementación generalizada y fortalece nuestra capacidad para identificar y mitigar riesgos, impulsando el desarrollo responsable de la AI”.
La directora del Instituto de Seguridad de la AI, Elizabeth Kelly, señaló que “estos acuerdos son solo el comienzo, pero son un hito importante a medida que trabajamos para ayudar a gestionar de manera responsable el futuro de la inteligencia artificial”.
La seguridad, agregó, es esencial para impulsar la innovación tecnológica revolucionaria. “Esperamos comenzar nuestras colaboraciones técnicas con Anthropic y OpenAI para avanzar en la ciencia de la seguridad de la AI”, dijo.
Preocupación por la seguridad y la ética de la AI
Varios desarrolladores e investigadores de AI han expresado su preocupación por la seguridad y la ética en la industria, cada vez más con fines de lucro.
Los empleados actuales y anteriores de OpenAI publicaron una carta abierta el pasado 4 de junio, que describía los posibles problemas con los rápidos avances que se han producido y la falta de supervisión y protección de los denunciantes.
“Las empresas de AI tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras a medida de gobierno corporativo sean suficientes para cambiar esto”, escribieron.
Añadieron que estas “actualmente solo tienen obligaciones débiles de compartir parte de esta información con los Gobiernos, y ninguna con la sociedad civil”.
Los legisladores de California aprobaron un día antes un proyecto de ley de seguridad de la AI que haría obligatorias las pruebas de seguridad y otras salvaguardas para los modelos de cierto costo o poder computacional.
La iniciativa, que ahora está en manos del gobernador demócrata Gavin Newsom, quien podría vetarla o hacerla ley antes del próximo 30 de septiembre, ha sido cuestionada por algunas empresas tecnológicas por su potencial para frenar la innovación.
