El Wall Street Journal publicó este verano un nuevo informe que dice que se detectó que cientos de usuarios de todo el mundo han consultado a ChatGPT sobre cómo fabricar venenos y armas biológicas. El informe cita fuentes como “empleados actuales y anteriores de grandes laboratorios de IA, incluyendo a OpenAI”, y a “consejeros de políticas e investigadores que estudian armas biológicas”. OpenAI aparentemente le dijo a Journal que la mayoría de las consultas relevantes eran sobre venenos.
Lo que sorprende es el público que realizó las consultas
El informe no detalla la naturaleza exacta de esas detecciones de consultas que violan las reglas pero implica que se trata de usuarios promedio de ChatGPT, y no de consultas que alertan o causan banderas rojas. Tal parece que luego se mostraron las respuestas a expertos en defensa y a científicos para verificar la precisión de ChatGPT. “Los expertos en biología y terrorismo revisaron los intercambios con ChatGPT y dijeron que algunos eran de precisión letal, según los conocedores”, indica el Journal.
Las instrucciones se describen como brindadas “con paciencia” al nivel de un estudiante de la escuela secundaria. Se bloqueó a los usuarios por su conducta, pero el Journal dice que no se notificó a las autoridades. OpenAI le dijo al Journal que este tipo de consultas se envían a las fuerzas del orden cuando se considera que son peligros creíbles en el mundo real.
Hasta ahora la mayoría de las formas siniestras de los chatbots de IA de consumo han brindado a gente con malas intenciones algo así como consejos generales, más que instrucciones precisas, algo que los alienta. En un incidente publicado en el New York Times, miembros de Boko Haram habrían pedido consejos a un chatbot para modificar sus motocicletas para hacer saltos y luego usaron esas motocicletas (tras mucha práctica) para lograr lo que el Times llamó “elevación como para montar un ataque exitoso”. Si es verdad, no es algo bueno, aunque un libro confiable sobre el tema también habría ayudado a Boko Haram sin necesidad de la IA.
¿No hay un límite?
El informe del Journal sobre las armas biológicas y los venenos se da en un momento en que estas tecnologías están avanzando y diversificándose. Hay modelos avanzados como el más reciente modelo de GPT que eventualmente podrían dar lugar a modelos de destilación secreta, lanzados como productos a bajo costo que solo se pueden usar en una máquina con potencia suficiente. También existen técnicas para modificar modelos que eliminan las restricciones que tienen hoy las versiones más nuevas, lo que significa que se puede encontrar cualquier información.
Resulta razonable la preocupación del gobierno federal ante los modelos de IA en 2026, que se prohibieron y luego se permitieron, ya que tal vez no pasen más de dos años antes de que se conviertan en algo sin censura que cualquier persona con malas intenciones pueda conseguir al precio correcto si sabe dónde buscar. Al mismo tiempo hay técnicas que buscan eliminar las salvaguardas de los modelos, y esas técnicas también están avanzando.
OpenAI le dijo al Journal que sus modelos están diseñados para rechazar consultas dañinas, y que se evalúan antes de lanzarlos al mercado. Es probable que el Journal esté parafraseando lo que les dijo un vocero de OpenAI: que puede “identificar y detener intentos de utilizar sus modelos para obtener información biológica perjudicial”.
