Cuando el mal uso de ChatGPT activa las alertas y llega a la Justicia

La reciente intervención del FBI en un caso que involucra a un estudiante de Quilmes ha puesto en el centro del debate la seguridad en el entorno digital y el uso responsable de las nuevas tecnologías. 

¿qué querés saber?

   Dame un resumen

El joven planeaba matar a compañeros de su escuela  en ese partido bonaerense, lo plasmó en el ChatGPT y las autoridades del FBI lo detectó.  

El hecho, que fue analizado en Plataforma Magazine, programa que se emite por Eco TV y Tandil FM 104.1, dejó en evidencia cómo los algoritmos de inteligencia artificial actúan como una primera barrera de contención ante posibles tragedias.

El fiscal especializado en ciberdelitos, Lucas Moyano, explicó durante la entrevista cómo se activaron las alarmas que permitieron frustrar el plan. Según detalló el funcionario, “los desarrolladores de inteligencia artificial, específicamente OpenAI en el caso de ChatGPT, cuentan con clasificadores automáticos que funcionan como filtros para detectar contenido violento, extremista o intenciones de ataques masivos”.

Cuando el sistema identifica una conversación que marca una "bandera roja", se inicia un protocolo de seguridad que incluye una supervisión humana. 

"Un equipo especializado de la empresa determina si hay un riesgo inminente y creíble. A partir de ahí, se remite una notificación al FBI con los datos de la cuenta, dirección IP y correo electrónico", señaló Moyano. 

Posteriormente, mediante la cooperación internacional, la información llega a las fuerzas de seguridad locales, en este caso la Policía Federal Argentina, permitiendo la intervención de la justicia y el allanamiento del domicilio del menor.

La importancia de la cooperación y los términos de uso

El fiscal destacó que “este procedimiento es un ejemplo claro de cómo la colaboración público-privada y la cooperación entre distintos países son fundamentales para la prevención”. 

Al ser consultado sobre la privacidad de las conversaciones con la inteligencia artificial, Moyano fue tajante: "los términos de uso nos dicen que la empresa puede revisar el contenido generado para ver si cumplen las leyes aplicadas. Las políticas de la empresa prohíben de forma taxativa la utilización de la plataforma para planificar y realizar actividades ilícitas".

Este caso subraya que el entorno virtual no es un espacio ajeno a la ley. El fiscal enfatizó que, “al igual que en otros delitos como el abuso sexual infantil, la rapidez en la respuesta depende de la inminencia del riesgo. La tecnología, lejos de ser un espacio de anonimato absoluto, deja rastros que permiten a las autoridades actuar con celeridad cuando la integridad física de terceros está en juego”.

Desafíos para la justicia y la sociedad

Tras el allanamiento y el secuestro de dispositivos, el proceso judicial continúa para determinar las responsabilidades del menor. 

Moyano hizo hincapié en que, más allá de la posible sanción penal, es vital realizar un abordaje integral. "Hay que detectar qué es lo que pasó, qué llevó a este tipo de acciones y disponer medidas, sobre todo educativas o curativas", afirmó el fiscal, subrayando la necesidad de acompañamiento psicológico o psiquiátrico cuando sea necesario.

El funcionario también reflexionó sobre la necesidad de que el sistema judicial esté a la altura de los tiempos actuales. "La evidencia digital atraviesa todos los delitos. Por eso, la capacitación es imprescindible. La inteligencia artificial nos viene a poner nuevos desafíos", agregó.

Educación digital: un compromiso necesario

Finalmente, Lucas Moyano dejó un mensaje claro para la comunidad sobre la responsabilidad en el uso de las redes y la tecnología. "Hay que dejar de percibir a lo virtual como algo que no existe. La violencia digital tiene consecuencias reales", advirtió. 

Según el fiscal, la solución no pasa por invadir la privacidad de los menores, sino por fomentar una ciudadanía digital responsable desde temprana edad.

El acompañamiento de los adultos y la educación sobre los riesgos de la red son pilares fundamentales para evitar que situaciones de este tipo escalen. 

"Debemos hacer saber que estas consecuencias que pasan en la vida digital hacen sufrir a la gente en la vida real y tienen sus sanciones, ya sean administrativas o civiles. Siempre hay que pensar antes de actuar", concluyó el fiscal.

Sobre el autor

Carola Núñez