Dos países bloquearon el chatbot Grok de X por imágenes sexualizadas de IA

Malasia e Indonesia se convirtieron en los primeros países en bloquear Grok, el chatbot de inteligencia artificial desarrollado por la compañía xAI de Elon Musk, luego que las autoridades afirmaran que se estaba utilizando indebidamente para generar imágenes sexualmente explícitas y no consensuadas.

Estas medidas reflejan la creciente preocupación global sobre las herramientas de inteligencia artificial (IA) generativa que pueden producir imágenes, sonidos y textos realistas, al tiempo que las salvaguardas existentes no logran prevenir su abuso. El chatbot Grok, al que se accede a través de la red social X (ex-Twitter), fue criticado por permitir generar imágenes manipuladas: usuarios de la plataforma utilizaban fotos publicadas por otros y, por intermedio de un comando de texto, Grok las vestía con bikini o en poses sexualmente explícitas. También hubo cientos de casos de imágenes que involucran a niños.

>> Leer más: Grok, el chatbot de X, enfrenta críticas por imágenes sexualizadas generadas por IA

La semana pasada, Grok limitó la generación y edición de imágenes a usuarios de pago tras una reacción global contra los videos sexualizados de personas manipulados de forma digital —conocidos como deepfakes—, pero los críticos aseguran que no abordó completamente el problema.

Los reguladores de las dos naciones del sudeste asiático dijeron que los controles existentes no estaban impidiendo la creación y difusión de contenido pornográfico falso, particularmente involucrando a mujeres y menores. El gobierno de Indonesia bloqueó temporalmente el acceso a Grok el sábado, seguido por Malasia el domingo.

“El gobierno considera que los deepfakes sexuales no consensuados son una violación grave de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital”, afirmó en un comunicado el sábado la ministra de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid.

La lupa sobre Grok

El director general de supervisión del espacio digital, Alexander Sabar, aseguró que Grok no tiene controles efectivos para evitar que los usuarios creen y distribuyan contenido pornográfico basado en fotos reales de terceros. Añadió que tales prácticas corren el riesgo de violar la privacidad y los derechos de imagen cuando las fotos son manipuladas o compartidas sin consentimiento, causando daño psicológico, social y reputacional.

En Kuala Lumpur, la Comisión de Comunicaciones y Multimedia de Malasia ordenó una restricción temporal sobre Grok el domingo después de lo que describió como un “uso indebido repetido” de la herramienta para generar imágenes obscenas, sexualmente explícitas y manipuladas sin consentimiento, incluyendo contenido que involucra a mujeres y menores.

Imágenes sexualizadas

Lanzado en 2023, Grok es de uso gratuito en X. La IA responde preguntas y, desde el verano pasado, se añadió una función generadora de imágenes, Grok Imagine, que incluía un llamado “modo picante” que puede generar contenido para adultos.

Las restricciones en el sudeste asiático se producen en medio de investigaciones en otros países. Reino Unido quiere determinar si Grok “cumplió con sus deberes de proteger a las personas en el Reino Unido de contenido que es ilegal”. El regulador británico, Ofcom, subrayó que las imágenes generadas por la IA de niños sexualizados o personas desvestidas pueden equivaler a pornografía o material de abuso sexual infantil.

“El contenido creado y compartido usando Grok en los últimos días ha sido profundamente perturbador”, dijo la secretaria de Tecnología, Liz Kendall.