El Garante per la Protezione dei Dati Personali (GPDP), autoridad italiana en protección de datos personales, ha investigado a la estadounidense Luka Inc. por su servicio Replika, un chatbot basado en inteligencia artificial generativa que puede mejorar el estado de ánimo y el bienestar emocional al ayudar a comprender los pensamientos y sentimientos, realizar un seguimiento del estado de ánimo, aprender manejo del estrés, calmar la ansiedad y favorecer el pensamiento positivo, la socialización y la búsqueda del amor. Replika genera un «compañero virtual» que puede configurarse como amigo, terapeuta, pareja o mentor. Se alimenta de la interacción con otros usuarios.
La IA generativa se centra en la creación de contenido nuevo y original respecto a datos de entrada en respuesta a solicitudes de los usuarios, mediante el uso de algoritmos de tipo neuronal. Una «red neuronal» es un modelo que permite el reconocimiento de objetos, formas o patrones dentro de un conjunto de datos determinado (un rostro humano en una fotografía, por ejemplo).
Según las investigaciones del GPDP, el tratamiento de datos personales de este chatbot podría violar la legislación por:
- Falta de transparencia en la política de privacidad y ausencia de bases legales claras para el tratamiento de datos.
- Riesgo para menores, ya que no existía un filtro de edad en el registro ni en la interacción con el chatbot.
- Contenido inapropiado propuesto por el chatbot, sin la protección para menores y usuarios vulnerables.
Por mandato del GPDP, Luka tenía que:
- Presentar una política de privacidad actualizada a todos los usuarios en Italia, antes del registrarse y de acceder al servicio Replika.
- Implementar un mecanismo de control de edad en todas las páginas de registro.
- Implementar un «período de reflexión» para evitar el acceso fraudulento de menores e impedir el acceso a menores de 18 años.
- Garantizar que los usuarios en Italia puedan ejercer sus derechos sobre el tratamiento de sus datos.
- Crear funciones que permitan a los usuarios reportar contenido inapropiado para evitar que el chatbot Replika lo repita.
Ante estas exigencias, Luka Inc. pidió la revocación de la medida correctiva, argumentando que había proporcionado controles adecuados:
- Bloqueó el servicio en Italia desde la aplicación y el sitio web.
- Desarrolló un sistema más estricto de verificación de edad, con mecanismos automatizados para identificar a menores analizando conversaciones.
- Implementó algoritmos avanzados para filtrar temas sensibles y moderar así contenidos inapropiados.
- Actualizó el aviso de privacidad y el registro de actividades de tratamiento.
- Limitó el acceso para nuevos usuarios a conversaciones sexuales.
- Duplicó el servicio creando una versión gratuita y otra de pago con contenido romántico pero no sexual, con verificación mediante tarjeta de pago.
- Presentó una política de privacidad actualizada, asegurando que todas estas medidas se aplicarían en Italia una vez reactivado el servicio.
Se hallaron vulneraciones de los arts. 5.1.a) y c), 6, 12, 13, 24 y 25.1 RGPD, por falta de identificación de la base legal para cada tipo de tratamiento y para el desarrollo del modelo LLM del chatbot. Además, detectó deficiencias en la transparencia, pues la política de privacidad solo estaba disponible en inglés; no aclaraba el periodo de conservación de los datos; la información sobre transferencias de datos fuera del EEE era contradictoria; y no aclaraba que el servicio estaba dirigido exclusivamente a adultos.
Con los elementos anteriores y a falta de datos del volumen de negocio anual de Luka Inc., de conformidad con el art. 83.3 del Reglamento, se consideró el importe total de la sanción en 5 000 000 €, pudiendo resolverse con la mitad abonándolo en sesenta días.
Fuente: https://garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/10130115
░ Foto de Cash Macanaya en Unsplash
