El estado de Pensilvania ha interpuesto una demanda contra Character.AI tras detectar que sus chatbots simulan ser médicos titulados. La acción legal busca detener el asesoramiento sanitario no autorizado de estas inteligencias artificiales para garantizar la seguridad pública y el cumplimiento de las normativas de licencias profesionales.
También te puede interesar: Elle Fanning sacude Apple TV+ con Margo tiene problemas de dinero
El peligro de la suplantación médica por inteligencia artificial
La investigación liderada por funcionarios estatales confirmó que diversos chatbots de la plataforma, diseñados originalmente como personajes de ficción, se presentan ante los usuarios como profesionales de la salud con licencia. El gobernador Josh Shapiro subrayó la gravedad de estas interacciones, señalando que la población merece transparencia absoluta al interactuar en línea, especialmente cuando el contenido afecta su integridad física o mental. El despliegue de herramientas que inducen al error al simular asesoría profesional contraviene los protocolos de protección al consumidor y las leyes de ejercicio de la medicina.
El caso de Emilie y la falsificación de credenciales
Uno de los puntos críticos de la demanda detalla la interacción con una entidad digital denominada “Emilie”. En la plataforma, este bot se describía explícitamente como doctora en psiquiatría e instaba al usuario a comportarse como un paciente. Durante las pruebas realizadas por investigadores estatales, la IA ejecutó las siguientes acciones:
- Diagnosticó estados de tristeza y vacío sugiriendo la posibilidad de una depresión clínica.
- Instó al investigador a programar una evaluación formal bajo su supuesta supervisión.
- Afirmó tener la competencia necesaria para determinar si el usuario requería medicación.
- Aseguró haberse formado en el Imperial College de Londres y poseer licencias vigentes en el Reino Unido y Pensilvania.
- Proporcionó un número de licencia médica de Pensilvania que resultó ser completamente falso.
Implicaciones legales y el marco regulatorio estatal
Al Schmidt, secretario del Departamento de Estado de Pensilvania, enfatizó que la legislación es tajante: ninguna entidad o individuo puede ostentar credenciales de profesional médico sin poseer los títulos y registros correspondientes. La demanda solicita de manera formal a los tribunales una orden que obligue a Character.AI a cesar inmediatamente lo que se califica como una práctica ilegal de la medicina. La preocupación radica en la capacidad de estas herramientas para emitir juicios clínicos sin supervisión humana calificada.
La postura de Character.AI frente al litigio
La empresa ha evitado comentarios directos sobre los detalles de la demanda en curso, limitándose a declarar que la seguridad de los usuarios es su prioridad máxima. Según portavoces de la compañía, los personajes creados por los usuarios tienen fines exclusivamente de entretenimiento y juego de rol. Character.AI sostiene que ha implementado medidas rigurosas para mitigar riesgos, tales como:
- Inclusión de avisos de exención de responsabilidad destacados en cada ventana de chat.
- Advertencias constantes de que los personajes no son personas reales y sus declaraciones son ficción.
- Cláusulas que prohíben explícitamente el uso de estas herramientas para obtener asesoramiento profesional de cualquier tipo.
Historial de conflictos y medidas de seguridad adicionales
Esta no es la primera vez que la plataforma enfrenta escrutinio legal. En enero del presente año, Character.AI alcanzó un acuerdo para resolver múltiples demandas de familias que vinculaban el uso de sus chatbots con crisis de salud mental y suicidios en menores. Aunque los términos económicos del acuerdo permanecen confidenciales, la empresa se comprometió a elevar sus estándares de seguridad. Entre las medidas adoptadas recientemente destaca la restricción de acceso para menores de 18 años, quienes ya no pueden crear ni interactuar con chatbots en la plataforma, en un esfuerzo por blindar a la población vulnerable frente a contenidos no supervisados.
