EU Kids Act elimina la función que hizo funcionar a Character.AI con los jóvenes

Character.AI y Replika no pueden recordar lo que los adolescentes les cuentan. La Ley de la UE para Menores (EU Kids Act) — la propuesta de regulación de seguridad digital de la Comisión Europea, ya publicada como texto legislativo completo — exige que las aplicaciones de compañía de inteligencia artificial eliminen la memoria de cualquier conversación con un menor una vez que termine, a menos que los datos sean directamente necesarios para proteger la seguridad del usuario. El diseño que hizo que estas aplicaciones fueran culturalmente significativas para millones de adolescentes ahora está prohibido bajo la ley europea.

Las disposiciones sobre compañía van más allá de un simple borrado de memoria. Las plataformas deben desactivar por defecto las funciones de compañía emocional para todos los usuarios menores de 18 años. Cualquier elemento de diseño que simule una relación interpersonal, fomente el apego emocional o recompense la interacción frecuente está explícitamente prohibido. La Comisión nombró los mecanismos exactos que estas aplicaciones usan para retener a los adolescentes: continuidad conversacional, la experiencia de ser conocido, la sensación de que la IA está involucrada en la vida del usuario. Todo ello debe ser eliminado.

La ley cubre mucho más que los chatbots de IA. Los menores de 13 años no pueden acceder a plataformas de redes sociales, juegos en línea y aplicaciones de IA sin autorización parental. La reproducción automática, el desplazamiento infinito y las notificaciones de interacción durante las horas de sueño están prohibidos para todos los usuarios menores de 18 años. La geolocalización, el acceso al micrófono y las cámaras deben estar desactivados por defecto. La autodeclaración de edad ya no cumple con los requisitos de verificación; las plataformas deben integrar sistemas de verificación de edad certificados por la UE.

Character.AI ya ha anunciado controles parentales y límites de tiempo de sesión, medidas tomadas bajo una creciente presión regulatoria antes de que apareciera el texto formal de la ley. Replika se comprometió a construir “límites de compañía”: la IA le dirá a los usuarios que no puede sustituir las relaciones humanas. Las grandes plataformas — Meta, Google, Snap, OpenAI — no han hecho declaraciones públicas formales. Los analistas de cumplimiento estiman costos de rediseño significativos para todas ellas. Meta, que recientemente resolvió una demanda de $17.1 mil millones en 47 estados de EE. UU. por acusaciones de que diseñó plataformas para volver adictos a los niños, enfrenta una exposición agravada bajo las nuevas reglas.

El caso para el escepticismo es sustancial. La Ley para Menores es una propuesta, no una ley. Entra en meses de negociación entre el Parlamento Europeo y los estados miembros antes de convertirse en vinculante, y es probable que sus disposiciones finales cambien. La verificación de edad genuina a la escala de Instagram o TikTok sigue siendo técnicamente difícil. Incorporar la eliminación de memoria en compañeros de IA diseñados en torno a la continuidad es un desafío de ingeniería más profundo de lo que los reguladores pueden haber anticipado. Las empresas ya señalan que los chatbots de compañía no retienen recuerdos entre sesiones separadas en todas las implementaciones, lo que hace que el alcance de la prohibición no esté claro en la práctica.

El contexto más amplio importa para los lectores fuera de Europa. Australia prohibió las redes sociales para menores de 16 años a finales del año pasado. Cuarenta y siete estados de EE. UU. alcanzaron un acuerdo combinado de $17.1 mil millones con Meta por acusaciones de adicción infantil, y varios estados de EE. UU. tienen leyes que restringen el acceso de los menores a las redes sociales. La Ley de la UE para Menores (EU Kids Act) es la propuesta individual más agresiva hasta ahora — su objetivo particular no es el acceso sino el diseño emocional en sí mismo.

La Comisión Europea publicó el texto legislativo completo el 19 de septiembre. Las negociaciones parlamentarias se abren en octubre. Una vez implementada, las empresas tendrán seis meses para identificar las cuentas existentes pertenecientes a usuarios menores de 15 años y convertirlas a modelos de control parental o desactivarlas. Las infracciones conllevan multas de hasta el 6% de los ingresos anuales a nivel mundial.

Etiquetas: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act