Digital Rights are Charter Rights_ES

Digital Rights are Charter Rights

2 | digiRISE

Developing Information, Guidance, and Interconnectedness for (Charter) Rights Integration in Strategies for Enforcement

4 | digiRISE

Digital Freedom Fund | 5

Indice Editorial Alexandra Giannopoulou, Digital Freedom Fund

Artículo 11: Cuando lo público se convierte en lo privado y todo el mundo es sospechoso - la libertad de expresión y de información a principios del siglo XXI

p.8 p.10

Anna Mazgal, Wikimedia Europe

Artículo 18: Los derechos digitales y la protección del derecho de asilo en la Carta de la Unión Europea

p.14

Romain Lanneau, Statewatch

Artículo 20: Las desigualdades digitales y la promesa de la igualdad ante la ley

p.18

Jens Theilen, Helmut-Schmidt-University Hamburg

Artículo 21: El derecho a la no discriminación algorítmica

p.22

Raphaële Xenidis, SciencesPo Law School

Artículo 7: El derecho a la privacidad como guardián de los derechos humanos

p.26

Nadia Benaissa, Bits of freedom

Artículo 8 de la carta de los Derechos Fundamentales de la UE Ioannis Kouvakas, Privacy International / Vrije Universiteit Brussels (VUB)

p.30

Artículo 41: El derecho a una buena administración

p.34

Melanie Fink, Leiden Law School Giulia Gentile, LSE Law School

Article 47: La era de las desigualdades digitales

p.38

Nawal Mustafa, Public Interest Litigation Project (PILP)

Artículo 34: El “Bienestar digital” y el derecho fundamental a la seguridad social y a la asistencia social en la UE

p.42

Divij Joshi, University College London

Artículo 28: El derecho a la negociación colectiva y el caso de los trabajadores de plataformas

p.46

James Farrar, Worker Info Exchange

Artículo 37: La protección del medio ambiente, la infraestructura de Internet y la economía de datos

p.50

Fieke Jansen, Critical Infrastructure Lab – University of Amsterdam / Green Screen Climate Justice and Digital Rights coalition

Artículo 38 de la carta de la UE: ¿Una forma de dorar la píldora o un instrumento operativo real?

p.54

Alexandre Biard, BEUC - The European Consumer Organisation

Notas

p.58

Créditos

p.65

8 | digiRISE

Editorial por Alexandra Giannopoulou Muchas de las interacciones y relaciones cotidianas entre personas, entidades públicas y comerciales se han trasladado a Internet y se ven mediadas por infraestructuras tecnológicas digitales. Estos nuevos medios de interacción y participación mutua en el ámbito digital surgen a una escala y velocidad antes inalcanzables. Entre la investigación que articula, analiza y critica los efectos negativos de los sistemas de información y tecnológicos para los ciudadanos surge también un debate sobre los daños sociales sistémicos. Las visiones y las propuestas alternativas para contrarrestar estos daños sistémicos que se han provocado o se han ampliado mediante los sistemas tecnológicos o informacionales están trazando su camino en los foros contemporáneos políticos, académicos, comunitarios y de la sociedad civil.

“La Carta se está convirtiendo en la vía principal para las reclamaciones basadas en derechos, dado que puede ofrecer oportunidades tangibles a las personas de hacer valer directamente los derechos fundamentales contenidos en estas ante los órganos jurisdiccionales, incluida la reglamentación de las relaciones entre las partes privadas.”

Esta serie de ensayos resalta el vínculo entre la digitalización, la datificación y los derechos fundamentales. Esta transformación digital, según la Comisión Europea, brinda «nuevas oportunidades para hacer que los derechos fundamentales sean más efectivos, pero también suponen desafíos».1 A través de los ensayos invitamos al lector a contemplar la importancia de la protección de los derechos fundamentales en el ámbito digital, así como el papel determinante de la Carta de los Derechos Fundamentales de la UE (Carta de la UE) en contrarrestar opresiones, daños e injusticias sistémicos que están incorporados en las tecnologías disponibles. El potencial emancipativo de la Carta de la UE como medio de resistencia contra el sesgo tecnológico y la opresión se encuentra en el centro de esta serie.

La Carta de la UE, elaborada a finales del milenio, representa una contribución importante al canon de los instrumentos jurídicos vinculantes que constituyen el marco europeo de los derechos humanos. La Carta existe además de y en paralelo a otros instrumentos internacionales y europeos en materia de derechos humanos, como la Declaración Universal de los Derechos Humanos (DUDH), el Convenio Europeo de Derechos Humanos (CEDH), una serie de instrumentos específicos por materias, así como constituciones nacionales y «declaraciones de derechos».

La Carta es vinculante para las instituciones de la UE, así como para los Estados miembros cuando actúen dentro del ámbito de aplicación del Derecho de la UE. Por lo tanto, puede desempeñar un papel en colmar charcos de los existentes marcos nacionales e internacionales de derechos humanos y entre dichos marcos, así como proporcionar una capa de protección adicional. Al entrar en vigor el Tratado de Lisboa, la Carta se ha convertido en un instrumento jurídicamente vinculante que tiene el mismo valor jurídico que los Tratados. Por lo tanto, la Carta se está convirtiendo en la vía principal para las reclamaciones basadas en derechos, dado que puede ofrecer oportunidades tangibles a las personas de hacer valer directamente los derechos fundamentales contenidos en estas ante los órganos jurisdiccionales, incluida la reglamentación de las relaciones entre las partes privadas.

No obstante, en la práctica se ha mostrado que «las referencias a la Carta son formales, declaratorias, incluso decorativas y combinadas con referencias al CEDH sin distinción».2 Por consiguiente, queda claro que el potencial de muchas disposiciones aún debe explorarse.

La multitud de derechos y libertades que articula la Carta de los Derechos Fundamentales están creando la imagen de un instrumento moderno (con cultura informática) en materia de derechos humanos. Se trata del único instrumento jurídico internacional vinculante con una referencia especial al derecho a la protección de datos que se distingue claramente del derecho a la intimidad. Como se demuestra en la jurisprudencia y se discute en muchos de los ensayos, los artículos 7 y 8 de la Carta de la UE representan primordiales derechos fundacionales en torno a los cuales se articula la mayoría de los casos de derechos digitales. No obstante, y como lo demuestran por los ensayos incluidos en esta serie, hay muchos derechos y libertades de la Carta que constituyen o pueden constituir una base sólida para construir un litigio estratégico de derechos digitales.

Digital Freedom Fund | 9

El potencial de la Carta de proteger los derechos digitales va aún más allá e incluye una multitud de otros derechos y libertades que — ante la digitalización y la datificación continua de las tareas/la vida cotidianas— es probable que tengan una importancia y utilidad crecientes en el ámbito digital. Estos derechos y libertades, como todos los derechos humanos, están diseñados para defender los valores de la Unión Europea y el Estado de derecho y, en última instancia, para proteger a las personas y a los grupos de ser objeto de injusticias, tratos discriminatorios y la exclusión de oportunidades. Es importante destacar que estos abusos se observan cada vez más en el ámbito digital en relación con el uso de la inteligencia artificial (IA), el acceso a bienes y servicios digitales y su suministro (selectivo), el establecimiento y la expansión de modelos empresariales e ingresos basados en la extracción de datos y la creciente dependencia de los procesos de toma de decisiones mediados por la tecnología por parte de entidades públicas y privadas.

Muchos de los casos discutidos en los ensayos e incluidos en esta serie abordan daños directos y resaltan el impacto de las violaciones de derechos fundamentales sufridas por sistemas tecnológicos–sociales invasivos. La creación de un corpus de textos cuyo objetivo es mostrar el vínculo entre los derechos fundamentales y los derechos digitales constituye, en última instancia, un intento de abordar el legado del poder en el contexto de las tecnologías digitales, así como una oportunidad de analizar el valor de la protección de los derechos fundamentales en determinados contextos o entornos.

En lo que concierne a las cuestiones que tienen una fuerte carga ideológica, los ensayos no pueden mantener la vocación de universalidad, sino que más bien intentan definir los campos importantes en los que el impacto es o puede ser visible rápidamente. Hemos invitado a autores provenientes de diferentes campos jurídicos, políticos, académicos u otros campos que abarcan cuestiones que incluyen (entre otros) la digitalización de los procedimientos de asilo, la libertad de expresión y la moderación de contenidos, la igualdad y la no discriminación algorítmica,el bienestar digital y los servicios públicos digitalizados en general, la negociación colectiva y los trabajadores de plataformas.

Los ensayos incluidos en esta serie presentan una serie de discursos jurídicos, sociales y tecnológicos y todos comparten un enfoque común de consolidar el pensamiento crítico que refuerza la importancia de la protección de los derechos fundamentales en los sistemas tecnológicos digitales. Esperamos que este número especial inspire un pensamiento más continuo, crítico y reflexivo, y un encuentro más profundo con los derechos fundamentales en el ámbito digital mientras luchamos por el respeto de la protección de los derechos digitales.

1 Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Economico y Social Europeo y al Comité de las Regiones, «Estrategia para reforzar la aplicación de la Carta de los Derechos Fundamentales en la UE», COM(2020) 711 final, 2 de diciembre de 2020, p. 2.

J. Adams-Prassl & M. Bobek, Introduction en M. Bobek & J. Adams-Prassl (eds.), The EU Charter of Fundamental Rights in the Member States, Hart publishing, 2022, p. 7.

2

10 | digiRISE

Anna Mazgal, Directora ejecutiva, Wikimedia Europe

Digital Freedom Fund | 11

Introducción El artículo 11 sobre la libertad de expresión y de información tiene sus raíces en el paradigma europeo de un discurso abierto y libre que privilegia la asunción de riesgos permitiendo que las personas comuniquen libremente y tal vez rebasen los límites de lo que es aceptado frente a la censura preventiva. Este paradigma se basa también en la creencia de que al ejercer este derecho, los ciudadanos pueden requerir una protección especial frente a los intentos del estado de gestionar la disidencia. En el panorama de la comunicación en línea está mediado principalmente las plataformas. Esto crea un reto para el ejercicio de nuestra libertad de expresión y, al mismo tiempo, la necesidad de ampliar la protección de la libertad de expresión para que incluya las empresas y sus máquinas algorítmicas de moderación de la expresión. Este ejercicio viene con compensaciones.

El intercambio de información acelerado por Internet plantea retos tanto a los usuarios como a los legisladores en Europa a causa de la necesidad de aplicar una ponderación proporcionada y apropiada de todos los derechos que puedan verse afectados por la moderación de información en línea. A pesar de que los legisladores han estado desarrollando marcos jurídicos para que se elimine el discurso ilegal, los usuarios y, en particular, las comunidades racializadas y queer, se ven más afectadas por el discurso perjudicial. Este discurso dañino a menudo se convierte en su propia forma de censura ya que se reconoce como una forma de supresión mediante el silencio violento1. Por estas razones, existe la necesidad de una protección sólida de las formas legales de expresión, no solo no interfiriendo con ellas, sino a través de obligaciones positivas del Estado.2 La cantidad de la información producida, difundida e intercambiada a través de plataformas intermediarias supera en mucho cualquier capacidad humana de tratamiento.

Por lo tanto, los legisladores europeos han optado por encargar a los intermediarios de Internet o a las plataformas que tomen decisiones cotidianas sobre lo que está y lo que no está permitido dentro de sus servicios. Por lo tanto, ha surgido un sistema privatizado de conservación de la libertad de expresión en línea.

El código es ley, pero también lo son las condiciones del servicio Un rápido examen de la legislación emergente en la UE en los últimos 5 años muestra que cada vez es más evidente que los términos y condiciones de las plataformas en línea hoy en día son fundamentales para establecer marcos de gobernanza para la regulación de la libertad de expresión. Estas obligaciones contractuales entre una plataforma intermediaria y sus usuarios, especialmente cuando deriven de obligaciones legales, crean un ecosistema de aplicación privada en línea.3 Por ejemplo, las plataformas deben incorporan las excepciones de los derechos de autor referidas en la Directiva sobre los derechos de autor en el mercado único digital (Directiva sobre los derechos de autor) en sus términos y condiciones. El artículo 17 de esta directiva permite a un usuario usar o refererise a una obra protegida por derechos de autor, de una tercera persona, por ejemplo a efectos de citas, críticas, reseñas, así como usos a efectos de caricatura, parodia o pastiche. Al mismo tiempo, el artículo 17 establece una obligación de moderación de contenidos en virtud de la cual las plataformas pueden aplicar la moderación de contenidos automatizada a contenidos publicados en línea para reforzar la protección de los derechos de autor. Esta obligación convierte los términos y condiciones en un marco para equilibrar los derechos en conflicto del titular y del usuario que se beneficia de una excepción de los derechos de autor con el fin de garantizarles a ambos la libertad de expesión y de eliminar los contenidos ilícitos.

Del mismo modo, el Reglamento sobre la lucha contra la difusión de contenidos terroristas en línea (TERREG) obliga a las plataformas a incluir en sus términos y condiciones disposiciones destinadas a luchar contra el uso indebido de sus servicios para la difusión de propaganda terrorista (artículo 5, apartado 1). Esto significa que la determinación de la aplicación y de la puesta en vigor de las disposiciones legales en sus sistemas internos queda a cargo de las plataformas. Si bien esto tiene sentido desde la perspectiva de la libertad de empresa, traslada el poder de decisión a la hora de calificar el contenido terrorista por completo a una empresa privada.

En un intento por limitar el potencial de extralimitación de la vigilancia de contenidos, los legisladores obligan a las plataformas a aplicar “medidas específicas” teniendo en

12 | digiRISE cuenta los derechos fundamentales de los usuarios en relación con la libertad de expresión e información [artículo 5, apartado 3, letra c)]. Esta práctica deriva de un marco normativo específico que destaca la importancia de garantizar el respeto de los derechos fundamentales dentro del contexto de las plataformas privadas grandes: a nivel global, los Principios Rectores sobre las empresas y los derechos humanos adoptan tales objetivos. Estos principios figuran directamente en el considerando 12 de otra legislación significativa de la UE, el Reglamento de Servicios Digitales (RSD). El impacto de estos marcos normativos es difícil de estimar sin una investigación basada en la evidencia.

El RSD parece reforzar de forma interesante la libertad de expresión, ya que establece que el sistema interno obligatorio de tramitación de reclamaciones puede utilizarse para las denuncias no solo contra decisiones específicas de una plataforma, sino también contra las violaciones de los derechos fundamentales.4

El ojo de Sauron ¿Qué se requiere exactamente de las plataformas para eliminar los contenidos no deseados? En el caso del TERREG y de la Directiva sobre los derechos de autor, la atención se centra en garantizar la indisponibilidad del material ilícito. Ambos actos jurídicos apuntan a una serie de medidas para garantizar la supresión o el bloqueo de los contenidos ilícitos. En particular, a lo largo de todo el proceso legislativo, las disposiciones que requieren que las plataformas usen herramientas algorítmicas para examinar todo el contenido en búsqueda de bits ilícitos se han considerado extremadamente discutibles para cada uno de estos actos jurídicos europeos. En el caso de la Directiva sobre los derechos de autor, el artículo 17 generó una vehemente oposición por parte de las sociedad civil y una serie de protestas callejeras. Las versiones en español, italiano y polaco de Wikipedia se desactivaron en señal de protesta.5 El uso de software para corresponder los contenidos publicados en línea con una base de datos de contenido ilícito (tanto en el caso de los derechos de autor como en el caso de la propaganda terrorista) es similar al escáner de seguridad de un aeropuerto: se trata de «ver» el material ilícito; pero la máquina revela todo el contenido que pasa por ella. La mera existencia de estos sistemas es suficiente para provocar abuso, como sostienen los que se oponen a la introducción de dichos sistemas. Tanto en el TERREG como en la Directiva sobre los derechos de autor, el lenguaje que se usa para estas medidas se caracteriza por circunloquios: mientras que en la Directiva sobre los derechos de autor se hace referencia a «mayores esfuerzos por garantizar la indisponibilidad de obras [...] específicas », en el TERREG se describen «medidas técnicas» que deben estar ligadas a«garantías eficaces y adecuadas [...] en particular mediante la supervisión y verificación humanas».

El TERREG y la Directiva sobre los derechos de autor obligan o permiten a las plataformas que usen filtrado de contenidos, respectivamente. Todos los algoritmos usados por estas plataformas para el filtrado de contenidos son propietarios, por lo tanto, poco se puede decir sobre su actual efectividad, precisión y capacidad de entender el contexto.

Por esta razón, la supervisión humana es extremadamente importante. No obstante, en base a las prácticas conocidas en la verificación de contenido humano por las plataformas, como el muy poco tiempo para evaluar un contenido y el muy poco conocimiento del contexto cultural y social por parte de los moderadores,6 es difícil decir si la verificación puede realizarse con efectividad.

El cifrado puede convertirse en la próxima víctima en este enfoque generalizado que equivale a una estrategia de gestión de riesgos en la que es mejor analizarlo todo para detectar contenidos ilícitos en línea. La propuesta de Reglamento por el que se establecen normas para prevenir y combatir el abuso sexual de los menores impone a las plataformas la obligación de analizar las comunicaciones privadas de todos los usuarios, incluidas las comunicaciones protegidas con cifrado. Si bien la seguridad y el bienestar de los menores tiene una importancia capital, el propuesto «control de los chats» ha sido objeto de duras críticas.por las sociedades civiles, el Supervisor Europeo de Protección de Datos, así como el gobierno alemán.7 Las plataformas desempeñan un papel en varios tipos de aplicación de las limitaciones de la libertad de expresión. Por ejemplo, los bloqueos de pagos paralizaron el 95% de los ingresos de Wikileaks cuando PayPal, Mastercard y Visa dejaron de aceptar donaciones y nunca se inició un procedimiento judicial contra Wikileaks.8 Más recientemente, el Consejo de la UE ha suspendido las licencias de radiodifusión de Russia Today (RT)

Digital Freedom Fund | 13 France (entre otros) por toda la UE, mencionando una excesiva propaganda y distorsión de los hechos que se han convertido en una amenaza para la seguridad internacional tras la invasión de Rusia en Ucraina. Aunque la sentencia fue ratificada por el Tribunal General de la Unión Europea, algunos expertos sostienen que la medida carecía de legitimidad y no era proporcionada, dado que se refería no sólo a los contenidos ilícitos, sino también a la capacidad de conceder acceso a la información que no era ilícita.9

¿Un Internet nuevo y limpio?

Parece que por medio de un esfuerzo legislativo concertado para garantizar la eliminación de contenidos ilícitos, la libertad de expresión se está viendo muy afectada. El ejercicio del derecho a la libertad de expresión en línea se puede realizar sólo cuando uno se expresa. Por lo tanto, cualquier herramienta algorítmica que filtra preventivamente nuestro discurso en línea publicada contraviene directamente el artículo 11 de la Carta.

El ejercicio de equilibrio, basado en conceptos políticamente cargados, como, por un lado, la seguridad pública, y, por otro lado, el secreto empresarial de la tecnología propietaria crea una legislación que se considera en otras partes del mundo y se copia en jurisdicciones que tienen un historial desastroso con respecto a la salvaguardia de los derechos y las libertades humanos. Sentencias como la relacionada con la prohibición de radiodifusión de RT France proporcionan un antecedente extremadamente peligroso también en Europa, donde muchos Estados miembros se enfrentan a un autoritatismo y desprecio creciente por el Estado de derecho, y donde se pueden tomar decisiones de este tipo sobre los medios de comunicación —y proyectos dirigidos por la comunidades, como Wikipedia— que proporcionan información comprobada y permiten el debate público.

Debemos hacernos la pregunta a nosostros mismos sobre hasta qué punto estas medidas preventivas generales nos privan de la posibilidad de un debate público sano. ¿Hasta qué punto dichas medidas simplemente desinfectan el Internet de lo que es difícil y complejo, de lo que deriva de las injusticias sistémicas y el imperialismo europeo, tanto históricamente como hoy?

La legislación recientemente adoptada intenta proporcionar salvaguardias en medio del enfoque generalizado y estandarizado de la vigilancia de la libertad de expresión, también mediante las directrices sobre los mecanismos de reclamación y las obligaciones de incluir los derechos fundamentales en los términos y condiciones. Las comunidades racializadas y queer, los inmigrantes y los refugiados, así como otros grupos que sufren opresión sistémica, se enfrentan a barreras de acceso que no desaparecerán mediante esta legislación. Existe el peligro de que, estando lo suficientemente satisfechos con estas salvaguardas, estemos reflejando una opinion bastante chocante de Voltaire que escribió: «Nunca hemos intentado iluminar a los zapateros y a las criadas».

Finalmente, el secreto de los algoritmos y de la amplificación algorítmica crean una burbuja de refuerzo de la desinformación y de los contenidos divisivos. Estas son las características del modelo empresarial basado en la vigilancia que, junto con el derecho a la intimidad, socava nuestra libertad de expresión. Ninguno de los actos jurídicos anteriormente descritos y ninguno más allá de estos —incluida la Ley de Mercados Digitales—aborda esta causa de los problemas actuales relacionados con la libertad de expresión. Dado que la legislación de la UE no intenta romper el status quo, debemos considerar a fondo si la incorporación de los derechos humanos a las relaciones entre empresas y clientes no legitima inadvertidamente la existencia del capitalismo de vigilancia, por muy bueno que sea el hecho de obligar a las empresas a respetar los derechos humanos.

“Debemos hacernos la pregunta a nosostros mismos sobre hasta qué punto estas medidas preventivas generales nos privan de la posibilidad de un debate público sano. ¿Hasta qué punto dichas medidas simplemente desinfectan el Internet de lo que es difícil y complejo, de lo que deriva de las injusticias sistémicas y el imperialismo europeo, tanto históricamente como hoy?”

14 | digiRISE

Romain Lanneau, Investigador en el Statewatch

Digital Freedom Fund | 15 El derecho de asilo, tal como se define en el artículo 18 de la Carta de los Derechos Fundamentales de la Unión Europea (UE) («la Carta»), no concede el derecho de asilo a toda persona que lo solicite. En cambio, establece que toda persona tiene derecho a que su solicitud de protección internacional se examine con arreglo al Derecho internacional y al Derecho de la UE.1 Este principio se ve reforzado por el artículo 19 de la Carta, que prohíbe estrictamente las expulsiones colectivas y la devolución, expulsión y extradición de toda persona «a un Estado en el que corra un grave riesgo de ser sometido a la pena de muerte, a tortura o a otras penas o tratos inhumanos o degradantes».2 Durante los últimos veinte años, los procedimientos de asilo en la UE se ven cada vez más afectados por las tecnologías digitales. La mayoría de estos avances se iniciaron con el fin de controlar, supervisar y vigilar a los solicitantes de asilo, así como impedir su llegada a la UE. No obstante, algunas iniciativas de la sociedad civil también han tratado de utilizar las tecnologías digitales para ayudar a las personas a presentar sus solicitudes3 o para salvaguardar a las personas de las devoluciones en caliente.4 A pesar de las posibles implicaciones, los derechos digitales en el contexto de los procedimientos de asilo a menudo se ven ignorados por los profesionales del derecho, los solicitantes de asilo y los actores de la sociedad civil. Rara vez se da prioridad a estos derechos, especialmente cuando se enfrenta a una posible detención o deportación.

Sin embargo, las autoridades se han mantenido firmes en su empeño por aumentar el despliegue y el uso de las tecnologías digitales, de la inteligencia de datos y de la inteligencia artificial (IA) con el doble objetivo de mitigar la entrada de solicitantes de asilo en el territorio de la UE y evaluar las alegaciones de quienes hayan presentado solicitud.

El derecho de asilo está ahora inextricablemente ligado a las tecnologías digitales. Este artículo pretende explorar la intrincada relación entre estos dos conceptos y examinar cómo se pueden aprovechar los derechos digitales para proteger los derechos de los solicitantes de asilo.

El derecho a la privacidad: Proteger a los solicitantes de asilo contra la tecnología invasiva y la «ciencia basura» El derecho a la privacidad, consagrado en el artículo 7 de la Carta, tiene por objeto proteger a las personas frente a toda invasión injustificada, innecesaria y desproporcionada de su vida privada.5 No obstante, dicho derecho puede verse restringido por las autoridades públicas de acuerdo con el principio de proporcionalidad, tal y como se enuncia en el artículo 52.6 Por ejemplo, dentro de la UE, todos los solicitantes de pasaporte deben proporcionar sus huellas dactilares a las autoridades para una identificación más precisa,7 a pesar de que «no es determinante» y que dicho método «no sea totalmente fiable».8 En eel contexto de las solicitudes de asilo, donde las autoridades a menudo tratan de acumular toda la información posible sobre cada solicitante, la protección de la privacidad es primordial. Eso es particularmente relevante dado el acceso a enormes volúmenes de datos digitales que ahora están disponibles sobre las personas. El tribunal de más alto grado de la UE reconoció que la prevención de la entrada ilegal en el territorio de la UE como objetivo de interés general.9 Esta postura obliga a los solicitantes de asilo a comprometer su privacidad para tener la oportunidad de obtener protección. Surge entonces la cuestión de hasta qué punto las autoridades deberían poder indagar en la vida privada de un solicitante.

Uno de los principales objetivos de las autoridades a la hora de evaluar las solicitudes de asilo es verificar la identidad de las personas y la veracidad de su solicitud. Si bien algunas características de identidad, como las huellas dactilares, son fáciles de recopilar para las autoridades, otras son más difíciles de obtener. La edad y la identidad sexual son dos de esos ejemplos. A menudo es imposible validar la alegación de un solicitante de asilo de ser menor de edad o de identificarse como homosexual a través de documentación. No obstante, estos factores pueden influir significativamente en la decisión final, así como en la realización de entrevistas y en la adaptación de la persona.

Las autoridades públicas desde hace mucho tiempo buscan una prueba definitiva que separe el grano de la paja. Antes de que el Tribunal de Justicia de la Unión Europea (TJUE) impusiera limitaciones a las prácticas nacionales en 2014, los solicitantes de asilo se veían obligados a enfrentarse a los interrogatorios más privados y sórdidos al inten

“...los derechos digitales en el contexto de los procedimientos de asilo a menudo se ven ignorados por los profesionales del derecho, los solicitantes de asilo y los actores de la sociedad civil.”

“El derecho de asilo está ahora inextricablemente ligado a las tecnologías digitales.”

16 | digiRISE tar validar su relato. Por ejemplo, las autoridades neerlandesas solían sugerir que los solicitantes llevaran consigo su propio vídeo porno a las audiencias como prueba de su supuesta orientación sexual. A pesar de que oficialmente se trata de una opción, la Abogada General Sra. Eleanor Sharpston albergó «serias dudas [de que] la parte vulnerable del procedimiento de solicitud de asilo, prest[ara] un consentimiento totalmente libre e informado a las autoridades nacionales competentes en tales circunstancias»,10 particularmente dadas las dinámicas del poder en juego. El TJUE finalmente abolió esta práctica en la sentencia ABC, citando atentados contra la dignidad humana (artículo 1 de la Carta) y del derecho a la vida privada (artículo 7).11 Las autoridades competentes en materia de asilo nacionales han recurrido a la «ciencia basura» en su búsqueda de un suero de la verdad para identificar a las personas que merecen protección.12 El asunto de 2018 F y Hungría, en el que se examinó el uso de «tests de personalidad proyectivos» para determinar la sexualidad de una persona, fue particularmente polémico. El TJUE declaró que un test de este tipo «sólo puede admitirse si ese examen se basa en métodos y principios suficientemente fiables según las normas admitidas por la comunidad científica internacional».13 Al evaluar la sexualidad de una persona, los tests de personalidad proyectivos están muy lejos de cumplir con estos estándares. El Tribunal de Justicia señaló también en su sentencia que «[el] consentimiento no se presta necesariamente con libertad, dado que, de facto, viene impuesto por la presión de las circunstancias en las que se encuentran los solicitantes de protección internacional».14 Más recientemente, los órganos jurisdiccionales nacionales han abordado casos en los que las autoridades competentes en materia de asilo les han pedido a los solicitantes sus teléfonos15 para extraer y examinar datos almacenados con el fin de obtener pruebas que respalden las alegaciones de la persona. En Alemania, un órgano jurisdiccional concluyó que esta práctica era ilegal a menos que se hubieran considerado alternativas menos intrusivas. Los jueces aclararon que el uso de nuevas tecnologías debe ser a la vez necesario y adecuado al objetivo perseguido.16 De cara al futuro, es plausible que las autoridades recurran a la IA para verificar la identidad de una persona.17 No obstante, las afirmaciones de que las tecnologías de visión artificial pueden determinar la sexualidad de una persona recuerdan más a la pseudociencia que ofrecen unas garantías fiables. La Ley de IA de la UE, actualmente en curso de negociación, no aborda ni previene de manera adecuada los daños potenciales que derivan del uso de la IA en el contexto de la migración.18 Por lo tanto, los desafíos legales basados en el derecho a la privacidad seguirán siendo cruciales para definir los límites de las prácticas digitales admisibles en el contexto de los procedimientos de asilo.

El derecho a la protección de datos de carácter personal: Una condición previa para una tutela judicial efectiva contra la toma de decisiones automatizadas y semiautomatizadas La UE ha establecido un sinfin de bases de datos19 destinadas a identificar a toda persona que intente entrar o entre en la UE. Estos sistemas de información tienen como objetivo asistir a las autoridades migratorias y policiales en su toma de decisiones relativas a las personas, como su derecho a entrar o permanecer a la espera de una decisión de asilo.20 El artículo 8, apartado 2, de la Carta confiere a las personas cuyos datos se han recogido por una autoridad europea el derecho a la protección de datos de carácter personal. Este derecho incluye el derecho al acceso a los datos almacenados que les conciernan y a la rectificación o a la supresión de los datos incorrectos.21 Los solicitantes de asilo se ven obligados progresivamente a entregar cantidades cada vez mayores de información de carácter personal. El sistema Eurodac más reciente recopilará las imágenes faciales y la información de carácter personal de los solicitantes de asilo (y otros extranjeros) de tan sólo seis años de edad.22 Las autoridades nacionales recogen masivamente e intercambian los datos de carácter personal de las personas, que en gran medida no son conscientes de ello hasta que los datos se usen como base para tomar una decisión sobre su caso.

Digital Freedom Fund | 17 Si bien se pretende que el aumento de las bases de datos nuevas y ampliadas facilite la toma de decisiones, dichas bases no pueden servir como la única fuente de información para la toma de una decisión. En el asunto de 2006 España y Comisión, el TJUE concluyó que las autoridades no debían tomar decisiones automatizadas basándose solamente en la información almacenada en un sistema de información europeo. Las decisiones deben basarse en una evaluación individual de la situación de la persona, incluida la evaluación de los motivos legales por denegar la entrada.23 Sin embargo, persiste la práctica de denegar la entrada y deportar a las personas percibidas como un riesgo para la seguridad nacional, y a menudo los Estados no dan acceso a las razones de esas decisiones. En 2020, el TJUE aclaró que una persona tiene derecho a recibir una motivación mínima de la denegación de su entrada en la Unión.

El artículo 47 de la Carta,24 defiende el principio de igualdad de armas, obliga a las autoridades nacionales a revelar el Estado que compartió la información utilizada como base de la decisión, así como los motivos específicos de la evaluación de riesgos.25 Esta notificación permite a los solicitantes pedir una tutela judicial efectiva contra la decisión. mismo modo, en virtud del artículo 8, apartado 2, de la Carta, el derecho de acceso sirve como «guardián que permite a los interesados tomar más medidas»26, como solicitar la retirada o la rectificación de acusaciones erróneas que afectan a su derecho a un juicio justo.

A pesar de estas disposiciones, el acceso a la información dista mucho de ser respetado de manera uniforme por los Estados miembros. Con demasiada frecuencia, los solicitantes de asilo descubren que se utilizan pruebas «secretas» en su contra. En algunos casos, el país desde el cual una persona solicita asilo es el único que proporciona los datos en los cuales las autoridades basan su decisión.27 Aunque el intercambio de datos con un tercer país debe respetar las normas de la UE en materia de protección,28 incluida la prohibición de utilizar la información obtenida mediante tortura, esto, en la práctica, no se controla de manera adecuada.29 El riesgo de que las autoridades nacionales se basen en datos inexactos o ilícitos se ha ampliado debido a la aplicación del reglamento más reciente relativo a los sistemas de información30 y del Reglamento de Europol.31 No obstante, las normas sobre la protección de datos para los solicitantes de asilo están lejos de las normas que conciernan a los ciudadanos de la UE. Esto ha quedado ilustrado por el reciente escándalo «Tratamiento de datos de carácter personal para el análisis de riesgos» [PeDRA por sus siglas en inglés], en el que Frontex propuso la recogida de datos de carácter personal intrusivos, violando flagrantemente los derechos a la protección de datos.32 Al mismo tiempo, el Supervisor Europeo de Protección de Datos (SEPD) ha afirmado que las normas que regulan el organismo son vagas en lo que respecta a las «condiciones o los límites para compartir datos con otros organismos, estados y países terceros, y en cuanto a los recursos a disposición de las personas».33 Como ha señalado el SEPD, «La intimidad y la protección de datos forman parte de los derechos humanos que demasiado a menudo se ven suprimidos en las fronteras de la Unión Europea».34 Este sentimiento resalta un tema recurrente en la reglamentación del asilo, de la migración y de las fronteras, dado que ilustra la tendencia a considerar a determinados grupos migratorios como problemas de seguridad y no merecedores de la protección proporcionada a los ciudadanos u otras categorías de extranjeros.35

Derechos digitales de asilo: Una demanda de más garantías en medio de la digitalización de los procedimientos Las autoridades suelen emplear tecnologías públicas con la expectativa de mejorar la eficiencia y mitigar o eliminar los sesgos que surgen de la toma de decisiones humanas.

Sin embargo, los estudios sobre el impacto de estas tecnologías a menudo muestran exactamente lo contrario.36 Las cuestiones de discriminación y de racismo persisten, pero se entrelazan con la complejidad de los sistemas técnicos. Esto hace cada vez más difícil justificar cuándo y cómo se producen las violaciones de los derechos.

Las actuales negociaciones legislativas de la UE prevén la ampliación ulterior del uso de las tecnologías digitales en los procedimientos de asilo y de migración. No obstante, estas negociaciones presentan también oportunidades de garantías reforzadas. La propuesta de Reglamento sobre el control de asilo ofrece potencialmente una vía para

18 | digiRISE reforzar la protección del derecho a la privacidad de los solicitantes de asilo. Esto se puede lograr mediante la inclusión de un mecanismo independiente destinado a vigilar la protección de los derechos fundamentales de las personas durante su identificación por parte de las autoridades fronterizas. No obstante, este reglamento todavía no ha sido aprobado, y finalmente será competencia de la Agencia de Derechos Fundamentales y de los Estados miembros en su jurisdicción, aclarar el procedimiento de este mecanismo nuevo.37 La digitalización de los procedimientos de asilo y de migración va a afianzarse aún más profundamente en los próximos años. Por lo tanto, es de suma importancia ampliar comprensión de la privacidad, de la protección de datos y de otros derechos digitales entre los solicitantes de asilo, los inmigrantes y los activistas de migración, los profesionales de la justicia y las organizaciones no gubernamentales.

Digital Freedom Fund | 19

20 | digiRISE

Jens Theilen, Universidad de Helmut Schmidt, Hamburgo

Digital Freedom Fund | 21

Desigualdades digitales e históricas En su libro Black Skin, White Masks, el filósofo y revolucionario anticolonialista Frantz Fanon describe lo que denomina la «mirada blanca» y sus efectos: «el hombre negro no sólo debe ser negro; debe ser negro en relación con el hombre blanco. […] La imagen del propio cuerpo es únicamente negación. Es una imagen en tercera persona».1 Más de medio siglo después, el relato de Fanon recuerda de manera inquietante a las experiencias de Joy Buolamwini, una investigadora negra del MIT Media Lab. Mientras estaba trabajando en un proyecto que consistía en proyectar máscaras digitales sobre su reflejo, ella se dio cuenta de que la tecnología del reconocimiento facial que estaba utilizando no podía detectar suficientemente el contorno de su cara —a menos que se pusiera una máscara blanca. La yuxtaposición por parte de Fanon entre la piel negra y las máscaras blancas en el título de su libro ha adquirido, por lo tanto, un significado inesperadamente literal. Buolamwini ha denominado a este fenómeno la «mirada codificada»: una forma de sesgo algorítimico con efectos discriminatorios, por ejemplo, cuando las fuerzas del orden aplican el software de reconocimiento facial y la identificación errónea conduce a un aumento de vigilancia y arrestos.2 En una posterior publicación con Timnit Gebru, Buolamwini analizó tres clasificadores de género comerciales y ha comprobado que «los sujetos masculinos se clasificaban con más precisión que los sujetos femeninos», «los sujetos de piel más clara se clasificaban con más precisión que las personas de piel más oscura» y «el rendimiento de todos los clasificadores era peor en cuanto a los sujetos femeninos de piel más oscura».3 Las continuidades entre la noción de la «mirada blanca» de Fanon y la reelaboración de esta por Buolamwini como la «mirada codificada» dejan muy claro que las estructuras opresivas como el racismo y el cisexismo siguen siendo fundamentales en los contextos digitales. El internet no ha creado un espacio utópico libre de desigualdades, y poner nuestras esperanzas en la tecnología como una solución fácil a los problemas sociales sigue siendo una estrategia equivocada. No obstante, a la inversa, es inútil considerar las desigualdades digitales como problemas totalmente nuevos que han surgido únicamente a causa de los avances tecnológicos; más bien, están arraigadas en prácticas históricas de vigilancia y tratamiento de datos que se han utilizado desde hace mucho tiempo como herramientas de esclavitud, colonialismo, patriarcado y otras formas de dominación. Como ha dicho la académica en materia de vigilancia, Simone Browne: «La vigilancia no es nada nuevo para los negros. Es el hecho de la antinegritud». Por lo tanto, ella advierte del peligro de considerar la vigilancia como «algo inaugurado por las nuevas tecnologías, como el reconocimiento facial automatizado o los vehículos autónomos no tripulados (o drones)», argumentando, al contrario, que es continua, permanente y mantenida por el racismo, la antinegritud, y otras prácticas, conductas y políticas opresivas.4 Las desigualdades digitales son una continuación de las desigualdades históricas.

La promesa de la igualdad Contra las desigualdades de todo tipo, la ley mantiene la promesa de la igualdad. El artículo 20 de la Carta de los Derechos Fundamentales de la Unión Europea (UE) («la Carta») contiene una formulación sucinta de esta promesa: «Todas las personas son iguales ante la ley». Esta formulación tan general toma una forma más concreta en la cláusula de no discriminación que la sigue en el artículo 21 (así como en varios actos de legislación secundaria) que prohíbe toda discriminación basada en una larga lista de motivos que incluyen, entre otros, el sexo, la raza, la religión, la discapacidad, la edad o la orientación sexual. La necesidad de listas como esta deja claro que aunque la igualdad y la no discriminación hoy en día pueden aceptarse ampliamente como ideales abstráctos, su promesa sigue, en gran medida, sin cumplirse en la práctica. Un elevado número desalentador de ejemplos confirma que esto es cierto para los contextos digitales y el uso de nuevas tecnologías: la vigilancia predictiva que está dirigida de manera desproporcionada contra las personas coloradas y los pobres; los discursos de odio en plataformas de redes sociales dirigidos contra las personas queer, las mujeres y, en particular, las mujeres trans y las mujeres coloradas; la discriminación de las mujeres

“...es inútil considerar las desigualdades digitales como problemas totalmente nuevos que han surgido únicamente a causa de los avances tecnológicos; más bien, están arraigadas en prácticas históricas de vigilancia y tratamiento de datos que se han utilizado desde hace mucho tiempo como herramientas de esclavitud, colonialismo, patriarcado y otras formas de dominación.”

22 | digiRISE en el mercado laboral con base en decisiones algorítmicas; los estereotipos racistas y sexistas reflejados en los resultados de motores de búsqueda en línea; y muchos otros ejemplos también.5 La desconexión entre el ideal y la realidad significa que hay potencial de cambio: podemos usar la promesa de la igualdad para desafiar las desigualdades, incluidas sus manifestaciones en los contextos digitales. Las cláusulas de igualdad y de no discriminación del Derecho de la UE tienen un importante potencial inexplotado a este respecto, especialmente dado que se aplican posiblemente tanto a los agentes privados como a los organismos públicos. Tradicionalmente, los derechos fundamentales y los derechos humanos se dirigen contra el estado, pero no limitan —por lo menos no directamente— la actividad de los agentes privados.6 No obstante, en la coyuntura actual del capitalismo de vigilancia que vivimos,7 el poder de generar y mantener desigualdades digitales reside no sólo en el Estado, sino también en los agentes privados, como las empresas multinacionales: las empresas que ofrecen y usan el software de reconocimiento facial genérico, que gestionan plataformas de redes sociales y motores de búsqueda, y que deciden quién queda excluido por incitación al odio y quién no, qué algoritmos se usan para la generación de resultados de búsqueda, etc. El Derecho de la UE difiere del Derecho internacional sobre los derechos humanos en que obliga a los agentes privados como estos a mantener la promesa de la igualdad, por lo menos en algunos casos.8

¿Son «todas las personas» iguales ante la ley?

Sin embargo, la ley no es una panacea y la promesa de la igualdad puede acabar aplazándose indefinidamente para algunas personas. Una línea común de la crítica a la legislación contra la discriminación es que tiende a considerar los motivos de discriminación, como el género y la raza, como categorías distintas y homogéneas.9 Por el contrario, el uso de la interseccionalidad como marco de referencia ilustra las formas en que los sistemas opresivos, como el racismo y el cisexismo, se cruzan y afectan a personas diferentes de distintas maneras.10 Por ejemplo, como se ha dicho antes, el análisis de Buolamwini y Gebru sobre los clasificadores comerciales de género ha revelado no sólo una precisión decreciente con respecto a la raza y el género, sino también el peor rendimiento cuando estas líneas se cruzaban en el caso de mujeres coloradas. Los algoritmos pueden también detectar representaciones culturales y estereotipos que afectan, en particular, a las mujeres negras o a otras mujeres de color, cuando los principales resultados de Google para “chicas negras” se llenaron de resultados pornográficos antes de que se hicieran cambios después de una presión pública sostenida.11 A pesar de la creciente concienciación sobre la importancia del análisis interseccional, un informe reciente del Center for Intersectional Justice (Observatorio de la Justicia Interseccional) concluyó que «los órganos jurisdiccionales europeos actualmente no están suficientemente preparados para afrontar los casos de la discriminación interseccional».12 Se necesitan mejoras drásticas en este frente para combatir las desigualdades sin marginar a aquellos que se ven más afectados por estas: como ha dicho Aisha Kadiri «tener en cuenta el tipo de sesgo especial al que se enfrentan los interesados requiere el reconocimiento de la interseccionalidad desde el principio».13 Si bien la doctrina jurídica considera que es subsidiaria de cláusulas de no discriminación más específicas, la promesa de la igualdad para «todas las personas» en el artículo 20 de la Carta debería servir como recordatorio de que la discriminación no puede aislarse en motivos separados de discriminación, sino que debe considerarse de manera integral.

No hay soluciones fáciles Adoptar un enfoque sólido desde el punto de vista de la interseccionalidad con el fin de combatir las desigualdades digitales también significa plantearse quién se beneficia y quién termina perdiendo por el uso de las nuevas tecnologías. Por ejemplo, hace unos años la principal empresa de transporte público de Berlín utilizó una clasificación automatizada según el género en algunas de sus máquinas expendedoras para con-

Digital Freedom Fund | 23 ceder descuentos a la mujeres en el Día Internacional de la Mujer. No obstante, lo que al principio parece un proyecto bienintencionado para contrarrestar la diferencia de remuneración en escasa medida, resulta ventajoso sólo para ciertas mujeres a expensas de las demás. Estudios como el de Buolamwini y Gebru no sólo implican que las mujeres de color tendrían más probabilidades de perder el descuento, sino que la noción misma de atribuir el género binario a las personas en función de la apariencia física de su rostro es fundamentalmente trans-excluyente. La clasificación automatizada según el género contribuye a normalizar la idea de que el género se puede leer a partir de la apariencia física y, por lo tanto, se opone a una identidad de género autodeterminada —por lo que muchas personas trans se resisten a la tecnología como tal, en lugar de centrarse en reformas para hacerla más inclusiva.14 El ejemplo muestra que las nuevas tecnologías no sólo están implicadas en la creación de desigualdades entre los grupos, sino también, en virtud de la forma en que categorizan a las personas y normalizan ciertas formas de pensar, en los mismos procesos de clasificación según el género y la raza.15 Comprender la profundidad de los problemas es importante dado que apunta a una cuestión recurrente con respecto a las desigualdades digitales: a menudo, no hay una solución fácil ya que estas desigualdades están intrínsecamente ligadas a la tecnología en cuestión. Eso vale no sólo en cuanto a las concepciones trans-excluyentes del género, sino también con respecto a muchas formas de tecnología una vez consideradas en el contexto más amplio de su desarrollo, uso e institucionalización. Los historiadores de la tecnología han demostrado que, una y otra vez, las nuevas tecnologías no sólo han servido a los intereses de quienes detengan el poder, sino que también han sido deliberadamente desarrolladas y usadas con el fin de respaldar los esfuerzos por dominación, vigilancia y supervisión. Ya sea mediante esquemas de clasificación según el género y la raza u otros métodos, las desigualdades están incorporadas a las bases de las infraestructuras digitales que ahora nos parecen tan familiares: «el sexismo es una característica, no un error»,16 y «el racismo contra los negros, ya sea en los resultados de búsqueda o en los sistemas de vigilancia, no sólo es un síntoma o un resultado, sino también una condición previa para la fabricación de tales tecnologías».17 Los errores, los síntomas y los resultados se podrían enmendar con soluciones fáciles, pero los problemas son más profundos.

Las limitaciones de las reinvidicaciones de igualdad El lenguaje de la igualdad y de la no discriminación corre el riesgo de limitarse a reinvidicar inclusión y precisión en cuanto a los resultados, ignorando al mismo tiempo la importancia fundamental de las estructuras opresivas, como el racismo y el cisexismo para la existencia propia de las tecnologías digitales, así como los contextos políticos, institucionales y económicos de su uso. Volviendo al ejemplo del reconocimiento facial, rápidamente queda claro que, además de la finalidad comercial de su uso, estos sistemas tecnológicos se dirigen principalmente a los organismos encargados de velar por el cumplimiento de la legislación, como la policía y el control de fronteras (a pesar de que a menudo dependen, a su vez, de la tecnología privada y de empresas asesoras de alta tecnología). Estas instituciones están saturadas de racismo y antinegritud; la vigilancia de las fronteras europeas, en particular, se basa en lógicas coloniales violentas según las cuales las vidas negras son prescindibles.18 Es difícil detectar problemas como este en el lenguaje jurídico de la igualdad y de la no discriminación —como ha dicho el académico en el ámbito jurídico y activista trans, Dean Spade, las cuestiones estructurales, como las disparidades de riqueza, la focalización en imponer sanciones penales, los daños medioambientales, la aplicación de la legislación en materia de migración y otras, «se consideran como neutras según el principio de discriminación».19 Por consiguiente, la reinvidicación de igualdad ante la ley puede acabar legitimando instituciones profundamente injustas aunque se introduzcan cambios superficiales con respecto a los síntomas o los resultados. De hecho, un reconocimiento facial más preciso sería, a primera vista, más igualitario en cuanto al género y la raza; pero, si se considera en el contexto de su uso por parte de las autoridades de velar por el cumplimiento de la legislación, la promesa de la igualdad pierde su atractivo.

“...la promesa de la igualdad para «todas las personas» en el artículo 20 de la Carta debería servir como recordatorio de que la discriminación no puede aislarse en motivos separados de discriminación, sino que debe considerarse de manera integral.”

24 | digiRISE Volvamos a la noción de la «mirada blanca» de Frantz Fanon y a la reelaboración de esta como la «mirada codificada» por parte de Joy Buolamwini. La visión, en estas y en otras referencias a la «mirada», está ligada al poder —hay, como dice la feminista negra, Bell Hooks, un «poder en la mirada». Ella desarrolla la noción de la «mirada oposicionista» para captar también el poder de mirar atrás de manera desafiante y valiente: «No sólo miraré fijamente. Quiero que mi mirada cambie la realidad».20 ¿Cómo podemos cambiar la realidad reinvidicando igualdad? Como argumenté anteriormente, podemos usar la promesa de la igualdad para cuestionar las desigualdades, incluidas sus manifestaciones en los contextos digitales. No obstante, debemos conocer sus limitaciones. En el mejor de los casos, la igualdad significaría reciprocidad, un respeto mutuo basado en la igualdad, la negritud ya no se constituiría en relación con la blancura. Sin embargo, las reinvidicaciones de igualdad ante la ley normalmente no consiguen este tipo de reciprocidad. Es difícil utilizarlas para forzar una reconsideración de quién tiene el poder de constituir a sujetos clasificados según su raza y género en primer lugar, y cuyos intereses están codificados en nuestras infraestructuras digitales y nuevas tecnologías. En muchos casos, deberíamos resistirnos al encanto de la precisión y de inclusión en el que tan fácilmente se desliza la igualdad, y concentrarnos en la oposición y el rechazo. Como ha señalado el colectivo de autoras en el Feminist Data Manifest-No: «Nos negamos a ceder que convencer a las instituciones y disciplinas injustas de que nos escuchen es la única manera de hacer el cambio. Nos comprometemos a co-construir nuestro lenguaje y nuestras preguntas junto con las comunidades a las que servimos para construir poder con el nuestro».21 La promesa de la igualdad ante la ley no debe agotar el horizonte de nuestro imaginario y de nuestras acciones colectivas.

Digital Freedom Fund | 25

26 | digiRISE

Raphaële Xenidis, Profesor asistente de Derecho Europeo, Sciences Po Law School

Digital Freedom Fund | 27

Reconocimiento La investigación realizada en el presente artículo aborda un proyecto financiado por el programa de investigación e innovación Horizonte 2020 de la Unión Europea en virtud del acuerdo de subvención Marie Skłodowska-Curie N.º 898937.

Introducción El artículo 21 de la Carta de los Derechos Fundamentales de la Unión Europea (UE) (en lo sucesivo, «la Carta») salvaguarda el derecho fundamental a la no discriminación. El artículo incluye dos apartados: El artículo 21, apartado 1, una cláusula de no discriminación abierta basada en el artículo 14 del Convenio Europeo de Derechos Humanos (CEDH), prohíbe «toda discriminación, y en particular la ejercida por razón de sexo, raza, color, orígenes étnicos o sociales, características genéticas, lengua, religión o convicciones, opiniones políticas o de cualquier otro tipo, pertenencia a una minoría nacional, patrimonio, nacimiento, discapacidad, edad u orientación sexual» y el artículo 21, apartado 2, prohíbe «toda discriminación por razón de nacionalidad» «en el ámbito de aplicación de los Tratados y sin perjuicio de sus disposiciones particulares».

Un vasto conjunto de investigaciones ha arrojado luz sobre la ubiquidad del sesgo y de la desigualdad en los sistemas algorítmicos.1 En este contexto, la protección y las garantías ofrecidas por el derecho fundamental a la no discriminación tienen una importancia capital. El presente ensayo analiza cómo el derecho a la no discriminación consagrado en el artículo 21 podría interpretarse y aplicarse dentro de un contexto digital. La primera sección examina en primer lugar la relevancia del derecho fundamental a la no discriminación en una sociedad algorítimica y presenta el ejemplo real de sesgo racial en el software de vigilancia utilizado por algunas universidades durante la pandemia Covid-19. A continuación, la segunda sección señala las cuestiones interpretativas que emergen de la «transposición» del derecho a la no discriminación a un contexto algorítmico. Por último, la tercera sección elucida cómo el artículo 21 podría servir de instrumento para prevenir y reparar la discriminación algorítmica.

La relevancia del derecho fundamental a la no discriminación en una sociedad algorítmica Debido al ámbito de aplicación de la Carta, tal y como se señala en el artículo 51, apartado 1, la prohibición de la discriminación se aplica a «las instituciones [y a los] órganos [...] de la Unión» así como a «los Estados miembros únicamente cuando apliquen el Derecho de la Unión». Por consiguiente, la UE tiene una obligación general de abstenerse de toda forma de discriminación basada en todos los motivos enumerados en el artículo 21. Por ejemplo, esto significa que Frontex, un organismo de la UE, no puede utilizar el software del control de las fronteras que discrimine a las personas en función de factores como el color de la piel, el origen étnico o el idioma.

No obstante, la obligación de los Estados miembros es más limitada: la cláusula de la no discriminación contenida en el artículo 21 se aplica únicamente si existe un «vínculo directo» conl el Derecho de la UE.2 En el ámbito de aplicación material de las cuantro directivas de la UE contra la discriminación (Directivas 2000/43/CE, 2000/78/CE, 2004/113/CE y 2006/54/CE), las disposiciones de la legislación secundaria de la UE prohíben la discriminación por motivos de sexo o género, raza o orígenes étnicos, orientación sexual, discapacidad, religión o credo y edad.3 El artículo 21 de la Carta, que encarna el principio general de igualdad de trato, se aplica en el ámbito específico que se define por dichas Directivas.4 No obstante, cuando las Directivas no pueden, en principio, aplicarse directamente a los particulares, el Tribunal de Justicia de la Unión Europea (TJUE) ha reconocido efectos directos horizontales al artículo 21, apartado 1, de la Carta.5 A modo de ejemplo, el artículo 21 prohíbe a los empleados privados en la UE utilizar algorítmicas herramientas de contratación que sitúan indebidamente en una posición de desventaja a las mujeres o a los candidatos con discapacidad.

En los supuestos en que el caso quede fuera del ámbito de aplicación de la legislación secundaria de la UE, pero mantiene un vínculo directo con el Derecho de la UE,6 la función del artículo 21 es sólo subsidiaria.7 Por ejemplo, el artículo 21 impide a un Estado

28 | digiRISE miembro establecer un sistema discriminatorio algorítmico para fines como el tratamiento de datos de carácter personal que está regulado por el Reglamento general de protección de datos de la UE.8 Consideremos un ejemplo concreto. En 2022 una estudiante neerlandesa llamada Robin Pocornie, apoyada por Racism and Technology Centre, presentó una demanda por discriminación ante el organismo neerlandés de igualdad y derechos humanos nacionales, es decir el College voor de Rechten van de Mens (Instituto de Derechos Humanos).

Pocornie alegó que el uso por parte de la Vrije Universiteit Amsterdam (Universidad de Amsterdam) de software de vigilancia para la prevención de trampas en los exámenes realizados en casa durante la pandemia Covid-19 en 2020 era discriminatorio hacia ella por razón de raza. El reconocimiento de su cara mediante la aplicación no era posible en repetidas ocasiones, lo que hizo su participación en los exámenes difícil y le provocó estrés excesivo. Sobre la base de las pruebas que recopiló, los estudiantes que no habían sido racializados no experimentaron dicho problema. Su reclamación se hace eco de las investigaciones académicas que han mostrado que el rendimiento de los sistemas comerciales de reconocimiento facial funcionan significativamente peor cuando intentan identificar las caras de personas (y, en particular, de mujeres) con tonos de piel más oscuros.9 Cuando estos sistemas se usan para controlar el acceso a recursos, servicios, instituciones o beneficios, su rendimiento modesto en cuanto a determinados grupos demográficos genera desventajas injustas.

Aplicación del artículo 21 al sesgo algorítmico En esta sección se analiza la interpretación jurídica del artículo 21 en relación con el sesgo algorítmico. En el caso de la aplicación de supervisión sesgada, el sistema se ha utilizado para supervisar los exámenes los exámenes, que son parte integrante de los cursos educativos y dan acceso a oportunidades futuras. Desde la perspectiva del Derecho de la UE,10 este caso entra dentro del ámbito de aplicación de la Directiva 2000/43/CE sobre la igualdad racial, que se extiende al ámbito de la educación.11 El principio general de igualdad de trato recogido en el artículo 21 se aplica también a este caso, dado que la Directiva establece el vínculo por el cual se considera que los Estados miembros aplican el Derecho de la UE. En cuanto a la sentencia del TJUE en el asunto Egenberger, la prohibición de la discriminación tiene efecto directo tanto contra las entidades públicas como contra las privadas.12 Por consiguiente, el artículo 21 de la Carta confiere a la demandante el derecho a la igualdad de trato algorítmica contra la Vrije Universiteit Amsterdam (Universidad de Amsterdam).

No obstante, trasladar el derecho fundamental a la no discriminación al contexto del sesgo algorítmico plantea muchos retos para la calificación legal de dicho sesgo. Por ejemplo, en su sentencia provisional del 7 de diciembre de 2022, el Instituto de Derechos Humanos neerlandés señaló las dificultades a las que se enfrentó Pocornie a la hora de presentar pruebas de que la herramienta de supervisión funcionaba de forma diferente para los estudiantes de color de piel diferente.13 El Instituto señalo que dado que «no se facilitaron registros a los examinados» «[la] demandante [...] no tenía conocimiento de ninguna notificación que el programa informático registrara en su caso y, por lo tanto, no podía vincularlas con ningún acontecimiento o acción en particular (o falta de ellos) por su parte». Esto pone de relieve el reto al que se enfrentan las víctimas de sesgos algorítmicos a la hora de plantear una sospecha razonable de discriminación. La falta de acceso a información comprensible el funcionamiento del sistema y la «atomización» de las experiencias individuales en el entorno en línea obstruye la heurística comparativa tradicional en la que se basa la aplicación de la legislación contra la discriminación.

No obstante, el Instituto de Derechos Humanos neerlandés analizó la experiencia de la demandante con el software de supervisión en el contexto de la investigación existente sobre el sesgo en el software de reconocimiento facial para establecer una presunción de discriminación. Esta presunción trasladó la carga de la prueba a la demandada, es decir, en este caso, la Universidad (y el proveedor del software).14 El Instituto de Derechos Humanos neerlandés clasificó el caso como caso de discriminación indirecta, considerando que «es plausible que los algoritmos de detección facial [...] afecten en la práctica particularmente a las personas de color de piel más oscuro».

Con arreglo a la legislación secundaria de la UE, la constatación de la discriminación indirecta da lugar a una prueba de proporcionalidad abierta, según la cual una práctica discriminatoria prima facie puede ser justificada si responde a un propósito legítimo a través de medios apropiados y necesarios. En todo caso, desde la perspectiva del

Digital Freedom Fund | 29 artículo 21 de la Carta, la proporcionalidad debe ser evaluada con el uso de los criterios previstos en el artículo 52, apartado 1. Esta disposición prevé que «[c]ualquier limitación del ejercicio de los derechos y libertades reconocidos por la presente Carta deberá ser establecida por la ley y respetar el contenido esencial de dichos derechos y libertades» y que «sólo podrán introducirse limitaciones cuando sean necesarias y respondan efectivamente a objetivos de interés general reconocidos por la Unión o a la necesidad de protección de los derechos y libertades de los demás». Esto da lugar a una segunda cuestión relacionada con la transposición de los parametros de la prueba de proporcionalidad al funcionamiento de un sistema algorítmico. En el asunto relacionado con la vigilancia, la demandada sostuvo que «la distinción en cuestión [...] se justifica por el interés legítimo en prevenir el fraude en los exámenes en el contexto de la pandemia [COVID-19]» y que «[e]l uso del software de supervisión era a la vez apropiado y necesario a este respecto». La demandada alegó que garantizar la imparcialidad en los exámenes y mantener el mérito en la educación constituye un objetivo de interés general y que, dadas las circunstancias, el uso del software de vigilancia era a la vez apropiado y necesario. Además, la demandada alegó que la proporcionalidad strictu sensu se mantiene dado que probablemente la estigmatización no alcanza el umbral para que considerarse daño discriminatorio, en particular si no da lugar a ninguna desventaja subsiguiente. Contrariamente, el Instituto de Derechos Humanos neerlandés, haciendo referencia a la jurisprudencia del Tribunal Europeo de Derechos Humanos, afirmó que la estigmatización en sí y por sí misma constituye un daño discriminatorio y que «la supuesta falta de consecuencias materialmente adversas debido al hecho de que la hora del examen se había ampliado [era] irelevante».15

Aprovechar el potencial del artículo 21 para abordar la discriminación algorítmica Mientras que en la segunda sección se han aclarado algunas de las cuestiones planteadas al abordar el sesgo algorítmico a la luz del derecho fundamental a la no discriminación, el artículo 21 de la Carta contiene también una serie de características interesantes que pueden utilizarse para la interpretación teleológica de la disposición dentro del contexto de los sistemas algorítmicos.

En primer lugar, el artículo 21, apartado 1 establece una lista abierta de las características protegidas de las que se podría hacer uso en el contexto de la diferenciación sistémica algorítmica.16 Por ejemplo, el «origen social» y el «patrimonio» se mencionan explícitamente en el artículo 21 como motivos protegidos, lo que podría servir de base para hacer frente a la discriminación algorítmica basada en la elaboración de perfiles en términos de ingresos o en términos socioeconómicos. No obstante, esto se refiere exlcusivamente a situaciones en las que los Estados miembros aplican el Derecho de la UE, pero quedan fuera del ámbito de aplicación material de las directivas contra la discriminación. De hecho, en el asunto FOA, el TJUE afirmó que «no procede ampliar el ámbito de aplicación de [las directivas de la UE contra la discriminación] por analogía a otros tipos de discriminación además de las basadas en los motivos enumerados con carácter exhaustivo».17 La naturaleza abierta de la cláusula de la no discriminación del artículo 21 de la Carta podría también ayudar a abordar patrones intrincados de la discriminación algorítmica,18 un fenómeno que la investigación ha mostrado que es extendido.19 No obstante, la retinencia por parte del TJUE en el asunto Parris para abordar la discriminación interseccional, si se refleja en la interpretación del artículo 21, podría limitar la efectividad de la Carta en abordar la discriminación algorítmica.20 En segundo lugar, en principio, la aplicación del artículo 21 no exige la distinción convencional ente la discriminación directa e indirecta.21 En lo que concierne a las situaciones que presentan un vínculo directo con el Derecho de la UE, pero quedan fuera del ámbito de aplicación de la legislación secundaria de la UE contra la discriminación, se deriva un régimen de justificación unificado del artículo 52, apartado 1. Dada la dificultad de calificar el sesgo algorítmico bien de discriminación directa bien de indirecta,22 y los posibles obstáculos al fundamentar los casos de discriminación directa algorítmica, el marco de justificación unificado del artículo 21 de la Carta podría constituir un mecanismo de reparación interesante. No obstante, en la práctica, el TJUE es propenso a integrar el marco analítico bifurcardo previsto en las Directivas de la UE contra la discriminación respecto a la justificación en la interpretación de la prohibición de la discriminación tal como se define en la Carta.23

“...los derechos fundamentales protegidos por la Carta, como la no discriminación, deben operar sin fisuras a través de la frontera entre los ámbitos físico y digital.”

30 | digiRISE Las restricciones del derecho fundamental a la igualdad de trato en virtud del artículo 21 pueden ser toleradas siempre que «se[an] establecida[s] por la ley y respet[en] el contenido esencial de [los] derechos y libertades», como queda garantizado por la Carta. Esto limita intrínsecamente la libertad de las empresas privadas, ya que cualquier sistema discriminatorio debe alinearse con un imperativo legal y respetar el «contenido esencial» del derecho a la no discriminación. Además, la prueba de proporcionalidad integrada en la Carta impone dos condiciones: las limitaciones deber ser «necesarias» y «respond[er] efectivamente a objetivos de interés general reconocidos por la Unión o a la necesidad de protección de los derechos y libertades de los demás». Visto el caso de la herramienta de vigilancia algorítmica, se podría argumentar que la violación por parte del sistema de los derechos de los estudiantes a la no discriminación no era establecida por la ley, no respetaba el contenido esencial del derecho fundamental garantizado por el artículo 21, no respondía efectivamente a los objetivos de interés general reconocidos por la UE y no era necesaria para la protección de los derechos y libertades de los demás.24 Por lo tanto, el régimen establecido en el artículo 52, apartado 1 restringe significativamente el conjunto de las justificaciones admisibles incluso antes de que se realice cualquier análisis de proporcionalidad stricto sensu. Por consiguiente, este aspecto único del derecho a la no discriminación consagrado en el artículo 21 de la Carta podría contribuir a prevenir y evitar algunos de los retos relacionados con la revisión de la proporcionalidad stricto sensu de sentencias adoptadas en el contexto del equilibrio entre la imparcialidad y la precisión en los sistemas algorítimicos.25

Conclusiones Para hacerse eco del título de esta serie de ensayos, la conciencia de que los derechos de la Carta son derechos digitales y viceversa tiene una importancia capital dentro del contexto de una sociedad algorítmica. De hecho, los derechos fundamentales protegidos por la Carta, como la no discriminación, deben operar sin fisuras a través de la frontera entre los ámbitos físico y digital. Una interpretación teleológica de estos derechos es esencial para garantizar que las transformaciones sociotécnicas, como el despliegue generalizado de sistemas algorítmicos de evaluación de riesgos y de toma de decisiones, no comprometan el equilibrio normativo incorporado en los marcos jurídicos. Por lo tanto, para garantizar la protección efectiva de los derechos fundamentales, es necesario revaluar las regulaciones existentes a la luz de cómo los avances tecnológicos alteran las dinámicas del poder y redistribuyen los costes y beneficios sociales.

Digital Freedom Fund | 31

32 | digiRISE

Nadia Benaissa, Bits de libertad

Digital Freedom Fund | 33

Espacio para ser y llegar a ser: La privacidad como base para del crecimiento Tal como se establece en el artículo 20 de la Carta de los Derechos Fundamentales de la Unión Europea (UE) («la Carta») todas las personas son iguales ante la ley. Sin embargo, la igualdad no implica homogeneidad. Percibimos, comunicamos y amamos de múltiples maneras. Llevamos dentro historias familiares únicas, navegamos por diferentes estructuras de poder y llevamos el significado histórico y social de nuestra raza y género desde que nacemos. Y nos preparamos constantemente para interpretaciones políticas sobre cómo nos expresamos, qué defendemos y en qué creemos.

Todos somos iguales, pero no idénticos.

Por lo tanto, necesitamos espacio. Espacio para explorar, para flaquear, para tomar decisiones y cambiarlas de nuevo, para persistir y para perseverar. Espacio para comprender quiénes fuimos, quiénes somos y quiénes aspiramos a ser. Espacio para conocernos a nosotros mismos, sin la interferencia, la condescendencia o el menosprecio de los demás. Y espacio para vivir nuestra verdad, aunque esta verdad no sea popular, querida o incluso comprendida.

Este espacio es el alma de nuestro desarrollo personal y de una sociedad libre y abierta.

Se concede, en parte, por el derecho a la privacidad, según se dispone en la Carta.

«Toda persona tiene derecho al respeto de su vida privada y familiar, de su domicilio y de sus comunicaciones». El derecho a la privacidad está inextricablemente ligado a otros derechos humanos. Por ejemplo, el tratamiento de datos relativos al género, la religión o el origen étnico podría violar los derechos de una persona a la igualdad de trato o a la libertad de la expresión religiosa. Por consiguiente, el derecho a la privacidad funciona como guardián de otros derechos humanos. Este ensayo profundiza en varios asuntos recientes de los Países Bajos en los que la violación del derecho a la privacidad ha precipitado violaciones de otros derechos humanos.

Identidades reducidas a estereotipos: El tratamiento de datos y los riesgos del reduccionismo estereotípico Debido al advenimiento de capacidades tecnológicas aparentemente ilimitadas en el contexto del tratamiento de datos, el derecho a la privacidad se ha visto sujeto a una presión considerable. Los datos que contienen información personal se están tratando, analizando e interpretando a una escala sin precedentes. Los conocimientos y las conclusiones que se extraen por dichos datos se difunden y se cambian. Los aspectos polifacéticos que construyen las identidades se simplifican, se categorizan y se incorporan a perfiles predeterminados, un proceso por el que las identidades complejas se reducen a meros estereotipos.

De hecho, la elaboración de perfiles podría simplificar la predicción de receptividad de una persona ante estrategias publicitarias o el éxito de tratamientos médicos. Pero ¿hasta qué punto es apropiado estimar, sobre la base de la elaboración de perfiles, la convicciones política de un votante indeciso, la probabilidad de que alguien participe en «transacciones sospechosas», o quién podría cometer fraude a prestaciones sociales?

La toma de decisiones automatizadas con base en la elaboración de perfiles ha sido preconizada con la promesa de la simplicidad, de la efectividad y de la eficacia.

Desgraciadamente, parece suceder lo contrario y las consecuencias son cada vez más evidentes, ya que observamos que varios derechos fundamentales se ven socavados debido a la vulneración del derecho a la privacidad.

34 | digiRISE

Discriminación agravada: El impacto acumulativo de los prejuicios Un ejemplo patente de la violación de la privacidad que conduce a otras violaciones de los derechos humanos se puede encontrar en el ámbito del bienestar digital. El sistema de bienestar digital neerlandés ha suscitado el famoso escándalo de las prestaciones por hijos 1. En 2018 salió a la luz que muchos padres que se habían beneficiado de las prestaciones por hijos de la administración fiscal neerlandesa se habían identificado erróneamente como autores de fraude. Esta clasificación incorrecta obligó a los padres a devolver miles de euros al Estado, sumiendo a muchos en graves dificultades financieras, falta de vivienda y estrés y pobreza agudos. En una revelación alarmante, hasta 2090 niños de padres afectados fueron acogidos entre los años 2015 y 20222.

Se ha revelado que una parte desproporcionada de los padres afectados provenía de entornos migratorios. Esto fue corroborado por investigaciones posteriores que han revelado que la administración tribuatria había tratado datos relacionados con la nacionalidad de los padres. La Autoridad de protección de datos neerlandesa3 confirmó esta alegación e identificó tres operaciones de tratamiento ilícito. En primer lugar, fue tratada la doble nacionalidad. En segundo lugar, los datos sobre la nacionalidad fueron empleados como indicador del modelo de clasificación de riesgos. Tercero, este modelo fue utilizado para la detección de fraude organizado. Se concluyó que hubo discriminación por motivos de nacionalidad. La investigación más detallada de la Amnistía Internacional4 descubrió que la discriminación había sido perpetrada no sólo por motivos de nacionalidad, sino también por motivos de origen étnico. De hecho, el uso de datos sobre la nacionalidad ha facilitado la estigmatización discriminatoria de las minorías étnicas por el modelo de clasificación de riesgos. Como ha señalado en su informe la Amnistía, «la elaboración de perfiles en función del origen étnico viola la prohibición de la discriminación. Conduce a la criminalización de determinados grupos de personas y refuerza los históricos enlaces estereotípicos entre el fraude y el origen étnico».

Además, la investigación ha revelado que era más probable que las personas que habían recibido mayores prestaciones fueran etiquetadas como autores de fraude. Por consiguiente, las personas provenientes de familias con bajos ingresos fueron afectadas de forma desproporcionada a causa de su mayor dependencia de prestaciones y de los importes más altos que habían recibido. Además, a los padres de bajos ingresos les resultaba más difícil devolver las enormes sumas exigidas por el gobierno holandés. La evaluación de la Amnistía calificó la situación como discriminación interseccional5, dado que los más afectados normalmente eran grupos pertenecientes a minorías étnicas que en general es más probable que tengan bajos ingresos. La cuestión se agravó por el hecho de que más tarde resultó que había también elaboración de perfiles en función de la religión6 y que las personas que habían hecho donaciones a las mezquitas se consideraban más peligrosas.

El escándalo de las prestaciones por hijos evidencia la naturaleza interseccional de la discriminación, donde múltiples ejes de sesgo se refuerzan mutuamente. Esto no es un fenómeno nuevo. Ya en 1989, Crenshaw7 subrayó la manera en que la intersección de capas políticas y sociales dentro de nuestras identidades puede aumentar nuestra vulnerabilidad a la discriminación o al privilegio. Factores, como el género, el origen étnico, la clase social, la orientación sexual, la religión, el peso y la discapacidad, pueden todos afectar a la posición de una persona dentro del espectro del poder en la sociedad. La intersección de factores múltiples puede consolidar la posición de privilegio o exponer a la persona a discriminación agravada. Este fenómeno queda ilustrado en el escándalo de las prestaciones por hijos. Por ejemplo, las personas musulmanas, con ingresos más bajos y de al menos un origen étnico no neerlandés fueron penalizadas con tres sanciones basándose únicamente en estas clasificaciones, sin que se tuvieran en cuenta sus circunstancias individuales.

Criminalización previa a la transgresión: El coste de las suposiciones Estas distintas formas de discriminación surgen cuando los agregadores de datos, como la administración tributaria del gobierno neerlandés en nuestro ejemplo anterior,

Digital Freedom Fund | 35 construyen perfiles basándose en los datos recopilados. Si bien las personas pueden sospechar que sus datos podrían usarse para hacer suposiciones sobre ellas, en este caso, estas suposiciones se han usado para predecir la probabilidad de que una persona cometiera fraude a la seguridad social. Además, la propensión a sospechar a personas incluso antes (o a pesar de la ausencia) de la ruptura de normas implica que las acciones asumidas del grupo encargado de una persona son primordiales para establecer su perfil de riesgo. Es importante señalar que el gobierno neerlandés ha justificado la implementación, por su parte, del proceso de elaboración algorítmica de perfiles afirmando que contribuiría a la detección y prevención efectiva del fraude, sirviendo, de esta forma, al interés público. Esto plantea la cuestión de si un argumento de interés público debería sustituir los derechos y los intereses de los ciudadanos individuales.

En 2020, el Tribunal Distrito de La Haya8 impugnó esta noción, declarando que el objetivo de la prevención y de la lucha contra el fraude en aras del bienestar económico debe ser equilibrado contra la intrusión en la vida privada de las personas. Dicho Tribunal evaluó si la legislación Systeem Risico Indicatie (SyRI) que ha permitido la confluencia de varios datos para la lucha contra el fraude infringía el artículo 8 del Convenio Europeo de Derechos Humanos. El Tribunal determinó que la legislación SyRI no cumplía el criterio del equilibrio justo que era necesario para la justificación de la violación del derecho a la privacidad para la defensa de intereses más amplios. Además, el Tribunal señaló que el uso del SyRI proporcionaba pocas salvaguardias debido a su falta de transparencia y verificabilidad. Dado que la legislación violaba el Derecho europeo, se consideró ilegal y no vinculante. Las organizaciones de la sociedad civil, incluido el Comité de Juristas sobre los derechos humanos neerlandés y la Plataforma de derechos civiles, mediante los litigios que han presentado, han enviado un mensaje claro: La intrusión en la vida privada de las personas, en particular mediante la recogida, la combinación y el intercambio de datos de carácter personal, debe ser objeto de un escrutinio juicioso por parte de los órganos jurisdiccionales y los gobiernos.

El derecho a la privacidad: El guardián de los derechos humanos Las consecuencias de la agregación y del tratamiento de datos de gran envergadura son importantes. Al fin y al cabo, las personas que han sido clasificadas como de alto riesgo tienen que hacer frente a las repercusiones tanto si conocen la clasificación como si no. En el caso del escándalo de las prestaciones por hijos queda ilustrado el coste humano de tales violaciones. Además, mientras que las prestaciones se suspendieron abruptamente y las demandas de reembolso se acumularon, los padres se quedaron sin respuestas sobre por qué habían sido etiquetados como fraudulentos, y la respuesta a las solicitudes de información9 consistía en archivos con numerosos pasajes suprimidos.

Incluso la tutela judicial resultó insuficiente. Según el Consejo Judicial10, las familias se vieron obligadas a una lucha desigual contra un gobierno mucho más poderoso.

Según la Carta de los Derechos Fundamentales de la UE, la dignidad humana es inviolable y será respetada y protegida (artículo 1), y se prohíbe la discriminación (artículo 21). Las personas tienen derecho a la libertad de pensamiento y de convicciones (artículo 10), a la libertad de expresión (artículo 11), a la igualdad ante la ley (artículo 20), a la protección y a los cuidados de los niños (artículo 24), a la seguridad social si la pertinente autoprestación es inviable (artículo 34) y a la tutela judicial (artículo 47).

Las personas tienen derecho a que se les considere inocentes mientras no se demuestre lo contrario. Todos estos derechos garantizados por la Carta se vieron amenazados en el escándalo de las prestaciones por hijos, que comenzó con el tratamiento ilícito de datos de carácter personal. No es casualidad que uno de los objetivos principales del Reglamento general de protección de datos sea la protección de todos los derechos y de todas las libertades fundamentales, en particular (aunque no exclusivamente) del derecho a la protección de datos de carácter personal. La violación del derecho a la privacidad mediante el tratamiento de datos de carácter personal puede vulnerar otros derechos fundamentales. Por esta razón, consideramos el derecho a la privacidad como «guardián» de otros derechos humanos. Esto pone de relieve por qué debemos seguir defendiendo el derecho a la privacidad como derecho fundamental — es crucial para salvaguardar una sociedad abierta y libre en la que todos sean iguales y cuyas diferencias se mantengan, respeten y valoren.

“La violación del derecho a la privacidad mediante el tratamiento de datos de carácter personal puede vulnerar otros derechos fundamentales.

Por esta razón, consideramos el derecho a la privacidad como «guardián» de otros derechos humanos.”

36 | digiRISE

Ioannis Kouvakas, Oficial Jurídico Superior y Consejero Asistente General, Privacy International (PI); Becario de doctorado externo, Research Group on Law, Science, Technology & Society (LSTS) [Grupo de investigación sobre el Derecho, la Ciencia, la Tecnología & la Sociedad], Vrije Universiteit Brussel (VUB)

Digital Freedom Fund | 37

Observaciones generales El artículo 8 de la Carta de los Derechos Fundamentales de la UE (CDFUE) consagra expresamente el derecho a la protección de datos de carácter personal que es distinto del derecho a la intimidad previsto en el artículo 7 de la Carta y que no tiene equivalente en el Convenio Europeo de Derechos Humanos (CEDH).1 Este artículo contiene un conjunto de obligaciones y limitaciones que tienen por objeto regular el tratamiento de los datos de carácter personal de las personas, incluido el requisito de que los datos de carácter personal se traten «de modo leal, para fines concretos y sobre la base del consentimiento de la persona afectada o en virtud de otro fundamento legítimo previsto por la ley», mientras establece el derecho de las personas a acceder a los datos de carácter personal recogidos que les conciernan y a rectificarlos (artículo 8, apartado 2). El Tribunal de Justicia de la UE (TJUE) también ha interpretado el derecho al olvido en el contexto del artículo 8.2 El artículo 8, apartado 3, de la CDFUE sujeta el cumplimiento de las normas de protección de los datos a la supervisión de una autoridad independiente. El acervo de la UE sobre la protección de datos se completa además con la legislación secundaria, particularmente con el Reglamento general de protección de datos (Reglamento GDPR)3 y la Directiva sobre protección de datos en el ámbito penal.4 Enfocando en la jurisprudencia que dio forma a la interpretación del artículo 8 de la Carta, en el presente ensayo se analizan determinadas cuestiones relacionadas con la aplicación del derecho y su relación con el artículo 7 de la CDFUE en la era digital.

Ámbito de aplicación El artículo 8 se aplica al «tratamiento» de los «datos de carácter personal». Ambos términos, definidos en la legislación secundaria de la UE,5 se han interpretado ampliamente por el TJUE. El término «datos personales» abarca todo género de información sobre una persona física identificada o identificable, independientemente de que sea de carácter sensible o de naturaleza privado,6 así como información subjetiva como opiniones o apreciaciones.7 La identidad de la persona no es necesario que sea ya conocida; lo que importa es si la entidad responsable de su tratamiento es razonablemente capaz de identificar a la persona. En el asunto Breyer, el TJUE declaró que las direcciones IP dinámicas podrían constituir datos personales a pesar de que la información adicional necesaria para identificar al usuario de un sitio de Internet no estaba en poder del proveedor de servicios de medios en línea que recogía las direcciones IP.8 Similarmente, por «tratamiento» se entiende cualquier operación aplicada a los datos personales, entre ellos, la recogida, la conservación, la transmisión, la supresión etc.9 Como con cualquier otro derecho de la Carta, el artículo 8 es vinculante tanto para los órganos de la UE como para los Estados miembros cuando apliquen el Derecho de la UE (artículo 51, apartado 1, de la CDFUE). En el asunto Tele2, el TJUE examinó la validez de una normativa nacional por la que se impone a los proveedores de servicios de telecomunicaciones la obligación de conservar determinados datos relativos a las telecomunicaciones a efectos del cumplimiento de la legislación.10 A pesar de que las actividades relacionadas con el cumplimiento de la legislación estaban explícitamente excluidas del ámbito de aplicación de la Directiva ePrivacy que ha garantizado la confidencialidad de las comunicaciones,11 el Tribunal de Justicia declaró que el Derecho de la UE seguía abarcando la conservación de datos por los proveedores de servicios, así como el accesso a los mismos por parte de las autoridades, dado que, inter alia, la Directiva ePrivacy ha impuesto obligaciones para garantizar la confidencialidad de las comunicaciones y ha previsto restricciones posibles, incluidas medidas de cumplimiento de la legislación.12 A la misma conclusión se llegó en el asunto Privacy International,13 que tenía por objeto medidas similares, esta vez con el fin de proteger la seguridad nacional, un ámbito que «seguirá siendo responsabilidad exclusiva de cada Estado miembro» (artículo 4, apartado 2, del TUE). Aplicando el razonamiento que adoptó en la sentencia Tele2, el Tribunal de Justicia declaró que las medidas legislativas que regulan las actividades de los proveedores de servicios de telecomunicaciones están incluidas en el ámbito de aplicación de la Directiva ePrivacy (y, en consecuencia, del Derecho de la UE), dado que implican el tratamiento de los datos de carácter personal por parte de estos proveedores en virtud de dicha Directiva.14

38 | digiRISE

La relación con el artículo 7 de la Carta El TJUE no aplica un enfoque coherente para distinguir entre los artículos 7 y 8 de la Carta, a menudo señalando que la protección de datos «se halla íntimamente ligad[a] al derecho al respeto de la vida privada».15 Al examinar si ha habido injerencia en los artículos 7 y 8, el TJUE a menudo enfoca su análisis en si hay injerencia en el derecho a la intimidad y luego declara que hay también injerencia en el derecho a la protección de datos puesto que la medida en cuestión incluye el tratamiento de datos de carácter personal.16 Asimismo, el Tribunal de Justicia ha insistido innecesariamente en establecer en primer lugar una injerencia en el artículo 7 antes de dictar posteriormente que el artículo 8 también está afectado.17 En el asunto Schecke, por ejemplo, que tenía por objeto la validez del Derecho de la UE que requiere la publicación de informaciones sobre los beneficiarios de Fondos agrícolas,el Tribunal de Luxemburgo no distinguió entre los dos derechos y trató tanto el artículo 7 como el artículo 8 como un único«[derecho al respeto de] la vida privada en lo que respecta al tratamiento de los datos de carácter personal».18 Este enfoque, fuertemente infuido por la jurisprudencia del Tribunal Europeo de Derechos Humanos (TEDH), que para afirmar su jurisdicción debe establecer en primer lugar una injerencia en el derecho al respeto de la vida privada en virtud del artículo 8 del CEDH, parece tratar la protección de datos como un subjunto del derecho a la intimidad y podría comprometer la existencia de la protección de datos como un derecho independiente de la Carta.

A la inversa, el amplio ámbito de aplicación del artículo 8 de la CDFUE podría establecer una vía más exitosa para activar la aplicabilidad de la Carta o incluso establecer una injerencia en el artículo 8 del CEDH ante los órganos jurisdiccionales nacionales, dado que el tratamiento de datos de carácter personal en el contexto digital a menudo constituye también una injerencia en el derecho a la intimidad.19 Por ejemplo, al decidir que el reconocimiento facial en público equivalía a una injerencia en el artículo 8 del CEDH, el UK Divisional Court (Tribunal divisional del Reino Unido) también hizo hincapié en los términos «datos de carácter personal» y «tratamiento» contenidos en el artículo 8 de la CDFUE: 58. También, el [TJUE] ha repetidamente subrayado que el derecho a la protección de datos de carácter personal «se halla íntimamente ligado al derecho al respeto de la vida privada» y que «el respeto del derecho a la vida privada en lo que respecta al tratamiento de los datos de carácter personal» se fundamenta tanto en el artículo 7 como en el artículo 8 de la Carta de los Derechos Fundamentales de la Unión Europea y se extiende a «toda información sobre una persona física identificada o identificable».20

Limitaciones El artículo 52 de la Carta establece de forma horizontal una serie de condiciones que deben cumplir las limitaciones posibles del ejercicio de los derechos de la Carta. Las limitaciones deberán ser establecidas por la ley, respetar el contenido esencial de los derechos y de las libertades y ser proporcionadas; sólo podrán introducirse cuando sean necesarias y respondan efectivamente a objetivos de interés general reconocidos por la UE o a la necesidad de protección de los derechos y libertades de los demás (artículo 52, apartado 1). Dado que el artículo 8 de la Carta solamente establece un sistema de controles y equilibrios que debe cumplir el tratamiento de los datos de carácter personal, la aplicación del artículo 52, apartado 1 a este sistema implica una evaluación de las limitaciones impuestas a los elementos esenciales de dicho derecho. No obstante, el TJUE se ha visto más cómodo, en cambio, con la aplicación del artículo 52, apartado 1, de la Carta en el contexto del artículo 7.21 En lo que concierne al contenido esencial del derecho a la protección de datos, el Tribunal de Luxemburgo ha declarado de modo reiterado que dicho derecho es respetado siempre que la medida en cuestión contenga determinadas provisiones sobre la protección de los datos, en particular sobre la seguridad de los datos. En el asunto Digital Rights Ireland, el TJUE concluyó que las obligaciones impuestas a los proveedores de servicios de comunicaciones que imponen la conservación de determinados datos de comunicaciones no han vulnerado el contenido esencial de los derechos previstos en los artículos 7 y 8 de la Carta.22 En cuanto al artículo 8, el TJUE señaló que «los Estados miembros velarán por que se adopten medidas técnicas y organizativas adecuadas

Digital Freedom Fund | 39 contra la destrucción accidental o ilícita de los datos y su pérdida o alteración accidental».23 Si el contenido esencial de la protección de los datos constituye un núcleo mínimo, cuyo perjuicio hace el ejercicio de dicho derecho imposible24 o, como ha declarado el Tribunal de Justicia, «desvirtúa» el derecho fundamental como tal,25 una investigación sobre las medidas técnicas o de seguridad probablemente será insuficiente para cumplir los requisitos del artículo 52, apartado 1, de la CDFUE Contrariamente al TEDH, el TJUE aplicó los principios de necesidad y de proporcionalidad de manera mucho más estructurada, exigiendo que cualquier limitación impuesta al artículo 8 de la Carta sea estrictamente necesaria.26 El Tribunal de Justicia no sólo examina si el objetivo perseguido podría lograrse con medios menos restrictivos, sino también a menudo sugiere enfoques legislativos alternativos.27 En lo que concierne al equilibrio entre la protección de datos y otros derechos o intereses, el TJUE ha adoptado una postura excesivamente protectiva hacia el artículo 8, afirmando la protección de los datos de carácter personal contra los intereses económicos de las empresas de alta tecnología,28 así como el acceso público a los documentos.29

Conclusión En definitiva, el artículo 8 de la Carta confiere a la protección de los datos su propia posición en la UE como derecho fundamental, estableciendo un conjunto de controles y equilibrios que rigen el tratamiento de los datos de las personas. Mientras que el TJUE no ha dudado en interpretar las disposiciones del artículo 8 ampliamente y afirmar la protección de datos frente a otros intereses, no obstante, no ha distinguido de manera sistemática dicho derecho del derecho consagrado en el artículo 7 de la Carta ni ha proporcionado orientaciones claras sobre cómo deben interpretarse sus requisitos, incluido su contenido esencial, a la luz del artículo 52, apartado 1. A pesar de estas deficiencias, el artículo 8, gracias a su amplio alcance, sigue siendo una disposición clave en la defensa de los derechos digitales ante tanto los órganos jurisdiccionales nacionales como europeos. Es importante destacar, como sugiere también la jurisprudencia anteriormente examinada, que los casos del artículo 8 siguen siendo una herramienta valiosa para lograr objetivos que no se limitan sólo a los derechos a la protección de datos, sino también pueden tener un impacto más amplio en el contexto de los litigios que tienen por objeto derechos digitales.

40 | digiRISE

Melanie Fink, Leiden Law School Giulia Gentile, LSE Law School

Las autoras han contribuido por igual a esta obra y aparecen por orden alfabético

Digital Freedom Fund | 41 El derecho a una buena administración, garantizado por el artículo 41 de la Carta de los Derechos Fundamentales de la Unión Europea (UE) («la Carta»), consagra en el Derecho constitucional el principio general análogo desarrollado por la jurisprudencia de la UE1. Este derecho encarna la posición de la UE como comunidad del Estado de Derecho en la que las personas se ven protegidas por la toma de decisiones administrativas arbitrarias y tienen derecho a garantías fundamentales en sus interacciones con las instituciones y los órganos de la UE diseñados a garantizar procedimientos administrativos justos e imparciales.

En el marco de la buena administración, el artículo 41 agrupa varios derechos procesales. Mientras que cada uno de dichos derechos puede tener implicaciones en el entorno digital, algunos son particularmente relevantes en este contexto, entre otros, el derecho a ser oído, el derecho a recibir una decisión motivada, el derecho a indemnización por daños y el principio más amplio de transparencia. En primer lugar, este ensayo señala el ámbito de aplicación de esta disposición y, posteriormente, aborda estos derechos uno por uno culminando en una reflexión más amplia sobre la pertinencia del artículo 41 en el contexto digital.

El alcance de las obligaciones en virtud del artículo 41 El ámbito de aplicación del artículo 41 se limita a la administración de la UE en sentido estricto, que abarca las instituciones, órganos y organismos de la UE. Al excluir a los Estados miembros como destinatarios de las obligaciones, el artículo 41 se aparta de la norma de aplicación más general del artículo 51, apartado 1, según la cual la Carta se aplica también a los Estados miembros «cuando apliquen el Derecho de la Unión».

Ocasionalmente, el Tribunal de Justicia de la Unión Europea (TJUE) ha sugerido aparentemente un ámbito de aplicación más amplio del artículo 41 (véase, por ejemplo, el asunto MM y Minister for Justice, apartados 81-942). No obstante, con más frecuencia, el TJUE adopta una interpretación literal, excluyendo a los Estados miembros del ámbito de aplicación del artículo 41 (véase, por ejemplo, el asunto R.N.N.S y K.A y Minister van Buitenlandse Zaken, apartado 333).

El artículo 41, que a menudo se percibe como una codificación de los principios generales del Derecho elaborados por los órganos jurisdiccionales de la UE, se solapa significativamente con estos principios. Sin embargo, contrariamente a lo dispuesto en el artículo 41, el derecho a una buena administración se aplica no sólo a la propia UE, sino también a las autoridades de los Estados miembros cuando actúen en el ámbito de aplicación del Derecho de la UE. Así lo indicó explícitamente el TJUE en el asunto R.N.N.S. y K.A. (apartado 344). Al ampliar el derecho a una buena administración a la totalidad de la administración de la UE, estos principios generales desempeñan un papel independiente del artículo 41.

Si bien el derecho a una buena administración se aplica sólo a las autoridades públicas de la UE, una cuestión pertinente en el contexto digital es si el derecho como tal —o los valores consagrados en él— se puede extender a las entidades privadas. Esta cuestión cobra especial relevancia cuando dichas entidades colaboran con la autoridades públicas o cuando emplean tecnologías digitales a gran escala que tienen un impacto significativo en la vida de las personas, llevándolas a ejercer competencias de carácter cuasi público. En la propuesta Ley de Inteligencia Artificial de la UE (Ley de IA), se han incluido varias referencias al principio de buena administración, lo que sugiere la aplicabilidad de este principio en el ámbito de aplicación del reglamento, y, por lo tanto, a las entidades privadas.

El derecho a ser oído El artículo 41, apartado 2, letra a) confiere a toda persona el derecho a ser oída antes de la imposición de cualquier medida individual que pueda perjudicarla. Este derecho estipula que las personas deben tener la oportunidad de presentar su punto de vista a las autoridades durante el procedimiento en el que se adopta la medida relevante (Technische Universität München, apartado 255). Además, estos puntos de vista deben ser considerados por las autoridades y reflejados en la exposición de motivos de la decisión (Elf Aquitaine, apartado 1676). Al permitirle a la persona afectada influir en el proceso de toma de deciones compartiendo sus puntos de vista, el objetivo final es

“...una cuestión pertinente en el contexto digital es si el derecho como tal —o los valores consagrados en él— se puede extender a las entidades privadas.

Esta cuestión cobra especial relevancia cuando dichas entidades colaboran con la autoridades públicas o cuando emplean tecnologías digitales a gran escala que tienen un impacto significativo en la vida de las personas, llevándolas a ejercer competencias de carácter cuasi público.”

42 | digiRISE garantizar decisiones más equitativas. Al infundir elementos de equidad procesal a la interacción entre las personas y los órganos administrativos, el artículo 41, apartado 2, letra a) está íntimamente ligado al artículo 47 de la Carta, que garantiza el derecho a un juicio justo y a la tutela judicial efectiva.

La integración del derecho a ser oído en virtud del artículo 41 en el entorno digital presenta distintos desafíos. Uno de esos desafíos es determinar cómo garantizar que los puntos de vista de una persona se tengan en cuenta en los procesos de toma de decisiones que incorporan cierto grado de automatización. En este contexto, también es necesario tratar la cuestión de si una persona debe ser oída por un ser humano o si una herramienta automatizada puede cumplir suficientemente este requisito. A este respecto, cabe destacar el artículo 22 del Reglamento general de protección de datos (Reglamento GDPR), que impone la intervención humana en la mayoría de los casos de la toma de decisiones automatizadas. Como se sugiere en el artículo 22, apartado 3, del Reglamento GDPR, la intervención humana puede contribuir a salvaguardar el derecho a ser oído en el entorno digital.

Un ejemplo pertinente es el Sistema Europeo de Información y Autorización de Viajes [Reglamento (UE) 2018/1240], que entrará en funcionamiento a finales de 2023 y que automatiza (parcialmente)7 la sentencia relacionada con la entrada de nacionales de terceros países en la UE. Mientras que la normativa actual8 solo estipula el derecho a interponer recurso en caso de denegación, el artículo 41, apartado 2, letra a) de la Carta será fundamental para garantizar que las personas puedan ser oídas de manera efectiva antes de que la denegación de una autorización de viaje se haga definitiva.

El derecho a recibir una decisión motivada

“...el artículo 41 de la Carta, en combinación con el correspondiente principio general del Derecho, ofrece la protección más sólida del derecho a exigir una decisión motivada por parte de las autoridades públicas de la UE.”

El artículo 41, apartado 2, letra c), consagrado en el artículo 296 del Tratado de Funcionamiento de la Unión Europea (TFUE) dispone que el derecho a una buena administración incluye «la obligación que incumbe a la administración de motivar sus decisiones».

Según el TJUE, la motivación debe ser suficientemente clara e inequívoca para permitir al órgano jurisdiccional evaluar la legalidad de una sentencia y proporcionar a las partes afectadas una indicación suficiente sobre si la decisión es fiable y, en caso contrario, impugnarla (Elf Aquitaine, apartados 147-148). Por lo tanto, el deber de motivación no es meramente una obligación autónoma de transparencia; al contrario, está diseñado para fomentar la rendición de cuentas y facilitar el acceso de las personas a la justicia.

A este respecto, el TJUE cita a menudo el artículo 47 de la Carta, es decir al derecho a la tutela judicial efectiva, para reforzar el requisito de motivación (R.N.N.S. y K.A., apartado 43).

Hay una tensión entre el deber de la administración de articular la motivación de sus decisiones y la incorporación de la inteligencia artifical (IA) para facilitar el proceso de toma de decisiones. El quid de esta cuestión radica en la posibilidad de que los sistemas de IA lleguen a ser tan complejos que las personas no puedan comprender cómo y por qué el sistema llegó a su conclusión (lo que se conoce como el problema de la «caja negra»9). Los seres humanos que toman decisiones pueden tener dificultades para aclarar las razones específicas subyacentes de una decisión fuertemente afectada por la «caja negra». Pensemos en una persona a la que se le ha denegado la entrada en el territorio de la UE con la motivación de que según un sistema de IA10 la ha calificado como «riesgo para la seguridad». Si los procesos internos del sistema de IA son demasiado opacos para que el funcionario que ha confiado en este entienda los factores que han contribuido a esta clasificación, la explicación del funcionario no puede extenderse más allá de «porque el sistema de IA ha respondido así». Una justificación de este tipo no cumple las normas previstas en el artículo 4111.

En los últimos años se ha desarrollado un debate animado sobre si el Reglamento GDPR establece un «derecho de explicación» (a favor12y en contra13). No obstante, su existencia y su contenido preciso siguen siendo inciertos. Además, no sería aplicable a todos los casos de uso de IA en el sector público. La propuesta Ley de IA define las responsabilidades de los fabricantes para hacer que la IA de alto riesgo sea inteligible para los seres humanos (artículo 13), facilitando así el derecho de explicación. Sin embargo, no impone a los usuarios de la IA la obligación de justificar o explicar sus decisiones a las personas afectadas por estas, y mucho menos un derecho correspondiente para que los particulares exijan tales explicaciones. Por lo tanto, actualmente, el artículo 41 de la Carta, en combinación con el correspondiente principio general del Derecho, ofrece la protección más sólida del derecho a exigir una decisión motivada por parte de las autoridades públicas de la UE.

Digital Freedom Fund | 43

El derecho a indemnización por daños y perjuicios El artículo 41, apartado 3 garantiza a toda persona el derecho a la reparación de los daños causados por la Unión, «de conformidad con los principios generales comunes a los Derechos de los Estados miembros». Esta disposición se hace eco del artículo 340, párrafo segundo, del TFUE, en virtud del cual el Tribunal de Justicia ha dictado reiteradamente que la responsabilidad surge solamente por violaciones consideradas suficientemente graves, lo que significa que la autoridad de que se trate ha «[inobservado] [de manera] manifiesta y grave [...] los límites impuestos a su facultad de apreciación» (Bergaderm, apartado 4314).

La cuestión crucial radica en cómo afectaría a la evaluación de la gravedad del error de una autoridad la decisión de emplear herramientas digitales como la IA para apoyar la toma de decisiones. El TJUE ha determinado anteriormente que una confianza razonable en la evaluación de otra autoridad constituye un factor pertinente (véanse, por ejemplo, el asunto British Telecommunications, apartado 4315 y el asunto Robins, apartado 8116). Queda por ver si este principio —según el cual las autoridades pueden confiar en fuentes de información específicas sin verificación— se aplica en el contexto digital y, en caso afirmativo, en qué condiciones. Esto aumentará significativamente de infracciones de la ley por decisiones basadas en las recomendaciones de un sistema de IA las cuales se consideran suficientemente graves por el TJUE para que se fundamente la responsabilidad. En consecuencia, las posibilidades de impugnar con éxito estas decisiones podrían ser escasas.

En septiembre de 2022, la Comisión Europea propuso una Directiva sobre responsabilidad en materia de IA con el fin de adaptar las normas de responsabilidad extracontractual para abordar los retos únicos planteados por los sistemas de IA. Esta directiva introduciría normas de divulgación y presunciones refutables para contrarrestar las dificultades probatorias a las que puedan efrentarse las víctimas de los daños causados (parcialmente) por la IA, mucho más teniendo en cuenta la complejidad y la opacidad de ciertos sistemas de IA. La directiva no modifica directamente las normas de responsabilidad con arreglo al artículo 340 del TFUE o, por extensión, al artículo 41, apartado 3, de la Carta. No obstante, podría llegar a influir en el régimen de responsabilidad pública de la UE afectando a los «principios generales comunes a los Derechos de los Estados miembros», que constituyen la base del artículo 340 del TFUE. Además, el razonamiento en que se basa la directiva sobre responsabilidad en materia de IA puede guiar el desarrollo de un enfoque más apropiado de la responsabilidad por IA, especialmente en relación con los daños causados por la administración de la UE mediante el uso de sistemas de IA.

Transparencia El principio de transparencia está íntimamente ligado al derecho a una buena administración. Algunos derechos mencionados en el artículo 41 están intrínsecamente vinculados a los propios derechos de transparencia, especialmente el artículo 41, apartado 2, letra b) que garantiza a toda persona acceso a su propio expediente, así como el derecho a recibir una decisión motivada. No obstante, además de estos derechos específicos, el principio de transparencia, que se presenta como objetivo general de la UE a través de los Tratados, es un requisito fundamental para una buena administración.

En el contexto del entorno digital, la opacidad algorítmica —ya sea como resultado de los derechos de propiedad intelectual, la falta de conocimiento experto o las características del propio algoritmo— plantea un desafío significativo al principio de transparencia. Aunque gran parte de los debates se ha centrado en los derechos de explicación, una cuestión apremiante es si el principio de transparencia requeriría derechos mucho más amplios17, como el acceso a los datos de entrenamiento, los códigos fuente u otra información relacionada con el algoritmo en sí.

La legislación específica del sector digital a menudo incorpora derechos explícitos relacionados con la transparencia. Por ejemplo, el Reglamento GDPR establece varios derechos de información. Estos incluyen el derecho de información con respecto a la existencia y las implicaciones de la toma de decisiones automatizada, así como «la lógica aplicada» a esta (artículo 13 del Reglamento GDPR). La propuesta Ley de IA establece un cierto nivel de transparencia algorítmica, pero solamente para permitir que los usuarios del sistema interpreten los algoritmos (artículo 13 de la Ley de IA). Las

44 | digiRISE personas afectadas por el uso real de los algoritmos sólo tienen un derecho limitado: ser informadas cuando interactúan con un algoritmo en lugar de con un ser humano (artículo 52 de la Ley de IA). El principio de transparencia, en relación con el derecho a una buena administración, incluido el derecho de una persona a acceder a su propio expediente, puede proporcionar una base jurídica más sólida para ampliar los derechos a los destinatarios de las decisiones algorítmicas administrativas.

Conclusión El derecho a una buena administración tiene un valor significativo para la regulación del uso de la tecnología por parte de la administración de la UE. Concretamente, al garantizar que las personas sean oídas y que las decisiones administrativas sean motivadas, funciona como un instrumento para ejercer el derecho a la tutela judicial efectiva consagrado en el artículo 47 de la Carta.

No obstante, su importancia va mucho más allá de este papel fundamental. El artículo 41 de la Carta establece las condiciones para la toma de decisiones administrativas que crea un equilibrio justo entre los intereses sociales e individuales. Este equilibrio es particularmente importante a la luz de los cambios profundos en la administración pública introducidos por el uso de las tecnologías digitales que va aumentándose rápidamente, en particular cuando estas tecnologías son desarrolladas y comercializadas por entidades privadas.

Es importante destacar que garantizar que la toma de decisiones administrativas sea motivada y equitativa también aumenta la probabilidad de que las decisiones resultantes se ajusten a la ley. Esta conformidad reduce la necesidad de costosos litigios ante instituciones judiciales ya sobrecargadas. Por lo tanto, el derecho a una buena administración desempeña un papel determinante para garantizar que la adopción de nuevas tecnologías no socave la justicia administrativa y, en términos generales, el Estado de derecho.

Digital Freedom Fund | 45

46 | digiRISE

Nawal Mustafa, Public Interest Litigation Project (PILP)

Digital Freedom Fund | 47

Introducción La Carta de los Derechos Fundamentales de la Unión Europea (la Carta) entró en vigor con el Tratado de Lisboa en diciembre de 2009. Con esta Carta, los derechos fundamentales que estaban dispersos en varios documentos jurídicos nacionales e internacionales se fundieron en un único documento que sirve como la norma común única para los derechos fundamentales en Europa. La Carta constituye una de las fuentes primarias del Derecho de la UE. Los artículos 51-54 especifican los criterios con arreglo a los cuales la Carta puede ser invocada, así como la manera en que deben ser interpretadas las disposiciones de la Carta. Un aspecto importante de la Carta es el hecho de que puede ser invocada únicamente cuando los Estados miembros y las instituciones de la UE apliquen el Derecho de la UE. Como uno de los principales instrumentos del Derecho de la UE, la Carta desempeña múltiples papeles.

En primer lugar, como principio general del Derecho de la UE, la Carta se puede usar como herramienta de interpretación, dado que tanto la legislación nacional como la legislación secundaria de la UE dentro del ámbito de aplicación del Derecho de la UE deben ser interpretadas a la luz de la Carta. En segundo lugar, la Carta funciona como instrumento de revisión judicial, lo que significa que el Tribunal de Justicia de la Unión Europea (TJUE) tiene poder de valorar la compatibilidad de legislaciones, actos y medidas con los derechos fundamentales garantizados por la Carta. Por consiguiente, el TJUE puede anular cualquier legislación nacional que entre en el ámbito de aplicación del Derecho de la UE e infrinja los derechos fundamentales previstos por la Carta. En tercer lugar, la Carta sirve también de plataforma para la expresión y el desarrollo de los principios generales en evolución del Derecho de la UE. En este ensayo reflexiono sobre la causa judicial contra el uso del programa System Risk Indication (SyRI) por parte del gobierno neerlandés y demuestro cómo el artículo 47 de la Carta y las diferentes funciones de la Carta se pueden utilizar en el contexto de los derechos digitales. Dado que este sistema trataba datos de carácter personal, promovía la elaboración de perfiles y tenía la posibilidad de violar el derecho fundamental de las personas. Por lo tanto, tenía que sujetarse a una serie de salvaguardias basadas en la Carta y otras legislaciones de la UE que tenían como objetivo regular el tratamiento de datos, limitando al mismo tiempo las violaciones de los derechos contenidos en los artículos 7 y 8 de la Carta.

Los avances y las innovaciones tecnológicos rápidos han transformado las formas en que funcionan nuestras sociedades e instituciones. Los métodos de trabajo tradicionales han quedado casi obsoletos debido a los avances de la tecnología de la información, la digitalización continua de casi todo aspecto de la vida pública y privada, así como el aumento actual del uso de la inteligencia artificial. Por lo tanto, los responsables políticos y los legisladores están aprovechando la disponibilidad de los datos digitales que derivan de la utilización, por parte de las personas, de los dispositivos tecnológicos. Tanto el trabajo basado en datos como el aumento del uso de la IA han creado numerosos beneficios pero también tienen muchas consecuencias negativas que requieren un estudio más detenido. Algunas de las repercusiones negativas relacionadas con estos avances tecnológicos son la pérdida de puestos de trabajo a causa de la automatización, el aumento de las desigualdades de renta, la pérdida de la intimidad, el racismo digital y lo que algunos académicos han denominado «esclavitud digital».1 Es fundamental reconocer y mitigar los potenciales daños de los avances tecnológicos con el fin de garantizar el reparto equitativo de los beneficios. Además, en la práctica no existen los marcos jurídicos y éticos necesarios para la limitación de las consecuencias negativas del uso de la tecnología por parte de las autoridades públicas. No obstante, gran parte de la legislación ya existente se puede utilizar de forma que permita la reducción y la prevención de los daños causados por el uso de la tecnología a través de la ampliación del ámbito de aplicación.

Hay distintas fuentes del Derecho de la UE que tienen relevancia en el contexto de los derechos digitales, el tratamiento de datos y la protección de datos.2 El objetivo de este ensayo es reflexionar sobre cómo puede aplicarse en contextos digitales el artículo 47 de la Carta que se refiere al derecho a la tutela judicial efectiva y a un juez imparcial. El ensayo se divide en dos secciones. La primera sección trata el caso del programa System Risk Indication en general y reflexiona sobre la importancia de este caso a la luz del artículo 47. La segunda parte aborda el ámbito de aplicación del artículo 47 y pretende poner de manifiesto los aspectos que van adquiriendo relevancia en el contexto digital. Finalmente, una conclusión breve pero concisa subraya las oportunidades que ofrece el artículo 47 para la protección contra las violaciones de los derechos digitales.

48 | digiRISE

“La tutela judicial efectiva que proporciona a las víctimas de los casos de violación de datos las herramientas necesarias para la salvaguardia de sus derechos es esencial para la protección y el disfrute de los derechos fundamentales. ”

System Risk Indication (SyRI) El gobierno neerlandés ha utilizado el sistema SyRI en sus esfuerzos por combatir y prevenir el fraude a la seguridad social, el empleo ilegal y el fraude fiscal.3 Este sistema estaba basado en el llamado Landelijke Stuurgroep Interventieteams (LSI) que consistía en la colaboración estrecha entre diferentes municipios, el Ministerio de Asuntos Sociales y Empleo, la policía, la fiscalía, los servicios de inmigración, así como las autoridades de bienestar social y las autoridades fiscales. El intercambio y el análisis de los datos digitales de carácter personal era esencial para la prevención, la detección y la investigación del fraude y de otras actividades ilícitas en el marco de esta colaboración.4 Los datos recogidos mediante el LSI, los proyectos y los experimentos derivados de él, así como las metodologías empleadas por el LSI, incluida la utilización del sistema de la «caja negra» eran fundamentales para el sistema SyRI.5 El sistema SyRI se consagró en la legislación en 2014 mediante los artículos 64 y 65 de la Ley SUWI, mientras el capítulo 5a del decreto SUWI establece las normas y los procedimientos de aplicación.6 El Ministerio de Asuntos Sociales y Empleo es responsable por la utilización del SyRI. Las razones para proporcionar una base jurídica al SyRI eran principalmente reforzar el enfoque riguroso en la lucha contra el fraude a las prestaciones sociales a través de la utilización de las tecnologías digitales y del análisis de datos. Los legisladores y los responsables políticos del gobierno neerlandés consideraron que al blindar legalmente el SyRI, disiparían definitivamente las inquietudes planteadas desde hace tiempo por los organismos reguladores con respecto a la violación del derecho a la intimidad y la protección de datos.

A efectos de esta contribución, el asunto del SyRI es importante por varios motivos de peso. En primer lugar, se trata de uno de los asuntos que han cuestionado de manera fundamental el uso sistemático y autorizado por la ley de las tecnologías digitales en el Estado del bienestar para la prevención y la detección del fraude al bienestar social basado en consideraciones sobre los derechos humanos.7 En segundo lugar, este asunto ha mostrado que las tecnologías de vigilancia masiva, como el SyRI, tienden a dirigirse de manera desproporcionada a zonas empobrecidas y desfavorecidas con alta concentración de grupos marginados.8 En tercer lugar, la participación de un grupo diverso de organizaciones de la sociedad civil en los procedimientos judiciales contra el SyRI refleja una amplia preocupación sobre la probabilidad de que dichos sistemas violen los derechos de toda persona.9 La forma en que las diferentes organizaciones han colaborado en el marco del procedimiento judicial en la lucha contra el sistema SyRI es inspirador desde la perspectiva del acceso a la tutela judicial y a un jucio justo.

Los casos de violación de la privacidad de los datos, como el del SyRI, provocan muchos daños materiales e imateriales por los cuales las víctimas deberían poder exigir una indemnización. Algunos de estos daños, como la depresión, el trastorno de ansiedad y el síndrome de estrés postraumático entran en las categorías oficiales del Quinto Manual Diagnóstico y Estadístico de Trastornos Mentales (DSM 5). Otros, como el daño emocional, el estrés y los daños al buen nombre y a la reputación pueden considerarse como daños psicológicos que pueden provocar trastornos mentales. La tutela judicial efectiva que proporciona a las víctimas de los casos de violación de datos las herramientas necesarias para la salvaguardia de sus derechos es esencial para la protección y el disfrute de los derechos fundamentales.

Los principios y el ámbito de aplicación del artículo 47 de la Carta Al invocar el artículo 47, el primer paso consiste en determinar si la Carta se aplica a toda persona con arreglo al artículo 51, apartado 1, de la Carta.10 Si este es el caso, los Estados miembros y las instituciones, órganos y organismos de la Unión Europea deben garantizar una tutela judicial efectiva cuando apliquen el Derecho de la Unión.11 El derecho a la tutela judicial efectiva y a un juicio justo constituyen principios generales clave del Derecho europeo. Por lo tanto, el Tribunal de Justicia de la Unión Europea aplica estas disposiciones de manera amplia y general con el fin de proporcionar a las personas una tutela judicial efectiva, así como acceso a la justicia.12 Ambas las medidas administrativas y procesales entran en el ámbito de aplicación del artículo 47.13 Para que las personas puedan impugnar las violaciones de sus derechos y obtener reparación, los Estados miembros deben garantizar tanto un acceso efectivo a la tutela judicial como órganos jurisdiccionales independientes e imparciales.

Digital Freedom Fund | 49 Los derechos contenidos en el artículo 47 consisten en los derechos previstos en los artículos 6 y 13 del Convenio Europeo de Derechos Humanos y su interpretación por el Tribunal Europeo de Derechos Humanos. Por lo tanto, el artículo 47 debería interpretarse en relación con estas disposiciones, así como en relación con otros derechos de la Carta, la legislación de la UE y las disposiciones internacionales sobre los derechos humanos. Además, una característica fundamental del artículo 47 consiste en el hecho de que su aplicación e interpretación deben priorizar y promover la realización y la protección de los derechos fundamentales.

Una forma de alcanzarlo es mediante el principio de efectividad mínima que requiere que las reglas nacionales no hagan imposible en la práctica el ejercicio de los derechos de la UE (efectividad ) y que no sean menos favorables que las de los recursos semejantes de naturaleza interna (equivalencia).14 Aunque los requisitos de efectividad y equivalencia normalmente se centran en las reglas procesales nacionales, también se pueden aplicar a la interpretación del Derecho sustantivo, como los derechos consagrados en los artículos 7 y 8 de la Carta. Además, el artículo 47 requiere que los órganos jurisdiccionales determinen, cada vez que procedan a una revisión, si había recursos efectivos disponibles. Según el TJUE, existe violación del principio de efectividad cuando las autoridades denieguen el acceso a datos relacionados con los hechos del caso.

Cada vez que se considere que un Estado miembro o las instituciones de la UE limitan la protección proporcionada por el derecho a la tutela judicial efectiva y a un juicio justo, la prueba de proporcionalidad garantiza la (i)legalidad de la disposición. De acuerdo con sus condiciones previas, la limitación en cuestión debe ser necesaria, razonable y proporcionada para alcanzar un objetivo legítimo. Por lo tanto, cualquier restricción de los derechos de este artículo debe ser concreta y no ir más allá de lo necesario para la protección del interés público o de otros derechos.

Los aspectos negativos del trabajo basado en datos y del uso de la IA por parte de las autoridades cambia de manera fundamental los debates jurídicos sobre la protección de datos, la intimidad y el derecho a la tutela judicial efectiva y a un jucio justo. En casos de violación de datos, al determinar la proporcionalidad, se puede argumentar, con base en el artículo 47, que la carga de la prueba debe trasladarse de la persona cuyos datos se están recogiendo a las autoridades que están recogiendo dichos datos. La razón es que en la práctica sería imposible o excesivamente difícil para las personas ir contra las autoridades estatales que recogen y usan sus datos sin que ellas lo sepan. Es muy difícil comprobar qué tipo de actuales daños materiales sufren las personas cuando sus derechos fundamentales se ven violados.

No hay jurisprudencia específica que aborde directamente los derechos digitales con arreglo al artículo 47. No obstante, el TJUE ha desarrollado una jurisprudencia sólida que aborda los daños digitales en relación con los artículos 7 y 8.15 Dicha jurisprudencia puede proporcionar orientaciones sobre la aplicación e interpretación del artículo 47 en el contexto de los derechos digitales.

Conclusión La recogida y el tratamiento de los datos de carácter personal están regulados a escala europea. No obstante, según el ensayo, las fundamentales cuestiones de interés que se han suscitado en el asunto de SyRI entran en el ámbito de aplicación del artículo 47.

Aunque el asunto no se ha presentado ante el TJUE y el litigio se ha centrado principalmente en si el sistema SyRI ha limitado de manera ilícita los derechos consagrados en los artículos 7 y 8, la revisión judicial contenida en el artículo 47 proporciona un ámbito fructífero para litigios futuros. Los órganos jurisdiccionales nacionales podrían pedirle al TJUE que valore si las leyes que establecen sistemas como el SyRI respetan los derechos consagrados en la Carta. Además, la litigación basada en el artículo 47 puede contribuir al desarrollo y a la evolución del Derecho de la UE en el contexto de los derechos digitales aclarando su ámbito de aplicación, reforzando la protección de los derechos fundamentales y fomentando el Estado de derecho. Puede servir como una herramienta poderosa de defensa, señalando los abusos de los derechos humanos y fomentando la reforma legal tanto a escala nacional como a europea.

“... el TJUE ha desarrollado una jurisprudencia sólida que aborda los daños digitales en relación con los artículos 7 y 8. Dicha jurisprudencia puede proporcionar orientaciones sobre la aplicación e interpretación del artículo 47 en el contexto de los derechos digitales.”

50 | digiRISE personas afectadas por el uso real de los algoritmos sólo tienen un derecho limitado: ser informadas cuando interactúan con un algoritmo en lugar de con un ser humano (artículo 52 de la Ley de IA). El principio de transparencia, en relación con el derecho a una buena administración, incluido el derecho de una persona a acceder a su propio expediente, puede proporcionar una base jurídica más sólida para ampliar los derechos a los destinatarios de las decisiones algorítmicas administrativas.

Conclusión El derecho a una buena administración tiene un valor significativo para la regulación del uso de la tecnología por parte de la administración de la UE. Concretamente, al garantizar que las personas sean oídas y que las decisiones administrativas sean motivadas, funciona como un instrumento para ejercer el derecho a la tutela judicial efectiva consagrado en el artículo 47 de la Carta.

No obstante, su importancia va mucho más allá de este papel fundamental. El artículo 41 de la Carta establece las condiciones para la toma de decisiones administrativas que crea un equilibrio justo entre los intereses sociales e individuales. Este equilibrio es particularmente importante a la luz de los cambios profundos en la administración pública introducidos por el uso de las tecnologías digitales que va aumentándose rápidamente, en particular cuando estas tecnologías son desarrolladas y comercializadas por entidades privadas.

Es importante destacar que garantizar que la toma de decisiones administrativas sea motivada y equitativa también aumenta la probabilidad de que las decisiones resultantes se ajusten a la ley. Esta conformidad reduce la necesidad de costosos litigios ante instituciones judiciales ya sobrecargadas. Por lo tanto, el derecho a una buena administración desempeña un papel determinante para garantizar que la adopción de nuevas tecnologías no socave la justicia administrativa y, en términos generales, el Estado de derecho.

Digital Freedom Fund | 51

50 | digiRISE

Divij Joshi, University College London

Digital Freedom Fund | 51

Introducción En su influyente informe de 2019 dirigido a las Naciones Unidas, Philip Alston, el Relator Especial sobre la extrema pobreza, lanzó una advertencia de que «la humanidad […] debe evitar tropezar como un zombi en una distopía de bienestar digital».1 Esta elocuente afirmación era la conclusión de un estudio pionero sobre la integración global de las tecnologías digitales emergentes, como los sistemas biométricos, los sistemas de tratamiento de datos informáticos y los sistemas algorítmicos de toma de decisiones en la administración de los sevicios de seguridad social y de bienestar social. El informe concluyó que el uso de las tecnologías digitales en la administración de bienestar social a menudo daba lugar a prácticas que era probable que violaran los derechos humanos, incluido el derecho a la seguridad social, a una vida digna y a la intimidad.

Pese a este informe aleccionador, los gobiernos de todo el mundo, incluida la Unión Europea (UE), no han atendido el llamamiento del Relator Especial para que se adopte una mayor introspección al adoptar tecnologías digitales con respecto a la prestación de seguridad social. Este ensayo explora cómo los Estados miembros de la UE han empleado tecnologías basadas en datos y tecnologías digitales algorítmicas en el diseño e implementación de sus sistemas de seguridad social y de bienestar y aborda los daños potenciales y reales que implican dichos sistemas. Además, evalua el papel que desempeña la Carta de los Derechos Fundamentales de la UE («la Carta»), en particular el artículo 34 sobre seguridad social, a la hora de evaluar la legalidad y legitimidad de los sistemas de bienestar digital.

El bienestar digital en la UE La administración de bienestar social incorpora desde hace tiempo los procesos asistidos por ordenador y el tratamiento de información digital. No obstante, esta «digitalización» de la administración de bienestar social ha sido perseguida más intensivamente en los últimos años, en consonancia con el auge de la informatización y el Internet, implicando cambios significativos de las maneras en que los Estados cumplen sus obligaciones de proporcionar seguridad social. Deseosos de adoptar nuevas tecnologías basadas en datos para mejorar sus capacidades de gobernanza, los gobiernos se han esforzado por hacer a sus ciudadanos más «legibles» y, de este modo, más gobernables.

Sin embargo, como han señalado varios académicos, la mayor legibilidad que ofrecen la datificación y la digitalización a menudo se produce a costa de una mayor vigilancia,2 de una experimentación basada en la población,3 y de un exceso de dependencia de metodologías estadísticas potencialmente deficientes.4 La investigación empírica sugiere una evolución creciente de la digitalización del bienestar social por toda la UE, que se manifiesta en varios grados y formas. Por ejemplo, varios estudios han documentado la manera en que Dinamarca, los Países Bajos, Portugal, Francia y Polonia han aplicado sistemas algorítmicos para combatir el «fraude al sistema de bienestar social» en sectores como la fiscalidad, las prestaciones universales, la salud y la educación. Estos sistemas tratan los datos de carácter personal para la puntuación y clasificación basadas en el riesgo, que se utilizan para predecir la probabilidad de fraude a las prestaciones sociales en un escenario determinado.5 Trelleborg, un municipio en Suecia, ha establecido un sistema ambicioso para «automatizar completamente» las solicitudes relativas al bienestar social y los derechos a este. Incluía el uso de sistemas algorítmicaos basados en reglas para tratar los datos de los ciudadanos y determinar la elegibilidad para prestaciones como la ayuda económica.6 En Eslovenia, la digitalización se ha utilizado para la creación de perfiles completos de los ciudadanos con el fin de aumentar la legibilidad. Esto ha mejorado la visibilidad con respecto a la manera en que los ciudadanos usan los servicios sociales en diversos ámbitos y, por lo tanto, se utiliza para fundamentar la política de seguridad social.7 El proceso de la adaptación y transformación digital ha provocado un aumento de la exclusión mediada por la tecnología de los sistemas de seguridad social y de bienestar social, un asunto que los estados no han abordado adecuadamente. El caso del Systeem Risico Indicatie (SyRI), un sistema de cálculo de riesgos basado en datos que ha utilizado el gobierno neerlandés, constituye un ejemplo convincente de cómo estos sistemas de tratamiento de datos pueden poner en peligro la seguridad social. El sistema SyRI vinculó los datos de los ciudadanos de distintos organismos administrativos y sirvió

“La digitalización de los sistemas de bienestar social puede reducir sistemáticamente la transparencia gubernamental, promover la toma de decisiones arbitrarias y discriminatorias y socavar las garantías procesales contra el abuso de poder por parte de los gobiernos.”

52 | digiRISE como entrada para los modelos computacionales que predecían el riesgo de fraude al bienestar social. No obstante, la naturaleza de la información utilizada, el modelo de cálculo de riesgos y los algoritmos computacionales no se han hecho públicos ni se han comunicado a las personas afectadas. Esta falta de transparencia significaba que las personas podrían someterse a investigaciones de fraude sin explicación suficiente. Posteriormente, la legislación y la aplicación de SyRI fueron impugnadas ante un tribunal civil neerlandés, que consideró que el sistema era ilegal por haber violado varios derechos garantizados por el Convenio Europeo de Derechos Humanos, incluido el derecho a la intimidad.8 No obstante, pese a una orden judicial contra el sistema SyRI, las investigaciones posteriores han revelado que el gobierno neerlandés había seguido experimentando con sistemas de bienestar digital se riesgos silimilares, lo que demuestra el profundo arraigo de las tecnologías digitales en la administración de bienestar social en determinados Estados.9 Como queda ilustrado por los casos anteriores, las tecnologías digitales se usan ampliamente en los sistemas de toma de decisiones automatizadas, en los que los resultados reemplazan o complementan la toma de decisiones por el ser humano con respecto a tareas como la identificación y autenticación de los beneficiarios de las prestaciones de seguridad social, la determinación de la elegibilidad para las prestaciones, el cálculo de los importes de las prestaciones y la detección de fraude.10 La utilización de estos sistemas influye profundamente en la relación entre los ciudadanos y el Estado y, en consecuencia, los derechos fundamentales de los ciudadanos de la UE. La digitalización de los sistemas de bienestar social puede reducir sistemáticamente la transparencia gubernamental, promover la toma de decisiones arbitrarias y discriminatorias y socavar las garantías procesales contra el abuso de poder por parte de los gobiernos. Este problema deriva en parte de la naturaleza compleja de estos sistemas de tratamiento de información, que pueden ser difíciles de comprender o examinar y, con frecuencia, carecen de documentación o explicación suficientes para garantizar la transparencia y la rendición de cuentas.11 La opacidad del sistema SyRI es un buen ejemplo de ello; el gobierno no ha hecho públicos los tipos de los datos de carácter personal utilizados para la elaboración de perfiles de los ciudadanos o la manera en que estos perfiles habían sido construidos. Otro riesgo potencial surge del tratamiento discriminatorio y arbitrario de datos.12 Por ejemplo, en Austria, a través de un programa de asignación de ayudas de empleo supuestamente asignó puntajes más bajos a las personas en función de su identidad de género y estado de discapacidad, lo que podría comprometer su capacidad de presentar reclamaciones contra el programa.13 Esto subraya el hecho de que los sistemas de bienestar digital pueden utilizar los datos en maneras discriminatorias, ya sea expresamente o mediante el uso de un servidor proxy.

Además, estos sistemas se usan con frecuencia en contextos que carecen de una rendición de cuentas o supervisión adecuada y sistemática. Esto implica que las personas podrían perder el acceso a la seguridad social sin notificación previa o la oportunidad de participar en la adopción de una sentencia relacionada con sus derechos o incluso de interponer recurso contra dicha sentencia.14

El artículo 34 y el derecho a la seguridad social La Carta, que es vinculante para todos los Estados miembros de la UE, establece claramente un derecho a la seguridad social dentro del contexto del artículo 34 sobre la solidaridad. Se especifica que el ámbito de aplicación y la aplicabilidad del artículo 34 como derecho a la seguridad social se ajustan «[al] Derecho de la Comunidad y [a] las legislaciones y prácticas nacionales». Este artículo debe interpretarse en relación con los artículos 51 y 52 de la Carta, así como con el Tratado de Funcionamiento de la Unión Europea (TFUE). En este contexto, el artículo 34 es pertinente únicamente en cuanto a la aplicación del Derecho de la UE o en los ámbitos de la competencia legislativa de la Unión. Los apartados 1 y 3 del artículo 34 de la Carta sirven como principios rectores y no como prescripciones para la UE y sus instituciones, obligando a que la aplicación del Derecho de la UE se ajuste a sus requisitos. Actualmente, dado que no existe ninguna legislación de la Unión que establezca prestaciones de seguridad social mínimas, solamente el artículo 34, apartado 2 proporciona un derecho subjetivo a toda persona «que resida y se desplace legalmente» dentro de la UE. No obstante, el artículo 34, apartado 2, es eficazmente confinado por e incorporado al Reglamento 883/2004, que coordina los sistemas de seguridad social en todos los Estados miembros. Por consiguiente, como sostienen algunos académicos, el artículo 34 como tal no concede ningún derecho justiciable contra los instrumentos de seguridad social o la administración

Digital Freedom Fund | 53 de los Estados miembros, por ejemplo, para reclamar los derechos mínimos a la ayuda de vivienda y de empleo o a la ayuda social. No obstante, en el contexto de la inteligencia artificial, la Agencia de Derechos Fundamentales Europea interpreta el artículo 34, apartado 1, de la Carta en el sentido de que ofrece protección contra las medidas que restringen o suprimen los derechos a la seguridad social existentes.15 La jurisprudencia del Tribunal de Justicia de la Unión Europea (TJUE) ofrece escasa ayuda para interpretar el ámbito de aplicación del artículo 34. El articulo 34, apartado 1 no se ha analizado en profundidad por el TJUE. No obstante, según las conclusiones del Abodago General Sr. Paolo Mengozi en el asunto Melchior y Wojciechowski, el artículo34, apartado 1, sirve sólo como «referent[e] interpretativ[o] o parámetr[o] del control de la legalidad» de la legislación anterior a su aplicación. En casos como los asuntos Melchior, Wojciechowski y Dano, el TJUE ha concluido que la Carta no es aplicable dado que los asuntos concernían a la legislación nacional y no el Derecho de la Unión. No obstante, en el asunto Kamberaj, que tenía por objeto la denegación de la ayuda de vivienda a un nacional de un tercer país, el TJUE hizo referencia al artículo 34, apartado 3 para que se facilitara la interpretación de la Directiva 2003/109 de la UE, que define los derechos de los nacionales de terceros países. Esta Directiva obliga a los Estados a respetar la igualdad de trato a la hora de conceder prestaciones básicas con respecto a la protección social. Dentro del contexto del artículo 34, apartado 3, el Tribunal de Justicia ha interpretado las «prestaciones básicas» como aquellas que cumplen la finalidad de protección de la seguridad social con arreglo al artículo 34, apartado 3, y que «garantizan una existencia digna a todos aquellos que no dispongan de recursos suficientes». Algunos académicos han señalado también la manera en que se han invocado disposiciones no específicas de la Carta para garantizar los derechos a la seguridad social, como el derecho a la dignidad en el artículo 1.16 En líneas generales, aunque existe cierto desacuerdo en cuanto al ámbito de aplicación de la Carta en relación con las medidas de seguridad social,17 no obstante, las disposiciones del artículo 34 pueden ser objeto de una interpretación extensiva por parte del TJUE y en futuros avances relacionados con los derechos a la seguridad social a nivel de la UE. Pese a las limitaciones del artículo 34 como derecho justiciable a la seguridad social en la UE, su utilidad potencial radica en mitigar los efectos negativos de los sistemas de bienestar digital para las personas y en evaluar su legalidad dentro del marco más amplio de los derechos fundamentales de la UE. En particular, al situar el artículo 34 dentro del contexto más amplio de los derechos fundamentales de la UE y del Derecho internacional sobre los derechos humanos, proponemos que el derecho a la seguridad social exija que las intervenciones del estado en los sistemas de bienestar digital respeten las obligaciones de transparencia, de la no discriminación y de la no arbitrariedad.

La invocación del derecho a la seguridad social en el Derecho internacional sobre los derechos humanos, como el artículo 9 del Pacto Internacional de Derechos Económicos, Sociales y Culturales (PIDESC),18 ofrece algunas orientaciones acerca del contenido esencial del derecho teniendo en cuenta las disposiciones de los estados en materia de seguridad social. El Comité de derechos económicos y sociales de las Naciones Unidas, por ejemplo, ha reconocido que el derecho a la seguridad social abarca la posibilidad de disfrutar de las prestaciones de seguridad social sin discriminación, de hecho o de derecho; transparencia en cuanto a las condiciones que califican o descalifican a los beneficiarios, y que dichas calificaciones deben ser razonables y no arbitrarias; y la capacidad de los beneficiarios de participar en la administración de seguridad social, por ejemplo, mediante la recepción de la notificación de reclamaciones y otra información sobre sus derechos.

Aunque la interpretación del artículo 34 como derecho justiciable para salvaguardar contra los perjuicios de los sistemas de bienestar digital sigue limitada, proporciona un punto de referencia esencial que exige la evaluación de dichos sistemas emergentes. A pesar de todo, los Estados miembros de la UE deben garantizar que sus incursiones en los sistemas de bienestar digital se ajusten a los propósitos y a los objetivos del derecho a la seguridad social, contrarrestando la inseguridad, la opacidad y la precariedad que generan dichos sistemas.

“A pesar de todo, los Estados miembros de la UE deben garantizar que sus incursiones en los sistemas de bienestar digital se ajusten a los propósitos y a los objetivos del derecho a la seguridad social, contrarrestando la inseguridad, la opacidad y la precariedad que generan dichos sistemas.”

54 | digiRISE personas afectadas por el uso real de los algoritmos sólo tienen un derecho limitado: ser informadas cuando interactúan con un algoritmo en lugar de con un ser humano (artículo 52 de la Ley de IA). El principio de transparencia, en relación con el derecho a una buena administración, incluido el derecho de una persona a acceder a su propio expediente, puede proporcionar una base jurídica más sólida para ampliar los derechos a los destinatarios de las decisiones algorítmicas administrativas.

Conclusión El derecho a una buena administración tiene un valor significativo para la regulación del uso de la tecnología por parte de la administración de la UE. Concretamente, al garantizar que las personas sean oídas y que las decisiones administrativas sean motivadas, funciona como un instrumento para ejercer el derecho a la tutela judicial efectiva consagrado en el artículo 47 de la Carta.

No obstante, su importancia va mucho más allá de este papel fundamental. El artículo 41 de la Carta establece las condiciones para la toma de decisiones administrativas que crea un equilibrio justo entre los intereses sociales e individuales. Este equilibrio es particularmente importante a la luz de los cambios profundos en la administración pública introducidos por el uso de las tecnologías digitales que va aumentándose rápidamente, en particular cuando estas tecnologías son desarrolladas y comercializadas por entidades privadas.

Es importante destacar que garantizar que la toma de decisiones administrativas sea motivada y equitativa también aumenta la probabilidad de que las decisiones resultantes se ajusten a la ley. Esta conformidad reduce la necesidad de costosos litigios ante instituciones judiciales ya sobrecargadas. Por lo tanto, el derecho a una buena administración desempeña un papel determinante para garantizar que la adopción de nuevas tecnologías no socave la justicia administrativa y, en términos generales, el Estado de derecho.

Digital Freedom Fund | 55

54 | digiRISE

James Farrar, Worker Info Exchange

Digital Freedom Fund | 55 Muchos sindicalistas albergan un escepticismo sano sobre el Derecho, y con razón, dada la historia de la criminalización de la lucha de clases desde hace la revolución industrial.

En la década de 1830 seis líderes de un sindicato agrícola emergente en el sur de Inglaterra fueron arrestados y condenados a una pena de siete años de traslado a la colonia penitenciaria de Australia. El destino de estos mártires de Tolpuddle ha dado lugar al nacimiento de los sindicatos modernos en Gran Bretaña.

La actividad sindical se consideraba como conspiración criminal y restricción del comercio en Gran Bretaña hasta que se adoptó la Trade Union Act (Ley en materia de sindicatos) de 18711 pero incluso entonces, los piquetes y las huelgas seguían constituyendo delitos hasta 1875.2 Hasta hoy, los sindicalistas siguen enfrentándose a riesgos similares: la dicotomía donde la libertad de asociación se respeta, pero la libertad, y mucho menos, el derecho de protesta y huelga definitivamente que no.3 Por lo tanto, el estado no ha tenido la menor consideración del derecho de huelga durante generaciones. En 1972 veintidós sindicalistas del Reino Unido fueron condenados por el delito de la «conspiración para intimidar» y encarcelados tras haber convocado huelgas en obras de construcción en Shrewsbury. En 2021 las condenas fueron finalmente anuladas. En 1984 noventa y un mineros en huelga en Orgreave fueron acusados del delito de distrurbios violentos pero los casos contra todos se sobreseyeron tras la revelación de masivas faltas cometidas por la policía en relación con dichos casos.

Actualmente, la resistencia por parte del Estado continúa. Police, Crime Sentencing and Courts Act of 2022 (La Ley en materia de policía, de delincuencia, de imposición de penas y de órganos jurisdiccionales de 2022)4 impone nuevas y estrictas sanciones penales con respecto al derecho de protesta en el Reino Unido, lo que pone a los trabajadores en huelga y a los manifestantes en continuo peligro. Últimamente, hemos visto una represión violenta estatal de las huelgas de los trabajadores en Francia que están protestando por el aumento de la edad de jubilación. Y, aunque la solidaridad de clases constituye un principio fundamental para la lucha por los derechos de los trabajadores, la acción huelguística secundaria sigue siendo ilegal en muchos países de la UE, como lo es en el Reino Unido.

Pero siempre ha sido así. Debemos reconocer la realidad histórica de que la huelga y la acción colectiva se llevan a cabo dentro del contexto de un conflicto de clases continuo entre la clase dominante capitalista y la clase trabajadora. Aunque nos ha costado mucho conseguir los derechos y las libertades que tenemos, estos siguen siendo estrictamente controlados, moderados y reducidos por la clase dominante. La buena noticia es que la revolución permanente puede y debe seguir adelante y lo hará a pesar de todo, dado que la lucha está aún muy lejos de su terminación.

La clasificación errónea y la resistencia del capital contra los llamados trabajadores de la economía gig La clasificación errónea en la economía gig se relaciona principalmente con los empleadores de plataformas que usan contratos perjudiciales con los trabajadores para calificarlos erróneamente de contratistas independientes con el fin de evitar las obligaciones que entraña el empleo. Sin embargo, hay otros elementos que son igual de perjudiciales para los intereses colectivos a largo plazo de los trabajadores. Al intentar crear la aplicación App Drivers & Couriers Union (ADCU) en 2020, nos enfrentamos inmediatamente a tres obstáculos en cuanto a nuestro reconocimiento por el regulador gubernamental. En primer lugar, debíamos probar que ya actuábamos como sindicato antes de que fuera posible que nos reconociéramos como tal —un problema como el del huevo y la gallina. En segundo lugar, debíamos mostrar que el sindicato actuaba en favor de los intereses colectivos de los trabajadores miembros en el marco de la reglamentación de la relación entre los trabajadores y los empleadores como Uber. Esto era casi imposible, dada la asimetría del poder entre el sindicato y el poderío de una empresa de plataforma como Uber o Deliveroo y su resistencia absoluta a reconocer nuestros derechos de negociación colectiva. Finalmente, cumplimos [el marco regulador] demostrando suficiente acción colectiva en nombre de los trabajadores con respecto al establecemiento de nuestro fideocomiso de datos para los trabajadores con el fin de construir el poder de negociación colectiva haciendo la distribución de los ingresos y del trabajo más transparente para los miembros del sindicato.

56 | digiRISE

“...Aunque queda aún mucho camino por recorrerr, es fácil comprender cómo las empresas de plataformas acaban siendo no sólo muy grandes para regularlas sino también indispensables para la sociedad hasta el punto de que la huelga podría verse limitada de maneras”

Por fin, tras alcanzar la certificación, el regulador gubernamental nos advirtió de que si se desestimaran nuestras pretensiones de reconocernos como trabajadores en el asunto ante el Tribunal Supremo, se revocaría nuestra certificación como sindicato. Esto se debe a que, con arreglo a la legislación británica en materia de sindicatos, los sindicatos deben están formados principalmente por trabajadores. Por lo tanto, si la clasificación errónea se hubiera basado en la tecnicidad jurídica, como ha sido desde hace mucho tiempo el caso de los mensajeros de Deliveroo, se negaría la protección [de la negociación colectiva] mediante los sindicatos a quienes la necesiten más. Tal y como están las cosas, la clase dominante y los órganos jurisdiccionales consideran absurdamente que los mensajeros de Deliveroo forman parte de la clase capitalista porque hasta ahora se les ha negado el reconocimiento como trabajadores. Esto se debe a que generalmente la ley reconoce el derecho de sustitución como una prueba clave para determinar si alguien es trabajador o contratista independiente. Con respecto a los conductores que prestan servicios de pasajeros, dicha sustitución es normalmente estrictamente prohibida por las condiciones de autorización del transporte local. En la entrega de alimentos, el derecho se ofrece no porque sea deseable o necesaria una mayor externalización desde el punto de vista empresarial, sino porque constituye un medio de invalidar las reinvidicaciones laborales. El efecto colateral trágico es el deterioro de las condiciones de la precariedad industrial y de la esclavitud moderna. En un caso examinado por Worker Info Exchange, la solicitud de acceso de un interesado ha revelado que cuarenta y nueve trabajadores estaban vinculados a una sola cuenta bancaria en la plataforma.

Además, sin la protección limitada de la condición de los trabajadores o de los empleados, los sindicatos o los grupos de empleados se ponen en peligro cuando emprenden acciones colectivas. En 2018 el sindicato GMB fue forzado a abandonar la huelga contra un proveedor de servicios de entrega de Amazon tras haber sido amenazado con el pagamento de indemnización, por responsabilidad extracontractual, de los daños derivados de la huelga realizada por conductores no clasificados como trabajadores.5 Similarmente, en España, los conductores de taxi que eran miembros de Elite Taxi y Taxi Project, han sido amenazados con una multa de 120.000 EUROS tras una denuncia según la cual su protesta contra Uber constituía una restricción del comercio perjudicial para Uber.6 La ausencia de condición de empleado o de trabajador tiene como consecuencia que los trabajadores más precarios están expuestos a dichos formidables riesgos jurídicos.

“En la economía gig la clasificación errónea y la desinformación han enturbiado las aguas del progreso hacia la negociación colectiva.”

Las grandes plataformas se han apresurado a congraciarse con el gobierno y la clase dominante y ajustar sus intereses a ellos. En California, las plataformas de la economía gig se han aliado con éxito para promover la inclusión de una propuesta papeleta en las elecciones generales. La propuesta era en realidad un referéndum para tratar de manera diferente a los trabajadores gig y negarles los derechos que entraña el empleo y que se habían establecido con decisiones judiciales con arreglo a la ley estatal. Esta votación cruel tuvo exito a pesar de que el procedimiento de impugnación por constitucionalidad sigue adelante.

En Europa, Uber y otras plataformas de transporte compartido han impulsado una estrategia de integración decidida en la oferta del sistema de transporte público de masas. Este sistema incluye no sólo servicios de transporte compartido sino también servicios de micromovilidad, como escúteres o bicicletas. Al mismo tiempo, el poder de la inteligencia de la plataforma ha resultado en realidad muy valioso para las fuerzas policiales y de inteligencia7 así como para la planificación estratégica del gobierno central en respuesta a la pandemia Covid8. Aunque queda aún mucho camino por recorrerr, es fácil comprender cómo las empresas de plataformas acaban siendo no sólo muy grandes para regularlas sino también indispensables para la sociedad hasta el punto de que la huelga podría verse limitada de maneras «previstas por la ley y que son necesarias en una sociedad democrática en interés de la seguridad nacional o el orden público, para la prevención del delito, la protección de la salud o de la moral, o la protección de los derechos y libertades ajenos.»

Que no quepa duda de que, pese a los derechos y las libertades de huelga y de negociación colectiva en Europa, en la práctica dichos derechos están bajo amenaza. En 2022 la Confederación Sindical Internacional afirmó que el derecho de huelga estaba siendo atacado debido al aumento de la criminalización de los trabajadores en huelga, y que el derecho de negociación colectiva también estaba bajo grave erosión.9 En la economía gig la clasificación errónea y la desinformación han enturbiado las aguas del progreso hacia la negociación colectiva. En 2021 Uber alcanzó un acuerdo de reconocimiento con el sindicato GMB10. Es crucial destacar que el acuerdo carece de provisiones de negociación colectiva para abordar el problema de los salarios cró-

Digital Freedom Fund | 57 nicamente bajos, así como el no reconocimiento del tiempo de espera como tiempo de trabajo remunerado. En 2022 el GMB firmó un acuerdo de reconocimiento con Deliveroo con el que se reconoce que los mensajeros de la empresa no son trabajadores, sino contratistas independientes.11 En el caso de Uber, los contratos actuales de los conductores niegan expresamente cualquier elemento de negociación colectiva del acuerdo contractual. Acuerdos similares se han firmado en los Estados Unidos, en Canadá, en Australia y en Bélgica.

En estos acuerdos tal vez veamos tácticas de los grandes sindicatos métodos de negociación industrial de otra era aplicados en el contexto de la economía de servicios con empleadores que no actúan de buena fe y que todavía no están dispuestos o preparados para una verdadera cooperación en materia de negociación colectiva. Demasiado a menudo, el resultado de este enfoque de arriba abajo consiste en acuerdos inefectivos entre el sindicato y el empleador o en que los trabajadores menos remunerados simplemente se quedan atrás.

En Suecia, pese a la larga historia del famoso sueco modelo social, los trabajadores de la economía gig quedan constantemente fuera de la negociación colectiva ya sea a escala empresarial o sectoral y, en consecuencia, fuera del alcance de la protección estatal también. En Suecia gran parte de la gestión de las relaciones laborales no está legislada, sino que sigue entrando en el alcance de la cooperación social entre los sindicatos y los empleadores. Por esta razón, Suecia no ha considerado necesario legislar sobre el salario mínimo.

De hecho, en diciembre de 2022, el gobierno sueco opuso serias objeciones a la propuesta directiva de la UE relativa al trabajo en plataformas digitales por el motivo de que afectaría al sueco modelo social, incluida la negociación colectiva.12 Está claro que la estabilidad alcanzada por acuerdos en materia de negociación colectiva bien organizados y bajo la infuencia estatal puede resultar contraproducente. Tales circunstancias surgen cuando los objetivos de esta negociación colectiva se desconectan y se alejan de la verdadera lucha de clases subyacente.

Worker Info Exchange y App Drivers & Couriers Union han librado una larga lucha por los derechos de los trabajadores contra Uber. También han librado una lucha paralela por la transparencia algorítmica y el acceso de los trabajadores a los datos de carácter personal en el trabajo contra Uber y Ola Cabs como medio de construir el poder colectivo de los trabajadores de plataformas.

Ola Cabs ha sostenido ante los órganos jurisdiccionales que estos objetivos equivalen a un abuso de derechos con arreglo al artículo 15 y al artículo 20 del Reglamento general de protección de datos (Reglamento GDPR). Los órganos jurisdiccionales inferiores han rechazado este argumento afirmando que en la medida en que la intención del interesado incluía el ejercicio del derecho de examinar y comprobar la precisión de los datos, no importaba si las intenciones secundarias consistían en compartir los datos con su sindicato a efectos de establecer un fideocomiso de datos de trabajadores. El órgano jurisdiccional inferior ha añadido que uno de los objetivos de la portabilidad garantizada a los trabajadores por el artículo 20 era «reforzar aún más el control sobre sus propios datos»13 y, en consecuencia, la transmisión de datos de carácter personal a un sindicato o a un fideocomiso de datos de trabajadores era perfectamente compatible con la legislación.

Ola Cabs ha impugnado esta apreciación ante el Tribunal de apelación de Amsterdam que también ha rechazado su alegación según la cual el uso colectivo de los datos equivale a un abuso individual del proceso. «El hecho de que con las presentes solicitudes se persiguen también determinados intereses de los sindicatos o se refuerza la posición negociadora de los conductores no altera el hecho de que las partes recurrentes podían presentar las presentes solicitudes con arreglo al Reglamento GDPR sin tener que probar interés alguno. Al fin y al cabo, los artículos 15 y 20 del Reglamento GDPR no requieren un interés de este tipo. A este respecto, el Tribunal [de apelación] cita la jurisprudencia del Tribunal de Justicia de la UE (en lo sucesivo, «el TJUE») que señala que el Reglamento GDPR tiene como objetivo, en particular, garantizar un nivel elevado de protección de las personas físicas dentro de la Unión y que, a este respecto, el marco jurídico general establecido por el Reglamento GDPR pone en práctica los requisitos derivados del derecho fundamental a la protección de datos de carácter personal garantizado por el artículo 8 de la Carta de los Derechos Fundamentales de la Unión Europea, particularmente los requisitos expresamente previstos en el apartado 2 de dicho artículo.»14 El artículo 28 de la Carta de los Derechos Fundamentes (CDF) de la UE establece un claro derecho a la negociación colectiva y a la huelga, pero ambos derechos siguen estando muy restringidos por los gobiernos de los Estados miembros. Sin embargo, debemos reconocer que estos derechos existen dentro del contexto de un conflicto de clases continuo, una situación de revolución permanente en la que incluso los sindicatos mismos y las instituciones del gobierno están sujetos a fuerzas de reforma y renovación en línea con la manifiesta lucha de clases. Por consiguiente, los derechos de huelga y de negociación colectiva deben facilitar la lucha de clases y no solamente contenerla o restringirla.

58 | digiRISE personas afectadas por el uso real de los algoritmos sólo tienen un derecho limitado: ser informadas cuando interactúan con un algoritmo en lugar de con un ser humano (artículo 52 de la Ley de IA). El principio de transparencia, en relación con el derecho a una buena administración, incluido el derecho de una persona a acceder a su propio expediente, puede proporcionar una base jurídica más sólida para ampliar los derechos a los destinatarios de las decisiones algorítmicas administrativas.

Conclusión El derecho a una buena administración tiene un valor significativo para la regulación del uso de la tecnología por parte de la administración de la UE. Concretamente, al garantizar que las personas sean oídas y que las decisiones administrativas sean motivadas, funciona como un instrumento para ejercer el derecho a la tutela judicial efectiva consagrado en el artículo 47 de la Carta.

No obstante, su importancia va mucho más allá de este papel fundamental. El artículo 41 de la Carta establece las condiciones para la toma de decisiones administrativas que crea un equilibrio justo entre los intereses sociales e individuales. Este equilibrio es particularmente importante a la luz de los cambios profundos en la administración pública introducidos por el uso de las tecnologías digitales que va aumentándose rápidamente, en particular cuando estas tecnologías son desarrolladas y comercializadas por entidades privadas.

Es importante destacar que garantizar que la toma de decisiones administrativas sea motivada y equitativa también aumenta la probabilidad de que las decisiones resultantes se ajusten a la ley. Esta conformidad reduce la necesidad de costosos litigios ante instituciones judiciales ya sobrecargadas. Por lo tanto, el derecho a una buena administración desempeña un papel determinante para garantizar que la adopción de nuevas tecnologías no socave la justicia administrativa y, en términos generales, el Estado de derecho.

Digital Freedom Fund | 59

60 | digiRISE

Fieke Jansen, investigadora co-principal del laboratorio de infraestructuras críticas en la Universidad de Amsterdam y dirigente de la coalición Green Screen Climate Justice and Digital Rights.

Digital Freedom Fund | 61 La datificación de la vida cotidiana ha transformado los derechos digitales de un nicho a una cuestión transversal que afecta a todos los aspectos de la sociedad y se considera una condición previa para que las personas puedan ejercer sus derechos humanos. Este cambio social ha tenido también impacto en cómo se abordan los asuntos relativos a los derechos digitales. Mientras que en el pasado los debates sobre la tecnología de vigilancia estaban arraigados con firmeza en el derecho a la intimidad y a la protección de datos, desde entones se han vinculado a cuestiones relacionadas con la vigilancia policial racializada1 y la naturaleza xenófoba de la fortaleza Europa2. Los debates sobre la competición han pasado de los principios de neutralidad de la red a la economía de los datos —la centralización del dinero, del poder y de la riqueza en las manos de pocas empresas tecnológicas. Este artículo aborda otro nexo emergente entre los derechos digitales y el derecho a la protección del medio ambiente en el artículo 373 de la Carta europea de los Derechos Fundamentales. Empieza aclarando las intersecciones entre el clima, el medio ambiente y la tecnología. Después, aborda el artículo 37 y los fundamentos necesarios para usar este derecho fundamental con el fin de restringir la naturaleza extractivista del Internet y su economia de los datos.

Las implicaciones medioambientales del Internet El aumento del nivel del mar, los incendios forestales, las sequías, las olas de calor y otros cambios meteorológicos afectan a las comunidades, a los animales y a las plantas en todo el mundo. No se debe abordar estos acontecimientos como asuntos singulares, sino como manifestaciones interconectadas de la era de la degradación medioambiental y de la crisis climática4, en que vivimos actualmente. Nuestras economías e industrias, incluidos la economía de los datos y los gigantes tecnológicos, están destinados a exacerbar las desigualdades sistémicas y agotar rápidamente el planeta. Para no sobrepasar los límites del planeta, debemos hacer un cambio rápido y sin precedentes hacia una sociedad más justa y sostenible. Esto incluye comprender y actuar sobre el nexo entre el medio ambiente, el clima y la tecnología.

A este fin, una coalición informal de personas, profesionales en el ámbito de la justicia climática y de los derechos digitales, financiadores y académicos aunaron sus esfuerzos hace dos años. La coalición Green Screen Climate Justice and Digital Rights comenzó explorando lo que significa centrar la justicia climática en los derechos digitales5 y comprender las repercusiones medioambientales del Internet. Actualmente estamos en el proceso de reunirnos, crear coaliciones entre los diferentes movimientos e identificar vías a las que podamos recurrir con respecto a una serie de temas, entre los cuales podría estar la litigación. Este artículo está basado en el trabajo, la investigación y los debates que tuvimos con organizadores comunitarios, activistas, artistas, financiadores y académicos hace dos años.

La investigación inicial6 encargada por la coalición Green Screen ha resaltado que los debates sobre los recursos naturales, el incontrolado ecopostureo desinformativo de las empresas de combustibles fósiles y la extracción de materias primas críticas para el hardware que generan un tremendo impacto ecológico están vinculados a la justicia climática y los derechos digitales. Es importante señalar que estos son unos de los muchos problemas complejos de la intersección entre el clima y la tecnología. Otros temas que han salido a la luz desde entonces son la necesidad de identificar y cuestionar las soluciones falsas y engañosas sobre el clima7, el extractivismo y la necesidad de solidaridad —junto con el activismo sobre el clima, el medio ambiente y la tierra. A continuación, voy a profundizar en el conflicto de los recursos naturales y los centros de datos, así como en la extracción de materias primas críticas.

La investigación muestra que en 2020 el Internet y las tecnologías de la comunicación representan entre el 1.8% y el 2.8% de las emisiones mundiales de gases de invernadero8 y se estima que aumentarán al 14% en 20409. Además, los centros de datos se están convirtiendo en una de las fronteras del Internet en el conflicto en torno a los derechos sobre la tierra, la electricidad10 y el agua11, entre las empresas de datos y los habitantes.

En los Países Bajos, el centro de datos previstos de Meta se ha estimado que consumía el doble del uso de energía de la ciudad de Amsterdam12, y el centro de datos de Microsoft será el único consumidor de un parque de turbinas eólicas de gran envergadura13. Los habitantes del campo neerlandés se sienten engañados14 ya que les habían prometido una producción local de energía renovable para el consumo local, pero los políticos han dado prioridad a la industria tecnológica frente a las necesidades de los hogares.

Similarmente, el deseo de Meta de ampliar su centro de datos en Los Lunes,

62 | digiRISE Nuevo México, EE. UU., ha suscitado un conflicto en torno al acceso al agua15. En esta zona de escasez de agua, se priorizaron las necesidades hídricas del Meta por encima de los derechos básicos de los ciudadanos.

“El movimiento por el medio ambiente tiene una larga historia de litigación estratégica a través de la cual las empresas y los estados se han visto forzados a reducir las emisiones de carbono, asignar la responsabilidad y reclamar por daños tras la contaminación de la tierra y del agua a causa de una fuga de gas o petróleo que conllevan la pérdida del valor de la propiedad, daños físicos y mentales, así como a impedir el otorgamiento de nuevos permisos de extracción de combustibles fósiles.”

La naturaleza extractivista16 de nuestra economía de los datos. El Internet no es una nube17, es una infraestructura material de cables, alambres, inrerruptores y dispositivos para usuarios finales. Se trata de una infraestructura diseñada, mantenida y regulada por personas e instituciones con el fin de la interconectividad, la velocidad, la eficiencia y la resistencia. La metáfora de la nube ha oscurecido la naturaleza extractivista del Internet y la dependencia de materias primas fundamentales. Según la Association for Progressive Communication (APC) [Asociación para el progreso de las comunicaciones]18 «los minerales utilizados en la fabricación de tecnología siguen siendo extraídos de áreas y regiones donde tienen lugar la destrucción del medio ambiente, así como los abusos y los conflictos en torno a los derechos humanos, y donde las represalías contra los defensores del medio ambiente y de la tierra por parte de los actores estatales y privados son comunes». Las materias primas críticas que son necesarias para el Internet y su economía de los datos se consideran escasas en la cadena de suministro mundial19 y constituyen fuentes primarias de China, Turquía, Sudáfrica , y del triángulo del litio20 en Chile, Argentina y Bolivia.

Estos ejemplos ponen de relieve el nexo y la conexión entre, por un lado, la degradación medioambiental y la crisis climática, y, por otro lado, el Internet y la economía de los datos. Hay un campo emergente y creciente que ha empezado a debatir estos asuntos, cuestionar las soluciones técnicas engañosas sobre el clima y orientarse hacia infraestructuras de Internet sostenibles y equitativas. No obstante, la urgencia de la crisis climática, el desastre medioambiental de la extracción minera y e-waste, así como la exclusión de los afectados de manera desproporcionada de las soluciones a los problemas requieren que todos tomemos acción. En la siguiente sección, el presente artículo cómo avanzar hacia la conexión de la protección del medio ambiente con las cuestiones relativas a los derechos digitales.

Artículo 37 Protección del medio ambiente El Internet y su economía de los datos tienen un impacto demostrable en el medio ambiente, a pesar de que la Comisión Europea21 considera la tecnología como una forma de salir de la crisis climática. Las inversiones en las tecnologías de las ciudades inteligentes y la inteligencia artificial se consideran como formas de mitigar y adaptarse a la crisis climática. El supuesto subyacente es que la tecnología hará las demás industrias más eficientes y menos contaminantes y creará sistemas de alerta temprana que permitan a los estados mitigar el aumento del nivel del mar, los incendios forestales, las sequías y otros cambios meteorológicos. No hay una reflexión crítica sobre cómo estas infraestructuras y tecnologías contribuyen y exacerban la degradación medioambiental, el cambio climático y la crisis social.

Al separar la transición doble —el nuevo Pacto Verde y la agenda de la digitalización— y al priorizar la solución técnica frente a los cambios industriales rápidos, la Unión Europea y sus Estados miembros dan prioridad al interés económico y a la posición geopolítica frente a la protección del entorno social y del medio ambiente. La cuestión es cómo se relaciona esto con el artículo 37 de la protección del medio ambiente22 de la Carta Europea de los Derechos Fundamentales. El artículo 37 dispone que «[e]n las políticas de la Unión se integrarán y garantizarán, conforme al principio de desarrollo sostenible, un nivel elevado de protección del medio ambiente y la mejora de su calidad». Los análisis jurídicos del artículo 37 sitúan una serie de retos en primer plano.

«Su redacción difiere notablemente de la de una disposición clásica sobre derechos: se omite el término ‘derecho’ en sí mismo, al igual que términos similares utilizados en otras disposiciones de la Carta que sí otorgan y protegen derechos individuales» Todo esto se reduce a que el artículo 37 es una declaración de principios. Este artículo no estipula derechos individuales procesales a la protección del medio ambiente o a un medio ambiente sano ni especifica a cualquier beneficiario. El artículo proporciona directrices administrativas vagas, prevé los deberes de las autoridades públicas de incluir consideraciones medioambientales en la formulación y aplicación de políticas sin definir o hacer operativos conceptos como un «nivel elevado de protección del medio ambiente» y el «principio de desarrollo sostenible». Por lo tanto, toda autoridad pública

Digital Freedom Fund | 63 puede interpretar de manera flexible estos conceptos amplios e indefinidos. Finalmente, el artículo 37 tampoco ha codificado los derechos procesales sobre el medio ambiente y, así, no ha garantizado los derechos al acceso a la información y a la participación del público en los procesos de toma de decisiones respecto al medio ambiente, como se estipulan en la Convención de Aarhus.

No hay jurisprudencia que utilice el artículo 37 para cuestionar el impacto de las infraestructuras de Internet y de las nuevas tecnologías en el medio ambiente. Esto no es sorprendente dado que abordar el impacto ambiental y climático de Internet es una asunto emergente. Por lo tanto, este artículo puede no ilustrar cómo el artículo 37 se ha aplicado para restringir la naturaleza extractivista de esta industria. No obstante, recurre a la obra de la coalición Green Screen para resaltar las condiciones de la colaboración entre los movimientos que podrían permitir que el movimiento utilice el potencial de la Carta de la UE para defender y proteger los derechos digitales y los derechos sobre el medio ambiente. La creación de una coalición sobre la justicia climática y los derechos digitales requiere inversiones en articular un punto de entrada común, crear una comunidad, articular una ideología política, encontrar un terreno de entendimiento, aprender los unos de los otros y definir una agenda común a la que se pueda recurrir.

Colaboración entre los movimientos Articular un punto de entrada. En su libro, Pollution is Colonialism23, Max Libioron argumenta que tenemos que estudiar atentamente y pasar del enfoque sobre los daños a un enfoque sobre la violencia. El marco de daños se centra en el motivo por el cual una determinada industria contamina en un tiempo y espacio determinado, esto es, x cantidad de energía renovable se prioriza frente a las necesidades de los hogares o x cantidad de litio y agua se utiliza para la fabricación de un ordenador. Este enfoque crea aperturas tecnocráticas para construir las condiciones bajo las cuales la contaminación se considere aceptable. Según el marco de violencia, teniendo en cuenta la amplitud del Internet y de la economía de los datos, podemos asumir que utilizará x cantidad de energía y agua para funcionar y x cantidad de materias primas fundamentales para existir. Por lo tanto, esta industria como tal es contaminante.

Construir una red de derechos digitales y justicia climática. La mayoría de las personas que se inician en este nexo son expertos en el campo de los derechos digitales, la justicia climática o la justicia ambiental. Como tal, la amplitud y profundidad de esta área temática requiere que los diferentes movimientos trabajen juntos, encuentren momentos estratégicos para conectarse, aprovechen las oportunidades para acciones conjuntas y compartan aprendizajes y experiencias sobre temas específicos.

Crear una comunidad que refleje la complejidad del problema. Necesitamos la voz y los conocimientos especializados de los más afectados, el movimiento por el medio ambiente y el clima y la comunidad de derechos digitales para que pongan fin a las prácticas extractivas, encuentren soluciones e influyan de forma activa en los próximos actos legislativos sobre los chips y las materias primas fundamentales. Esto requiere un enfoque que se centre respetuosamente en que las comunidades más afectadas por la crisis climática, la contaminación, la mala gestión medioambiental y las dañinas prácticas industriales garanticen que las soluciones no reproduzcan los sistemas de opresión existentes.

Articular una ideología política24. La diversidad de voces reúne una pléyade de necesidades, perspectivas, prioridades, privilegios y enfoques. Esto require la articulación de una teoría de poder. Históricamente, los dos movimientos han tenido relaciones diferentes con el mercado y el estado. Por ejemplo, las empresas eran aliadas naturales de la comunidad de derechos digitales en los primeros días del Internet, mientras que el movimiento por el clima y el medio ambiente tiene una relación crítica y conflictiva con el mercado y, específicamente, con las empresas de combustibles fósiles. A pesar de que estas dinámicas han cambiado y la relación con los gigantes tecnológicos se ha hecho más conflictiva, las coaliciones deben debatir la teoría del poder.

Encontrar un terreno de entendimiento. Los diferentes movimientos tienen sus propias historias, luchas, vocabulario, comunidades y repertório de acción únicos. Para conectar el nexo entre la protección del medio ambiente y los derechos digitales es importante encontrar un terreno de entendimiento. Esto requiere curiosidad y humildad para que los movimientos aprendan los unos de los otros y encuentren una causa común a la que unirse. Un tema natural podría ser el extractivismo25 que se refiere a la extracción de

“El artículo 37 de la Carta de la UE, que articula el derecho a la protección del medio ambiente, podría ser un instrumento para forzar a quienes inviertan, usen y obtengan beneficios del Internet y su economía de los datos a cambiar.

Para conseguirlo, necesitamos invertir en la construcción de una coalición de los afectados y el movimiento por el medio ambiente, la justicia climática y los derechos digitales. ”

64 | digiRISE críticos minerales raros que son necesarios para los dispositivos digitales, al consumo de otros recursos naturales, como el agua tanto en la extracción minera como en el tratamiento de datos, y al extractivista enfoque lucrativo más amplio del sector tecnológico.

Aprender los unos de los otros. El movimiento por el medio ambiente tiene una larga historia de litigación estratégica a través de la cual las empresas y los estados se han visto forzados a reducir las emisiones de carbono, asignar la responsabilidad y reclamar por daños tras la contaminación de la tierra y del agua a causa de una fuga de gas o petróleo que conllevan la pérdida del valor de la propiedad, daños físicos y mentales, así como a impedir el otorgamiento de nuevos permisos de extracción de combustibles fósiles. Últimamente, Urgenda ha ganado un juicio contra el estado neerlandés con la motivación de que el último no ha cumplido su deber de proteger y mejorar el medio ambiente en relación con su no actuación en cuanto a la reducción de las emisiones de gases de invernadero. Prácticamente, esto significaba que el Tribunal de Apelación de La Haya en 2020 dictó que el Estado debía reducir un 25% las emisiones de CO2 en comparación con 1990.

Conclusión La urgencia de la crisis climática requiere que toda industria centre un futuro sostenible y equitativo en sus actividades actuales. Esto incluye la economía de los datos y requiere que dicha industria abandone en esencia su naturaleza extractivista, la lucha por el desarrollo infinito, y las soluciones técnicas engañosas a problemas retorcidos.

Esto no sucederá de manera natural. El artículo 37 de la Carta de la UE, que articula el derecho a la protección del medio ambiente, podría ser un instrumento para forzar a quienes inviertan, usen y obtengan beneficios del Internet y su economía de los datos a cambiar. Para conseguirlo, necesitamos invertir en la construcción de una coalición de los afectados y el movimiento por el medio ambiente, la justicia climática y los derechos digitales.

Agradecimientos: Este artículo no podría haberse escrito sin las conversaciones infinitas que he tenido con Michelle Thorne, Maya Richman, la coalición Green Screen, los autores del análisis del panorama y de las notas breves26, los participantes en la reunión de Berlín y San Jose, y muchos otros.

Digital Freedom Fund | 65

66 | digiRISE

Alexandre Biard, BEUC – The European Consumer Organisation

All views expressed here are personal.

Digital Freedom Fund | 67 El artículo 38 de la Carta de la UE dispone que «En las políticas de la Unión se garantizará un nivel elevado de protección de los consumidores». Junto con otros artículos sobre la asistencia sanitaria, la protección del medio ambiente o la seguridad social forma parte del título IV más amplio sobre la «Solidaridad» que establece los fundamentos de las políticas de la UE. El artículo 38 se basa en el artículo 169 del Tratado de Funcionamiento de la Unión Europea (TFUE).1 No obstante, aunque el artículo 169 del TFUE prevé información adicional sobre la manera en que la Unión debe garantizar un nivel elevado de protección de los consumidores, la formulación del artículo 38 se queda corta y abstracta. Al igual que la totalidad del título IV, el historial legislativo del artículo 38 fue tumultuoso.2 La versión inicial de la Carta se refería a «un alto nivel de protección de la salud, de la seguridad y de los intereses de los consumidores».3 Las enmiendas posteriores han llegado a proponer la supresión del artículo 38 en su totalidad4 o a convertirlo en un derecho subjetivo para los consumidores.5 La versión final acordada se describió finalmente como un compromiso.6 A primera vista, la función del artículo 38 parece doble. Por un lado, su inclusión en la Carta transmite un fuerte mensaje simbólico dado que establece la protección de los consumidores como uno de los propósitos fundamentales de las políticas de la UE. También reconoce el papel cada vez más importante que ha desempeñado la protección de los consumidores en la UE. Por otro lado, la dimensión operativa del artículo 38 plantea varias cuestiones. En primer lugar, el artículo 38, aunque figura en la Carta de los Derechos Fundamentales de la UE, simplemente tiende a establecer un principio y no un derecho que pueda ser directamente invocado por los particulares. En segundo lugar, su formulación generica plantea cuestiones sobre hásta que punto guía verdaderamente la intervención de los responsables políticos de la UE al elaborar propuestas legislativas nuevas. Más allá de estas dudas, la cuestión es si el artículo 38 podría desempeñar un papel más práctico en el futuro, y de qué manera.

Una relevancia (limitada) ex ante desde una perspectiva de formulación de políticas El artículo 38 establece un «nivel elevado de protección de los consumidores» como un objetivo fundamental rector de la política de la UE. La cuestión es si la referencia al artículo 38 por parte de las instituciones de la UE al diseñar nuevas políticas es significativa y bien planificada o si simplemente equivale a una forma de dorar la píldora. Una atención cuidadosa a los trabajos preparatorios que han acompañado a varias recientes legislaciones de la UE relevantes en el ámbito de la protección de los consumidores puede ayudar a arrojar algo de luz sobre este asunto.

Consideremos en primer lugar la propuesta de la directiva europea relativa a las acciones de representación (directiva 2020/1828 de la UE). En su exposición de motivos, la Comisión Europea destacó que «la propuesta contribuye a garantizar un elevado nivel de protección de los consumidores (artículo 38 de la Carta)».7 No obstante, no proporcionó ninguna aclaración adicional sobre lo que significaba esto prácticamente. El contraste es fuerte cuando se considera el siguiente párrafo dedicado al artículo 47 de la Carta de la UE en el que la Comisión Europea explicó concretamente por qué y como la propuesta legislativa cumplía los requisitos del artículo 47.8 La misma observación se aplica sobre la mejora de la aplicación y la modernización de las normas de protección de los consumidores de la UE (directiva 2019/2161 de la UE).

En su exposición de motivos se limitaba a afirmar que «[l]a propuesta es conforme con el artículo 38 de la Carta de los Derechos Fundamentales, según el cual la UE debe garantizar un nivel elevado de protección de los consumidores» pero no definó claramente qué implicaba esto en la práctica. Finalmente, consideremos también la propuesta de la Ley de IA. La exposición de motivos explica que «al ser aplicable en determinados ámbitos, la propuesta tendrá efectos positivos en los derechos de diversos grupos especiales, como los derechos de los trabajadores a unas condiciones de trabajo justas y equitativas (artículo 31), un elevado nivel de protección de los consumidores (artículo [3]8)[...]».

No obstante, más allá de discursos de alto nivel, la Ley de IA, tal como se propuso por la Comisión Europea, no contribuye a un nivel elevado de protección de los consumidores.

Como ha señalado la BEUC: «Más allá de la capa declaratoria no vinculante contenida en los considerandos, la protección de los consumidores está ausente en la propuesta Ley de IA. La propuesta no se refiere a la protección de los consumidores frente al

68 | digiRISE impacto negativo de la IA entre los objetivos legislativos de la Ley de IA. Los consumidores no obtienen derechos horizontales en virtud de la propuesta y están excluidos del marco conceptual dado que el término “usuario” en la propuesta sólo se define como usuario institucional o empresarial».9 Debido a su formulación vaga que se puede interpretar de numerosas maneras diferentes, en combinación con la dificultad de definir lo que implica concretamente un «nivel elevado de protección de los consumidores», la función normativa del artículo 38 parece limitada en la práctica, con el riesgo de que la referencia a esta por parte de los responsables políticos de la UE a menudo se quede en una cáscara vacía.

Una relevancia (creciente) ex post desde una perspectiva de aplicación Al elaborar la Carta, la Convención consideró el artículo 38 como un principio y no como un derecho sustancial de las personas.10 Esto conlleva algunas consecuencias dado que el artículo 51 prevé que los derechos consagrados en la Carta deben ser respetados mientras que los principios deben ser sólo observados. La cuestión que se pone ahora es si puede ser posible ir más allá de esta suposición original y convertir el artículo 38 en un instrumento útil que podría ser justiciable por parte de las personas y las organizaciones de la sociedad civil. Pero resulta interesante que en su informe de 2020 la Agencia de Derechos Fundamentales parecía ya difuminar las líneas al referirse al «derecho de la protección de los consumidores» y al utilizar la protección de los consumidores en el contexto de una litigación estratégica: «Las organizaciones de la sociedad civil (OSC) y otras organizaciones que operan en el ámbito de los derechos fundamentales, como INDH, ONG o abogados especializados en los derechos humanos y otros defensores de los derechos humanos, pueden uitlizar la Carta en todos los aspectos diferentes de su trabajo cotidiano.

Este trabajo incluye una litigación estratégica y defensa , sensibilización, educación, vigilancia e investigación. La naturaleza supranacional de la Carta y su formulación explícita la convierten en un instrumento importante para una litigación estratégica. El derecho a la protección de datos, el derecho a la protección de los consumidores, y el derecho a un juez imparcial sirven de ejemplos.»11 (énfasis añadido) Una revisión de la jurisprudencia del Tribunal de Justicia de la Unión Europea (TJUE) ofrece algunas orientaciones sobre la forma en que se puede aplicar el artículo 38. En dos sentencias relativas a los derechos de los pasajeros aéreos, el TJUE ha usado el artículo 38 para equilibrar y restringir la aplicación de otros derechos que también estaban en juego. Concretamente, el asunto C-12/11 (Mc Donagh y Ryanair)12 tenía como objeto un litigio entre un transportista aéreo y un pasajero a quien le había negado la prestación de la asistencia prevista en la legislación 261/2004 de la UE tras la cancelación de los vuelos a causa de la erupción de un volcán. Inter alia, la compañía aérea afirmó que la obligación de prestar asistencia a los pasajeros según lo previsto en el Derecho de la UE vulneró sus derechos fundamentales previstos en el artículo 16 (libertad de empresa) y en el artículo 17 (derecho a la propiedad) de la Carta de la UE. En consecuencia, la compañía aérea sostuvo que las provisiones del Derecho de la UE relevantes eran inválidas. El Tribunal de Justicia citó el artículo 38 para limitar el alcance de los derechos fundamentales del comerciante. En primer lugar, el Tribunal de Justicia subrayó «la necesidad de considerar el artículo 38 de la Carta que pretende garantizar, en las políticas de la Unión, un elevado nivel de protección de los consumidores, incluidos los pasajeros aéreos»,13 y a continuación dictó que «la importancia del objetivo de la protección de los consumidores, incluidos los pasajeros aéreos, puede justificar consecuencias económicas negativas, incluso considerables, para determinados operadores económicos».

Este enfoque fue ratificado a continuación en otra sentencia (asunto C-28/20 Airhelp) en la que el Tribunal de Justicia dictó que «la libertad de empresa y el derecho de propiedad no constituyen prerrogativas absolutas y que, […] deben conciliarse con el artículo 38 de la Carta que, al igual que el artículo 169 del TFUE, pretende garantizar, en las políticas de la Unión, un elevado nivel de protección de los consumidores, incluidos los pasajeros aéreos».14 También a nivel nacional, los órganos jurisdiccionales han considerado la aplicación del artículo 38 de la Carta. Un asunto en la República Checa tenía como objeto la situación de una persona que había suscrito un contrato en línea con una empresa para la revi-

Digital Freedom Fund | 69 sión de una tesis. La persona no quedó satisfecha con el resultado final y, por lo tanto, desistió del contrato sin pagar los honorarios acordados. La empresa presentó un recurso contra la persona y el tribunal de distrito resolvió a favor de la empresa. Dado que el importe en juego era bajo, no se interpuso recurso de apelación contra la sentencia.

La persona recurrió al Tribunal Constitucional invocando el derecho a la protección de los consumidores en virtud del artículo 38 de la Carta. El Tribunal Constitucional dictó que el tribunal de distrito debería —a la luz del artículo 38 de la Carta— haber aplicado las disposiciones del código civil checo relativas a la protección de los consumidores y, por consiguiente, reconoció el derecho de la parte demandante a la protección de los consumidores y anuló la sentencia anteriormente mencionada del tribunal de distrito.

15 En Eslovaquia, un tribunal regional hizo uso (inter alia) del artículo 38 para declarar ilícita una cláusula contractual que imponía una sanción al consumidor. Como subrayó el tribunal: «La sanción contractual no ha sido individualmente acordada, se trata de un contrato tipo que crea una gran desproporción entre los derechos y la[s] obligaci[ones] de las partes contratantes, desfavoreciendo al consumidor, está en conflicto con la protección de los derechos de los consumidores, con la Carta de los Derechos Fundamentales de la Unión Europea (artículo 38), según el cual con el fin de aplicar uno de los derechos fundamentales de la Unión Europea, en las políticas estatales se garantizará un nivel elevado de protección de los consumidores, y, por lo tanto, es posible utilizar todos los medios efectivos para proteger a los consumidores con el fin de aumentar su confianza en el mercado que no debe oprimirlos con prácticas injustificadas».16 El artículo 38 aún no ha desarrollado su potencial a través de la jurisprudencia y el análisis doctrinal, pero su valor añadido ya parece prometedor.

Un potencial por liberar El artículo 38 reconoce la importancia de la protección de los consumidores como valor fundamental de la UE. No obstante, su efecto operativo sigue siendo paradójico. En primer lugar, el artículo 38 inicialmente se consideró como principio rector de las políticas de la UE. No obstante, prácticamente, su impacto normativo a menudo parece ser limitado. En segundo lugar, al principio el artículo 38 no se concibió inicialmente como una concesión de derechos subjetivos y, sin embargo, la experiencia tiende a mostrar que el artículo 38 ha sido invocado para la defensa de los intereses de los consumidores.

Al fin y al cabo, el principio de la protección de los consumidores en el artículo 38 se puede utilizar en relación con otros derechos sustanciales,17como el artículo 47 (sobre la tutela judicial) o el artículo 8 (sobre la protección de datos). Uno de los futuros retos principales será el de crear progresivamente un nuevo entendimiento de la política de la UE sobre la protección de los consumidores, así como del artículo 38, teniendo en cuenta otros derechos fundamentales clave protegidos por la Carta, como el derecho a la no discriminación (artículo 21) (por ejemplo, importante en el contexto del desarrollo de la inteligencia artificial), los derechos del niño (artículo 24), de las personas mayores (artículo 25) y de las personas discapacitadas (artículo 26) (importante para la protección de los consumidores vulnerables). Estos derechos fundamentales deben tomarse plenamente en cuenta a la hora de regular los mercados y ayudar a construir una definición renovada y moderna de la protección de los consumidores en la UE.

“Al fin y al cabo, el principio de la protección de los consumidores en el artículo 38 se puede utilizar en relación con otros derechos sustanciales,como el artículo 47 (sobre la tutela judicial) o el artículo 8 (sobre la protección de datos). Uno de los futuros retos principales será el de crear progresivamente un nuevo entendimiento de la política de la UE sobre la protección de los consumidores, así como del artículo 38, teniendo en cuenta otros derechos fundamentales clave protegidos por la Carta”

70 | digiRISE

Notas

el efecto práctico de ampliar el alcance de la prohibición mucho más allá del contenido supuestamente ilícito contra el cual se dirige. Es difícil sostener que la prohibición, con su impacto de gran alcance, ha constituido la medida menos intrusiva disponible desde el punto de vista del derecho a la libertad de expesión con arreglo al artículo 10 del CEDH.»

Articulo 11 1.

2.

3.

4.

5.

CDH 2018, p. 16 «Unas garantías genuinas de no discriminación requerirían que las empresas fueran más allá de los enfoques formalistas que consideran todas las características protegidas como igualmente vulnerables a los abusos, el acoso y otras formas de censura.» El Relator Especial sobre la promoción y protección del derecho a la libertad de opinión y de expresión reconoce en este punto que el abuso y el acoso constituyen, por su efecto silenciador, una forma de censura.

Quintais et al.; 2022 p. 24 «se debe señalar que un elemento importante del artículo 10 del CEDH y del artículo 11 de la Carta es el principio de las obligaciones positivas. En virtud del derecho a la libertad de expresión, los Estados tienen no sólo una obligación negativa de “abstenerse” de interferir en la expresión libre, sino también una obligación positiva de proteger la expresión libre, “incluso en el ámbito de las relaciones entre las personas”, incluidas las relaciones entre una persona y una “entidad privada”».

Frosio, Husovec; 2020 p. 15 «Gracias a los puertos seguros para la responsabilidad, los proveedores están parcialmente exentos de la responsabilidad por los contenidos de sus usuarios. De este modo, tienen efectivamente el poder de decidir sobre los contenidos que publican los usuarios.

No obstante, este poder no se completa con una responsabilidad frente a sus usuarios de respetar sus derechos de expresión en alguna forma particular. Como es bien sabido, esto le ha llevado a Tushnet a llamarlo “poder sin responsabilidad”.»

Quintais et al.; 2022 p. 26 «El artículo 20, apartado 4, parece implicar que los usuarios pueden presentar una reclamación directamente a la plataforma sobre la manera en que se han considerado sus derechos fundamentales en una decisión de dicha plataforma sobre la moderación de contenidos. Esto significa que la plataforma no sólo debe examinar si la conducta o el contenido era ilícito o ha violado sus términos y condiciones, sino también examinar su propio proceso de imposición y aplicación y si los derechos fundamentales del usuario se han ponderando de manera apropiada.»

Business Insider, 2018; según Jimmy Wales, cofundador de Wikipedia «Una de mis mayores preocupaciones con respecto a los filtros exigidos contra la publicación en línea es que de esta manera se afianzará precisamente el poder de Google y Facebook que ya tienen la capacidad técnica de hacer este tipo de cosas, y que los actores más pequeños, las empresas de nueva creación y todas las demás plataformas que usa la gente van a quedarse un poco fuera,»

6.

Como se describe en el documental «The Cleaners» (por Hans Block y Moritz Riesewiec, 2018)

7.

Politico, 2022 «El gobierno alemán en las últimas semanas ha criticado repetidamente la propuesta legislativa considerando que se trata de un ataque a la intimidad y a los derechos fundamentales, mientras su Ministro de Infraestructura Digital,Volker Wissing, ha advertido esta semana de que la propuesta legislativa “cruza la línea.”»

8.

Frosio, Husovec, 2020, p. 6 «los bloqueos de pago perjudicaron el 95% de los ingresos de Wikileaks cuando PayPal, Moneybookers, Visa y Mastercard dejaron de aceptar donaciones públicas. En realidad, nunca se inició un procedimiento judicial contra Wikileaks.»

9.

Ó Fathaigh, Voorhoof: 2022, p. 13 «El bloqueo generalizado de la radiodifusión, de la distribución y del acceso, como se ha aplicado contra RT France, en realidad tiene

Articulo 18

1.

Artículo 18, Derecho de asilo, La Carta de los Derechos Fundamentales de la Unión Europea [2008] 2000/C 364/01: «Se garantiza el derecho de asilo dentro del respeto de las normas de la Convención de Ginebra de 28 de julio de 1951 y del Protocolo de 31 de enero de 1967 sobre el Estatuto de los Refugiados y de conformidad con el Tratado de la Unión Europea y con el Tratado de Funcionamiento de la Unión Europea (en lo sucesivo, “los Tratados”)».

2.

Artículo 19 de la Carta, Protección en caso de devolución, expulsión y extradición: «1. Se prohíben las expulsiones colectivas. 2. Nadie podrá ser devuelto, expulsado o extraditado a un Estado en el que corra un grave riesgo de ser sometido a la pena de muerte, a tortura o a otras penas o tratos inhumanos o degradantes.»

3.

Un ejemplo de iniciativa es MyAidbyFAR que tiene como objetivo ayudar a las personas a tomar decisiones con pleno conocimiento sobre los procedimientos de migración y ayudar a los miembros de la sociedad civil a proporcionarles información. Se presentó durante una conferencia el viernes 17 de marzo de 2023 en la Vrij Universiteit Amsterdam, https://vu.nl/en/events/2023/ legal-technology-a-stance-for-social-justice, consultado el 3 de abril de 2023.

4.

El proyecto LeaveNoOneBehindProject vincula la ubicación del teléfono de las personas con una fotografía para demostrar su presencia en la UE. Mathias Monroy, LeaveNoOneBehind project: An app for the right to asylum (digit.site36, 17 de octubre de 2022), https://digit.site36. net/2022/10/17/sea-watch-an-app-for-the-right-toasylum/, consultado el 3 de abril de 2023.

5.

Artículo 7 de la Carta: Respeto de la vida privada y familiar.

6.

Artículo 52 de la Carta: Alcance de los derechos garantizados

7.

Asunto C-291/12, Michael Schwarz y Stadt Bochum [2013] TJUE, EU:C:2013:670.

8.

Schwarz, apartado 43.

9.

Schwarz, apartados 36-37.

10. Asuntos acumulados C‑148/13 a C‑150/13, A, B, C y. Staatssecretaris van Veiligheid en Justitie [2014] Conclusiones de la Abogado General Sra. Eleanor Sharpston, EU:C:2014:2111.

11.

Asuntos acumulados C‑148/13 a C‑150/13, A, B, C y Staatssecretaris van Veiligheid en Justitie [2014] TJUE, EU:C:2014:2406.

12.

El término ciencia basura (junk science), según el diccionario Oxford «se usa para hacer referencia a ideas y teorías que parecen bien documentadas y científicas, pero en realidad hay pocos elementos que las respalden», leído por primera vez en el contexto de este blog: Nuno Ferreira y Denise Venturi, Tell me what you see and I’ll tell you if you’re gay: Analysing the Advocate General’s Opinion in Case C-473/16, F v Bevándorlási és Állampolgársági Hivatal (eumigrationlawblog.eu, 24 de noviembre de 2017), https:// eumigrationlawblog.eu/tell-me-what-you-see-and-ill-tell-you-if-youre-gay-analysing-the-advocate-generalsopinion-in-case-c-47316-f-v-bevandorlasi-es-allampolgarsagi-hivatal/, consultado el 03 de abril de 2023.

Digital Freedom Fund | 71 13.

Asunto C-473/16, F y Bevándorlási és Állampolgársági Hivatal [2018] TJUE, EU:C:2018:36, apartado 58.

27.

14. Asunto C-473/16, F y Bevándorlási és Állampolgársági Hivatal [2018] TJUE, EU:C:2018:36, apartado 53.

15.

Ozkul, D. 2023, Automating Immigration and Asylum: The Uses of New Technologies in Migration and Asylum Governance in Europe, Oxford: Refugee Studies Centre (Centro de Estudios sobre los Refugiados) University of Oxford pp. 50-53. EU deportations organized on the basis of social media profiles (Statewatch, 13 de febrero de 2023), https:// www.statewatch.org/news/2023/february/eu-deportations-organized-on-the-basis-of-social-media-profiles/, consultado el 03 de abril de 2023.

16. Dra. Francesca Palmiotto y Dra. Derya Ozkul, «Like Handing My Whole Life Over»: The German Federal Administrative Court’s Landmark Ruling on Mobile Phone Data Extraction in Asylum Procedures (Verfassungsblog, 28 de febrero de 2023), https://verfassungsblog.de/like-handing-mywhole-life-over/, consultado el 03 de abril de 2023.

17.

Nuno Ferreira y Denise Venturi, Tell me what you see and I’ll tell you if you’re gay: Analysing the Advocate General’s Opinion in Case C-473/16, F v Bevándorlási és Állampolgársági Hivatal (eumigrationlawblog.eu, 24 de noviembre de 2017), https://eumigrationlawblog.eu/tell-me-whatyou-see-and-ill-tell-you-if-youre-gay-analysing-theadvocate-generals-opinion-in-case-c-47316-f-v-bevandorlasi-es-allampolgarsagi-hivatal/, consultado el 03 de abril de 2023.

Hungarian Helsinki Committee, The Right to Know – Comparative Report on Access to Classified Data in National Security Immigration Cases in Cyprus, Hungary and Poland (13 de septiembre de 2021) https://helsinki.hu/en/comparative-report-on-access-to-classified-data-in-national-security-immigration-cases/ consultado el 03 de abril de 2023.

28. Asunto C-362/14, Maximillian Schrems y Data Protection Commissioner [2015] TJUE EU:C:2015:650.

29. Laura Dreschler (2021)Wanted: LED adequacy decisions: How the absence of any LED adequacy decision is hurting the protection of fundamental rights in a law enforcement context, International Data Privacy Law, 11(2), 182-195.

30. Debido al aumento de los datos almacenados e intercambiados en los sistemas de información europeos sobre la migración y el asilo.

31.

Jane Kilpatrick, Chris Jones (2022) Empowering the police, removing protections: the new Europol Regulation, Statewatch, https://www.statewatch.org/publications/reportsand-books/empowering-the-police-removing-protections-the-new-europol-regulation/, consultado el 03 de abril de 2023.

32. Luděk Stavinoha, Apostolis Fotiadis y Giacomo Zandonini, EU’s Frontex Tripped in Its Plan for ‘Intrusive’ Surveillance of Migrants, (Balkan Insight, 7 de julio de 2022), https://balkaninsight.com/2022/07/07/eus-frontex-tripped-in-planfor-intrusive-surveillance-of-migrants/, consultado el 03 de abril de 2023.

18. Joint statement: The EU Artificial Intelligence Act must protect people on the move (Statewatch, 06 de diciembre de 2022), https://www.statewatch.org/news/2022/december/ joint-statement-the-eu-artifical-intelligence-act-mustprotect-people-on-the-move/, consultado el 03 de abril de 2023.

33.

19.

Niovi Vavoula, «Databases for Non-EU Nationals and the Right to Private Life: Towards a System of Generalised Surveillance of Movement?» en Francesca Bignami (ed), EU Law in Populist Times: Crises and Prospects (Cambridge University Press 2020), 229.

34. Wojciech Wiewiórowski Privacy and data protection too often suspended at EU borders (27 de enero de 2023, Euractiv), https://www.euractiv.com/section/data-privacy/ opinion/it-is-time-to-tear-down-this-wall/, consultado el 03 de abril de 2023.

20. New online map of the EU’s ‘interoperable’ immigration and policing databases (Statewatch, 09 de noviembre de 2022), https://www.statewatch.org/news/2022/november/ new-online-map-of-the-eu-s-interoperable-immigration-and-policing-databases, consultado el 04 de abril de 2023.

35. Teresa Quintel, Managing Migration Flows by processing Personal Data within the adequate Data Protection Instrument: Scoping Exercise between general and law enforcement Data Protection Rules applicable to Third Country Nationals, Upsala Universiteit y Université du Luxembourg, Tésis doctoral 2021. p. 290. http://uu.diva-portal. org/smash/record.jsf?pid=diva2%3A1569545&dswid=135, consultado el 03 de abril de 2023.

21.

Artículo 8 de la Carta: Protección de datos de carácter personal.

22. Propuesta modificada de Reglamento del Parlamento Europeo y del Consejo relativo a la creación del sistema «Eurodac» para la comparación de datos biométricos para la aplicación efectiva del Reglamento (UE) XXX/XXX [Reglamento sobre la gestión del asilo y la migración] y del Reglamento (UE) XXX/XXX [Reglamento sobre el Marco de Reasentamiento], para la identificación de un nacional de un tercer país o un apátrida en situación irregular, y a las solicitudes de comparación con los datos de Eurodac presentadas por los servicios de seguridad de los Estados miembros y Europol a efectos de aplicación de la ley, y por el que se modifican los Reglamentos (UE) 2018/1240 y (UE) 2019/818 [2020] COM/2020/614 final.

23. AsuntoC-503/03, Comisión de las Comunidades Europeas contra Reino de España [2006] TJUE EU:C:2006:74.

24. Artículo 47 de la Carta: Derecho a la tutela judicial efectiva y a un juez imparcial.

25. Asuntos acumulados C-225/19 y C-226/19, R.N.N.S. y K.A. y Minister van Buitenlandse Zaken [2020] TJUE EU:C:2020:951.

26. Norris, C., de Hert, P., L’Hoiry, X., & Galleta, A. (Eds.) (2017).

The unaccountable state of surveillance: Exercising access rights in Europe. (Law, Governance and Technology Series; Vol. 34). Springer International.

Formal comments of the EDPS on the Proposal for a Regulation on the European Border and Coast Guard (30 de noviembre de 2018, SEPD), https://edps.europa.eu/ data-protection/our-work/publications/comments/formal-comments-edps-proposal-regulation-european_de, consultado el 03 de abril de 2023.

36. Petra Molnar, Technological Testing Grounds: Border tech is experimenting with people’s lives [9 de noviembre 2019, EDRI y refugee law lab (laboratorio de Derecho en materia de refugiados)], https://edri.org/our-work/technologicaltesting-grounds-border-tech-is-experimenting-withpeoples-lives/, consultado el 03 de abril de 2023.

37.

Agencia de Derechos Fundamentales (2022) Establecimiento de mecanismos nacionales independientes para supervisar el cumplimiento de los derechos fundamentales en las fronteras exteriores de la Unión Europea, https://fra. europa.eu/es/publication/2022/border-rights-monitoring, consultado el 03 de abril 2023.

72 | digiRISE The Social Implications of Automatic Gender Recognition Systems», CHI ‘18: Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems 1 (2018) 8.

Articulo 20 1.

Frantz Fanon, Black Skin, White Masks (Grove Press 2008 [1952]) 90.

2.

Se puede encontrar un relato más detallado de sus experiencias en su discurso en TEDxBeaconStreet: Joy Buolamwini, Code4Rights, Code4All (2016).

3.

Joy Buolamwini y Timnit Gebru, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Proceedings of Machine Learning Research 81 (2018) 77-91.

4.

Simone Browne, Dark Matters. On the Surveillance of Blackness (Duke University Press 2015) 8.

5.

Para resúmenes y ejemplos, además de las obras citadas en las demás notas a pie de página, véanse, p.ej., Cathy O’Neil, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy (Crown 2016); Virginia Eubanks, Automating Inequality: How High-tech Tools Profile, Police, and Punish the Poor (St. Martin’s Press 2018); Catherine D’Ignazio y Lauren F. Klein, Data Feminism (MIT Press 2020); Jens T. Theilen y otros, «Feminist Data Protection: An Introduction», Internet Policy Review 10 (2021) doi:10.14763/2021.4.1609.

6.

Para debatir este tema en el contexto de las tecnologías digitales, véanse Julie E. Cohen, Between Truth and Power: The Legal Constructions of Informational Capitalism (Oxford University Press 2019) 239; Tendayi E. Achiume, Racial discrimination and emerging digital technologies: a human rights analysis (2020), UN Doc. A/CDH/44/57.

7.

Véase Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human Future at the new Frontier of Power (Public Affairs 2019).

8.

P.ej. TJUE, Asunto C-414/16 – Egenberger, apartado 76.

9.

Para una crítica del «actual marco dominante basado en un mismo eje dentro del contexto de la legislación de la UE en materia de igualdad», así como posibles formas de avance, véase Nozizwe Dube, «Not Just Another Islamic Headscarf Case», European Law Blog, 19 de enero de 2023.

10. Para una visión general de los debates sobre la interseccionalidad, véase Patricia Hill Collins y Sirma Bilge, Intersectionality (2. edn, Polity 2020), especialmente pp. 127138 sobre la violencia en las redes sociales y la violencia digital; en el contexto de la legislación contra la discriminación, véanse Kimberlé Crenshaw, «Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics», University of Chicago Legal Forum (1989) 139; Shreya Atrey, Intersectional Discrimination (Oxford University Press 2019); Anna Lauren Hoffmann, «Where Fairness Fails: Data, Algorithms, and the Limits of Antidiscrimination Discourse», Communication & Society 22 (2019) 900.

11.

Safiya Umoja Noble, Algorithms of Oppression. How Search Engines Reinforce Racism (New York University Press 2018).

12.

Center for Intersectional Justice, Intersectional Discrimination in Europe: Relevance, Challenges and Ways Forward (2019), p. 20; un paso hacia la buena dirección se da por la Resolución del Parlamento Europeo, de 6 de julio de 2022, sobre la discriminación interseccional en la Unión Europea (P9_TA(2022)0289).

13.

Aisha P.L. Kadiri, «Data and Afrofuturism: An Emancipated Subject?», Internet Policy Review 10(4) (2021) doi:10.14763/2021.4.1597.

14.

Os Keyes, «The Misgendering Machines: Trans/HCI Implications of Automatic Gender Recognition», Proceedings of the ACM on Human-Computer Interaction 2 (2018) 88; Foad Hamidi, Morgan Klaus Scheuerman y Stacy M. Branham, «Gender Recognition or Gender Reductionism?

15.

Véase también Morgan Klaus Scheuerman, Madeleine Pape y Alex Hanna, «Auto-essentialization: Gender in Automated Facial Analysis as Extended Colonial Project», Big Data & Society 8(2) (2021) doi:10.1177/20539517211053712.

16. Mar Hicks, «Sexism is a Feature, Not a Bug» en Thomas S. Mullaney y otros (eds), Your Computer is on Fire (MIT Press 2021); véase también su capítulo «When Did the Fire Start?» en el mismo volumen.

17.

Ruha Benjamin, Race After Technology. Abolitionist Tools for the New Jim Code (Polity 2019) 44.

18. P. Khalil Saucier y Tryon P. Woods, «Ex Aqua: The Mediterranean Basin, Africans on the Move and the Politics of Policing», Theoria 61 (2014) 55-75.

19.

Dean Spade, «Intersectional Resistance and Law Reform», Signs 38 (2013) 1031-1055.

20. [B]ell hooks, «The Oppositional Gaze. Black Female Spectators», Black Looks: Race and Representation (South End Press 1992) 116.

21.

Marika Cifor et al., Feminist Data Manifest-No (2019), principio 21.

Articulo 21 1.

Las obras influyentes incluyen Safiya Umoja Noble, Algorithms of oppression: How search engines reinforce racism (New York University Press 2018); Joy Buolamwini y Timnit Gebru, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Conference on Fairness, Accountability, and Transparency (Conferencia sobre la equidad, la responsabilidad y la transparencia), Proceedings of Machine Learning Research 81 (2018) 77-91; Ruha Benjamin, Race after technology: Abolitionist tools for the new Jim code (Oxford University Press 2020).

2.

C-617/10 Åklagaren y Hans Åkerberg Fransson EU:C:2013:105, apartado 26.

3.

El alcance de la protección no es uniforme en cuanto a los motivos protegidos: el ámbito laboral, por ejemplo, se ve cubierto en todo su espectro, mientras que el acceso a bienes y servicios se ve cubierto solamente en relación con la igualdad independientemente del género o del origen racial.

4.

C-414/16 Vera Egenberger y Evangelisches Werk für Diakonie und Entwicklung e.V. EU:C:2018:257, apartado 81.

5.

Ibid, apartados 76-79.

6.

Véanse p.ej. la sentencia C-406/15 Petya Milkova y Izpalnitelen direktor na Agentsiata za privatizatsia i sledprivatizatsionen kontrol EU:C:2017:198 y la sentencia C-528/13 Geoffrey Léger y Ministre des Affaires sociales, de la Santé et des Droits des femmes y Etablissement français du sang EU:C:2015:288.

7.

Véanse Claire Kilpatrick, «Article 21: Non-Discrimination» en S. Peers, T. Hervey, J. Kenner y A. Ward, The EU Charter of Fundamental Rights. A Commentary (Hart Publishing, 2014); Emmanuelle Bribosia et al., «Article 21: Non Discrimination» en F. Picod, S. van Drooghenbroeck y C. Rizcallah, Charte des droits fondamentaux de l’Union européenne: Commentaire article par article (Bruylant, 2017).

8.

Reglamento relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) [2016] DO 2 119/1.

9.

Véanse J. Buolamwini y T. Gebru, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Proceedings of Machine Learning Research 81 (2018) 77-91; y H. F. Menezes, A. S. C. Ferreira, E. T. Pereira

Digital Freedom Fund | 73 y H. M. Gomes, «Bias and Fairness in Face Detection», 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI) [34a SIBGRAPI Conferencia sobre gráficos, patrones e imágenes (SIBGRAPI)], 2021, pp. 247-254.

10. El Derecho de la UE establece sólo los requisitos mínimos para la protección contra la discriminación, mientras que el Derecho nacional puede conceder una protección más amplia siempre y cuando dicha protección siga ajustándose a los Tratados de UE. No obstante, la consideración del Derecho nacional queda fuera del alcance de este ensayo.

11.

Artículo 3, apartado 1, letra g), de la Directiva 2000/43/CE.

12.

C-414/16 Egenberger EU:C:2018:257.

13.

VéaseCollege voor de Rechten van de Mens, Sentencia 2022-146 (7 de diciembre de 2022) disponible en https:// oordelen.mensenrechten.nl/oordeel/2022-146.

14.

15.

Para conseguirlo, se basó en la conclusión del TJUE según la cual un candidato puede «fundament[ar] una presunción de discriminación basándose en datos estadísticos generales [...] en el supuesto de que no quepa esperar que el interesado presente datos más concretos relativos al pertinente grupo de trabajadores, por ser difícilmente accesibles o incluso no estar disponibles». Véase la sentencia C-274/18 Minoo Schuch-Ghannadan y Medizinische Universität Wien EU:C:2019:828, apartado 56.

El Instituto hizo referencia a la sentencia del Tribunal Europeo de Derechos Humanos en el caso Basu y Germany App no 215/19 (TEDH, 18 de octubre de 2022).

16. Véase Janneke Gerards y Frederik Borgesius, «Protected Grounds and the System of Non-discrimination Law in the Context of Algorithmic Decision-making and Artificial Intelligence», Colorado Technology Law Journal 20(1) (2022) próxima edición.

17.

Véase la sentencia C-354/13 Fag og Arbejde (FOA) y Kommunernes Landsforening (KL) EU:C:2014:2463, apartados 36 y 39.

18. Véase Raphaële Xenidis, Beyond the ‘Master’s Tools’: Putting Intersectionality to Work in European Non-Discrimination Law (2020) European University Institute (Instituto Universitario Europeo).

19.

Joy Buolamwini y Timnit Gebru, «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», Conference on Fairness, Accountability, and Transparency (Conferencia sobre la equidad, la responsabilidad y la transparencia), Proceedings of Machine Learning Research 81 (2018) 1–15.

fundamental a la educación protegido en el artículo 14 de la Carta.

26. También surgen dificultades en cuanto a la evaluación de la elección, por parte de los proveedores de sistemas, de medidas de imparcialidad e intervenciones adecuadas.

Articulo 7 1.

Bits of freedom, We want more than “symbolic” gestures in response to discriminatory algorithms, 10 de febrero de 2021, https://edri.org/ our-work/we-want-more-than-symbolic-gestures-in-response-to-discriminatory-algorithms/

2.

BNNVARA, Veel meer kinderen van toeslagenschandaal-ouders uit huis geplaatst dan tot nu toe bekend was, 30 de noviembre de 2022, https://www.bnnvara.nl/joop/ artikelen/veel-meer-kinderen-van-toeslagenschandaalouders-uit-huis-geplaatst-dan-tot-nu-toe-bekend-was

3.

Belastingdienst/Toeslagen, De verwerking van de nationaliteit van aanvragers van kinderopvangtoeslag, Onderzoeksrapport | z2018-22445, https://autoriteitpersoonsgegevens.nl/uploads/imported/onderzoek_belastingdienst_kinderopvangtoeslag.pdf

4.

Amnistía Internacional, Toeslagenschandaal is mensenrechten­schending, zegt Amnesty International, 25 de octubre de 2021, https://www.amnesty.nl/actueel/ toeslagenaffaire-is-mensenrechtenschending-zegtamnesty-international

5.

Bits of freedom, De Belastingdienst laat internationaal goed zien hoe het dus niet moet, 28 de octubre de 2021, https://www.bitsoffreedom.nl/2021/10/28/de-belastindienst-laat-internationaal-goed-zien-hoe-het-dus-nietmoet/

6.

Controlealtdelete, Etnisch en religieus geladen risicoprofielen bij Belastingdienst, https://controlealtdelete. nl/articles/etnisch-en-religieus-geladen-risicoprofielen-bij-belastingdienst

7.

K.W. Crenshaw (2017), On Intersectionality: Essential Writings, The New York Press, https://scholarship.law.columbia. edu/books/255/

8.

Rechtbank Den Haag, ECLI:NL:RBDHA:2020:865, https:// uitspraken.rechtspraak.nl/#!/details?id=ECLI:NL:RBDHA:2020:1878

9.

NOS, Ouders zwartgelakte dossiers: ‘Ik weet nog steeds niet wat ik fout heb gedaan’, 11 de diciembre de 2019, https://nos.nl/artikel/2314288-ouders-zwartgelakte-dossiers-ik-weet-nog-steeds-niet-wat-ik-fout-heb-gedaan

20. C-443/15 David L. Parris y Trinity College Dublin y otrosEU:C:2016:897.

21.

La discriminación directa e indirecta desencadenan la aplicación de diferentes regímenes de justificación. Como se ha dicho antes, la discriminación indirecta puede justificarse siempre que se cumplan los tres criterios [de] la prueba de proporcionalidad. En cambio, las derogaciones a la discriminación directa se limitan a pocas excepciones explícitamente previstas en las Directivas de la UE.

22. Véanse Raphaële Xenidis, «Algorithmic Neutrality vs Neutralising Discriminatory Algorithms: For a Paradigm Shift in EU Anti-Discrimination Law», Lavoro e Diritto 4 (2022) 765-771 y Raphaële Xenidis, «When computers say no: 23. Towards a legal response to algorithmic discrimination in Europe» en Bartosz Brożek, Olia Kanevskaia & Przemysław Pałka (eds.), Research Handbook on Law and Technology (Edward Elgar, próxima edición).

24. Véase Raphaële Xenidis, «The Polysemy of Anti-discrimination Law: The Interpretation Architecture of the Framework Employment Directive at the Court of Justice», Common Market Law Review 58(6) (2021) 1649-1696.

25. La demandada podría objetar que el sistema tiene como objetivo garantizar la imparcialidad y el mérito en los exámenes, lo que constituye un aspecto clave del derecho

10. deRechtspraak, Reflectie bestuursrechters rechtbanken op toeslagenaffaire gepubliceerd, Toeslagenaffaire: ‘Belang rechtsbescherming individu moet zwaarder wegen dan vaste lijn jurisprudentie’, 8 de octubre de 2021, https:// www.rechtspraak.nl/Organisatie-en-contact/Organisatie/ Raad-voor-de-rechtspraak/Nieuws/Paginas/Toeslagenaffaire-Belang-rechtsbescherming-individu-moet-zwaarder-wegen-dan-vaste-lijn-jurisprudentie.aspx

Articulo 8 1.

Asuntos acumulados C203/15 y C698/15 Tele2 Sverige AB y Post- och telestyrelsen, apartado 129.

2.

Asunto C131/12 Google Spain SL y AEPD.

3.

Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos) (Texto pertinente a efectos del EEE)) [2016] DO L 119.

74 | digiRISE 4.

Directiva (UE) 2016/680 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativa a la protección de las personas físicas en lo que respecta al tratamiento de datos personales por parte de las autoridades competentes para fines de prevención, investigación, detección o enjuiciamiento de infracciones penales o de ejecución de sanciones penales, y a la libre circulación de dichos datos y por la que se deroga la Decisión Marco 2008/977/JAI del Consejo [2016] DO L 119.

3.

https://curia.europa.eu/juris/document/document.jsf?text=&docid=234205&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=1553564

4.

Ibid

5.

https://curia.europa.eu/juris/showPdf.jsf;jsessionid=7DA478E8C73B02CCE9126CEC38D3B3C8?text=&docid=97440&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=124762

6.

https://curia.europa.eu/juris/document/document.jsf?text=&docid=110209&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=129508

7.

https://verfassungsblog.de/frontex-and-algorithmic-discretion-part-i/

5.

Véase, por ejemplo, supra [3], el artículo 4, apartados 1 y 2.

6.

Asunto C-73/07 Tietosuojavaltuutettu y Satakunnan Markkinapörssi Oy, apartados 36-37.

7.

Asunto C434/16 Nowak y DPC, apartado 34.

8.

Asunto C-582/14 Breyer y Bundesrepublik Deutschland, apartado 44.

8.

https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex:32021R1152

9.

Véase el asunto C291/12 Schwarz y Stadt Bochum, apartado 28.

9.

https://raley.english.ucsb.edu/wp-content/Engl800/Pasquale-blackbox.pdf

10. Supra 1.

11.

Directiva 2002/58/CE del Parlamento Europeo y del Consejo, de 12 de julio de 2002, relativa al tratamiento de los datos personales y a la protección de la intimidad en el sector de las comunicaciones electrónicas (Directiva sobre la privacidad y las comunicaciones electrónicas) [2002] DO L 201, artículo 1, apartado 3.

10. https://www.europarl.europa.eu/RegData/etudes/ IDAN/2021/690706/EPRS_IDA(2021)690706_EN.pdf 11.

https://scholarlypublications.universiteitleiden.nl/handle/1887/3439725

12.

https://arxiv.org/pdf/1606.08813.pdf

13.

S. Wachter, B. Mittelstadt, L. Floridi, Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation, International Data Privacy Law, 7(2):76–99, https://doi.org/10.1093/idpl/ipx005

14.

https://curia.europa.eu/juris/showPdf.jsf?text=&docid=45418&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=2109541

16. Véanse, por ejemplo, los asuntos acumulados C293/12 y C594/12 Digital Rights Ireland y Minister for Communications, Marine and Natural Resources, apartado 36.

15.

https://curia.europa.eu/juris/showPdf.jsf?text=&docid=99241&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=14505857

17.

16. https://curia.europa.eu/juris/document/document.jsf?text=&docid=65303&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=14505723

12.

Supra 1, apartados 67-81.

13.

Asunto C623/17 Privacy International y SSFCA.

14.

Ibid, apartados 40-41.

15.

Véanse, inter alia, los asuntos acumulados C92/09 y C93/09 Schecke y Land Hessen [2010] TJUE I-11063.

Christopher Docksey, «Four fundamental rights: finding the balance» (2016) 6 International Data Privacy Law 195.

18. Supra 15, apartado 52 19. Véase FRA/TEDH/SEPD, Manual de legislación europea en materia de protección de datos (Oficina de Publicaciones de la Unión Europea, 2018) 20.

17.

20. R (Bridges) y CCSWP [2019] EWHC 2341 (Admin).

21.

Herke Kranenborg, «Article 8» en Steve Peers, Tamara Hervey, Jeff Kenner y Angela Ward (eds.), The EU Charter of Fundamental Rights: A Commentary (Hart 2021) 242.

https://www.cambridge.org/core/services/aop-cambridge-core/content/view/01B90DB4D042204EED7C4EEF6EEBE7EA/S2752613522000479a.pdf/ reclaiming-transparency-contesting-the-logics-of-secrecy-within-the-ai-act.pdf

Articulo 47

22. Supra 16, apartados 39-40.

23. Ibid, apartado 40.

24. Maja Brkan, «The Essence of the Fundamental Rights to Privacy and Data Protection: Finding the Way Through the Maze of the CJEU’s Constitutional Reasoning» (2019) German Law Journal 20 864, 878.

25. Asunto C73/16 Puškár y Finančné riaditeľstvo Slovenskej republiky, apartado 64.

26. Asunto C205/21 V.S., apartados 125-128.

27.

1.

Chisnall, M. (2020). Digital slavery, time for abolition?

Policy Studies, 41(5), 488-506.

2.

Véase, por ejemplo, el: Reglamento 2016/679/UE del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos [2016]

3.

Van Dalen, S. Gilder, A. Hooydonk, E. Ponsen, E. (2016) System Risk Indication An Assessment of the Dutch Anti-Fraud System in the Context of Data Protection and Profiling https://pilpnjcm.nl/wp-content/uploads/2016/06/memorandum_1_-_system_risk_indication_an_assessment_of_ the_dutch_anti-fraud_system_in_the_context_of_data_ protection_and_profiling-1.pdf

4.

Rachovitsa, A., & Johann, N. (2022). The human rights implications of the use of AI in the digital welfare state: Lessons learned from the Dutch SyRI case. Human Rights Law Review, 22(2), ngac010.

5.

Ibid

6.

Ley SUWI, artículo 65, apartado 1.

7.

Informe del Relator especial de las Naciones Unidas sobre la extrema pobreza y los derechos humanos en calidad de Amicus Curiae en el asunto NJCM c.s./De Staat der Nederlanden (SyRI) ante el Tribunal Distrito de La Haya (número de asunto C/09/550982/ HA ZA 18/388).

Asuntos acumulados C511/18, C512/18 y C520/18 La Quadrature du Net y Premier minister, apartados 136-137.

28. Supra 2, apartado 81.

29. Asuntos acumulados C37/20 y C601/20 WM y Luxembourg Business Registers, apartados 83-86.

Articulo 41 1.

2.

https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=OJ:JOC_1988_180_R_0007_01&from=ES https://curia.europa.eu/juris/document/document. jsf;jsessionid=1A4F9052F6441373B59362B8770E246D?text=&docid=130241&pageIndex=0&doclang=ES&mode=lst&dir=&occ=first&part=1&cid=1552373

Digital Freedom Fund | 75 8.

Ibid

9.

Ibid

10. Lenaerts, K. (2012). Exploring the limits of the EU charter of fundamental rights. European Constitutional Law Review, 8(3), 375-403.

11.

Ibid

12.

Klamert, M. (2018). The implementation and application of the Charter of Fundamental Rights of the EU in Austria. Acta Universitatis Carolinae Iuridica, 64(4), 89-99.

13.

Pech, Laurent, y Sébastien Platon. «Judicial independence under threat: the Court of Justice to the rescue in the ASJP case.» Common Market L. Rev. 55 (2018): 1827.

14.

Mulders, S. (2023). The relationship between the principle of effectiveness under Art. 47 CFR and the concept of damages under Art. 82 GDPR. International Data Privacy Law, 2023, Vol. 00, No. 0.

15.

En el asunto Digital Rights Ireland Ltd y Minister for Communications, Marine and Natural Resources, el Tribunal de Justicia declaró nula la directiva de la UE por la que se exigen proveedores de acceso a Internet en virtud de los artículos 7 y 8 de la CDF. En el asunto Tele2 y Watson, el TJUE decidió que la legislación nacional que permite la conservación indiferenciada de los datos de los dispositivos electrónicos a efectos de la lucha contra la delincuencia viola los derechos consagrados en los artículos 7 y 8 de la CDF. Véase, también, el asunto Google y España en 2014 y los asuntos Schrems (2015 y 2020) que han tratado cuestiones relacionadas con el derecho a la supresión de los datos propios de las plataformas y con la regulación del intercambio de datos de carácter personal con países terceros.

Véanse, Cameron, I. (2017). Balancing data protection and law enforcement needs: Tele2 Sverige and Watson. Common Market L. Rev., 54, 1467 y Voss, W. G. (2016). European union data privacy law reform: General data protection regulation, privacy shield, and the right to delisting. The Business Lawyer, 72(1), 221-234.

9.

10. Véase Choroszewicz (n2); Human Rights Watch, «How the EU’s Flawed Artificial Intelligence Regulation Endangers the Social Safety Net: Questions and Answers», https:// www.hrw.org/news/2021/11/10/how-eus-flawed-artificial-intelligence-regulation-endangers-social-safety-net .”plainCitation”:”‘How the EU’s Flawed Artificial Intelligence Regulation Endangers the Social Safety Net: Questions and Answers’ (Human Rights Watch 2021 11.

Mike Ananny y Kate Crawford, «Seeing without Knowing: Limitations of the Transparency Ideal and Its Application to Algorithmic Accountability», New Media & Society 20 (2018) 973.and if so, would that ever be sufficient? In this article, we critically interrogate the ideal of transparency, trace some of its roots in scientific and sociotechnical epistemological cultures, and present 10 limitations to its application. We specifically focus on the inadequacy of transparency for understanding and governing algorithmic systems and sketch an alternative typology of algorithmic accountability grounded in constructive engagements with the limitations of transparency ideals.”,”container-title”:”New Media & Society”,”DOI”:”10.1177/146144481667664 5”,”ISSN”:”1461-4448, 1461-7315”,”issue”:”3”,”journalAbbreviation”:”New Media & Society”,”language”:”en”,”page”:”973-989”,”source”:”DOI.org (Crossref

12.

Sandra Wachter, Brent Mittelstadt y Chris Russell, «Why Fairness Cannot Be Automated: Bridging the Gap between EU Non-Discrimination Law and AI», Computer Law & Security Review 41 (2021) 105567.Brent Mittelstadt and Chris Russell, \\uc0\\u8216{}Why Fairness Cannot Be Automated: Bridging the Gap between EU Non-Discrimination Law and AI\\uc0\\u8217{} (2021

13.

«Austria’s Employment Agency Rolls out Discriminatory Algorithm, Sees No Problem» (AlgorithmWatch), https:// algorithmwatch.org/en/austrias-employment-agency-ams-rolls-out-discriminatory-algorithm/ (consultado el 27 de febrero de 2023).

14.

Ada Lovelace Institute, AI Now Institute and Open Government Partnership (2021), «Algorithmic accountability for the public sector», https://www.opengovpartnership.org/

15.

wp-content/uploads/2021/08/algorithmic-accountability-public-sector.pdf

Articulo 34 1.

AGNU, «Informe del Relator Especial sobre la extrema pobreza y los derechos humanos», A/74/493, (11 de octubre de 2019).

2.

Virginia Eubanks, «Automating Inequality: How High Tech Tools Surveil, Profile and Punish the Poor», (St. Martin’s Press, Inc., 2018)

3.

Johns, F. (2019), From Planning to Prototypes: New Ways of Seeing Like a State. The Modern Law Review, 82: 833-863. https://doi.org/10.1111/1468-2230.12442

4.

Scott JC, Seeing Like a State: How Certain Schemes to Improve the Human Condition Have Failed (Yale University Press 1998)

5.

Algorithm Watch y Bertelsmann Stiftung. «Automating society report 2020.» (2020); Marta Choroszewicz y Beata Mäihäniemi, «Developing a Digital Welfare State: Data Protection and the Use of Automated Decision-Making in the Public Sector across Six EU Countries», Global Perspectives 1(1) (2020) 12910.

6.

Agneta Ranerup y Helle Zinner Henriksen, «Digital Discretion: Unpacking Human and Technological Agency in Automated Decision Making in Sweden’s Social Services», Social Science Computer Review 40(2) (2022) 445-461.

7.

Véase Algorithm Watch (n2).

8.

Naomi Appelman, Ronan Ó Fathaigh y Joris van Hoboken, «Social Welfare, Risk Profiling and Fundamental Rights: The Case of SyRI in the Netherlands», Journal of Intellectual Property, Information Technology & E-Commerce Law 12(4) (2021) 257.

«The Algorithm Addiction» (Lighthouse Reports), https:// www.lighthousereports.nl/investigation/the-algorithm-addiction.

16. Agencia de Derechos Fundamentales de la UE, «Getting the Future Right Artificial Intelligence and Fundamental Rights», (Oficina de Publicaciones de la Unión Europea 2020), https://fra.europa.eu/en/publication/2020/artificial-intelligence-and-fundamental-rights.

17.

Frans Pennings, «Does the EU Charter of Fundamental Rights Have Added Value for Social Security?» European Journal of Social Security 24 (2022) 117.

18. Jaan Paju, «The Charter and Social Security Rights: Time to Stand and Deliver?» (2022) 24 European Journal of Social Security 21. Ane Aranguiz, «Bringing the EU up to Speed in the Protection of Living Standards through Fundamental Social Rights: Drawing Positive Lessons from the Experience of the Council of Europe» Maastricht Journal of European and Comparative Law 28 (2021) 601.

19.

Observación general No 19: El derecho a la seguridad social, aprobada el 23 de noviembre de 2007, NU doc. E/C.12/ GC/19.

76 | digiRISE

Articulo 28

Articulo 37

1.

https://www.ilo.org/dyn/natlex/docs/ELECTRONIC/98373/117044/F1671923749/IRL98373.pdf

1.

2.

https://www.tuc.org.uk/research-analysis/reports/section-tucs-first-victories

3.

De hecho, el artículo 11, apartado 2, del Convenio Europeo de Derechos Humanos es altamente restrictivo a este respecto: «El ejercicio de estos derechos no podrá ser objeto de otras restricciones que aquellas que, previstas por la ley, constituyan medidas necesarias, en una sociedad democrática, para la seguridad nacional, la seguridad pública, la defensa del orden y la prevención del delito, la protección de la salud o de la moral, o la protección de los derechos y libertades ajenos.»

Patrick Williams y Eric Kind (2019) Data-driven Policing: The hardwiring of discriminatory policing practices across Europe. Informe del proyecto. Red Europea contra el Racismo (ENAR); EDRi (2023). Descolonizar los derechos digitales. https://edri.org/what-we-do/decolonising-digital-rights/

2.

Metcalfe, P., & Dencik, L. (2019). The politics of big borders: Data (in) justice and the governance of refugees. First Monday; Andreea Belu (2020). Surveillance on the seas: Europe’s new Migration Pact. EDRi https://edri.org/news/ surveillance-on-the-seas-europes-new-migration-pact/

3.

Unión Europea, «Carta de los Derechos Fundamentales de la Unión Europea». Diario Oficial de la Unión Europea C326/391 https://eur-lex.europa.eu/eli/treaty/char_2012/ oj?locale=es.

4.

Michelle Thorne, «Funders Convening on Climate Justice and Digital Rights» (2022) <https://michellethorne. cc/2022/04/funders-convening-on-climate-justice-anddigital-rights/>

5.

Fieke Jansen, «Framing the climate crisis as a digital rights issue» (2022) Green Web Foundation <https://www. thegreenwebfoundation.org/news/framing-the-climatecrisis-as-a-digital-rights-issue/>

6.

Michael Brennan, «Intersections of Digital Rights and Environmental and Climate Justice» (2022) <https://www. fordfoundation.org/work/learning/learning-reflections/intersections-of-digital-rights-and-environmental-and-climate-justice/>

7.

Becky Kazansky, Shayna Finnegan, & Maja Romano, «Solidarity not solutionism: Wayfinding just paths for digital infrastructure that serves the planet» (2023) <https://www. apc.org/en/node/38497/>

8.

Shayna Robinson, Remy Hellstern, & Mariana Dia, «Sea Change: Prioritizing the Environment in Internet Architecture» (2022). Para el taller de la Junta de Arquitectura de Internet (IAB) sobre el impacto medioambiental de las aplicaciones y de los sistemas del Internet 2022( IAB workshop on Environmental Impact of Internet Applications and Systems 2022) <https://github.com/intarchboard/e-impact-workshop-public/blob/main/papers/ Robinson_Sea-Change-Prioritizing-the-Environment-in-Internet-Architecture.pdf>

9.

Robinson, et al, «Sea Change»

4.

https://www.legislation.gov.uk/ukpga/2022/32/contents/ enacted

5.

https://www.theguardian.com/business/2018/nov/22/ gmb-union-drops-support-for-dpd-courier-walkout-after-legal-threat

6.

https://www.elpuntavui.cat/societat/article/5-societat/2254689-l-acco-planteja-una-sancio-de-mes-de-122000-euros-a-elite-taxi-per-boicotejar-uber.html

7.

https://www.thetimes.co.uk/article/uber-gives-police-private-data-on-drivers-and-passengers-dm7l3gsxv

8.

https://www.wired.co.uk/article/dominic-cummings-coronavirus-big-tech

9.

https://files.mutualcdn.com/ituc/files/2022-ITUC-RightsIndex-Exec-Summ-ES.pdf

10. https://www.gmb.org.uk/news/uber-and-gmb-strike-historic-union-deal-70000-uk-drivers 11.

https://www.gmb.org.uk/news/gmb-and-deliveroo-sign-historic-recognition-deal

12.

En su presentación ante la Comisión de Empleo y Asuntos Sociales del Parlamento Europeo el gobierno ha sostenido que: «el Riksdag se opone con firmeza a las dicectivas más vinculantes que destruyen los modelos del mercado laboral funcionales. En los últimos años, el Riksdag ha visto una serie de iniciativas de la Comisión Europea que constituyen una amenaza directa para el modelo del mercado laboral sueco, con base en el cual los interlocutores sociales abordan asuntos mediante acuerdos colectivos. Según el Riksdag, esto se ilustra de manera muy clara en la actual propuesta de directiva, en particular en el artículo 4, con arreglo al cual la presunción de una relación laboral invalida el concepto sueco del empleado. Toda la propuesta se basa en la presunción de una relación laboral y está, esencialmete, mal concebida. Además, existe el riesgo de que la directiva tenga repercusiones sobre tanto el sistema fiscal como el sistema de seguridad social, lo que es inaceptable. Si la propuesta de directiva se adopta, habrá consecuencias de gran alcance para las empresas de plataformas existentes y para toda la economía gig.

La propuesta socava la autonomía de los interlocutores sociales y constituye una amenaza para el modelo del mercado laboral sueco. El Riksdag subraya la gran preocupación de los órganos pertinentes en cuanto a las consecuencias de la propuesta para el modelo del mercado laboral sueco, en particular, con respecto al artículo 4 y su impacto en el concepto sueco del empleado.»

13.

https://www.convert.com/eu-gdpr/recital-68-gdpr/

14.

https://5b88ae42-7f11-4060-85ff-4724bbfed648.usrfiles. com/ugd/5b88ae_de414334d89844bea61deaaebedfbbfe. pdf

10. Leslie Hook & Dave Lee, «How tech went big on green energy» (2021) Financial Times. <https://www.ft.com/content/0c69d4a4-2626-418d-813c-7337b8d5110d> 11.

Sebastian Moss, «Los Lunas locals question Facebook’s data center expansion, worry about water use» (2021) Data Center Dyn[a]mics. <https://www.datacenterdynamics.com/en/news/los-lunas-locals-question-facebooksdata-center-expansion-worry-about-water-use/>

12.

Merijn Renger y Carola Houtekamer, «Datacentra Zeewolde vragen twee keer zoveel stroom als Amsterdam» (2020) NRC. <https://www.nrc.nl/nieuws/2020/06/21/ zeewolde-speelt-straks-champions-league-met-stroomverbruik-a4003548>

13.

Merijn Renger & Carola Houtekamer, «Gebroken beloftes: hoe de Wieringermeerpolder dichtslibde met windturbines en datacentra» (2020) NRC. <https://www.nrc.nl/ nieuws/2020/06/05/gebroken-beloftes-hoe-de-wieringermeerpolder-dichtslibde-met-windturbines-en-datacentra-a4001882>

Digital Freedom Fund | 77 14.

Renger et al. «Gebroken beloftes».

15.

Moss, «Los Lunas locals question».

16. Association for Progressive Communication «Extractivism, mining, and technology in the Global South: Towards a common agenda for action». En: At the interstice of digital rights and environmental justice: Four issue briefs to inform funding (2022).

17.

Niels ten Oever, «Wired Norms: Inscription, resistance, and subversion in the governance of the Internet infrastructure» (2020) tesis doctoral Universidad de Amsterdam. <https://nielstenoever.net/wp-content/uploads/2020/09/ WiredNorms-NielstenOever.pdf>

18. Association for Progressive Communication «Extractivism, mining» 19.

Thierry Breton, «Critical Raw Materials Act: securing the new gas & oil at the heart of our economy I Blog of Commissioner Thierry Breton». (2022) Comisión Europea. <https://ec.europa.eu/commission/presscorner/detail/es/ STATEMENT_22_5523>

20. Mercado Interior, Industria, Emprendimiento y Pymes, «Critical raw materials. Comisión Europea» (2023). < https:// single-market-economy.ec.europa.eu/sectors/raw-materials/areas-specific-interest/critical-raw-materials_es > 21.

Comisión Europea, «Libro blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza» (2020) 19.2.2020 COM(2020) 65 final.

22. Comisión Europea, «Carta de los Derechos Fundamentales» 23. Max Liboiron, «Pollution is colonialism» (2021) Duke University Press.

24. Shanon Dosemagen, Emelia Williams, Katie Hoeberling & Evelin Heidel, «Environmental justice, climate justice, and the space of digital rights» (2022) Open Environmental Data Project and Open Climate.

25. Association for Progressive Communication «Extractivism, mining» 26. Fieke Jansen, «Presenting new research climate justice x digital rights» (2022) Green Web Foundation. <https:// www.thegreenwebfoundation.org/news/presenting-new-research-climate-justice-x-digital-rights/>

Articulo 38 *Oficial Jurídico Superior , BEUC - European Consumer Organisation (Oficina Europea de Uniones de Consumidores) (las opiniones son personales) 1.

El artículo 169 del TFUE dispone lo siguiente «[p]ara promover los intereses de los consumidores y garantizarles un alto nivel de protección, la Unión contribuirá a proteger la salud, la seguridad y los intereses económicos de los consumidores, así como a promover su derecho a la información, a la educación y a organizarse para salvaguardar sus intereses […]».

2.

Comunicación de la Comisión sobre la Carta de los Derechos Fundamentales de la Unión Europea (Bruselas, 13 de septiembre de 2000) (véase el pto. 22).

3.

CHARTE 4422/00, CONVENT 45 de 28 de julio de 2000.

4.

p. ej., modificación por Lord Goldsmith QC que ha propuesto suprimir el artículo porque «es tan vago que no impone ninguna restricción razonable a las instituciones ni ofrece ayuda alguna a las personas para que se informen sobre sus derechos […]».

5.

p. ej., modificación por Ieke van den Burg que ha propuesto reformular el artículo como sigue: «toda persona tiene derecho a ser protegida como consumidor contra los riesgos de salud y de seguridad, y tiene derecho a defender sus intereses individual y colectivamente».

6.

I. Benöhr, EU consumer law and human rights, Oxford Studies in European Law, 2014, 272 p.

7.

COM(2018) 184 final 2018/0089(COD), 11 de abril de 2018.

8.

COM(2018) 185 final 2018/0090 (COD), 11 de abril de 2018

9.

BEUC, Regulating AI to protect the BEUC-X-2021-088, 7 de octubre de 2021

10.

I. Benöhr, EU consumer law and human rights, Oxford Studies in European Law, 2014, 272 p.

11.

Agencia de Derechos Fundamentales de la Unión Europea, Ten years on: unlocking the Charter’s full potential, 2020, p.14 (http://fra.europa.eu/en/publication/2020/ ten-years-unlocking-charters-full-potential).

12.

TJUE, asunto C-12/11 Mc Donagh y Ryanair, 31 de enero de 2013, ECLI:EU:C:2013:43.

13.

supra nota 8, pto. 63

14.

TJUE, Asunto C-28/20 Airhelp, 23 de marzo de 2021, ECLI:EU:C:2021:226

15.

Czechia / Tribunal Constitucional / II. ÚS 78/19 (http://fra. europa.eu/en/caselaw-reference/czechia-constitutional-court-ii-us-7819).

consumer,

16. Eslovaquia / Tribunal regional de Prešov / 10Co/51/2017 (http://fra.europa.eu/en/caselaw-reference/slovakia-regional-court-presov-10co512017#deeplink2).

17.

I. Benöhr, EU consumer law and human rights, Oxford Studies in European Law, 2014, 272 p.

Créditos Editora Alexandra Giannopoulou con la contribución de Nikita Kekana y César Manso-Sayao

Autores Anna Mazgal, Wikimedia Europe Alexandre Biard, BEUC - The European Consumer Organisation Divij Joshi, Universidad College London Fieke Jansen, Critical Infrastructure Lab, University of Amsterdam/Green Screen coalition Climate Justice and Digital Rights Giulia Gentile, LSE Law School Ioannis Kouvakas, Privacy International / Vrije Universiteit Brussels (VUB) James Farrar, Worker Info Exchange Jens Theilen, Universidad Helmut-Schmidt, Hamburg Melanie Fink, Leiden Law School Nadia Benaissa, Bits de Libertad Nawal Mustafa, Public Interest Litigation Project (PILP) Romain Lanneau, Statewatch Raphaële Xenidis, SciencesPo Law School

Dirección de arte

Comunicaciones

DFF & Justina Leston

Barbara Okeyo Ekaterina Balueva

Identidad visual Nicole Snaiderman

Traducción al español Nafsika Petkou

Arte de tapa y contratapa Nicole Snaiderman

Editor de textos en español Haris Papageorgiou

Ilustraciones de ensayos Yorgos Konstantinou

Diseño gráfico Justina Leston

Más información sobre el proyecto digiRISE aquí

La serie de ensayos “Los derechos digitales son derechos de la Carta” se publica bajo una licencia CC BY-SA 4.0, lo que permite a cualquiera utilizarla libremente con plena atribución a los autores. Puede descargar el documento completo en PDF u obtener más información sobre las directrices específicas aquí.

Digital Freedom Fund | 79

Financiado por la Unión Europea. No obstante, las opiniones y puntos de vista expresados son exclusivamente los del autor o autores y no reflejan necesariamente los de la Unión Europea o el Programa CERV. Ni la Unión Europea ni la autoridad que concede la subvención pueden ser consideradas responsables de las mismas.

80 | digiRISE