Profesional 360° - Volumen VII - Marzo 2024

Profesional 360

Entrevista a Melina Sol Rahvalschi (@delderecho.alhecho)

• Sol Aylén Borrelli Ozón aborda los usos y la asistencia legal de la IA en la abogacía • El proyecto de Reglamento de IA de la UE por Mariana Sánchez Caparrós • Antonella A. Rossi analiza los deberes éticos del magistrado y la implementación de la IA en el ámbito jurídico • Miguel Mario Flores reflexiona sobre la justicia y su futuro: inteligencia artificial o inteligencia humana • Las obras generadas por la IA frente a la propiedad intelectual por María Pía Iturralde

• El derecho al recurso como acceso al proceso en los juicios contra el Estado por Emanuel Saldi • ¿Qué leer?

Índice

4

Inteligencia artificial en la abogacía

Sol Aylén Borrelli Ozón

17

34

La tensión imperante entre los deberes éticos del magistrado y la implementación de la inteligencia artificial en el ámbito jurídico Antonella A. Rossi

El Proyecto de Reglamento de Inteligencia Artificial de la Unión Europea Mariana Sánchez Caparrós

75

La justicia y su futuro

Miguel Mario Flores

90

Las obras generadas en forma autónoma por la inteligencia artificial frente a la propiedad intelectual

María Pía Iturralde

100

108

114

El derecho al recurso como acceso al proceso en los juicios contra el Estado

Emanuel Saldi

Entrevista a Melina Sol Rahvalschi

Qué leer

Inteligencia artificial en la abogacía

Usos y asistencia legal

Sol Aylén

Borrelli Ozón

Red Jean Monnet sobre “Polí tica Regional de Protección de Datos e Inteligencia Artificial”, cofinanciado por el Programa Erasmus+ de la UE y el Centro Latinoamericano de Estudios Europeos (Università degli Studi di Milano, Italia).

I. INTELIGENCIA ARTIFICIAL

La inteligencia artificial (IA) ha irrumpido para convertirse en uno de los temas más relevantes en la agenda de los medios y de los Estados. Por ello es importante delimitar, antes de continuar, ¿a qué nos referimos cuando hablamos de inteligencia artificial? Según la Organización para la Cooperación y el Desarrollo Económicos (OCDE), ella es definida como “un sistema computacional que puede, para un determinado conjunto de objetivos definidos por humanos, hacer predicciones y recomendaciones o tomar decisiones que influyen en entornos reales o virtuales. Los sistemas de IA están diseñados para operar con distintos niveles de autonomía”1.

1 Cabrol, Marcelo; González Alarcón, Natalia; Pombo, Cristina; Sánchez Ávalos, Raúl, Adopción y ética y responsable de la inteligencia artificiales en América Latina y el Caribe. Nota Técnica del BID, 2020.

Sin embargo, cabe destacar que la definición no debería ceñirse a una sola —ya que ella se verá modificada con el mismo avance tecnológico—, debiendo ser suficientemente flexible para adaptarse al progreso técnico sin perder precisión, con el fin de ofrecer seguridad jurídica2. Un caso para ejemplificar esto ha sido la evolución en la definición de IA de la Comisión Europea en su Comunicación sobre la inteligencia artificial para Europa3, que luego ha sido perfeccionada por un grupo de expertos: “Los sistemas de inteligencia artificial (IA) son programas informáticos (y posiblemente también equipos informáticos) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital mediante la percepción de su entorno mediante la adquisición de datos, la interpretación de los datos estructurados o no estructurados, el razonamiento

2 Comisión Europea, LIBRO BLANCO sobre la inteligencia artificial – un enfoque europeo orientado a la excelencia y la confianza, Bruselas (Bélgica), 2020, disponible en https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52020DC0065 [sitio consultado el 13-112023].

3 Esta institución de la Unión Europea establecía: “El término ‘inteligencia artificial’ (IA) se aplica a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción —con cierto grado de autonomía— con el fin de alcanzar objetivos específicos. Los sistemas basados en la IA pueden consistir simplemente en un programa informático (p. ej. Asistentes de voz, programas de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento facial y de voz), pero la IA también puede estar incorporada en dispositivos de hardware (p. ej. Robots avanzados, automóviles autónomos, drones o aplicaciones del internet de las cosas)”.

sobre el conocimiento o el tratamiento de la información, fruto de estos datos y la decisión de las mejores acciones que se llevarán a cabo para alcanzar el objetivo fijado”4.

II. USOS DE LA IA: QUÉ HERRAMIENTAS PUEDEN TOMAR LOS PROFESIONALES DE ABOGACÍA

El mundo sigue avanzando y los/as abogados/as no pueden quedarse de brazos cruzados. En su momento, dejaron el papel para utilizar la computadora. Hoy en día nos depara una nueva adaptación: la inteligencia artificial.

La IA puede ser de gran utilidad para los profesionales que la empleen, incluso es de notable asistencia para la Administración pública. Es capaz de —como se observará infra— revisar y redactar contratos, buscar leyes, jurisprudencia y doctrina, dictar sentencias monitorias, como así también predecir el resultado de un caso, realizar un dictamen e, incluso, detectar prioridades de expedientes. Todo ello sin perder de vista uno de los grandes beneficios: la automatización de las tareas y el ahorro del tiempo. En relación con ello, la IA posibilita, por ejemplo, realizar una denuncia vial con solo su-

4 Comisión Europea, LIBRO BLANCO sobre la inteligencia artificial – un enfoque europeo orientado a la excelencia y la confianza, cit

bir una imagen de la infracción al sistema.

III. EL YIN Y EL YAN

Como todas las tecnologías, la IA tiene su lado bueno y malo.

Ventajas y usos:

1. Automatización de tareas repetitivas:

Permite que los abogados y abogadas ahorren tiempo y energía en trabajos monótonos, posibilitándoles a estos profesionales dedicar su tiempo a situaciones más importantes, que requieran, por ejemplo, de creatividad o ingenio. Tal es el caso del software impulsado por GPT4, que puede, entre otras tareas, revisar y redactar contratos.

Asimismo, un notable caso es el de Prometea, desarrollado en el IALAB (Laboratorio de Innovación e Inteligencia Artificial de la Universidad de Buenos Aires). Este es un sistema de IA que se emplea en la justicia, que utiliza técnicas de aprendizaje automático (machine learning) supervisado y de clustering, el cual hace referencia a la agrupación de temáticas dentro de los datos, desde un etiquetado manual y automático5. Asi-

5 Universidad de Buenos Aires, “Inteligencia Artificial en ayuda del Derecho”, Buenos Aires (Argentina), 2020, disponible en https://mitsloan.mit.edu/ideas-made-to-matter/deepfakes-explained [sitio consultado el

mismo, puede realizar búsqueda de leyes y precedentes, como también hacer la predicción de un dictamen para un caso concreto, luego de leer el expediente y otros casos similares6.

Otro ejemplo en el que la IA permite ahorrar tiempo se evidenció en el Poder Judicial de Río Negro, que implementó un modelo de inteligencia artificial en los fueros Contencioso-Administrativos y Civiles para el dictado de las sentencias monitorias, las cuales ascendieron al número de aproximadamente 6.0007.

2. Capacidad de procesar grandes cantidades de datos en poco tiempo

Por ejemplo, el sistema Prometea predice la solución de un caso judicial en menos de 20 segundos, con una tasa de acierto del 96%8. En solo 45 días elabora 1.000 dictámenes jurídicos en expedientes relacionados con el derecho a la vivienda. Si no se utilizara este sistema, el tiempo para la obtención de estos resultados sería de 174 días9. 14-11-2023].

6 Ibidem.

7 Télam, “Río Negro: un fuero dictó casi 6.000 fallos con inteligencia artificial”, Buenos Aires (Argentina), 2023, disponible en https://www.telam.com.ar/notas/202309/641685-rio-negro-justicia-fallos-con-inteligencia-artificial.html [sitio consultado el 15-11-2023].

8 Corvalán, Juan Gustavo, “Interludio. Dr. Jekyll, Mr. Hyde, Jano, Funes el Memorioso y el Gorila Invisible en la era de la IA” en Tratado de Inteligencia Artificial y Derecho, Tomo I, Thomson Reuters, año 2021, p.272.

9 Procuración General de la Ciudad Autónoma de Bue-

3. Eficiencia y optimización

Un caso para ejemplificar es el de PretorIA, un sistema de IA predictivo desarrollado para ser aplicado en la Corte Constitucional de Colombia, que recibe en promedio 2.700 acciones de tutela por día. Su objetivo es ayudar a brindar un mejor sistema de justicia al detectar los casos prioritarios de manera más eficiente10.

Otro ejemplo es el sistema predictivo creado para el Banco Interamericano de Desarrollo (BID), que posibilita la detección inteligente de documentos en tan solo segundos. En él se observa un impacto de optimización debido a que permite confeccionar un informe de revisión ex post y controlarlo humanamente en entre 10 a 15 minutos, a diferencia de antes, que tomaba tres horas y media en promedio. Las tasas de acierto superan el 90%11.

Por último, es menester mencionar que en el ámbito de la Fiscalía de Esnos Aires, “¡Prometea al Mundial de la Inteligencia Digital! La Inteligencia Artificial Aplicada a la Gestión Pública Argentina Presentada al Mundo”, Buenos Aires (Argentina), 2019, disponible en https://buenosaires.gob.ar/sites/ default/files/media/document/2019/05/21/44a2e454a37d0eb9bff2b87961f00dd5f03af486.pdf [sitio consultado el 15-11-2023].

10 UBA Rectorado, Juan Gustavo Corvalán | ¿Cómo la inteligencia artificial puede mejorar los procesos de la Justicia?, Buenos Aires (Argentina), 2021, disponible en https://www.youtube.com/watch?v=PcT8XuXMzYw [sitio consultado el 15-11-2023].

11 Ibidem.

tado de la provincia de Buenos Aires se desarrolló una tecnología denominada Velox12, la cual ayuda a los profesionales de abogacía en la confección de la vista fiscal, que en sede administrativa emite el fiscal de Estado, con carácter previo a decidir los expedientes en los que se reclama el pago de intereses por mora en la cancelación de facturas. Para ello, hay que subir el expediente electrónico al sistema y, a partir del cruce de la información recabada, se constata si la factura ha sido pagada en término, si el reclamo es extemporáneo o si corresponde el pago de intereses por mora. Luego, se genera la vista automáticamente.

4. Mejor acceso a la justicia

Reduciendo el tiempo de los profesionales en tareas automatizadas, pueden brindar mayor atención a los casos que requieran de sus servicios, dejándole a la IA que responda consultas básicas, por ejemplo, con los chatbots. Un caso es el de Boti, el chatbot de la Ciudad Autónoma de Buenos Aires. Así, en pocos minutos, el usuario puede, por ejemplo, realizar una denuncia vial por WhatsApp, acompañada de una foto que muestre la infrac12 Cervellini, Mariano; Carbone, Miguel; Szelagowski, Blas; González Oria, Federico, “VELOX: Inteligencia artificial aplicada a las vistas. Una nueva PoC para la gestión interna de la Fiscalía de Estado”, La Plata (Argentina), 2022, disponible en http://sedici.unlp.edu.ar/bitstream/ handle/10915/151820/Documento_completo.PDF-PDFA.pdf?sequence=1&isAllowed=y [sitio consultado el 1611-2023].

ción. A través de IA, el chatbot reconoce las imágenes e identifica las patentes de los vehículos13.

5. Menos errores, mayor calidad y rentabilidad

De lo expuesto ut supra se observa que la IA también generaría menos errores, mejorando la calidad de los servicios brindados al utilizar el tiempo para situaciones que requieran del conocimiento humano (dejando a la IA las tareas reiterativas) y, por ende, generando una mayor rentabilidad.

Por otro lado, las desventajas que se pueden observar son las siguientes:

1. Sesgos y discriminación

El sesgo algorítmico tiene lugar cuando un sistema de IA hace una predicción que produce una situación injusta o un

trato desfavorable para una persona o grupo de personas14.

Con el famoso caso de Compas (Correctional Offender Management Profiling for Alternative Sanctions), una herramienta utilizada por los jueces para dictar sentencia, esta desventaja se puede observar: ProPublica difundió en su página oficial15 un análisis16 que concluía que las personas de tez oscura eran habitualmente calificadas con altas probabilidades de reincidir, a diferencia de las de tez blanca17. También se han observado sesgos en sistemas de inteligencia artificial que evalúan CV y riesgos de salud. En el primer caso, eligieron más aspirantes

14 Danesi, Cecilia, El imperio de los algoritmos: Galerna, Ciudad Autónoma de Buenos Aires, 2022, p.133.

15 ProPublica, “Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks”, Manhattan, New York (United States), 2016, disponible en https://www.propublica.org/ article/machine-bias-risk-assessments-in-criminal-sentencing [sitio consultado el 17-11-2023].

13 Secretaría de Innovación y Transformación Digital de la Ciudad Autónoma de Buenos Aires, “Boti, el WhatsApp de la Ciudad, superó las 26 millones de conversaciones”, Buenos Aires (Argentina), 2022, disponible en https:// buenosaires.gob.ar/jefaturadegabinete/innovacion/noticias/tramites-denuncias-y-consultas-todo-lo-que-podes-hacer-con [sitio consultado el 15-11-2023].

16 ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm”, Manhattan, New York (United States), 2016, disponible en https://www.propublica.org/article/ how-we-analyzed-the-compas-recidivism-algorithm [sitio consultado el 17-11-2023].

17 BBC, “5 algoritmos que ya están tomando decisiones sobre tu vida y que quizás tú no sabías”, Londres (Inglaterra), 2018, disponible en https://www.bbc.com/mundo/ noticias-42916502 [sitio consultado el 17-11-2023].

al cargo con nombres que creían blancos que con aquellos que suponían propios de gente de tez oscura18. Mientras que, en el segundo caso, un algoritmo infiere cuánto costará un paciente (en términos de dinero) y discrimina de manera sistemática a las personas de tez oscura19.

Asimismo, a partir de un estudio realizado por Reuters20, se evidenció que la aplicación Amazon utilizaba un algoritmo con preferencias hacia los hombres, debido a que penalizaban los CV que contenían la palabra “mujer”21, observándose un claro sesgo22.

18 National Bureau Of Economic Research, “Are Emily and Greg More Employable than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination”, NBER Working Paper Series, Cambridge (United Kindom), 2003, disponible en https://www.nber.org/system/files/working_papers/w9873/w9873.pdf [sitio consultado el 14-112023].

19 El País, “El algoritmo que discrimina a los pacientes negros sin conocer su raza”, Madrid (España), 2019, disponible en https://elpais.com/elpais/2019/10/24/ciencia/1571909798_596622.html [sitio consultado el 14-112023].

20 Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women”, San Francisco (United States), 2018, disponible en https://www.reuters.com/ article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-biasagainst-women-idUSKCN1MK08G [sitio consultado el 17-11-2023].

21 BBC, “El algoritmo de Amazon al que no le gustan las mujeres”, Londres (Inglaterra), 2018, disponible en https://www.bbc.com/mundo/noticias-45823470 [sitio consultado el 17-11-2023].

22 Cadena Ser, “El sexismo en los algoritmos: una discriminación subestimada”, Madrid (España), disponible en https://cadenaser.com/ser/2020/06/23/ciencia/1592902241_265403.html [sitio consultado el 17-112023].

Esto mismo les ha pasado a gobiernos provinciales de nuestro país al establecer políticas públicas relacionadas con la salud, al desarrollar un sistema de inteligencia artificial con el fin de predecir en forma automática embarazos adolescentes. Los investigadores del Laboratorio de Inteligencia Artificial Aplicada23 observaron problemas de resultados artificialmente sobredimensionados (datos de evaluación incluían réplicas casi idénticas de muchos datos de entrenamiento), datos posiblemente sesgados (los datos de embarazos adolescentes tienen una tendencia a estar sesgados o incompletos, por ser un tema sensible y confidencial) y, por último, datos inadecuados (fueron extraídos de una encuesta que contenía información personal sobre su entorno y si había cursado o estaba cursando un embarazo)24.

En síntesis, la inteligencia artificial puede reproducir y amplificar los estereotipos.

2. Ausencia de transparencia. El caso de las cajas negras

Antes de comenzar, ¿a qué se denomina “sistema de caja negra”?  Ello hace

23 Laboratorio de Inteligencia Artificial Aplicada, “Sobre la predicción automática de embarazos adolescentes”, Argentina, 2018, disponible en https://liaa.dc.uba.ar/es/ sobre-la-prediccion-automatica-de-embarazos-adolescentes/ [sitio consultado el 14-11-2023].

24 Ibidem

Reduciendo el tiempo de los profesionales en tareas automatizadas, pueden brindar mayor atención a los casos que requieran de sus servicios, dejándole a la IA que responda consultas básicas, por ejemplo, con

los chatbots.

referencia a la herramienta computacional en la que se comprenden los datos ingresados y los resultados, pero no el modo mediante el cual se llegó a ellos, es decir, el procedimiento25. En otras palabras, alude a la imposibilidad de precisar

25 Corvalán, Juan Gustavo, “Inteligencia artificial: retos, desafíos y oportunidades – Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia”, Buenos Aires (Argentina), 2017, disponible en https:// www.scielo.br/j/rinc/a/gCXJghPTyFXt9rfxH6Pw99C/# [sitio consultado el 14-11-2023].

por qué los algoritmos arribaron a una predicción y no a otra26. Un ejemplo de ello puede ser lo acontecido con los investigadores de Google, que estaban trabajando en un software de IA y observaron que dicho programa había aprendido un nuevo idioma —es decir, una habilidad— por sí mismo27.

Asimismo, se observa el caso de caja negra en Compas —mencionado ut supra—. En él se utiliza scoring, el cual es empleado como un sistema predictivo que trabaja algorítmicamente con los datos recopilados —en este caso, mediante un formulario que completan las personas detenidas— con el fin de estimar las probabilidades de una persona de reincidir en la comisión de un delito28.

En relación con ello, Compas es un sistema de caja negra debido a que no se sabe exactamente cómo construye paso a paso el razonamiento específico que per-

26 Infobae, “La abogada de 32 años que creó la materia Inteligencia Artificial en la carrera de Derecho en la UBA”, Buenos Aires (Argentina), 2020, disponible en https:// www.infobae.com/tecno/2020/02/22/la-abogada-de-32anos-que-creo-la-materia-inteligencia-artificial-en-lacarrera-de-derecho-en-la-uba/ [sitio consultado el 1411-2023].

27 60 Minutes, “AI is mysteriously learning things it wasn’t program to know”, Estados Unidos, 2023, disponible en https://www.facebook.com/watch/?v=1266067557623565 [sitio consultado el 14-11-2023].

28 Corvalán, Juan Gustavo, “El peligro de la inteligencia artificial como oráculo del sistema penal”, Buenos Aires (Argentina), 2017, disponible en https://www.infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/ [sitio consultado el 14-11-2023].

mite saber la importancia que se le da a cada uno de los elementos para construir el scoring de riesgo. Además, por razones de secreto comercial, tampoco se permite que se abra el código. Por último, arroja predicciones que a priori encarnan categorías sospechosas. De esta manera, la inteligencia artificial de este modelo inaugura un nuevo supuesto de “discriminación estructural algorítmica”29.

En síntesis, en los casos de los sistemas de caja negra no hay transparencia, obstaculiza una comprensión integral de su funcionamiento y de sus eventuales fallos.  Especialmente, si no se conoce cómo funciona el algoritmo, no se comprende el sistema ni tampoco las conclusiones; por ello, justamente, dificulta y obstaculiza el derecho a defensa.

3. Desinformación

La información falsa se relaciona estrechamente con los deepfake creados con IA, que hacen referencia a un tipo específico de medio sintético en el que una imagen o video de una persona es intercambiada con la imagen de otra30. De esta manera, se presentan como con-

29 Corvalán, Juan Gustavo, Cibercrimen III. Inteligencia Artificial. Automatización y predicciones en el derecho, BdF, 2020, p. 79.

30 Somers Meredith, “Deepfakes, explained”, Cambridge (United States), 2020, disponible en https://mitsloan. mit.edu/ideas-made-to-matter/deepfakes-explained [sitio consultado el 14-11-2023].

vincentes y reales sucesos que, en realidad, son engaños, muchas veces difíciles de detectar.

IV. EL ENEMIGO INVISIBLE: ¿CÓMO COMBATIR LO NEGATIVO DE LA IA?

Una opción difundida por parte de la doctrina, dentro de la que se incluye a Cecilia Danesi31 —prestigiosa experta en la materia—, es el dictado de una ley que establezca la obligatoriedad de la realización de una auditoría algorítmica y la certificación ética de la inteligencia artificial para los sistemas de alto riesgo, los cuales serán evaluados minuciosamente previo a su introducción en el mercado y a lo largo de su ciclo de vida. Entre ellos —según la Comisión Europea32— se incluyen a los asuntos relacionados con la aplicación del derecho que puedan interferir en los derechos humanos fundamentales (por ejemplo, la evaluación de la fiabilidad de las pruebas), como así también la administración de justicia y los procesos democráticos.

31 Danesi, Cecilia, El imperio de los algoritmos, cit., p. 253.

32 Además, hace referencia a las infraestructuras críticas que puedan causar un daño al ciudadano en su vida y salud; la educación; los elementos de seguridad de los productos, servicios públicos y privados esenciales; leyes que puedan trastocar la migración, asilo, control fronterizo y la justicia en Comisión Europea, Excelencia y confianza en la inteligencia artificial, Bruselas (Bélgica), disponible en https://commission.europa.eu/strategy-and-policy/ priorities-2019-2024/europe-fit-digital-age/excellence-and-trust-artificial-intelligence_es [sitio consultado el 16-11-2023].

En este sentido también se ha manifestado Cathy O’Neil con el desarrollo de una empresa de auditoría algorítmica, la cual brinda un sello de calidad, promoviendo así la responsabilidad algorítmica33.

En resumen, se observan las iniciativas de la auditoría de sistemas de IA para detectar tratos desfavorables y la trasparencia de los sistemas. Esto último cuestionaría a los sistemas que utilicen caja negra que no lleven a cabo dichos deberes34.

33 Danesi, Cecilia, El imperio de los algoritmos, cit., p. 254.

34 Danesi, Cecilia, El imperio de los algoritmos, cit., p. 258.

V. EL FUTURO YA LLEGÓ EN LA ABOGACIA

La abogacía indudablemente debe adaptarse a los cambios que desafía la nueva era relacionada con la tecnología. Para ello, se debe cambiar desde la estructura: los planes de estudios de las Facultades de todo el mundo que ofertan dicha carrera, verbigracia, añadiendo materias relacionadas con inteligencia artificial, su impacto y su relación con el derecho. La realidad de hoy no es la misma de hace 20 años, como tampoco lo son las personas. La realidad cambia y el derecho no debe ser la excepción; por ello, en lugar de hacer caso

omiso e ignorar el asunto, se pretende tomar conciencia del futuro (no tan futuro) inevitable que nos espera, porque los algoritmos y la inteligencia artificial ya son un hecho.

Desde este punto, es menester recalcar que no considero la postura que sostiene que la IA pueda quitar todos los puestos de trabajo porque estimo que va a generar nuevos que antes no existían. Por ello, pienso que la salida es, justamente, adaptarnos a esta nueva época, tomar conciencia y capacitarnos en inteligencia artificial.

Sostengo sólidamente que los abogados son necesarios para mantener los valores y derechos incólumes, siendo dichos profesionales personas humanas, con capacidad de razonamiento y de entendimiento, capaces de comprender y utilizar —además de sus conocimientos en la materia— los valores humanos, los sentimientos. O acaso, ¿cómo llevará a cabo un sistema de IA un proceso tan delicado como la adopción?, ¿y de violencia doméstica?, ¿cómo podrá cuantificar el daño moral?, ¿mediante una fórmula matemática? Para cuestiones como tales, en donde se requiera un grado de sensibilidad y empatía —cualidades inexistentes en la IA—, es de vital importancia contar con seres humanos al mando, sin

pretender llevar la cuestión a un extremo moral. En otras palabras, dicha profesión es irremplazable en determinadas cuestiones donde se necesite la conciencia, sensibilidad, razón, valores morales y, simplemente, humanidad. En cambio, para asuntos que requieran de elementos objetivos, de automatización, eficacia y eficiencia, allí podrá ocupar un lugar protagónico la inteligencia artificial.

La labor de los abogados y la IA es compatible de manera conjunta. No son ideas dicotómicas sino complementarias: no es uno u otro, no es IA o abogados, sino inteligencia artificial y abogados, juntos y en un proyecto integral.

VI. REFERENCIAS

60 Minutes, “AI is mysteriously learning things it wasn’t program to know”, Estados Unidos, 2023, disponible en https://www.facebook.com/watch/?v=1266067557623565

BBC, “5 algoritmos que ya están tomando decisiones sobre tu vida y que quizás tú no sabías”, Londres (Inglaterra), 2018, disponible en https://www.bbc. com/mundo/noticias-42916502

BBC, “El algoritmo de Amazon al que no le gustan las mujeres”, Londres (Ingla-

terra), 2018, disponible en https://www. bbc.com/mundo/noticias-45823470

Cabrol, Marcelo; González Alarcón, Natalia; Pombo, Cristina; Sánchez Ávalos, Raúl, “Adopción y ética y responsable de la inteligencia artificiales en América Latina y el Caribe. Nota Técnica del BID”, 2020.

Cadena Ser, “El sexismo en los algoritmos: una discriminación subestimada”, Madrid (España), disponible en https://cadenaser.com/ser/2020/06/23/ ciencia/1592902241_265403.html

Cervellini, Mariano; Carbone, Miguel; Szelagowski, Blas; González Oria, Federico, “VELOX: Inteligencia artificial aplicada a las vistas. Una nueva PoC para la gestión interna de la Fiscalía de Estado”, La Plata (Argentina), 2022, disponible en http://sedici.unlp.edu.ar/ bitstream/handle/10915/151820/Documento_completo.PDF-PDFA.pdf?sequence=1&isAllowed=y

Comisión Europea, “Excelencia y confianza en la inteligencia artificial”, Bruselas (Bélgica), disponible en https://commission.europa.eu/strategy-and-policy/ priorities-2019-2024/europe-fit-digital-age/excellence-and-trust-artificial-intelligence_es

Comisión Europea, LIBRO BLANCO sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, Bruselas (Bélgica), 2020, disponible en https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52020DC0065

Corvalán, Juan Gustavo, Cibercrimen III. Inteligencia Artificial. Automatización y predicciones en el derecho, BdF, 2020.

Corvalán, Juan Gustavo, “Inteligencia artificial: retos, desafíos y oportunidades - Prometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia”, Buenos Aires (Argentina), 2017, disponible en https://www.scielo.br/j/ rinc/a/gCXJghPTyFXt9rfxH6Pw99C/#

Corvalán, Juan Gustavo, “Interludio. Dr. Jekyll, Mr. Hyde, Jano, Funes el Memorioso y el Gorila Invisible en la era de la IA” en Tratado de Inteligencia Artificial y Derecho, Tomo I, Thomson Reuters, año 2021.

Corvalán, Juan Gustavo, “El peligro de la inteligencia artificial como oráculo del sistema penal”, Buenos Aires (Argentina), 2017, disponible en https://www. infobae.com/opinion/2017/08/30/el-peligro-de-la-inteligencia-artificial-como-oraculo-del-sistema-penal/

Danesi, Cecilia, El imperio de los algoritmos: Galerna, Ciudad Autónoma de Buenos Aires, 2022.

El País, “El algoritmo que discrimina a los pacientes negros sin conocer su raza”, Madrid (España), 2019, disponible en https://elpais.com/elpais/2019/10/24/ ciencia/1571909798_596622.html [sitio consultado el 14-11-2023].

Infobae, “La abogada de 32 años que creó la materia Inteligencia Artificial en la carrera de Derecho en la UBA”, Buenos Aires (Argentina), 2020, disponible en https://www.infobae.com/ tecno/2020/02/22/la-abogada-de-32anos-que-creo-la-materia-inteligenciaartificial-en-la-carrera-de-derecho-enla-uba/

Laboratorio de Inteligencia Artificial Aplicada, “Sobre la predicción automática de embarazos adolescentes”, Argentina, 2018, disponible en https://liaa. dc.uba.ar/es/sobre-la-prediccion-automatica-de-embarazos-adolescentes/

National Bureau Of Economic Research, “Are Emily and Greg More Employable than Lakisha and Jamal? A Field Experiment on Labor Market Discrimination”, NBER Working Paper Series, Cambridge (United Kindom), 2003, dispo-

nible en https://www.nber.org/system/ files/working_papers/w9873/w9873.pdf

Procuración General de la Ciudad Autónoma de Buenos Aires, “¡Prometea al Mundial de la Inteligencia Digital! La Inteligencia Artificial Aplicada a la Gestión Pública Argentina Presentada al Mundo”, Buenos Aires (Argentina), 2019, disponible en https://buenosaires.gob. ar/sites/default/files/media/document/2019/05/21/44a2e454a37d0eb9bff2b87961f00dd5f03af486.pdf

ProPublica, “How We Analyzed the COMPAS Recidivism Algorithm”, Manhattan, New York (United States), 2016, disponible en

https://www.propublica. org/article/how-we-analyzed-the-compas-recidivism-algorithm

ProPublica, “Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks”, Manhattan, New York (United States), 2016, disponible en https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women”, San Francisco (United States), 2018, disponible en https://www.reuters. com/article/us-amazon-com-jobs-auto -

mation-insight/amazon-scraps-secretai-recruiting-tool-that-showed-biasagainst-women-idUSKCN1MK08G

Secretaría de Innovación y Transformación Digital de la Ciudad Autónoma de Buenos Aires, “Boti, el WhatsApp de la Ciudad, superó los 26 millones de conversaciones”, Buenos Aires (Argentina), 2022, disponible en https://buenosaires. gob.ar/jefaturadegabinete/innovacion/ noticias/tramites-denuncias-y-consultas-todo-lo-que-podes-hacer-con

Somers Meredith, “Deepfakes, explained”, Cambridge (United States), 2020, disponible en https://mitsloan.mit.edu/ ideas-made-to-matter/deepfakes-explained [sitio consultado el 14-11-2023].

Télam, “Río Negro: un fuero dictó casi 6.000 fallos con inteligencia artificial”, Buenos Aires (Argentina), 2023, disponible en https://www.telam.com.ar/notas/202309/641685-rio-negro-justicia-fallos-con-inteligencia-artificial.html

UBA Rectorado, “Juan Gustavo Corvalán. ¿Cómo la inteligencia artificial puede mejorar los procesos de la Justicia?”, Buenos Aires (Argentina), 2021, disponible en https://www.youtube.com/ watch?v=PcT8XuXMzYw

Universidad de Buenos Aires, “Inteligencia Artificial en ayuda del Derecho”, Buenos Aires (Argentina), 2020, disponible en https://mitsloan.mit.edu/ideas-made-to-matter/deepfakes-explained

La tensión imperante entre los deberes éticos del magistrado y la implementación de la inteligencia artificial en el ámbito jurídico

Antonella A. Rossi

Abogada egresada de la Universidad Nacional de Córdoba (2016). Perteneciente al cuadro de honor y egresada sobresaliente de la UNC. Diplomada en Derecho Digital; diplomada en Proceso Civil Oral; maestranda en Derecho y Argumentación UNC. Adscripta de la cátedra de Derecho Procesal Civil y Comercial de la UNC.

I. INTRODUCCIÓN

A nivel global, uno de los mayores problemas que acarrean los sistemas judiciales, desde antaño, es la demora en la impartición de justicia. Este fenómeno se sustenta en la falta de eficacia y eficiencia en la prestación del servicio; fundamentalmente, la carga de trabajo excesiva, manifestada en la multiplicidad de casos y la escasez de recursos humanos asignados a esta labor, constituyen factores preeminentes que conllevan una lentitud en la correcta administración de justicia. En consecuencia, muchos países han buscado abordar este problema mediante la implementación de herramientas tecnológicas con el propósito de mejorar la prestación del servicio, lo que a su vez implica mejoras en la impartición y disminución de los plazos para la resolución de conflictos.

Adicionalmente, resulta imperativo destacar que las nuevas tecnologías han asumido y continuarán desem-

peñando un papel trascendental en la sociedad. Ello se explica por la ocurrencia de dos fenómenos: la transformación radical en la manera de procesar datos e información y la mutación exponencial de las concepciones tradicionales de espacio y tiempo.

En este contexto, resulta esencial afirmar que las nuevas tecnologías han propiciado una transformación de la labor jurídica. En concordancia con este fenómeno, el propósito de estudio es analizar el concepto de inteligencia artificial para, desde allí, poder analizar los desafíos inherentes a su implementación en el ámbito jurídico, abordando la tensión que genera con los deberes éticos de los magistrados y, en consecuencia, proponer soluciones coherentes para su utilización responsable y conforme a los preceptos legales imperantes.

II. HACIA UNA CONCEPTUALIZACIÓN DE INTELIGENCIA ARTIFICIAL

Es menester destacar que, si bien no existe un concepto o definición unánime sobre lo que es la inteligencia artificial, podemos definirla como la habilidad que puede poseer una máquina para realizar tareas que puede efectuar el ser humano aplicando cualquier tipo de razonamiento. Es una automatización de actividades que vinculamos con procesos del pen-

samiento humano, tales como la toma de decisiones, solución de problemas y aprendizaje1.

El Diccionario del Centre National de Ressources Textuelles et Lexicales la conceptualiza como la búsqueda de medios susceptibles de dotar a los sistemas informáticos con capacidades intelectuales comparables a las de los seres humanos2.

Por su parte, John McMarthy, quien fue uno de los fundadores del término IA, la definió como un proceso consistente en hacer que una máquina se comporte de formas que serían llamadas inteligentes si un ser humano lo hiciera3.

La comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, denominada “Inteligencia artificial para Europa”4 del 25/4/2018, refiere que el término IA se aplica a los sistemas que ma-

1 MARTÍNEZ BAHENA, Goretty Carolina, “La inteligencia artificial y su aplicación al campo del derecho”. Alegatos. N° 82, septiembre/diciembre 2012, p. 2.

2 Diccionario del Centre National de Ressources Textuelles et Lexicales. Disponible al 16/5/2021 en http:// www.cnrtl.fr/definition/intelligence.

3 KAPLAN, Jerry, “Inteligencia artificial, lo que todo el mundo debe saber”. Oxford University Press, Teell, España, 2017, pág. 1.

4 “Inteligencia artificial para Europa”. Disponible al 21/6/2018 en http://ec.europa.eu/transparency/regdoc/ rep/1/2018/ES/COM-2018-237-F1-ES-MAIN-PART-1. PDF citado en Danesi, Cecilia C. (2018) “Inteligencia artificial y responsabilidad civil: un enfoque en materia de vehículos autónomos”. Publicado en Sup. Esp. LegalTech 2018 (noviembre). Cita Online: AR/DOC/2374/2018.

nifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción —con cierto grado de autonomía— con el fin de alcanzar objetivos específicos. Aclara que los sistemas basados en la IA pueden consistir simplemente en un programa informático (tales como asistentes de voz, programas de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento facial y de voz), pero la IA también puede estar incorporada en dispositivos de hardware (ejemplo: robots avanzados, automóviles autónomos, drones o aplicaciones del Internet de las cosas —IOT—).

Como primera aproximación al tema, podemos definirla como la rama de la ciencia que tiene como objetivo el diseño y la construcción de máquinas y/o algoritmos capaces de imitar el comportamiento inteligente de las personas. Es decir, como aquella rama especializada de la informática que investiga y produce razonamiento por medio de máquinas5 automáticas y que pretende fabricar artefactos dotados de la capacidad de pensar. En suma, si bien no existe consenso en torno al concepto de IA, sí se puede afirmar que todas las definiciones coinciden en que es un hito tecnológico que se

5 Cabe aclarar que, en esta tesina, cuando hablamos de máquinas, no nos referimos específicamente a máquinas en sentido estricto, sino a sistemas o máquinas de manera indistinta.

caracteriza por poseer habilidades inherentes a los seres humanos.

III. LOS DEBERES ÉTICOS DE LOS MAGISTRADOS

En la revolución 4.0 que nos encontramos atravesando, los jueces deben aggiornarse a los requerimientos digitales en constante evolución. En este contexto, el papel de los jueces se ha transformado, siendo su responsabilidad garantizar una administración de justicia eficiente, equitativa y acorde con los avances tecnológicos. La introducción de la tecnología en los procesos judiciales ha permitido agilizar diversas tareas y optimizar la gestión de los expedientes. Los jueces han adoptado herramientas electrónicas para la presentación y revisión de documentos, así como para el seguimiento de los casos. Esto ha contribuido a una mayor eficiencia en la administración de justicia, reduciendo tiempos y costos asociados, y también ha generado la aparición de nuevas formas de evidencia, como la información digital y las pruebas electrónicas.

A continuación, analizaremos algunos de los deberes éticos de los magistrados, para ver si la implementación de las nuevas tecnologías, especialmente herramientas que posean inteligencia artificial, entra en conflicto con ellos; y,

en consecuencia, propondremos vías de implementación a los fines de eliminar estas tensiones existentes.

En primer lugar es menester destacar que algunos países no tienen Código de Ética para los magistrados —como Alemania—, en virtud de que consideran que las virtudes judiciales son integrativas del núcleo ontológico de la magistratura. Así se puede decir que ser juez es ser hombre imparcial, ciudadano independiente y árbitro ecuánime6, y de ello derivarán las responsabilidades inherentes al cargo. Otros países, independientemente de lo expuesto, utilizan los códigos deontológicos como una orientación para que el desideratum moral de los magistrados pueda ser realizado con mayor éxito. En consecuencia, expondremos los principales deberes éticos plasmados en los distintos códigos deontológicos y cómo la utilización de la IA pone en jaque alguno de ellos.

III.1. El deber de confidencialidad

Este deber hace referencia a que los jueces tienen la obligación de mantener la confidencialidad de la información y los detalles sensibles que se les presenten durante los procedimientos judiciales. Esto implica respetar la privacidad

6 ANDRUET, A. “Códigos de ética judicial – Discusión, realización y perspectiva”. Ed. La Ley, Buenos Aires, 2008, pág. 17.

de las partes involucradas y proteger la información confidencial, ya que este deber es esencial para la confianza en el sistema judicial. Por ejemplo, el Código Iberoamericano de Ética Judicial7 en el art. 61 expresa: “El secreto profesional tiene como fundamento salvaguardar los derechos de las partes y de sus allegados frente al uso indebido de informaciones obtenidas por el juez en el desempeño de sus funciones”; y luego, en su art. 62 cita: “Los jueces tienen obligación de guardar absoluta reserva y secreto profesional en relación con las causas en trámite y con los hechos o datos conocidos en el ejercicio de su función o con ocasión de esta”. Este mismo deber lo podemos ver consagrado en el art. 25 del Código de Ética de Republica Dominicana.

Creemos fervientemente que este deber es uno de los más problemáticos o que más roza el incumplimiento por parte de los magistrados al utilizar la IA. En primer término, decimos que el deber de confidencialidad se ve transformado por el uso de las nuevas tecnologías, ya que será dificultoso utilizarlas y al mismo tiempo cumplir en forma con el requerimiento ético; ello porque la mayoría de los sistemas, plataformas o aplicaciones en donde la información es almacenada

7 Cfr. “Código Iberoamericano de Ética Judicial”. Disponible al 10/12/2022 en https://www.oas.org/juridico/ PDFs/mesicic5_mex_ane_57.pdf

de IA con ML, el sistema se va perfeccionando a través del uso e interacción con los usuarios; en dichos sistemas, la información brindada es usada como datos de entrenamiento para mejorar el rendimiento del algoritmo (IA). Entonces, si esa información es utilizada para mejorar su respuesta, es porque es procesada y almacenada en algún nodo de la IA; en consecuencia, el deber de confidencialidad se encontraría quebrantado, independientemente de si el sistema utiliza cajas blancas o negras, ya que acá no nos interesa saber cómo llega a una decisión, sino que lo que nos interesa es que los datos de las personas involucradas en el pleito no se hagan públicos ni se difundan, justamente por el deber son servidores propios de la empresa que brinda el servicio, y es aquí cuando podemos afirmar que el juez, al utilizarlas e insertar datos en ellas, estaría quebrantando el deber de confidencialidad. Salvo que la información que el juez inserte en los servidores del proveedor asegure solo el acceso para la justicia, lo que debería estar garantizado por medios técnicos, o bien ser un servidor propio del Poder Judicial, en el que la información quede expuesta solo para los integrantes de este, no pudiendo acceder a dicha información cualquier tercero.

Enfatizamos que esta problemática de la confidencialidad se da tanto en los casos en que la IA se utiliza de auxilio como en los cuales se utiliza para el dictado de sentencias autónomas por la máquina. Sin embargo, cabe destacar dos supues tos distintos en el uso de estas herra mientas: 1) El primer caso se da cuando el juez recurre a estos softwares como auxilio a su decisión; para ello intro duce datos, pudiendo violar el requerimiento ético de confidencialidad. Dentro de este supuesto, hay dos alternativas:

a) Cuando el juzgador utiliza sistemas

III.2. El deber de competencia y actualización

Los jueces tienen la responsabilidad de mantener y mejorar continuamente sus conocimientos jurídicos y habilidades profesionales. Deben estar al tanto de los cambios legales y las decisiones judi-

ciales relevantes, por lo que la competencia y actualización son necesarias para tomar decisiones informadas y justas, y para asegurar un sistema judicial eficaz. Es por ello que el nuevo paradigma requiere que los jueces conozcan el uso de la IA y la utilicen dentro de los marcos legales, en beneficio del sistema. Entendemos que el juez que desconoce el uso de estas herramientas estaría incumpliendo este deber, ya que, como persona apta para decidir sobre una controversia, no puede y no está justificado de ninguna manera para alegar desconocimiento en el uso de estas tecnologías; es más, no solo debe conocerlas, sino entender su funcionamiento y utilizarlas en su quehacer diario, en beneficio de los justiciables.

III.3. Deber de motivación de las resoluciones judiciales

Uno de los deberes consagrados en la mayoría de los códigos de ética de magistrados es la motivación o justificación de las sentencias o resoluciones.

Sabemos que, para llegar a esa tarea de dar fin al pleito a través del dictado de una sentencia, el juez debe valorar la prueba —utilizando alguno de los sistemas de valoración imperantes en cada país o jurisdicción— y tomar una decique nos encontramos analizando. b) El otro supuesto sería cuando el magistrado utiliza sistemas de IA simbólica, y aquí el programador es quien introduce los datos, y este puede ser parte integrante del Poder Judicial, y por lo tanto, si la seguridad aplicada es correcta, no tendríamos por qué temer una filtración de datos al utilizar estas herramientas y el juez vería salvaguardado el cumplimiento de su deber. 2) En el segundo caso, la IA es utilizada para la toma de decisiones judiciales (por ejemplo, plataformas de ODR o procesos en donde la IA decide, como sucede en el juzgado electrónico de China), y son las partes las que, al someterse al proceso, aceptan los términos y brindan sus datos y documentos requeridos. En este caso entendemos que el juez no se encontraría en incumplimiento del deber de confidencialidad, ello sin perjuicio de la responsabilidad que pudiera tener el Estado por la exposición de datos sensibles brindados por el usuario del servicio.

sión, la que debe encontrarse justificada y motivada jurídicamente.

Actualmente, en la mayoría de los países, los sistemas de apreciación de la prueba se reducen a tres: íntima convicción, tarifa legal y sana crítica racional. En los sistemas de íntima convicción la motivación de la sentencia no es requerida, y en consecuencia, al aplicar sistemas de IA no se visibilizaría problema alguno ni incumplimiento a este deber por parte de los magistrados, independientemente de qué sistema se utilice (IA simbólica o ML), como así tampoco importará si estos poseen cajas negras o transparentes.

Por otro lado, los sistemas que utilizan la tarifa legal para la valoración de la prueba se basan en el estricto cumplimiento de la norma impuesta por el legislador, por lo que consideramos que, en un sistema así, la utilización de herramientas de IA (ya sea simbólica o ML) para resolver y valorar prueba se podría aplicar de manera exitosa y sin mayores dificultades, ya que el sistema solo tiene que ver la prueba y ver el valor asignado por la norma y, con base en ello, elaborar una conclusión —cuasi como una operación matemática—.

Por otro lado, los sistemas basados en la sana crítica racional establecen la más plena libertad de convencimiento de los

jueces, pero exigen que las conclusiones a las que se llegue sean el fruto razonado de las pruebas existentes. Este sistema se caracteriza por la posibilidad de que el magistrado establezca sus conclusiones sobre los hechos de la causa valorando la eficacia conviccional de la prueba con la total libertad pero respetando, al hacerlo, los principios de la recta razón, es decir, las normas de la lógica (constituidas por las leyes fundamentales de la coherencia y la derivación y por los principios lógicos de identidad, de no contradicción, de tercero excluido y de razón suficiente), los principios incontestables de las ciencias y la experiencia común (constituida por conocimientos vulgares indiscutibles por su raíz científica)8.

Este sistema de valoración se basa en reglas de la lógica, de la experiencia y de los conocimientos científicos, que, en conjunto, ayudan a que una decisión sea motivada, es decir, se constriñe al magistrado a explicar razonadamente los motivos sobre los cuales dio sostén a determinada decisión. Así deberá explicar, bajo los parámetros de un desarrollo razonado, los elementos de prueba y su valoración, que lo llevaron a arribar a determinado decisorio, ello en estricto resguardo

8 CNCiv, Com, Lab. Min. 13/09/2002. “B.ch.s.a.”. 13/9/2002. Visto el 08/09/2022 en http://www.saij.gob. ar/apreciacion-prueba-libre-conviccion-sana-critica-racional-suq0014227/123456789-0abc-defg7224-100qsoiramus

del derecho de defensa en juicio. El deber de fundar el fallo judicial se vincula con la posibilidad de impugnar, con el debido proceso en la concepción de Couture, al habilitar el control de las partes respecto de las decisiones judiciales y sus fundamentos o, mejor dicho, de la eventual falta de estos, lo que podría implicar la intención de ocultar una decisión arbitraria o una desviación de poder9.

Entendemos que el estándar de prueba que propone este sistema es objetivo y, en consecuencia, las sentencias deben satisfacer la motivación y justificación, y los jueces, al utilizar sistemas de IA para cumplir con este deber, necesariamente deberán utilizar sistemas de cajas de cristal o transparentes, que permitan la explicabilidad. Retomando el punto central, cabría preguntarnos si en un sistema de valoración objetiva de la prueba (sana crítica racional), al utilizar IA el juez incumpliría su deber de motivar y/o justificar su sentencia.

Para dar una respuesta a ello, diremos que el problema se bifurca en dos caminos. El primero, en torno al tipo de IA utilizada; y el segundo, referido a su uso. Abordando el primero, diremos que, cuando el juez utiliza sistemas de ML

9 KLETT, Selva. “Proceso ordinario en el Código General del Proceso, tomo II”, FCU, Montevideo, 2014, ps. 209210.

(aprendizaje automático, en cualquiera de sus variantes), debemos remitirnos al problema de la transparencia y explicabilidad abordado supra, y afirmar que para no incumplir su deber deberá utilizar solo cristal box. Sin embargo, cuando el juez utiliza sistemas de IA simbólica (sistemas expertos o de reglas), su deber no entra en tensión, ya que los algoritmos son explicables, pues detrás de ellos están las variables cargadas por su operador y, por lo general, son programas simples y transparentes. El segundo cuerno del problema se encuentra relacionado al uso que se le da a la IA: si el juez utiliza la IA solo en apoyo de su justificación, como por ejemplo la búsqueda de jurisprudencia, entendemos que no hay incumplimiento del deber. El problema yace cuando la IA es utilizada para remplazar la función del juez y dictar la sentencia en su totalidad —obviamente que nos estamos refiriendo a programas de ML—. Aquí se presenta un interrogante, que es: ¿puede la IA dar a conocer razones suficientes (motivación) por las que arriba a determinadas conclusiones?

En principio, podríamos responder que no, ya que la mayoría de las IA cuentan con black boxes (o cajas negras)10, lo

10 HOLZINGER, Andreas, “Glass-box interactive machine learning approach for solving np-hard problems with the human-in-the-loop”, 2017, p. 2. Disponible al 10/12/2023 en https://arxiv.org/abs/1708.01104

que no permite conocer cómo llegan a dicho resultado o decisión adoptada. Sin perjuicio de esta afirmación, debemos saber que las IA pueden ser entrenadas para dar razones o motivar sus decisiones, independientemente de los algoritmos utilizados por ellas para llegar a la obtención del resultado, por lo que, si bien las vías utilizadas para llegar al resultado no serían algo transparente, sí se podría lograr que las IA justifiquen con jurisprudencia, como con el análisis de la prueba, la toma de la decisión.

Es decir, las IA podrían ser entrenadas para explicar por qué llegan al resultado emitido (no en lenguaje algorítmico). Sin embargo, nos parece que sería fundamental que el juez humano pudiera analizar si hay una cierta coherencia entre la pretensión formulada, el conjunto de normas aplicables al caso y las demás aristas del caso.

III.4. Deber de no participar en conductas discriminatorias y el subproblema de los sesgos

Los jueces se encuentran vedados de participar en conductas que impliquen alguna forma de intolerancia basada en características tales como la raza, el sexo, la religión o la ideología. Este problema nos remite a una característica que podríamos afirmar que es prácticamente

inherente a los sistemas de IA (tanto simbólica como ML en todas sus variables), que son los sesgos.

Antes de introducirnos de lleno en este problema que plantea la utilización de IA sesgada en el ámbito del derecho, es necesario brindar una definición de estos. Así, la Real Academia Española lo define de esta forma: “Error sistemático en el que se puede incurrir cuando al hacer muestreos o ensayos se seleccionan o favorecen unas respuestas frente a otras”.

El concepto de sesgo cognitivo fue introducido por los psicólogos israelíes Kahneman y Tversky en 1972, y lo definen como la interpretación errónea sistemática de la información disponible que ejerce influencia en la manera de procesar los pensamientos, emitir juicios y tomar decisiones11.

Los sesgos cognitivos pueden influir en la forma de ver el mundo, es decir, están determinados por implicaciones culturales, influencia social, motivaciones emocionales o éticas, atajos en el procesamiento de la información o distorsiones en la recuperación de los recuerdos y la memoria, entre muchos otros.

11 Autor desconocido. “¿Qué es el sesgo cognitivo y por qué es importante en los negocios?” Neurociencia Brainvestigations The Mind Decoding Company. 2020, Consultado el 11/02/2021 en https://www.brainvestigations. com/neurociencia/sesgo-cognitivo-negocios/

La definición del término “sesgo” presenta algunas dificultades. En primer lugar, enseñan Tolosa y Dibo que tiene diversos significados y se utiliza con distintos alcances; algunos utilizan sesgo cómo sinónimo de prejuicio y otros como equivalente a estereotipo, o también resulta frecuente hablar de una conducta u opinión sesgada en el sentido de haber sido influenciada o manipulada. En estos casos, la palabra “sesgo” generalmente implica una connotación negativa y, en consecuencia, se asume que todo esfuerzo tendiente a eliminar sesgos es deseable e, incluso, eliminarlos completamente es un objetivo a cumplir12.

Ahora bien, ¿qué son los sesgos algorítmicos? Como una primera aproximación, se refieren a sistemas de inteligencia artificial que arrojan respuestas parciales, sesgadas, prejuiciosas, distorsionadas13.

Este problema, denominado “sesgo algorítmico”, se traduce en sistemas cuyas predicciones benefician sistemáticamen-

12 TOLOSA, P. - DIBO, C. “Inteligencia artificial, discriminación por género y derecho: viejos problemas, nuevos desafíos”, Inteligencia Artificial, Tecnologías Emergentes y Derecho, Ed. Hammurabi, Buenos Aires. Citado por Danesi C. C, (2021) en El imperio de los algoritmos: IA inclusiva, ética y al servicio de la humanidad. Editorial Galerna. Buenos Aires.

13 DANESI, Cecilia C. “Sesgos algorítmicos de género con identidad iberoamericana: las técnicas de reconocimiento facial en la mira”. Revista Interdisciplinaria de Doctrina y Jurisprudencia. Julio 2021 N° 100.

te a un grupo de individuos frente a otro, resultando así injustas o desiguales14.

En realidad, podemos afirmar que el término “sesgo algorítmico” se encuentra mal empleado, ya que no son los algoritmos los que llevan sesgos, sino que justamente son los datos que les brindamos lo que hace que la respuesta sea sesgada, ya que las tecnologías son neutrales, no están sesgadas y no son discriminatorias per se, sino que aprenden a serlo por la transferencia de sesgos y valores de la sociedad. Entonces se puede aseverar que el problema es social y no meramente tecnológico.

Podemos asegurar que, si los datos se recopilan de manera sesgada o incompleta, es decir, si no representan adecuadamente la diversidad de casos en la población objetiva, se introducirá un sesgo de muestreo. Asimismo, si los datos se etiquetan o anotan por humanos y estos humanos tienen sesgos personales, culturales o sociales, esos sesgos se reflejarán en los datos etiquetados. Lo mismo ocurre cuando tanto la cantidad como la calidad de datos disponibles es limitada y no muestra una representatividad de los datos obtenidos, lo que puede llevar a

14 FERRANTE, E. “Inteligencia artificial y sesgos algo-

perpetrar ciertos sesgos en perjuicio de la parte no representada.

Un caso emblemático de sistema sesgado fue el de Compas con el caso “Loomis” en 2013, quien fue acusado de huir de la policía y usar un vehículo sin autorización de su dueño, por lo que fue condenado a seis años de prisión y cinco de condicional porque Compas estimó un riesgo alto de reincidencia. Loomis recurrió, alegando que su defensa no podía rebatir los métodos de Compas porque el algoritmo no era público y en consecuencia no tenía caja blanca, es decir, no dejaba ver cómo se había llegado a tal resultado. La Corte Suprema del Estado de Wisconsin desestimó el recurso. Años más tarde, en 2018, se supo que el sistema analiza 137 aspectos de cada imputado. Pero, al contrastar el nivel de éxito entre las predicciones de Compas y las de juristas de carne y hueso, se constató que el nivel de acierto de la IA no es superior

El deber de confidencialidad

se ve transformado por el uso

de

las

o, incluso, quedaban en evidencia errores graves.

Este leading case llevó a que muchas empresas empezaran a hacer averiguaciones acerca de este software, y se descubrió que su algoritmo tenía un sesgo racista que le hacía equivocarse especialmente en contra de ciudadanos negros. Se equivocaba más que con los blancos en casos de falsos positivos, asegurando que muchas personas de tez negra reincidirían más de lo que realmente lo hacían. Y también los perjudicaba con falsos negativos, asegurando a los blancos menos reincidencias de las reales15. Otro ejemplo de sesgo racial fue a través de la plataforma Google Photos (2015), que a través de técnicas de reconocimiento facial permitía clasificar y ordenar las fotos, pero a las fotos de afroamericanos las etiquetaba como gorilas.

nuevas tecnologías, ya que será dificultoso

y

utilizarlas

al mismo tiempo cumplir en forma con el requerimiento ético

El gran problema de este tipo de introducción de sesgo es que, al no identificarse y pulirse la información sesgada, esta vuelve a ingresar y sigue generando mayores datos sesgados y reforzando el sesgo, provocando lo que en la materia se 15 Cfr. Autor desconocido. “Descubren que la máquina que predice futuros delitos favorece a los blancos”. Clarín 18/08/20181. Disponible al 27/12/2022 en https://www. clarin.com/policiales/descubren-maquina-predice-futuros-delitos-favorece-blancos_0_rJ0UMECEG.html

denomina “bucle de retroalimentación pernicioso”16.

De lo expuesto podemos afirmar que, para que las herramientas de IA funcionen correctamente, los expertos informáticos deben trabajar con datos de alta calidad, lo que la mayoría de las veces no sucede, por lo que muchas veces se obtienen datos o resultados sesgados. Este problema está tan evidenciado que en 2020 el comité de la ONU emitió una recomendación para que los agentes de seguridad de los 182 países adheridos a la Convención sobre la Eliminación de Todas las Formas de Discriminación Racial puedan combatir los prejuicios raciales en el desempeño de su labor, ello en virtud de que los expertos en derechos humanos pusieron especial atención en los sesgos que la IA y los macrodatos pueden crear. Así señalan que el mayor uso por parte de las fuerzas del orden de los macrodatos, la IA, el reconocimiento facial y otras nuevas tecnologías corre el riesgo de profundizar el racismo, la discriminación racial, la xenofobia y, en consecuencia, la violación de muchos derechos humanos.

Otro ejemplo fueron los sesgos perpetrados en el etiquetado automático y las recomendaciones de videos de Face16 O’NEIL, Cathy, “Armas de destrucción matemáticas”, Editorial Capitán Swing, 2017.

book: los algoritmos aprendieron a etiquetar erróneamente a hombres negros como “primates” debido a sesgos en los datos de entrenamiento.

Con lo expuesto pretendemos dejar evidenciado que la tecnología per se no está sesgada, ya que es neutral. Si bien existen sesgos de género, raciales, étnicos, etc., esto es el resultado de la traducción de la historia y la sociedad misma en el algoritmo. Así, podemos afirmar que la tecnología y sus aplicaciones en las distintas áreas no es ni más ni menos que el fiel reflejo de los principios de facto que rigen en una sociedad. La máquina y/o el sistema lo que hace es replicar lo que ya existe en la sociedad como un espejo. Entonces, lo que cabe preguntarnos es: ¿este problema tiene solución?

En el camino hacia la búsqueda de una prevención de los sesgos algorítmicos, analizaremos de dónde provienen, ya que, como fue expuesto supra, sabemos que los sesgos no los genera el sistema por sí solo, sino que los transfieren los humanos. En consecuencia, estudiaremos cómo se produce ese fenómeno con el propósito de encontrar vías más ágiles para reconocerlos y, consecuentemente, eliminarlos.

En primer lugar, tenemos el “sesgo de la muestra”, que acaece cuando la población está sobrerrepresentada o subrepresentada en un conjunto de datos de entrenamiento, es decir, tenemos un exceso o una falta de datos en el dataset.

Por otro lado, está el “sesgo de etiqueta o de clase”, que aparece cuando en el proceso de anotación se introduce un sesgo durante la creación de los datos de entrenamiento, en donde las etiquetas o clases asignadas a los datos no reflejan de manera precisa o justa la realidad que se está etiquetando. Este tipo de sesgo puede influir en el rendimiento y la equidad de los modelos de aprendizaje automático. Esto resultaría en un conjunto de datos de entrenamiento sesgado, lo que afectaría negativamente el rendimiento del modelo y su capacidad para hacer predicciones justas y precisas.

Por último, mencionamos el “sesgo de proxy de resultado”, que acaece cuando, a pesar de que el atributo protegido (serían los llamados datos sensibles) no es accesible para el modelo (ya que está oculto), este puede aprender a discriminar usando un proxy que esté correlacionado con el atributo protegido17.

17 Propongo un ejemplo para su mejor comprensión: tenemos una empresa que utiliza un algoritmo de aprendizaje automático para seleccionar candidatos para un programa de becas. El objetivo es identificar a estudiantes talentosos y prometedores que merecen una beca. El algoritmo se entrena utilizando datos históricos que inclu-

Frente a este problema, que entra en tensión con el deber ético del magistrado de no incurrir en prácticas discriminatorias, esbozaremos tres posibles soluciones.

La primera de ellas está asociada a la representatividad y/o multiculturalidad en las áreas de programación. Podemos afirmar que una de las principales causas generadoras de los sesgos algorítmicos es la falta de multiculturalidad en las áreas de programación. Los algoritmos permiten estandarizar ciertas conductas y decisiones, es decir, uniformar criterios para que no se brinden dos respuestas diferentes ante el mismo problema. En opinión de Pablo Mlynkiewicz, para que la IA se traduzca en un avance real en la justicia, la base de datos debe poseer representación de todos los colectivos. Si no, habrá errores18.

yen calificaciones académicas, puntajes en exámenes de aptitud y otras características relevantes, sin embargo, los datos históricos también incluyen la ubicación geográfica de los estudiantes, ya que se registró la ciudad de cada solicitante. A lo largo de los años, se ha observado que los estudiantes de una ciudad en particular (que históricamente tenía menos acceso a recursos educativos) tienden a obtener calificaciones más bajas en los exámenes. Entonces, aunque el algoritmo no tiene acceso directo a información sobre los recursos disponibles en cada ubicación geográfica, puede aprender una correlación entre la ubicación geográfica y el rendimiento académico debido a los datos históricos. En este ejemplo, el sesgo de proxy de resultado ocurre cuando el algoritmo utiliza la ubicación geográfica (un proxy) como indicador de la capacidad de un estudiante, lo que puede llevar a decisiones discriminatorias contra estudiantes de áreas menos favorecidas, incluso si son altamente talentosos y merecedores de la beca.

18 Cfr. BERCHI, M. “La inteligencia artificial se asoma a

El principal problema es que los sistemas de aprendizaje automático se alimentan y retroalimentan de datos, y la elección de estos aún no representa correctamente grupos minoritarios. Se necesita más diversidad en las bases de datos, y aún más importante , diversidad en los equipos que desarrollan la tecnología, involucrando personas con distintas perspectivas e ideas19, ya que sostenemos que la homogeneidad en grupos de trabajo hace que todos tengan el mismo punto ciego.

Sabemos que los sesgos son el reflejo de la sociedad y para minimizarlos es menester adoptar conductas más inclusivas para dejar de perpetuar ideas erróneas o prejuiciosas. Es que, tal como explica Lorena Jaume-Palasí, experta en ética y tecnología y fundadora de Algorithm Watch y The Ethical Tech Society, los promedios estadísticos dicen algo sobre los patrones de comportamiento común en un colectivo, pero no describen perfiles individuales y son incapaces de la justicia pero despierta dudas éticas”. El País, 4 de marzo de 2020, disponible al 04/04/2020 en https://elpais.com/ retina/2020/03/03/innovacion/1583236735_793682.html

19 SHELLENBARGER, S. “The Wall Street Journal”. Obtenido de https://www.wsj.com/articles/a-crucial-step-foravoiding-ai-disasters-11550069865. Citado por Daniela Mendoza en “Racismo y roles de género, conductas perpetuadas en algoritmos de inteligencia artificial”. Publicado en Revistas Académicas y Memorias Universidad del Azuay, disponible al 09/04/2022 https://revistas.uazuay. edu.ec/index.php/coloquio/article/view/333/483

captar la singularidad del ser humano. Asevera que con ello podemos entender colectivos con una mirada un poco más arquitectónica, pero también incurrimos en el riesgo de meter a individuos en estándares en los que no cuadran20.

Aseveramos que es de vital importancia el uso representativo de datos de entrenamiento, esto es, datos que reflejen una representatividad de todos los grupos integrantes de la sociedad. Para ello, que no es tarea fácil, se requiere, en primer lugar, que se haga una recopilación de datos de calidad y que la muestra de datos sea de un tamaño adecuado, es decir, mientras más grande sea la muestra de datos, es más probable que refleje la diversidad y variabilidad presente en la población. En segundo lugar, también es muy importante asegurarnos de que los datos utilizados no estén sesgados hacia una determinada subpoblación, ya que, si solo se recopilan datos de un grupo específico, los resultados obtenidos pueden no ser generalizables a otras poblaciones. Por último, es importante lograr el equilibrio de datos. Los especialistas en la materia se refieren a los datos desequilibrados como aquellos en donde algunas clases o categorías están subrepresenta20 Cfr. BERCHI, Mauro, “La inteligencia artificial se asoma a la justicia pero despierta dudas éticas”. El País, 4 de marzo de 2020, disponible al 04/04/2020 en https://elpais.com/retina/2020/03/03/innovacion/1583236735_793682.html

Una segunda solución es la que propuso el Grupo de investigación de Inteligencia Artificial, Filosofía y Tecnología (GIFT), que consiste en la extrapolación del experimento mental del velo de la ignorancia a la hora de diseñar IA. Así, sostienen que sería enriquecedor que, al momento de desarrollar un cierto algoritmo, los diseñadores lo hicieran pensando en desconocer cuál es su identidad en términos de sexo, género, edad, educación, ingresos, talentos o color de piel. Al no saber cómo son ni en qué condiciones vivirán en el mundo, podría favorecerse (al menos en principio) una distribución más justa y equitativa de las oportunidades sin el abierto impacto de sesgos personales21.

Es decir, intenta extrapolar el velo de la ignorancia de John Rawls22 a la programación de algoritmos. Este concepto del

21 PEDACE, K. - BALMACEDA, T. - PÉREZ, D.LAWLER, D. - ZELLER ECHENIQUE, M. “Caja de herramientas humanísticas”. CETyS. Disponible al 03/05/2021 en https://grupo.gift

22 HUANCA-AROHUANCA, Jesús William - BARRIA-ASENJO, Nicol A. “Replanteando el concepto de justicia como equidad y velo de ignorancia en John Rawls desde el pluralismo ético” Desde el Sur [online]. 2022, vol. 14, n. 3 Disponible al 10/12/2023 en: http:// www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S2415-09592022000300010&lng=es&nrm=iso

autor hace referencia a cómo llegar a los principios de la justicia, es decir, cuando las personas eligen los principios de la justicia no saben cuáles van a ser sus circunstancias específicas (qué posición social ocuparán). Como los principios que emergerán no son diseñados para la ventaja o desventaja de los individuos en un particular escenario, los principios que emergen del velo de la ignorancia pueden ser considerados justos. El objetivo de esta propuesta es utilizar este concepto como un test sobre la equidad de los principios de la justicia al aplicar IA.

En consideración personal, la idea parece lógica y razonable, pero de ejecución dificultosa, ya que el problema radica en que no todos los algoritmos son diseñados y entrenados por una persona, sino que la mayoría son de aprendizaje automático, es decir, van aprendiendo y mejorando de las experiencias e interacción con usuarios. En consonancia con ello, podemos decir que es difícil replidas; entonces, al aplicar técnicas como el muestreo estratificado o la generación de datos sintéticos, se equilibran las proporciones y se obtienen datos más representativos.

La tecnología y sus aplicaciones en las distintas áreas no es ni más ni menos que el fiel reflejo de los principios de facto que rigen en una sociedad “ ”

car este principio de Rawls en la realidad de la IA, ya que estará en muchos casos fuera del alcance del programador y, por el contrario, seremos todos quienes, con nuestra interacción en las redes, brindaremos datos para alimentar ese aprendizaje, sin intencionalidad de sesgarlo en un sentido, pero haciéndolo igualmente.

La tercera solución, que abonamos en el presente trabajo como la más acertada, es el control en manos de peritos o expertos en data science a los fines de poder determinar cuándo un algoritmo presenta sesgos. Estos expertos están capacitados para abordar problemas relacionados con la recopilación, el procesamiento y el análisis de datos, así como para implementar estrategias de aprendizaje automático de manera ética y justa. Algunas herramientas que podrían utilizar para lograr esta mitigación de sesgos serían: a) la auditoría de datos: pudiendo llevar a cabo una auditoría exhaustiva de los datos utilizados en el entrenamiento de un modelo para identificar posibles sesgos en los datos, como desequilibrios en las clases o correlaciones no deseadas; b) la selección de características: pueden ayudar a seleccionar y diseñar características que sean menos propensas a introducir sesgos en el modelo; c) el diseño de modelos justos: los especialistas en data science pueden implementar técnicas de

aprendizaje justo para ajustar los modelos y mitigar los sesgos, lo cual puede incluir el uso de técnicas de reponderación de ejemplos o la generación de datos sintéticos; y por último d) la evaluación y las pruebas: pueden diseñar y llevar a cabo pruebas exhaustivas para evaluar cómo el modelo responde a diferentes conjuntos de datos y para identificar cualquier sesgo persistente en las decisiones del modelo.

Sin embargo, aunque esta solución puede tener su lado B, en el sentido de que podría presentar ciertos inconvenientes, tales como costos excesivos, complejidad ética, relevancia técnica sobre lo social, parcialidad y/o subjetividad, creemos fervientemente que es la más acertada.

Entonces, volviendo al problema enunciado al principio del acápite, podemos afirmar que el magistrado, cuando ejerce su rol, tiene un control sobre la información buscada y puede identificar si hay sesgos o no. El problema se presenta cuando, en el ejercicio de su rol, utiliza plataformas, apps o softwares con IA, en los cuales muchas veces los resultados o información brindada se encuentra sesgada y, al ser utilizados, estará haciendo suyas las respuestas discriminatorias del sistema y, en consecuencia, incurriendo en una falta a dicho deber. No de mane-

ra intencional, claro está, ya que muchas veces ni siquiera estará al tanto de que el sistema utilizado estaba sesgado.

En consecuencia, entendemos que para cumplir con este deber el magistrado, al utilizar plataformas y/o sistemas de IA, tiene que tomar el recaudo de utilizar siempre las de código abierto o cajas de cristal —si utiliza sistemas de ML— o utilizar sistemas de IA simbólica o de reglas, para poder entender cómo arriban a dicha conclusión o resultado y poder analizar si este representa o posee algún sesgo en su respuesta. En caso afirmativo, evaluar y corregir el sesgo antes de replicarlo en sus sentencias o resoluciones; solo de esta manera estará a salvo de no incurrir en violación del deber.

IV. PALABRAS FINALES

A modo de cierre, podemos afirmar que la IA avanza de manera continua y como sociedad no podemos quedar al margen de ello, debemos adaptarnos y adaptar las estructuras vetustas a las nuevas necesidades sociales. Es por ello, que frente a la revolución 4.0, los operadores jurídicos deberán aggiornarse a los nuevos requerimientos; esto implica que deberán comprender el funcionamiento de

las tecnologías emergentes y saber aprovechar su potencial, teniendo en cuenta sus riesgos para poder prevenirlos.

Las herramientas con inteligencia artificial son muchas y cada vez más utilizadas en todos los ámbitos, pero creo en la honestidad del pensamiento de que la justicia argentina aún está lejos de poder aggiornarse a estos cambios. Como primer paso es menester que los magistrados se capaciten en el uso de estas herramientas, comprendan cómo funcionan, cuáles son sus beneficios y cuáles sus puntos débiles, para poder implementarlas en la labor diaria, como auxiliar a su tarea jurídica. Valerse de ellas de manera adecuada redunda en beneficios para el magistrado y los justiciables, que en menor tiempo podrán obtener una solución a su pretensión, pero para ello es requisito esencial la responsabilidad y compromiso de los órganos gubernamentales, para poder llevar a cabo la implementación de estas herramientas en cumplimiento de los requisitos de seguridad, transparencia, representación, y en la medida de lo posible que estas no se encuentren sesgadas. Así y solo así, podemos afirmar que los magistrados cumplirán con los deberes éticos estipulados en los códigos éticos pertinentes.

El

Proyecto

de

Reglamento de Inteligencia Artificial de la Unión Europea

Estado actual del debate de una norma que será un hito en la historia de la regulación

Mariana Sánchez

Caparrós

Abogada (UBA, Diploma de honor). Mg. en Derecho Administrativo (Universidad Austral, Diploma de honor). Doctoranda en Derecho (UCA). Investigadora del IALAB (Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la UBA). Profesora de grado y posgrado en la UBA, Universidad Nacional de Tierra del Fuego, UCES y Universidad Austral.

I. INTRODUCCIÓN. LA ERA DE LA INTELIGENCIA ARTIFICIAL1

El año 2022 fue el año del lanzamiento de las inteligencias artificiales generativas. DALLE-22, Stable Difussion3, Midjourney4 y, más recientemente, Chat GPT5 y Bing6, que posibilitaron que muchas personas puedan generar distintos tipos de contenido (texto, imágenes, vi-

1 El presente trabajo es una versión ampliada y actualizada del que fuera presentado como monografía final del Seminario de Derecho de la Integración del Doctorado en Ciencias Jurídicas de la Pontificia Universidad Católica Argentina, y calificado con la máxima nota (diez, 10).

2 La herramienta se encuentra disponible en el sitio web de Dall-E 2 [en línea: https://openai.com/product/dall-e-2, acceso: 12/3/2023].

3 La herramienta se encuentra disponible en el sitio web de StableDiffusion [en línea: https://stablediffusionweb.com/, acceso: 12/3/2023].

4 La herramienta se encuentra disponible en el sitio web de Midjourney, [en línea: https://www.midjourney.com/home/?callbackUrl=%2Fapp%2F, acceso: 13/3/2023].

5 La herramienta se encuentra disponible en el sitio web de OpenAI [en línea: https://openai.com/blog/chatgpt, acceso: 12/3/2023].

6 La herramienta se encuentra disponible en el sitio web de Bing [en línea: https://www.bing.com/new, acceso: 13/3/2023].

deos y sonido) nuevo y sintético con asistencia de la inteligencia artificial (IA).

A modo de ejemplo, DALLE-2, de OpenAI, es un sistema inteligente que permite crear imágenes a partir de una descripción de texto en lenguaje natural (prompt) provista por el usuario. De igual manera operan los modelos de Stable Diffusion y Midjourney.

ChatGPT, por su parte, es un sistema generativo de texto multipropósito lanzado por OpenAI que interactúa con el usuario bajo un esquema conversacional o de diálogo (hombre-máquina), que posibilita que el sistema responda todo tipo de preguntas y requerimientos, reconozca errores y rechace pedidos inapropiados que le realicen las personas. Es un modelo de tipo multimodal, porque puede escribir cuentos, poesías, ensayos, pero también responder consignas o entablar una conversación con el usuario, entre otras tareas relacionadas con la escritura.

A este modelo se le suma el chat de Bing, el buscador de Microsoft, que funciona con una lógica muy similar, pero, a diferencia de ChatGPT, tiene habilitado el acceso a internet. De este modo, Bing pretende transformar la búsqueda de información en internet tal como la conocemos, pues en lugar de proveer los

enlaces para que el usuario procese la información, lo hace el propio sistema y transforma esa búsqueda en una respuesta elaborada en la que incorpora la mención de las fuentes de las que se ha servido para construirla.

Todos estos sistemas tienen en común que son mayormente gratuitos (a veces tienen una versión premium disponible previo pago), lo que ha permitido que millones de usuarios en el mundo accedan a ellos, abriendo un universo de posibilidades de uso para quienes buscan un asistente para escribir, así como desplegar o extender su creatividad.

Lo sucedido da cuenta de que el mundo se enfrenta a un veloz crecimiento y avance de la inteligencia artificial, esto es, de sistemas que tienen la capacidad de “aprender” y “automejorarse” con el tiempo para desarrollar tareas cognitivas que antes solo podían realizar las personas, como reconocer rostros, leer, escribir, dibujar, pintar, hacer música, etcétera.

A la fecha, los algoritmos están presentes no solo en lo que hace a la actividad recreativa o de ocio de las personas, sino que toman parte en muchísimos ámbitos de la vida cotidiana, con mayor o menor impacto.

Así, nos asisten en la búsqueda de contenido en internet; proveen playlists con la música que más nos gusta escuchar; nos ayudan a encontrar series y películas basándose en las elecciones anteriores y en la de otros usuarios con perfil similar. Pero también asisten al personal médico en la lectura de imágenes y en el diagnóstico de enfermedades7, y al personal del gobierno para definir el otorgamiento de subsidios8, realizar investigaciones policiales9 y conocer el humor

de los votantes en redes sociales10, entre muchas otras que podríamos mencionar.

Su creciente influencia y la capacidad con que cuentan para asistir o, directamente, tomar decisiones con impacto en la vida de las personas ha convocado la atención de investigadores, desarrolladores y gobiernos para colocar en agenda la necesidad imperiosa de pensar en mecanismos que colaboren en que los sistemas inteligentes se desarrollen con las personas en el centro, respetando los derechos fundamentales y la dignidad humana11.

7 Arenas, Guillermo, “Inteligencia artificial al servicio de la medicina: así ayuda a conseguir diagnósticos más certeros”, El País, 10 de septiembre de 2021, [en línea: https://elpais.com/sociedad/siempre-innovando/2021-09-10/inteligencia-artificial-al-servicio-de-la-medicina-asi-ayuda-a-conseguir-diagnosticos-mas-certeros.html acceso el 6/4/2023]. También “Mejorar el análisis de imágenes médicas basado en la IA y el ML”, Data Science Team, abril 2021, [en línea: https:// datascience.eu/es/aprendizaje-automatico/mejorar-elanalisis-de-imagenes-medicas-basado-en-la-ia-y-el-ml/, acceso: 6/4/2023]. Puentes, Gabriela, Salinas Miranda, Emmanuel y Triana, Gustavo Adolfo, “Inteligencia artificial y radiología: la disrupción tecnológica en la transformación de un paradigma”, Medicina, 43, 4, enero 2022, [en línea: https://revistamedicina.net/index.php/Medicina/ article/view/1648/2138, acceso: 6/4/2023].

8 Redacción, “‘Le arruinaron la vida a gente inocente’: el escándalo que hizo dimitir en bloque al gobierno de Países Bajos”, BBC Mundo, 15 de enero de 2021 [en línea: https://www.bbc.com/mundo/noticias-internacional-55683795, acceso: 6/4/2023].

9 Witteveen Gómez, Samuel, “Policía predictiva: cuando el que decide es un algoritmo”, El Salto Diario, 22 de junio de 2022 [en línea: https://www.elsaltodiario.com/ metropolice/policia-predictiva-cuando-el-que-decide-es-un-algoritmo, acceso: 6/4/2023]. También: Pascual, Manuel G. “La policía predictiva, y el peligro de intentar adivinar dónde se cometerá un nuevo delito”, La Nación, 19 de julio de 2022 [en línea: https://www.lanacion.com. ar/tecnologia/la-policia-predictiva-y-el-peligro-de-intentar-adivinar-donde-se-cometera-un-nuevo-delito-nid19072022/, acceso: 6/4/2023].

Acontecimientos recientes como, por ejemplo, la generación de deepfakes12

10 DeepLearning.AI, “Deep (Learning) State How Romania is using NLP as a political advisor”, 8 de marzo de 2023, DeepLearning.AI-The Batch [en línea: https:// www.deeplearning.ai/the-batch/how-romania-is-usingnlp-as-a-political-advisor/?utm_campaign=The%20 Batch&utm_content=240973689&utm_medium=social&utm_source=linkedin&hss_channel=lcp-18246783, acceso: 6/4/2023].

11 De hecho, mientras se preparaba este trabajo, un grupo de expertos en inteligencia artificial y líderes de la industria tecnológica, lanzó una carta abierta solicitando que se ponga una pausa inmediata al entrenamiento de sistemas inteligentes más potentes que GPT-4 por al menos 6 meses, debido a los riesgos conocidos y aún desconocidos que podrían representar para la humanidad. Ver “La carta en la que más de 1.000 expertos piden frenar la inteligencia artificial por ser una ‘amenaza para la humanidad’”, BBC Mundo, 29 de marzo de 2023 [en línea: https://www.bbc.com/mundo/noticias-65117146, acceso: 6/4/2023].

12 El término deepfake, surge de combinar la palabra deep (en referencia al aprendizaje profundo o deep learning) con el término fake (falso), y es un anglicismo que se emplea para referirse a videos, imágenes y voces (o la combinación de ellos) que son generados sintéticamente por inteligencia artificial pero que presentan un realismo tal que es casi imposible saber si se trata de contenido falso o no. Su alternativa en español es el concepto de “ultra

mediante la distribución de imágenes realistas sintéticas que inundaron las redes sociales, y que mostraban al expresidente de los Estados Unidos, Donald Trump, en el supuesto momento en que era arrestado por policías13, o aquellas que daban cuenta de un falso papa Francisco paseando con una campera Balenciaga por Italia14, deja en claro que el desarrollo de sistemas inteligentes ya no es solo una cuestión de exclusiva incumbencia de profesionales de la ciencia, la tecnología, la ingeniería y las matemáticas, sino que demanda la intervención activa de otras disciplinas como la sociología, la filosofía y el derecho.

La mirada interdisciplinaria es fundamental cuando se trata de analizar y regular el impacto de sistemas sociotécnicos como sucede con la IA, pues su objeto y fuente de transformación son las personas. Estas influyen en su desarrollo desde una mirada amplia que comprende todo su ciclo de vida, a la vez que la inteligencia artificial las impacta para falso”.

13 “Millones ‘cayeron’ con la foto falsa de la detención de Trump creada con inteligencia artificial”, Télam, 24 de marzo de 2023 [en línea: https://www.telam.com.ar/notas/202303/623500-trump-esposado-inteligencia-artificial.html, acceso: 1/4/2023].

14 “El creador del deepfake viral del Papa Francisco contó la verdad detrás de la imagen”, Clarín, 30 de marzo de 2023 [en línea: https://www.clarin.com/tecnologia/ creador-deepfake-viral-papa-francisco-conto-verdad-detras-imagen_0_ivwtQ0EThN.html, acceso: 1/4/2023].

transformar y reconfigurar su vida individual y social15.

Es que la IA es mucho más compleja que las bases algorítmicas (matemáticas y estadísticas), los datos y el poder de cómputo que la sostienen, por lo que, para poder abordar su estudio de forma integral, comprender y analizar la interacción, el impacto y la retroalimentación que se produce entre esta y las personas, tanto desde una perspectiva individual como social, su desarrollo debe ser gestionado bajo un enfoque diverso, multidisciplinario e intergeneracional.

Solo este tipo de enfoque permitirá “...tener en cuenta, por su relevancia, los valores, sesgos y comportamientos que vienen embebidos en los sets de datos y en los humanos que intervienen en las diversas etapas del ciclo de vida del sistema, así como otros factores propios de la complejidad de las organizaciones en las 15 Sánchez Caparrós, Mariana, “Los riesgos de la inteligencia artificial para el principio de igualdad y no discriminación. Planteo de la problemática y algunas aclaraciones conceptuales necesarias bajo el prisma del Sistema Interamericano de Derechos Humanos”, Suplemento Abogacía Práctica Digital, El Dial, 22 de junio de 2022, p. 4 [en línea: https://www.researchgate.net/ publication/361510404_Los_riesgos_de_la_inteligencia_artificial_para_el_principio_del_igualdad_y_no_discriminacion_planteo_de_la_problematica_y_algunas_ aclaraciones_conceptuales_necesarias_bajo_el_prisma_ del_Sistema_Intera, acceso: 14/3/2023].

que estos se crean y que tienen impacto en su diseño, desarrollo y despliegue…”16.

Bajo este paradigma, el presente trabajo pretende indagar en el enfoque que la Unión Europea intenta adoptar para abordar lo relativo a la gobernanza de la inteligencia artificial.

Para cumplir ese objetivo, se comenzará por efectuar un breve recorrido por la historia de esta comunidad internacional, desde sus primeros tratados hacia su integración definitiva, a fin de comprender la lógica procedimental del debate de regulación que tramita en el seno del Parlamento Europeo.

Una vez expuesta la organización sobre la que se asienta la Unión Europea en la actualidad, se ingresará en el estudio del enfoque europeo para la inteligencia artificial que comenzó a perfilarse allí por el año 2018 con la creación del Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial con la misión, entre otras, de formular recomendaciones éticas, legales y sociales sobre el impacto que la IA tendrá en la sociedad, a fin de elaborar políticas y normas para su gobernanza17.

16 Sánchez Caparrós, Mariana, “Los riesgos de la inteligencia artificial para el principio de igualdad y no discriminación. Planteo de la problemática y algunas aclaraciones conceptuales necesarias bajo el prisma del Sistema Interamericano de Derechos Humanos”, p. 4.

17 “Europa designó a un ‘grupo de expertos de alto nivel’ para que ayude a regular el avance de la inteligencia artificial”, Infobae, 15 de junio de 2018 [en línea: https://www.

Finalmente, se abordará lo relativo al Proyecto de Reglamento de Inteligencia Artificial presentado por la Comisión Europea al Parlamento Europeo y al Consejo el 21 de abril de 2021. En concreto, se avanzará sobre su naturaleza jurídica, alcances y contenido, y se examinará el procedimiento que se sigue para su debate y aprobación, así como el estado de avance en el que se encuentra.

Para cerrar, se delinearán algunas conclusiones respecto de la temática tratada, dando por concluido el presente trabajo de investigación.

II. BREVE HISTORIA DE LA UNIÓN

EUROPEA: DE LOS PRIMEROS TRATADOS A LA INTEGRACIÓN DEFINITIVA

II.1. Los primeros tratados: el Tratado constitutivo de la Comunidad Europea del Carbón y del Acero, el Tratado constitutivo de la Comunidad Económica Europea y el Tratado constitutivo de la Comunidad Europea de la Energía Atómica

Actualmente, la Unión Europea es una asociación económica y política que está conformada por veintisiete países de Europa18, que han convenido delegar

infobae.com/america/tecno/2018/06/15/europa-designo-un-grupo-de-expertos-de-alto-nivel-para-que-ayuden-a-regular-el-avance-de-la-inteligencia-artificial/ , acceso: 7/4/2023].

18 En enero de 2020 se produjo la salida del Reino Uni-

parte de su soberanía en ciertas instituciones comunes y superiores, para avanzar en la toma de decisiones que hacen a asuntos de interés común de esos miembros19.

El origen de esta asociación se remonta a mayo de 1950, cuando el ministro francés de Asuntos Exteriores, Robert Schumann20, le propuso a Alemania colocar el conjunto de la producción de carbón y acero de ambos países bajo una autoridad superior común y, en paralelo, crear una organización abierta de la que pudieran formar parte otros países de Europa21.

Tras aquella propuesta, el 18 de abril de 1951 se firmó el Tratado constitutivo de la Comunidad Europea del Carbón y

do de la Asociación, luego de concluirse el proceso conocido como brexit (acrónimo de las palabras Brittain y exit). Ampliar en: “Qué es el Brexit”, La Moncloa, 30 de diciembre de 2020 [en línea: https://www.lamoncloa.gob. es/brexit/acercadelbrexit2/Paginas/index.aspx , acceso: 2/4/2023].

19 “¿Qué es la Unión Europea? ¿Cómo funciona? ¿Qué hace?”, Comunidad de Madrid, [en línea: https:// www.comunidad.madrid/servicios/madrid-mundo/ es-union-europea-funciona-hace, acceso: 1/4/2023].

20 Sobre el punto, se ha mencionado que la convocatoria hecha por el ministro Francés de Relaciones Exteriores es el punto de partida de la europea comunitaria. Ver Sokolska, Ina, “Los primeros tratados”, Fichas técnicas sobre la Unión Europea, Parlamento Europeo, mayo de 2022 [en línea: https://www.europarl.europa.eu/factsheets/ es/sheet/1/los-primeros-tratados, acceso el 2/4/2023].

21 Centro de Documentación Europea, “Origen y evolución de la Unión Europea”, Dirección General de Asuntos Europeos y Cooperación con el Estado, septiembre de 2018, p. 3 [ en línea: https://www.comunidad.madrid/ sites/default/files/2_origen_y_evolucion_de_la_ue_.pdf, acceso: 1/4/20230].

del Acero (CECA), que entró en vigor el 23 de julio de 1952, para los seis países que lo suscribieron: Francia, Alemania, Italia, Bélgica, Países Bajos y Luxemburgo22.

Aquel tratado, celebrado cuando aún se encontraban vívidos los recuerdos de la Segunda Guerra Mundial, nacía de la idea de considerar que la salvaguarda de la paz mundial requería de esfuerzos proporcionales a los riesgos que la amenazaban y que, en dicho marco, una Europa organizada y activa sería clave para contribuir al mantenimiento de relaciones pacíficas, para lo cual serían relevantes realizaciones concretas que dieran paso a una solidaridad de hecho y al establecimiento de bases comunes de desarrollo económico23.

El objetivo del tratado era contribuir, mediante el establecimiento de un mercado común, “...a la expansión económica, al desarrollo del empleo y a la elevación del nivel de vida en los Estados miembros…”, para lo cual la Comunidad creada por aquel instrumento, que ten-

22 El Tratado fue firmado para un periodo de 50 años y expiró en julio de 2002. Ver Centro de Documentación Europea, “Origen y evolución de la Unión Europea”, Dirección General de Asuntos Europeos y Cooperación con el Estado, septiembre de 2018, p. 3.

23 EUR-Lex, Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero, Preámbulo, p. 6, 18 de abril de 1951 [en línea: https://eur-lex.europa.eu/ES/ legal-content/summary/treaty-establishing-the-european-coal-and-steel-community-ecsc-treaty.html, acceso: 2/4/2023].

dría una amplia personalidad jurídica24, debería “...proceder al establecimiento progresivo de condiciones que aseguren por sí mismas la distribución más racional posible de la producción al más alto nivel de productividad, al mismo tiempo que garanticen la continuidad del empleo y eviten provocar, en las economías de los Estados miembros, perturbaciones fundamentales y persistentes…”25.

El Tratado estableció las primeras bases de la arquitectura comunitaria26 al disponer que, para el cumplimiento de sus fines, la Comunidad contaría con cuatro instituciones fundamentales27:

- una Alta Autoridad, asistida por un Comité Consultivo;

- una Asamblea Común, denominada en lo sucesivo “la Asamblea”;

- un Consejo Especial de ministros, denominado en lo sucesivo “el Consejo”;

- un Tribunal de Justicia, denominado en lo sucesivo “el Tribunal”.

24 EUR-Lex, Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero, artículo 6.

25 EUR-Lex, Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero, artículo 2.

26 Sokolska, Ina, “Los primeros tratados”, Fichas técnicas sobre la Unión Europea, Parlamento Europeo, mayo de 2022 [en línea: https://www.europarl.europa.eu/ factsheets/es/sheet/1/los-primeros-tratados, acceso: 2/4/2023].

27 EUR-Lex, Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero, artículo 7.

Este acuerdo fue celebrado para regir por un periodo de cincuenta años a partir de su entrada en vigor28, y concluyó su vigencia el 23 de julio de 200229.

Al Tratado constitutivo de la Comunidad Europea del Carbón y del Acero (CECA) le siguió la suscripción de los Tratados de Roma el 25 de marzo de 1957, que entraron en vigor el 1 de enero de 1958, y quedaban conformados por dos instrumentos: el Tratado constitutivo de la Comunidad Económica Europea (CEE) y el Tratado constitutivo de la Comunidad Europea de la Energía Atómica (CEEA, también conocida como “Euratom”).

El Tratado constitutivo de la Comunidad Económica Europea (CEE) reunió a Bélgica, Alemania, Francia, Italia, Luxemburgo y Países Bajos, con el fin de trabajar en conjunto para la integración y el crecimiento económico de Europa, para lo cual se crearía un mercado común basado en la libre circulación de mercaderías, personas, servicios y capitales30.

28 EUR-Lex, Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero”, artículo 97.

29 Sokolska, Ina, “Los primeros tratados”, Fichas técnicas sobre la Unión Europea.

30 Biblioteca Virtual Miguel de Cervantes, Tratado Constitutivo de la Comunidad Económica Europea, 25 de marzo de 1957, artículo 3 [en línea: https://www.cervantesvirtual.com/obra/tratado-constitutivo-de-la-comunidad-economica-europea-1144780/, acceso: 2/4/2023].

En concreto, el Tratado preveía la supresión de los derechos de aduana y de restricciones cuantitativas a la entrada y salida de mercaderías; el establecimiento de un arancel aduanero exterior común y una política comercial común con relación a terceros estados; la supresión expresa de obstáculos a la libre circulación de personas, servicios y capitales entre los Estados miembros; el establecimiento de una política común en el sector de la agricultura y del transporte; la creación de un Fondo Social Europeo para los trabajadores; y la creación de un Banco Europeo de Inversiones para facilitar la expansión de la Comunidad31.

Luego, la realización de las funciones asignadas a la Comunidad estaría confiada a cuatro instituciones fundamentales32:

- una Asamblea;

- un Consejo;

- una Comisión;

- un Tribunal de Justicia.

El Tratado constitutivo de la Comunidad Europea de la Energía Atómica (CEEA

31 Biblioteca Virtual Miguel de Cervantes, Tratado Constitutivo de la Comunidad Económica Europea, artículo 3.

32 Biblioteca Virtual Miguel de Cervantes, Tratado Constitutivo de la Comunidad Económica Europea, artículo 4.

o Euratom), por su parte, tenía por objetivo “...contribuir, mediante el establecimiento de las condiciones necesarias para la creación y crecimiento rápidos de industrias nucleares, a la elevación del nivel de vida en los Estados miembros y al desarrollo de los intercambios con los demás países…”33.

Con posterioridad, el 8 de abril de 1965, se suscribió el Tratado por el que se constituyó un Consejo único y una Comisión única de las Comunidades Europeas (conocido como Tratado de Fusión), que entró en vigor el 1 de julio de 1967, y que dio lugar a la fusión de los órganos ejecutivos de las tres comunidades.

Así, el Consejo único reemplazaría “...al Consejo Especial de Ministros de la Comunidad Europea del Carbón y del Acero, al Consejo de la Comunidad Económica Europea y al Consejo de la Comunidad Europea de la Energía Atómica…” y ejercería “...los poderes y competencias atribuidos a dichas instituciones en las condiciones previstas en los Tratados constitutivos, respectivamente, de la Comunidad Europea del Carbón y del Acero, de la Comunidad Económica Europea y de la Comunidad Europea de

33 EUR-Lex, Tratado Constitutivo de la Comunidad Europea de Energía Atómica, 25 de marzo de 1957, artículo 1 [en línea: https://eur-lex.europa.eu/legal-content/ES/ TXT/PDF/?uri=OJ:C:2016:203:FULL&from=EN, acceso el 2/4/2023].

la Energía Atómica, así como en el presente Tratado…”34.

El Comité, por su parte, estaría integrado “...por los representantes permanentes de los Estados miembros…” y sería el encargado de “...preparar los trabajos del Consejo y de realizar las tareas que este le confíe…”35.

Finalmente, la Comisión única se constituyó para sustituir a la “...Alta Autoridad de la Comunidad Europea del Carbón y del Acero, a la Comisión de la Comunidad Económica Europea y a la Comisión de la Comunidad Europea de la Energía Atómica…”36.

Los tres tratados abordados en este apartado “...revelan la unidad de inspiración de la que procede la creación de las Comunidades, es decir, el convencimiento de la necesidad de implicar a los Estados europeos en la construcción de un destino común, única vía que podía permitirles determinar su futuro…”37.

34 EUR-Lex, Tratado por el que se constituye un Consejo único y una Comisión única de las Comunidades Europeas, 8 de abril de 1965, artículo 1 [en línea: https:// eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:11965F&from=ES, acceso el 2/4/2023].

35 EUR-Lex, Tratado por el que se constituye un Consejo único y una Comisión única de las Comunidades Europeas, artículo 4.

36 EUR-Lex, Tratado por el que se constituye un Consejo único y una Comisión única de las Comunidades Europeas, artículo 9.

37 Sokolska, Ina, “Los primeros tratados”.

II.2. El avance hacia la integración definitiva: el Acta Única Europea y los Tratados de Maastricht, Ámsterdam, Niza y Lisboa

El 1 de julio de 1987 entró en vigor el Acta Única Europea, suscrita en febrero de 1986 por los doce países que integraban la Comunidad Europea, mediante la que se modificaban los Tratados constitutivos de las Comunidades Europeas.

En su preámbulo, el Acta Única da cuenta de la voluntad de los países que la suscriben de “...de proseguir la obra emprendida a partir de los tratados constitutivos de las Comunidades Europeas y de transformar el conjunto de las relaciones entre sus Estados en una Unión Europea…”38.

El principal objetivo perseguido por el Acta Única era “completar el desarrollo del mercado interior, un espacio que permitiera la libre circulación de personas, mercancías, servicios y capitales”. No obstante, a la par de ello, incorporó modificaciones “...a las normas de funcionamiento de las instituciones europeas, introduciendo la regla de la mayoría cualificada en ámbitos antes restringidos a la unanimidad y dotando al Parlamento

38 EUR-Lex, Acta Única Europea, 17 de febrero y el 28 de febrero de 1986 [en línea: https://eur-lex.europa.eu/ legal-content/ES/TXT/PDF/?uri=CELEX:11986U/TXT&from=ES, acceso: 3/4/2023].

Europeo de mayores competencias y poderes reforzados…”39.

Además, institucionalizó de manera formal el Consejo Europeo40, que, hasta entonces, no figuraba en el derecho comunitario originario, determinando lo relativo a su composición (estaría integrado por los jefes de Estado o de Gobierno de los Estados miembros, así como el presidente de la Comisión de las Comunidades Europeas, que estarán asistidos por los ministros de Asuntos Exteriores y por un miembro de la Comisión) y la periodicidad de sus reuniones (se reuniría al menos dos veces al año)41.

Se ha señalado que el Acta Única “...permitió abrir el camino para una mayor integración política y económica, iniciando la senda hacia la Unión Económica y Monetaria, que sería más tarde consagrada por el Tratado de Maastricht…” e instauró la “Cooperación Política” “...entre los Estados miembros en ma-

39 “El Acta Única Europea”, Hablemos de Europa, 17 de febrero de 2023, [en línea: https://www.hablamosdeeuropa.es/es/Paginas/Noticias/El-Acta-%C3%9Anica-Europea.aspx , acceso: 5/4/2023].

40 Las competencias de este órgano recién se van a fijar en el artículo 15 del Tratado de la Unión Europea.

41 Aldecoa Luzarraga, Francisco, “El Acta Única Europea: primer paso incierto en la profundización comunitaria hacia la Unión Europea”, en Revista de Estudios Internacionales, Nº 7, 1986, p. 551, [en línea: https://dialnet.unirioja.es/descarga/articulo/2495871.pdf, acceso: 3/4/2023].

teria de política exterior, antecesora de la actual Política Exterior y de Seguridad Común (PESC), que tiene por objeto preservar la paz y la seguridad y consolidar la democracia, el Estado de Derecho y el respeto de los derechos humanos…”42.

Seis años después, el 7 de febrero de 1992, se produjo “...la más importante reforma de los Tratados fundacionales con la firma en Maastricht del Tratado de la Unión Europea…”43. Este instrumento entró en vigor el 1 de noviembre de 1993 y modificó los Tratados constitutivos de las Comunidades Europeas con la introducción de cuatro objetivos principales tendientes a lograr una mayor cooperación entre los países europeos:

- Asegurar el progreso económico y social equilibrado y sostenible, principalmente con la creación de un espacio sin fronteras interiores y la unión económica y monetaria, con una moneda única.

- Realizar una política exterior y de seguridad común que, llegado el momento, pudiera conducir a una de defensa común.

42 Aldecoa Luzarraga, Francisco, “El Acta Única Europea”, p. 551.

43 Centro de Documentación Europea y Europe Direct de la Comunidad de Madrid, “Origen y evolución de la Unión Europea”, Dirección General de Asuntos Europeos y Cooperación con el Estado, 2018, p. 4/5, [en línea: https:// www.comunidad.madrid/sites/default/files/2_origen_y_ evolucion_de_la_ue_.pdf, acceso: 3/4/2023].

- Reforzar la protección de los derechos e intereses de los nacionales de sus Estados miembros mediante la creación de una “ciudadanía de la Unión”.

- Estrechar la cooperación en materia de justicia y asuntos interiores.

El Tratado de Maastricht fue suscrito originalmente por doce países (Alemania, Bélgica, Dinamarca, España, Francia, Grecia, Irlanda, Italia, Luxemburgo, Países Bajos, Portugal y Reino Unido). Desde entonces, se incorporaron otros dieciséis y en el año 2020 se produjo, por primera vez, la salida de uno de ellos (Reino Unido).

Este instrumento llevó a que la Comunidad Económica Europea (CEE) pasara a denominarse Comunidad Europea (CE), “...con el fin de adecuar su denominación a su nuevo papel en el proceso de integración europea…”44, y dio lugar a la creación formal de la “Unión Europea”, que dispondría de una organización institucional única conformada por el Consejo de la Unión Europea (conocido informalmente como “el Consejo”)45, el 44 Centro de Documentación Europea y Europe Direct de la Comunidad de Madrid, “Origen y evolución de la Unión Europea”, p. 4/5.

45 No debe confundirse el Consejo (Consejo de la Unión Europea) con el Consejo Europeo. El primero, está conformado por los ministros de cada país de la Unión Europea, según el tema a abordar, y tiene por función principal participar en la negociación y adopción de la legislación europea. El Consejo Europeo, en cambio, está conformado por los jefes de Estado o de Gobierno

Parlamento Europeo, la Comisión Europea, el Tribunal de Justicia y el Tribunal de Cuentas, que ejercerían sus competencias de conformidad con lo dispuesto en los Tratados46.

La estructura de la Unión Europea, de acuerdo con lo previsto en el Tratado, quedó conformada por tres pilares:

- Primer pilar: constituido por las tres Comunidades Europeas (CECA, CE y CEEA), y por el refuerzo de otras instituciones comunitarias como el Parlamento Europeo (mediante el refuerzo de sus potestades con la introducción del procedimiento de codecisión y el fortalecimiento de la facultad de control político y financiero sobre la Comisión Europea); la Comisión (que extendió sus atribuciones al ámbito de la salud pública, la cultura, la protección de los consumidores, la educación, la industria, las redes transeuropeas y la cooperación al desarrollo); y el Consejo de la Unión (mediante de cada Estado miembro de la Unión Europea, que participan de reuniones trimestrales en las que trazan las grandes líneas de la política de la Unión. Ampliar en “Institución de la UE: Consejo de la Unión Europea”, Unión Europea [en línea: https://european-union.europa.eu/ institutions-law-budget/institutions-and-bodies/institutions-and-bodies-profiles/council-european-union_es, acceso: 21/4/2023] y “Qué es el Consejo”, Consejo Europeo y Consejo de la Unión Europea [en línea: https://www. consilium.europa.eu/es/council-eu/what-is-the-council/, acceso: 21/4/2023].

46 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”, Fichas técnicas sobre la Unión Europea, Parlamento Europeo, mayo de 2022 [en línea: https://www.europarl. europa.eu/factsheets/es/sheet/3/los-tratados-de-maastricht-y-amsterdam : acceso: 2/4/2023].

el incremento del número de supuestos en que puede decidir por mayoría cualificada)47.

- Segundo pilar: dado por la Política Exterior y de Seguridad Común (PESC), que “...se enmarca en el ámbito de una cooperación intergubernamental, y tiene como objetivos el fortalecimiento de la seguridad de la Unión, el mantenimiento de la paz y seguridad internacional, el fomento de la cooperación internacional, el desarrollo y consolidación de la democracia y del Estado de Derecho, así como el respeto de los Derecho Humanos y las Libertades Fundamentales…”48.

- Tercer pilar: dado por la cooperación intergubernamental en materia de justicia y asuntos interiores, con el fin de brindar mayor seguridad a los ciudadanos “...mediante el control de las fronteras exteriores, la política de asilo y de inmigración, la cooperación judicial y la lucha contra el fraude…”49.

El Tratado de Ámsterdam, por su parte, se suscribió el 2 de octubre de 1997 y entró en vigor el 1 de mayo de 1999, una vez que fue ratificado por todos los miembros de la Unión Europea. Se trata de un 47 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

48 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

49 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

instrumento que modificó el Tratado de la Unión Europea, los Tratados constitutivos de las Comunidades Europeas y determinados actos conexos50.

Este instrumento vino a ampliar las competencias de la Unión Europea mediante el refuerzo en la cooperación intergubernamental en materia judicial penal y policial; la creación del cargo de secretario general del consejo responsable de la PESC y la Unidad de Planificación de Políticas y de Alerta Rápida. Además, amplió el ámbito de codecisión del Parlamento Europeo y el Consejo de la Unión Europea en determinadas materias51.

El Tratado de Niza52, que se firmó el 26 de febrero de 2001 y entró en vigor el 1 de febrero de 2003, tenía como objetivo dotar a las instituciones de la Unión Europea de una mayor eficacia y legitimación, de cara a su futura ampliación, para lo cual introdujo modificaciones en sus principales instituciones (v. gr., limitó el número de representantes en la Comisión a uno por cada Estado miembro, dispuso el incremento de bancas del Par-

50 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

51 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

52 EUR-Lex, Tratado de Niza, 26 de febrero de 2001 [en línea: https://eur-lex.europa.eu/legal-content/ES/ TXT/PDF/?uri=CELEX:12001C/TXT&from=ES, acceso: 5/4/2023].

lamento Europeo en la medida en que se integren nuevos países a la Unión y extendió la adopción de decisiones mediante la codecisión, entre otras53), propició una cooperación reforzada más flexible entre los Estados miembros al suprimir la posibilidad de veto54 y determinó el refuerzo de su sistema judicial55, mediante la introducción de “...una nueva arquitectura judicial europea…”56, al convertir al Tribunal de Primera Instancia en un “juez común” comunitario y establecer “...al Tribunal de Justicia de las Comunidades Europeas como órgano supremo distinto del Tribunal de Primera Instancia…”57.

Finalmente, el Tratado de Lisboa58, que se firmó el 13 de diciembre de 2007 y entró en vigor el 1 de diciembre de 2009, contiene una serie de enmiendas que

53 González Martín, Nuria, “Tratado de Niza”, Boletín Mexicano de Derecho Comparado, vol. 36 Nº 107, Ciudad de México, mayo/agosto 2003 [en línea: https:// www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0041-86332003000200011, acceso: 5/4/2023].

54 González Martín, Nuria, “Tratado de Niza”, Boletín Mexicano de Derecho Comparado.

55 Sokolska, Ina, “El Tratado de Niza y la Convención sobre el futuro de Europa”, Fichas técnicas sobre la Unión Europea, Parlamento Europeo, mayo de 2022 [en línea: https://www.europarl.europa.eu/factsheets/es/sheet/4/ el-tratado-de-niza-y-la-convencion-sobre-el-futuro-deeuropa, acceso: 5/4/2023].

56 González Martín, Nuria, “Tratado de Niza”, Boletín Mexicano de Derecho Comparado

57 González Martín, Nuria, “Tratado de Niza”, Boletín Mexicano de Derecho Comparado.

58 EUR-Lex, Tratado de Lisboa, 1° de diciembre de 2009 [en línea: https://eur-lex.europa.eu/legal-content/ES/ TXT/HTML/?uri=CELEX:12007L/TXT&from=ES, acceso: 5/4/2023].

modifican el Tratado de la Unión Europea y el Tratado constitutivo de la Comunidad Europea.

En primer lugar, modificó la denominación del “Tratado constitutivo de la Comunidad Europea” que pasó a llamarse “Tratado de Funcionamiento de la Unión Europea”, para dar cuenta de que la “...Unión ocupa el lugar de la Comunidad y la sucede desde el punto de vista jurídico…”59.

Así, este tratado otorga personalidad jurídica propia a la Unión, lo que la habilita a suscribir acuerdos con terceros países y organizaciones internacionales, a la vez que organiza y clarifica sus competencias (diferenciando entre aquellas exclusivas, compartidas con los Estados miembros y de apoyo), entre otras medidas, como el incremento en la cantidad de representantes en el Parlamento Europeo, la extensión de las materias sobre las que existirá la codecisión (Parlamento-Consejo60), la ampliación del ámbito de aplicación del procedimiento legisla-

59 Pavy, Eva, “El Tratado de Lisboa”, Fichas técnicas sobre la Unión Europea, Parlamento Europeo, mayo de 2022 [en línea: https://www.europarl.europa.eu/factsheets/ es/sheet/5/el-tratado-de-lisboa, acceso: 5/4/2023].

60 Serán casi todas, excepto las relacionadas con política exterior y política de seguridad común. Ver en González Martín, Nuria, “La Unión Europea como una fotografía en continuo movimiento: el Tratado de Lisboa”, Boletín Mexicano de Derecho Comparado, vol. 42 Nº 124, Ciudad de México, enero/abril 2009 [en línea: https:// www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0041-86332003000200011, acceso: 5/4/2023].

tivo ordinario por parte de dicha institución, y se recoge la alternativa de que los Estados miembros abandonen la Unión61.

II.3. Conclusiones

Los orígenes de la Unión Europea pueden anclarse históricamente en la firma del Tratado constitutivo de la Comunidad Europea del Carbón y del Acero (CECA) el 18 de abril de 1951, que entró en vigor el 23 de julio de 1952 para Francia, Alemania, Italia, Bélgica, Países Bajos y Luxemburgo62.

Este primer tratado sentó las bases de la arquitectura de la Comunidad Europea63, mediante el establecimiento de cuatro instituciones fundamentales: una Alta Autoridad, asistida por un Comité Consultivo; una Asamblea Común; un Consejo Especial de ministros, y un Tribunal de Justicia64.

A este tratado le siguió la suscripción de los Tratados de Roma, el 25 de marzo de 1957, conformados por dos instrumentos: el Tratado constitutivo de la

61 Pavy, Eva, “El Tratado de Lisboa”.

62 El Tratado fue firmado para un periodo de 50 años y expiró en julio de 2002. Ver Centro de Documentación Europea, “Origen y evolución de la Unión Europea”, Dirección General de Asuntos Europeos y Cooperación con el Estado, septiembre de 2018, p. 3 [en línea: https://www. comunidad.madrid/sites/default/files/2_origen_y_evolucion_de_la_ue_.pdf, acceso: 1/4/20230].

63 Sokolska, Ina, “Los primeros tratados”.

64 EUR-Lex, “Tratado Constitutivo de la Comunidad Europea del Carbón y del Acero”, artículo 7.

Comunidad Económica Europea (CEE) y el Tratado constitutivo de la Comunidad Europea de la Energía Atómica (CEEA, también conocida como “Euratom”).

El avance hacia la integración definitiva de la Unión se produce con la firma del Acta Única Europea, en febrero de 1986, por los doce países que entonces integraban la Comunidad Europea, que da lugar a la reforma de los Tratados constitutivos de las Comunidades Europeas.

El Acta Única, se ha señalado, fue la que dio lugar a la apertura del camino “...hacia una mayor integración política y económica, iniciando la senda hacia la Unión Económica y Monetaria, que sería más tarde consagrada por el Tratado de Maastricht…”, a la vez que instauró la “Cooperación Política” que precedió a la actual Política Exterior y de Seguridad Común de la Unión65.

A este hito le siguió la firma de una de las más importantes reformas de los Tratados fundacionales: el Tratado de la Unión Europea, que fue suscrito en Maastricht, el 7 de febrero de 199266, y

65 “El Acta Única Europea”, Hablemos de Europa, 17 de febrero de 2023 [en línea: https://www.hablamosdeeuropa.es/es/Paginas/Noticias/El-Acta-%C3%9Anica-Europea.aspx , acceso: 5/4/2023].

66 Centro de Documentación Europea y Europe Direct de la Comunidad de Madrid, “Origen y evolución de la Unión Europea”, p. 4/5.

vino a modificar los Tratados constitutivos de las Comunidades Europeas con la introducción de cuatro objetivos principales para la cooperación entre los Estados de Europa.

Así, la creación formal de la “Unión Europea” se produce con el Tratado de Maastricht, en el que se diseñó una organización institucional única para la comunidad que estaría conformada por el Consejo, el Parlamento Europeo, la Comisión Europea, el Tribunal de Justicia y el Tribunal de Cuentas, que ejercerían sus competencias de conformidad con lo dispuesto en los Tratados67, a la vez que previó una estructura para toda la unión conformada por tres pilares fundamentales: a) un primer pilar, constituido por las tres Comunidades Europeas (CECA, CE y CEEA), y por el refuerzo de otras instituciones comunitarias como el Parlamento Europeo, la Comisión y el Consejo; b) un segundo pilar, dado por la Política Exterior y de Seguridad Común (PESC); c) un tercer pilar, dado por la cooperación intergubernamental en materia de justicia y asuntos interiores68.

Finalmente, el Tratado de Ámsterdam, del 2 de octubre de 1997; el Trata-

67 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

68 Sokolska, Ina, “Los Tratados de Maastricht y Ámsterdam”.

do de Niza69, suscripto el 26 de febrero de 2001; y el Tratado de Lisboa70, que entró en vigor el 1 de diciembre de 2009, incorporaron importantes enmiendas a los tratados constitutivos. Particularmente, el último de ellos vino a modificar la denominación del “Tratado constitutivo de la Comunidad Europea”, que pasó a llamarse “Tratado de Funcionamiento de la Unión Europea” y reconoció a la Unión personalidad jurídica propia para suscribir acuerdos con otras naciones.

En la actualidad, la Unión Europea está conformada por veintisiete países de Europa. Estos han acordado asociarse económica y políticamente para delegar parte de su soberanía en una serie de instituciones comunes y superiores, con el objetivo de trabajar en conjunto en asuntos de interés común71. Así, han logrado crear una moneda única, a la vez que fueron construyendo también un mercado único para la circulación de bienes y servicios, de capital y de personas, pasando de ser una organización internacional originalmente creada para acometer fines meramente económicos, a una que persigue objetivos mucho más extensos.

69 EUR-Lex, Tratado de Niza.

70 EUR-Lex, Tratado de Lisboa.

71 EUR-Lex, “¿Qué es la Unión Europea? ¿Cómo funciona? ¿Qué hace?”.

III. LA UNIÓN EUROPEA FRENTE A LA INTELIGENCIA ARTIFICIAL

III.1. El enfoque europeo para la IA: un poco de historia

El enfoque de la Unión Europea frente a la inteligencia artificial está centrado “...en la excelencia y la confianza, con el objetivo de impulsar la investigación y la capacidad industrial, garantizando al mismo tiempo la seguridad y los derechos fundamentales…”72 .

En concreto, se trata de un enfoque que busca promover un marco regulatorio común para los Estados miembros de la Unión que fomente la seguridad jurídica y respete los valores europeos, a la vez que preserve los derechos fundamentales de las personas73.

En ese contexto es que en el año 2018 se crea el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, conformado por cincuenta y dos expertos provenientes del sector académico y empresario, cuya misión sería la de asesorar a la Co-

72 “Un enfoque europeo para la inteligencia artificial”, Configurar el futuro digital de Europa, 26 de enero de 2023 [en línea: https://digital-strategy.ec.europa.eu/es/policies/european-approach-artificial-intelligence#:~:text=El%20enfoque%20de%20la%20UE,seguridad%20y%20 los%20derechos%20fundamentales., acceso: 6/4/2023].

73 Gamero Casado, Eduardo, “El enfoque europeo de inteligencia artificial”, Revista de Derecho Administrativo –CDA 20, 2021, p. 286 [en línea: https://dialnet.unirioja.es/ descarga/articulo/8510535.pdf, acceso: 6/4/2023].

misión sobre la aplicación de una estrategia sobre IA para dicha institución74. Además, debería formular recomendaciones éticas, legales y sociales acerca del impacto de este conjunto de tecnologías en la sociedad, con el fin de elaborar políticas y normas para su gobernanza75.

En línea con ello, el 25 de abril de 2018, la Comisión dio a conocer la Estrategia de Inteligencia Artificial para Europa con un enfoque que coloca a las personas en el centro de la IA, con el triple objetivo de:

a) potenciar “...la capacidad tecnológica e industrial de la UE e impulsar la adopción de la IA en todos los ámbitos de la economía…”;

b) prepararse “...para las transformaciones socioeconómicas que origina la IA, fomentando la modernización de los sistemas de educación y formación, favoreciendo el talento, previendo los cambios en el mercado laboral y prestando

74 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, Comisión Europea, 21 de abril de 2021, p. 9 [en línea: https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0008.02/DOC_1&format=PDF, acceso: 7/4/2023].

75 “Europa designó a un ‘grupo de expertos de alto nivel’ para que ayude a regular el avance de la inteligencia artificial”, Infobae, 15 de junio de 2018 [en línea: https://www. infobae.com/america/tecno/2018/06/15/europa-designo-un-grupo-de-expertos-de-alto-nivel-para-que-ayuden-a-regular-el-avance-de-la-inteligencia-artificial/ , acceso: 7/4/2023].

apoyo a las transiciones que se operen en él y a la adaptación de los sistemas de protección social…”; y

c) garantizar “...el establecimiento de un marco ético y jurídico apropiado, basado en los valores de la Unión y en consonancia con la Carta de los Derechos Fundamentales de la UE…”76.

La Estrategia se concretó mediante el diseño de un Plan Coordinado sobre la Inteligencia Artificial que se comunicó al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones en diciembre de ese mismo año77.

Allí se detallaban las acciones que se llevarían a cabo durante 2019 y 2020, que serían actualizadas y revisadas anualmente. En concreto, entre otras, se ofrecía un marco para las estrategias nacionales de IA, se planteaba la necesidad de acordar “indicadores comunes para monitorear la aceptación y el desarrollo de la IA en la Unión y la tasa de éxito de las estrategias implementadas”, y objetivos de inversión concretos y realistas, esfuer-

76 EUR-Lex, “Inteligencia artificial para Europa”, Comisión Europea, 25 de abril de 2018 [en línea: https://eurlex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52018DC0237&from=EN, acceso: 7/4/2023].

77 EUR-Lex, “Plan Coordinado sobre la inteligencia artificial”, Comisión Europea, 7 de diciembre de 2018 [en línea: https://eur-lex.europa.eu/resource.html?uri=cellar:22ee84bb-fa04-11e8-a96d-01aa75ed71a1.0022.02/ DOC_1&format=PDF, acceso: 7/4/2023].

zos públicos coordinados para lograrlos y evitar la fragmentación del mercado en sectores estratégicos para la IA78.

En abril de 2019, el Grupo de Expertos presentó el documento titulado “Directrices Éticas para una IA fiable”, en el que se propuso promover una IA fiable sobre la base de tres componentes fundamentales que deben satisfacerse durante todo el ciclo de vida de los sistemas inteligentes. Estos son la licitud, la ética y la robustez de la IA, para lo cual se deben respetar cuatro principios éticos basados en los derechos fundamentales (respeto de la autonomía humana, prevención del daño, equidad y explicabilidad) y garantizar el cumplimiento de siete requisitos clave (intervención y supervisión humanas, solidez y seguridad técnicas, privacidad y gestión de datos, transparencia, diversidad, no discriminación y equidad, bienestar social y medioambiental, rendición de cuentas)79.

Este documento fue respaldado por la Comisión ese mismo abril de 2019, que lo consideró un valioso aporte para la elaboración de sus propias políticas. Ello sin perjuicio de aclarar que se trataba de

78 EUR-Lex, “Plan Coordinado sobre la inteligencia artificial”.

79 Grupo de Expertos de alto nivel sobre inteligencia artificial, “Directrices Éticas para una IA fiable”, 8 de abril de 2019, p. 10 [en línea: https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f01aa75ed71a1, acceso: 7/4/2023].

directrices no vinculantes (que en muchos casos reflejan disposiciones vigentes en la Unión Europea), que requerían considerar el contexto específico de aplicación para una implementación concreta y proporcionada mediante la adopción de un enfoque basado en el impacto80.

En esa oportunidad, la Comisión acogió favorablemente los siete principios éticos contemplados en las directrices del Grupo de Expertos, a saber: acción y supervisión humanas, solidez técnica y seguridad, gestión de la privacidad y de los datos, transparencia, diversidad, no discriminación y equidad, bienestar social y medioambiental, y rendición de cuentas81.

Un año después, el 19 de febrero de 2020, la Comisión publicó el Libro Blanco sobre la Inteligencia Artificial, en el que se formularon una serie de alternativas políticas para lograr el doble objetivo de “...promover la adopción de la IA y de abordar los riesgos vinculados a determinados usos de esta nueva tecnolo-

80 EUR-Lex, “Generar confianza en la inteligencia artificial centrada en el ser humano”, Comisión Europea, 8 de abril de 2019, p. 4/5 [en línea: https://eur-lex.europa. eu/legal-content/ES/TXT/PDF/?uri=CELEX:52019DC0168&from=ES, acceso: 7/4/2023].

81 EUR-Lex, “Generar confianza en la inteligencia artificial centrada en el ser humano”, p. 4/5. También ver Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, 19 de febrero de 2020, p.11/12 [en línea: https://commission.europa.eu/document/d2ec4039-c5be423a-81ef-b9e44e79825bes, acceso: 8/4/2023].

gía…”, siempre con foco en el respeto de los derechos humanos y de los valores de la Unión82.

En el Libro Blanco se identifican los principales riesgos que tornan necesario regular la IA, como, por ejemplo, la afectación de los valores sobre los que se sustenta la Unión Europea y también derechos fundamentales de las personas “...como la libertad de expresión, la libertad de reunión, la dignidad humana, la ausencia de discriminación por razón de sexo, raza u origen étnico, religión o credo, discapacidad, edad u orientación sexual, y, en su aplicación en determinados ámbitos, la protección de los datos personales y de la vida privada, el derecho a una tutela judicial efectiva y a un juicio justo, o la protección de los consumidores…”83.

Luego, reconoce que un futuro marco regulatorio debería adoptar un enfoque con base en el riesgo de los sistemas, de modo tal que sea “...eficaz para alcanzar sus objetivos sin ser excesivamente prescriptivo…”84. Ello para no generar una

82 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, p. 11/12.

83 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, p. 13.

84 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, p. 21.

carga desproporcionada, fundamentalmente en las pymes.

A tal fin, propicia seis características clave que deberían cumplir los sistemas de IA que entrañen un riesgo elevado, vinculadas con sus datos de entrenamiento, datos y registros de datos, información que debe facilitarse, solidez y exactitud, supervisión humana, requisitos específicos en el caso de determinadas aplicaciones de IA, como las empleadas para la identificación biométrica remota85.

Con la presentación del Libro Blanco, la Comisión puso en marcha una amplia consulta con la sociedad civil, la industria y el sector académico para que ofrezcan propuestas concretas sobre el enfoque europeo para la IA86. El resultado de la consulta se publicó en noviembre del año 2020 y atrajo más de mil contribuciones de diversas partes interesadas (ciudadanos, industria y negocios, sociedad civil, academia y autoridades, entre otros), en su mayoría, provenientes de países de la Unión87.

85 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, p. 22/23.

86 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza, p. 31.

87 Comisión Europea, “Public consultation on the AI White Paper Final Report”, noviembre de 2020 [en línea: https://ec.europa.eu/newsroom/dae/document.cfm?docid=68462, acceso: 8/4/2023].

III.2. El Proyecto de Reglamento de Inteligencia Artificial

III.2.a. Naturaleza, alcances y contenido La propuesta del Reglamento Europeo para la IA fue presentada al Parlamento Europeo y al Consejo por la Comisión Europea el 21 de abril del 2021, con la mirada colocada en el logro de cuatro objetivos concretos y específicos:

a) asegurar que los sistemas de IA emplazados y utilizados en la Unión sean seguros y respeten sus valores y los derechos fundamentales de las personas;

b) brindar seguridad jurídica para facilitar las inversiones y la innovación en IA; c) mejorar la gobernanza y la aplicación efectiva de la normativa vigente en materia de derechos fundamentales y requerimientos de seguridad aplicables a los sistemas de IA; y d) facilitar el desarrollo de un mercado único para aplicaciones de IA seguras, legales y confiables, previniendo la fragmentación del mercado88 .

En ese contexto, la Comisión propuso un reglamento con un enfoque “...horizontal, equilibrado y proporcionado (...) que se limita a establecer los requisitos mínimos necesarios para sub88 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 3.

sanar los riesgos y problemas vinculados a la IA, sin obstaculizar ni impedir indebidamente el desarrollo tecnológico y sin aumentar de un modo desproporcionado el coste de introducir soluciones de IA en el mercado…”89.

A la par, el reglamento propuesto pretende romper con la lógica de creación de estrategias nacionales de IA aisladas, en el entendimiento de que esta diversidad normativa entorpece la circulación fluida de productos y servicios asociados a la IA en la Unión Europea, crea inseguridad jurídica, ralentiza la adopción de IA por el mercado y, especialmente, atenta contra la adecuada tutela de los derechos fundamentales y valores de la Unión en los Estados miembros90.

Por tal motivo, el proyecto se propicia bajo el formato de un reglamento, es decir, como un acto legislativo con carácter vinculante y directamente aplicable para toda la Unión Europea91.

89 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 5.

90 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

91 De conformidad con lo previsto en el artículo 288 del TFUE, existen otro tipo de normas en el ámbito de la Unión Europea que, por su diversa naturaleza, presenta distintas características. Las directivas son normas que pueden tener como destinatario a uno, varios o todos los

Se ha señalado que al haber optado por esta especie de norma “...se logran dos objetivos principales: el texto tiene efecto directo, es decir, eficacia vinculante desde su entrada en vigor, tanto para los Estados miembros como para la ciudadanía, sin necesidad de acto alguno de trasposición al Derecho interno (...) y logra un mayor grado de uniformidad en el régimen sustantivo y en su aplicación práctica, lo que constituye una de las razones que alimentan la promulgación de una norma europea sobre IA, a fin de potenciar la seguridad jurídica de ciudadanos y empresas…”92.

En efecto, esto es reconocido por la propia Comisión que ha señalado que la elección de esta especie de instrumento jurídico se vincula directamente con la necesidad de aplicar la nueva norma jurídica de manera uniforme en toda la Unión93.

Estados miembros, que describen objetivos vinculantes pero no definen la forma en la que habrán de lograrse, por lo que cada Estado debe diseñar sus propias leyes para alcanzarlos; las decisiones, por su parte, tienen destinatarios determinados, que pueden ser países de la Unión o particulares, son vinculantes esos destinatarios y les son directamente aplicables, por lo que deben ser notificadas; y, finalmente, las recomendaciones y dictámenes son un tipo de norma que no tiene carácter vinculante, por lo que no impone obligaciones a sus destinatarios. Ver: “Tipos de legislación”, Unión Europea, 2022 [en línea: https://european-union.europa.eu/institutions-law-budget/law/ types-legislation_es, acceso: 13/4/2023].

92 Gamero Casado, Eduardo, “El enfoque europeo de inteligencia artificial”, p. 276.

93 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de

En cuanto a su contenido, el proyecto procura regular lo relativo al “...desarrollo, la introducción en el mercado y la utilización de sistemas de IA en la Unión a partir de un enfoque proporcionado basado en los riesgos…”94.

Este enfoque solo impone cargas normativas severas cuando se trata de sistemas de IA que probablemente entrañan riesgos para los derechos fundamentales y la seguridad. En cambio, frente a los demás sistemas (los que no son de alto riesgo) solo se imponen una serie de obligaciones relacionadas con el deber de transparencia95.

A la par de ello, el proyecto se propone lograr una definición tecnológicamente neutral y única de inteligencia artificial que pueda sortear el paso del tiempo, prohibir determinadas prácticas perjudiciales y limitar algunos usos específicos de IA, como la identificación biométrica remota con fines de aplicación de la ley96. inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 8.

94 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 3.

95 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

96 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de

En cuanto a su estructura, en el primer capítulo se fija el alcance y la aplicación de nuevas normas relacionadas con la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA, a la vez que se dispone la definición de los términos que luego se utilizan a lo largo del texto (entre ellos el de IA con los objetivos y alcances señalados más arriba)97.

Asimismo, para brindar seguridad jurídica, este título se complementa con el anexo I en el que se incluye una lista detallada de las técnicas y estrategias “...para el desarrollo de la IA que la Comisión deberá adaptar a los nuevos avances tecnológicos…”, y se brinda una definición de los principales actores en la cadena de valor de la IA, lo que incluye tanto proveedores como usuarios, públicos y privados, para garantizar la igualdad de condiciones98.

En el título II se detalla una lista de IA que estarán prohibidas, que comprende “...todos los sistemas de IA cuyo uso se considera inaceptable por ser contrario inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 3.

97 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

98 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

a los valores de la Unión…” (por ejemplo, prácticas de calificación social inteligente). Además, como el reglamento sigue un enfoque basado en riesgos, se diferencia entre usos de la IA que generan un riesgo inaceptable, riesgo alto y riesgo bajo o mínimo99.

En el título siguiente, se fijan las normas específicas para regular los sistemas de riesgo alto para la salud o los derechos fundamentales de las personas humanas, para lo que se tendrá en cuenta la función, finalidad específica y modalidades de uso de cada sistema. Estos van a estar permitidos en el ámbito europeo “...siempre que cumplan determinados requisitos obligatorios y sean sometidos a una evaluación de la conformidad ex ante…”100.

Además, la futura norma identifica dos categorías principales de sistemas de alto riesgo: a) sistemas diseñados “...para utilizarse como componentes de seguridad de productos sujetos a una evaluación de la conformidad ex ante realizada por terceros…”; y, b) “...otros sistemas

99 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 14.

100 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 15.

de IA independientes con implicaciones relacionadas principalmente con los derechos fundamentales…”. Estos últimos se mencionan concretamente en el anexo III del reglamento bajo una lógica de enunciación abierta, pues la Comisión podría ampliarla101.

En línea con ello, en el capítulo 2 se disponen una serie de recaudos legales que estos sistemas deben cumplir en lo relativo a datos, gobernanza, documentación, transparencia y comunicación a los usuarios, seguridad, precisión y solidez102. Y en el capítulo 3 se determinan obligaciones horizontales para proveedores, así como para usuarios y participantes de la cadena de valor de la IA103.

A continuación, en el título IV se regula la obligación de transparencia para ciertos sistemas diseñados para interactuar con personas humanas, detectar emociones o categorizar geométricamente, y generar o manipular imágenes,

101 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 15.

102 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 15.

103 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 16.

audio o video que puedan provocar la creencia de que las personas, lugares u objetos generados por la IA son reales104. Además, fija algunas medidas a adoptar por parte de los Estados en favor de pymes y startups105 .

Seguidamente, en el título VI dedicado a la gobernanza y la aplicación del reglamento, se propicia la creación de un Comité Europeo de Inteligencia Artificial, que proveerá asesoramiento y asistencia a la Comisión106. Y en el título VII se proyecta la creación y mantenimiento de una base de datos para la Unión Europea en la que figuren los sistemas de alto riesgo independientes107.

El título VIII delinea un plan de monitoreo posterior a la comercialización y regula sobre el intercambio de información sobre incidentes graves y fallos de

104 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 17.

105 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 18.

106 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 19.

107 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 19.

funcionamiento, en ambos casos, para proveedores de sistemas de IA de alto riesgo108.

Y ya hacia el final, en el título IX se prevé “...un marco para la elaboración de códigos de conducta, cuyo objetivo es fomentar que los proveedores de sistemas de IA que no son de alto riesgo cumplan de manera voluntaria los requisitos que son obligatorios para los sistemas de IA de alto riesgo…”. Esto sin perjuicio de que puedan crear y aplicar sus propios códigos de conducta109.

Para terminar, en las disposiciones finales fijadas en los títulos X, XI y XII, se establecen algunas pautas relacionadas con la obligación de autoridades nacionales y organismos involucrados en la aplicación del reglamento de respetar la confidencialidad de la información y de los datos que obtengan en el ejercicio de sus funciones, a la vez que se prevén pautas para el intercambio de aquella información110.

108 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 19.

109 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 19.

110 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos

También se dispone que los Estados miembros deberán determinar las sanciones aplicables al incumplimiento del reglamento y comunicar esa regulación a la Comisión. No obstante lo cual se determinan ciertas infracciones y su sanción concreta, así como pautas para tener en cuenta al tiempo de ejercer la potestad punitiva111.

III.2.b. El debate en el seno de la Unión: procedimiento que sigue el proyecto y estado actual de la discusión

III.2.b.i. ¿Cómo se estructura el procedimiento que se sigue para la sanción del reglamento?

El Proyecto de Reglamento en trámite sigue el procedimiento legislativo ordinario de la Unión Europea, cuya base jurídica se encuentra fundamentalmente sostenida en los arts. 289 y 294 del Tratado de Funcionamiento de la Unión Europea (TFUE) que, actualmente, es el principal procedimiento para la adopción de legislación en el ámbito de la Unión112.

legislativos de la Unión”, p. 18/19.

111 EUR-Lex, “Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión”, p. 18/19.

112 “Procedimiento legislativo ordinario”, Consejo de la Unión Europea, 27/3/2023 [en línea: https://www.consilium.europa.eu/es/council-eu/decision-making/ordinary-legislative-procedure/, acceso el 17/4/2023]

Este procedimiento, descrito en el art. 294 del TFUE, “...consiste en la adopción conjunta por el Parlamento Europeo y el Consejo, a propuesta de la Comisión, de un reglamento, una directiva o una decisión…”113.

Se trata de un procedimiento que inicia a partir de una propuesta de la Comisión al Parlamento Europeo y al Consejo114, en tanto la primera es el único órgano con potestad de iniciativa para propiciar la sanción de actos normativos115.

Una vez presentada la iniciativa, se inicia la primera lectura. En dicha oportunidad, el Parlamento puede presentar enmiendas o aprobar la iniciativa. Si la aprueba en primera lectura, la transmite al Consejo, y si este último aprueba la posición del Parlamento, el acto legislativo queda adoptado. En cambio, si el Consejo no aprueba la posición del Parlamento, adoptará su propia postura en primera lectura y se la transmitirá, lo que dará

113 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, 26/10/2012, art. 289 inc. 1° [en línea: https://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:12012E/TXT:es:PDF, acceso el 17/4/2023].

114 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, art. 289 inc. 1°.

115 “Procedimiento legislativo ordinario”, Consejo de la Unión Europea, 27/3/2023.

...para poder abordar su estudio de forma integral, el desarrollo de la IA debe ser gestionado bajo un enfoque diverso, multidisciplinario e intergeneracional.

del Parlamento; c) una orientación general, que es un acuerdo político a nivel del Consejo que se adopta a la espera de la posición del Parlamento para facilitar el acuerdo entre ambas instituciones117.

Es importante señalar que durante la primera lectura se pueden celebrar “diálogos tripartitos”, esto es, reuniones de tipo informal a las que asisten miembros del Parlamento, del Consejo y de la Comisión tendientes a facilitar que se llegue a un acuerdo respecto del proyecto de acto que se está discutiendo118.

En consecuencia, de la primera lectura pueden surgir tres documentos: a) el acto legislativo del Parlamento y el Consejo (reglamento, directiva, o decisión); b) la posición del Consejo por la que se propicia la modificación de la posición

Una vez que el Parlamento recibe la posición del Consejo, podrá: a) aprobarla y que el acto se considere adoptado en la formulación propuesta por aquel; b) rechazar, por mayoría de sus miembros, la posición del Consejo, en cuyo caso el acto propuesto se considerará no adoptado; c) proponer, por mayoría de los miembros que lo conforman, cambios a la posición del Consejo, lo que dará lugar a la remisión del texto al Consejo y a la Comisión para que dictaminen sobre las enmiendas que se hubieran introducido en una segunda lectura119.

117 “Procedimiento legislativo ordinario”, Consejo de la Unión Europea

118 “Procedimiento legislativo ordinario”, Consejo de la Unión Europea.

116 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, art. 294.

119 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, art. 294. lugar a la devolución de la iniciativa para una segunda lectura116.

Durante la segunda lectura el Consejo evaluará las enmiendas del Parlamento y, por mayoría calificada cuando se trate de enmiendas que hayan sido objeto de un dictamen positivo de la Comisión, o por unanimidad si hubieran sido objeto de un dictamen negativo de la Comisión, podrá: a) aprobarlas, con lo que el acto quedará adoptado; b) no aprobarlas, en cuyo caso se convocará al Comité de Conciliación. En esta etapa las instituciones contarán con un plazo de tres meses, extensible por un mes más, para tomar una decisión120.

El Comité de Conciliación quedará conformado por un número igual de representantes del Consejo y del Parlamento. Su objetivo será lograr un texto que sea aceptado por ambas instituciones en el plazo de seis semanas. Si lo logra, entonces este se transmitirá al Consejo y al Parlamento para la tercera lectura. Por el contrario, si ello no sucede, se dará por concluido el procedimiento121.

En la tercera lectura, el Parlamento Europeo y el Consejo dispondrán cada uno de seis semanas, contadas a partir de la aprobación del texto conjunto por el Comité de Conciliación, “...para adoptar

120 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, art. 294.

121 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, art. 294.

el acto de que se trate conforme a dicho texto, pronunciándose el Parlamento Europeo por mayoría de los votos emitidos y el Consejo por mayoría cualificada…”122.

Así, si ambos aprueban el texto conjunto, el acto se publica como directiva, reglamento o decisión del Parlamento y del Consejo, según sea el caso. De lo contrario, la propuesta no se adopta y concluye el procedimiento123.

III.2.b.ii. ¿Cuál es el estado de avance del Proyecto de Reglamento?

El Proyecto de Reglamento de la IA, se señaló, tramita por este procedimiento, y ha seguido la evolución histórica que se refiere a continuación124:

1. El 21 de abril de 2021 se presentó el primer borrador del texto del reglamento al Parlamento y al Consejo.

2. Un año después, el 20 de abril de 2022 y luego el 14 de junio de 2022, las comisiones de Libertades Civiles, Justicia y Asuntos de Interior (LIBE) y Mercado y Protección del Consumidor (IMCO) emitieron su informe preliminar conjun-

122 EUR-Lex, “Tratado de Funcionamiento de la Unión Europea, en Diario de la Unión Europea”, art. 294.

123 “Procedimiento legislativo ordinario”, Consejo de la Unión Europea.

124 Ampliar en “El Reglamento de Inteligencia Artificial”, Future of Life Institute, 2023 [en línea: https://artificialintelligenceact.eu/about/, acceso el 18/4/2023].

to, que servirá de base para el debate del proyecto en el seno del Parlamento.

3. El 6 de diciembre del 2022, el Consejo adoptó una orientación general125 a través del Grupo de Trabajo sobre Telecomunicaciones y Sociedad de la Información126.

En este último documento se da cuenta de la labor realizada por el Grupo Telecom para el estudio de la propuesta a través de diversos talleres celebrados en los años 2021 y 2022, que dieron lugar a distintas versiones transaccionales de la orientación general hasta llegar a esta última presentada el 22 de diciembre de 2022127.

125 Cabe recordar que una orientación general es un tipo de acuerdo político a nivel del Consejo que se adopta a la espera de la posición del Parlamento, que busca facilitar el acuerdo entre ambas instituciones.

126 “Reglamento de Inteligencia Artificial: el Consejo pide que se promueva una IA segura que respete los derechos fundamentales”, Consejo de la Unión Europea, 6 de diciembre de 2022 [en línea: https://www.consilium.europa.eu/es/press/press-releases/2022/12/06/ artificial-intelligence-act-council-calls-for-promoting-safe-ai-that-respects-fundamental-rights/, acceso el 18/4/2023]. En dicha oportunidad Alemania formuló una declaración por separado en la que manifestó su respaldo al texto presentado por la Presidencia para alcanzar la orientación general del 6 de diciembre de 2022, pero que consideraba que había algunas cuestiones a mejorar que espera sean abordadas durante las próximas negociaciones institucionales. Ver “Declaración de Alemania sobre el Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, 6 de diciembre de 2022 [en línea: https://data.consilium.europa.eu/doc/document/ST14954-2022-ADD-1/es/pdf, acceso el 19/4/2023].

127 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteli-

Como principales elementos de la orientación general, se destaca que:

a) Se limita la definición de IA, circunscribiéndola a sistemas desarrollados bajo un enfoque de aprendizaje automático y estrategias basadas en la lógica y el conocimiento. Se aclaran ambos conceptos y se permite la adopción de actos de ejecución para especificar y actualizar las técnicas de ambas estrategias de desarrollo de IA128.

b) Se amplía la prohibición de utilizar IA para puntuación ciudadana por parte de agentes privados, así como de usarla para para aprovechar la vulnerabilidad de las personas por motivos de situación social o económica129.

c) Se enumeran una serie de objetivos cuya persecución habilitaría el empleo de sistemas de identificación biométrica remota (que por regla está vedado) y a gencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, 6 de diciembre de 2022, p. 2 [en línea: https://data.consilium.europa.eu/ doc/document/ST-14954-2022-INIT/es/pdf, acceso el 17/4/2023].

128 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 4.

129 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 4.

qué autoridades se les permitirá, por excepción, usarlos130.

d) Se suprimen de la lista de uso de IA de alto riesgo algunos sistemas y se incorporan otros, y se prevé la alternativa de que, bajo ciertas condiciones, se puedan añadir y suprimir supuestos de uso de alto riesgo a la lista del Anexo III del reglamento131.

e) Se modifican los criterios para definir un sistema de IA como de alto riesgo para evitar que se incluyan en esta clasificación sistemas que probablemente no provoquen “...una afectación de los derechos fundamentales u otros riesgos significativos…”, y se aclaran y precisan requisitos para estos sistemas, con el fin de hacerlos más viables desde el punto de vista técnico y reducir la carga para las partes interesadas132.

130 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 4.

131 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 5.

132 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 5/6.

f) Se incorporan cambios que hacen a la claridad en la atribución de responsabilidades y funciones de quienes intervienen en la cadena de valor de la IA133.

g) Se agrega un título para regular las IA de uso general y también las situaciones en las que estas se integren en otro sistema que se pueda convertirse en un sistema de alto riesgo134.

h) Se aclara el ámbito de aplicación del reglamento para excluir de forma expresa “...las actividades militares o las relacionadas con la defensa y la seguridad nacional…”, así como los sistemas de IA que solo se usen con fines de investigación y desarrollo, con excepción de lo que refiere al deber de transparencia135.

i) Se introducen modificaciones tendientes a simplificar el marco de cumplimiento del reglamento en lo relativo a la evaluación de conformidad y la vigi-

133 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 6.

134 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 6.

135 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 7.

lancia de mercado, a reforzar la autonomía y el rol del Comité de IA en materia de gobernanza, y en cuanto a las sanciones, se fijan límites más proporcionados para las pymes y empresas emergentes136.

j) Se incorporan cambios tendientes a reforzar la transparencia en el uso de sistemas de IA de alto riesgo y se aclara la alternativa de que las personas físicas o jurídicas puedan denunciar el incumplimiento del reglamento137.

k) Se incorporan cambios con respecto a las medidas de innovación relacionadas con el desarrollo, prueba y validación de sistemas de IA en entornos controlados (sandboxes) bajo condiciones supervisadas de autoridades nacionales competentes y no supervisadas, y también para aliviar la carga administrativa de pequeñas empresas138.

136 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 8.

137 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 9.

138 “Orientación general sobre la Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, Comité de Representantes Permanentes, p. 9.

El 14 de junio de 2023, el Parlamento Europeo adoptó su posición negociadora sobre el reglamento en una votación que arrojó el resultado de 499 votos positivos, 28 negativos y 93 abstenciones.

En su posición negociadora, el Parlamento propone 771139 enmiendas a la propuesta de reglamento de la Comisión del año 2021. A continuación, se sintetizan las que se consideran más relevantes:

a) Se modifica el art. 1°, mediante la incorporación de un nuevo apartado que indica de forma expresa que “…[e]l objetivo del presente Reglamento es promover la adopción de una inteligencia artificial centrada en el ser humano y fiable y garantizar un elevado nivel de protección de la salud, la seguridad, los derechos fundamentales, la democracia y el Estado de Derecho y del medio ambiente frente a los efectos nocivos de los sistemas de inteligencia artificial en la Unión, apoyan-

139 En la siguiente web se puede ver un cuadro comparativo puesto a disposición desde el Parlamento Europeo para analizar el texto original de la propuesta de reglamento y las modificaciones que propicia el Parlamento. Ver Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 –  2021/0106(COD)”, 14 de junio de 2023 [en línea: https://www.europarl.europa. eu/doceo/document/TA-9-2023-0236_ES.html, acceso el: 8/7/2023].

do al mismo tiempo la innovación…”, y detalla mejor el objeto de la regulación140.

b) Se especifica aún más el ámbito de aplicación del reglamento, se sustituye el término usuario de sistema de IA por el de implementador, y se determina que alcanzará también a importadores, distribuidores y representantes de sistemas de IA establecidos o que se encuentren en la EU, así como a “…las personas afectadas, tal como se definen en el artículo 3, apartado 8 bis, que se encuentren en la Unión y cuya salud, seguridad o derechos fundamentales se vean perjudicados por el uso de un sistema de IA comercializado o puesto en servicio en la Unión…”141.

c) Se incorpora el apartado 5 bis al art. 2°, que prevé que “…[e]l Derecho de la Unión en materia de protección de los datos personales, privacidad y confidencialidad de las comunicaciones se aplicará a los datos personales tratados en relación con los derechos y obligaciones

140 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 142.

141 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 145/149.

establecidos en el presente Reglamento…”142.

d) Se agrega el apartado 5 quinquies, que dispone exclusión del ámbito de aplicación del reglamento “…a las actividades de investigación, pruebas y desarrollo en relación a un sistema de IA antes de su introducción en el mercado o puesta en servicio, siempre que dichas actividades se lleven a cabo respetando los derechos fundamentales y la legislación aplicable de la Unión…”, con excepción de las pruebas en condiciones reales. La Comisión tendrá a su cargo la adopción de “…actos delegados con arreglo al artículo 73 que aclaren la aplicación del presente apartado con el fin de especificar esta exención y evitar que se abuse o pueda abusarse de ella...” 143 .

e) Se modifican algunas definiciones del art. 3°, entre ellas la de “sistema de inteligencia artificial” que se simplifica y se describe como “…un siste-

142 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 160.

143 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 163.

ma basado en máquinas diseñado para funcionar con diversos niveles de autonomía y capaz, para objetivos explícitos o implícitos, de generar información de salida —como predicciones, recomendaciones o decisiones— que influya en entornos reales o virtuales…”144 y se agregan otras nuevas, como la de riesgo, riesgo significativo, modelo fundacional, sistema de IA de uso general, ciclo de entrenamiento amplio y persona afectada145.

f) Se suprime el art. 4° y se agrega el 4° bis, mediante el cual se detallan los principios generales aplicables a todos los sistemas de IA, así como su contenido: intervención y vigilancia humanas; solidez y seguridad técnicas; privacidad y gobernanza de datos; transparencia; diversidad, no discriminación y equidad; bienestar social y medioambiental146.

144 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 165.

145 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 166/170 y 174.

146 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas

g) Se agrega el deber de los Estados y proveedores de promover la suficiente alfabetización en materia de IA, lo que incluye “la enseñanza de nociones y capacidades básicas sobre sistemas de IA y su funcionamiento, incluidos los distintos tipos de productos y usos, sus riesgos y sus beneficios…”147.

h) Se introducen modificaciones en materia de regulación de prácticas prohibidas, y se incorporan nuevas prohibiciones, como la de introducir al mercado, poner en servicio o utilizar “…sistemas de categorización biométrica que clasifiquen a personas físicas con arreglo a atributos o características sensibles o protegidos, o sobre la base de una inferencia de dichos atributos o características…”; “…sistemas de IA para llevar a cabo evaluaciones de riesgo de personas físicas o grupos de personas físicas con el objetivo de determinar el riesgo de que estas personas cometan delitos o infracciones o reincidan en su comisión, o para predecir la comisión o reiteración de un delito o

en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 213.

147 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 214.

i) Se introducen modificaciones a las reglas de clasificación para los sistemas de alto riesgo del art. 6°, apartado 1 del proyecto y se aclara que los sistemas de IA de alto riesgo del Anexo III se considerarán de ese modo solo “…si presentan un riesgo significativo de causar perjuicios para la salud, la seguridad o los derechos fundamentales de las personas físicas (…) si presenta un riesgo significativo de causar perjuicios medioambientales…”149.

148 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 217, 224, 226.

149 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 232/237.

j) Se incorporan cambios en lo relativo a obligaciones de proveedores e implementadores de sistemas de IA de alto riesgo y de otras partes, como la de velar porque sus sistemas cumplan los recaudos del reglamento de manera previa a introducirlos en el mercado o ponerlos en servicio, proporcionar información sobre los datos de entrada, elaborar y conservar la información técnica, entre otras150.

k) Se introduce nueva normativa dirigida a regular las obligaciones de proveedores de modelos fundacionales151, así como el deber, por parte de los implementadores, de informar a las personas físicas que están expuestas al uso de sistemas de IA de alto riesgo y de llevar a cabo una evaluación de impacto en los derechos fundamentales del sistema152.

150 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 330/348.

151 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmienda 399.

152 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 infracción administrativa reales o potenciales, mediante la elaboración del perfil de personas físicas o la evaluación de rasgos de personalidad y características, en particular la ubicación de la persona o las conductas delictivas pasadas de personas físicas o grupos de personas físicas…”; “…sistemas de IA para inferir las emociones de una persona física en los ámbitos de la aplicación de la ley y la gestión de fronteras, en lugares de trabajo y en centros educativos…”, entre otros148.

l) Se define la obligación de los Estados de establecer al menos un espacio controlado para pruebas de IA a escala nacional, que deberá estar operativo el día que entre en vigor el reglamento; se describe su alcance y finalidad y se define lo relativo a las modalidades y funcionamiento de dichos espacios153.

m) Se introducen agregados, modificaciones y aclaraciones en el Anexo III que identifica los sistemas de IA de alto riesgo, como, por ejemplo, el agregado de aquellos dirigidos a utilizarse “…como componentes de seguridad en la gestión y funcionamiento del suministro de agua, gas, calefacción, electricidad e infraestructuras digitales críticas…”;

“…para determinar el acceso o para influir sustancialmente en las decisiones relativas a la admisión o la asignación de personas físicas a los centros de educación y formación profesional…”; “…para hacer seguimiento y detectar comportamientos prohibidos de los estudiantes durante los exámenes celebrados en el contexto o en el seno de instituciones de educación y formación profesional…”;

– 2021/0106(COD)”, enmiendas 411 y 413.

153 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 489, 493/494 y 505.

“…para la toma de decisiones, o para influir sustancialmente en esta, sobre la admisibilidad de las personas físicas para acceder a seguros de salud y de vida…”; entre otros154.

III.2.b.iii. El acuerdo político sobre el texto del reglamento de diciembre de 2023

El 9 de diciembre de 2023, los eurodiputados y el Consejo alcanzaron un acuerdo político provisional sobre el texto del reglamento de inteligencia artificial155.

En dicho texto se acordó sobre la prohibición de:

- Sistemas de categorización biométrica que utilizan características sensibles como las creencias políticas, religiosos o filosóficas de las personas, la orientación sexual o la raza.

- La extracción no selectiva de imágenes de rostros desde internet o circuitos

154 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”, enmiendas 711/740.

155 Press releases, “Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI”, News European Parlament, 9 de diciembre de 2023 [en línea: https://www. europarl.europa.eu/news/en/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comprehensive-rules-for-trustworthy-ai, acceso: 14/12/2023].

cerrados de televisión para crear bases de datos de reconocimiento facial.

- El reconocimiento de emociones en el lugar de trabajo o instituciones educativas.

- La puntuación social basada en el comportamiento social o las características personales.

- Los sistemas inteligentes que manipulan el comportamiento humano para eludir el libre albedrío.

- La inteligencia artificial que se utiliza para explotar vulnerabilidades de las personas dadas por su edad, discapacidad, situación social o económica.

No obstante, se acordaron una serie de salvaguardas y excepciones limitadas para el uso de sistemas de identificación biométricas en espacios públicos, previa autorización judicial y para una serie de delitos definida.

La identificación biométrica “pos remoto” se utilizará para el registro selectivo de personas condenadas o sospechosas de haber cometido un delito grave, y el registro “en tiempo real” estará limitado en el tiempo y el lugar para búsqueda selectiva de víctimas de secuestro, trata o explotación sexual; prevención de amenaza terrorista concreta y presente; y lo-

El enfoque de la UE frente a la IA está centrado en la excelencia y la confianza, con el objetivo de impulsar la investigación y la capacidad industrial, garantizando al mismo tiempo la seguridad y los derechos fundamentales.

calización o identificación de personas sospechosas de haber cometido alguno de los dieciséis delitos específicos mencionado en el reglamento, por ejemplo, terrorismo, trata, secuestro, entre otros.

Asimismo, se convino que para los sistemas de alto riesgo por el daño potencial relevante que pueden tener sobre

la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho, regirá la obligación de incluir una evaluación de impacto sobre los derechos fundamentales, entre otros requisitos, que será aplicable también a los sectores bancario y de seguros.

Además, se pactó que los sistemas de inteligencia artificial que se utilicen para influir en el resultado de elecciones o en el comportamiento de los votantes serán considerados como de alto riesgo. Y también que los ciudadanos tendrán derecho a reclamar sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en sistemas de IA de alto riesgo que afecten a sus derechos.

Adicionalmente, para poder comprender la enorme gama de tareas que pueden ejecutar los sistemas de IA y la rápida expansión de sus posibilidades, se acordó que los sistemas de propósito general, incluidos los sistemas de IA generativa grandes, deberán cumplir los requisitos de transparencia propuestos inicialmente por el Parlamento. Entre ellos se encuentran: la elaboración de documentación técnica, el cumplimiento de la legislación de la UE en materia de derechos de autor y la difusión de resú-

menes detallados sobre los contenidos utilizados para su entrenamiento.

No obstante, para aquellos modelos de propósito general de alto impacto se acordaron obligaciones más estrictas, pues dadas determinadas condiciones, deberán completarse evaluaciones de modelos; evaluar y mitigar riesgos sistémicos; realizar ensayos adversariales; informar a la Comisión sobre incidentes graves; garantizar la ciberseguridad e informar sobre su eficiencia energética.

A ese fin, deberán colaborar con la Oficina Europea de Inteligencia Artificial para elaborar códigos de conducta que se conviertan en una herramienta central que detalle las normas en cooperación con otros expertos. Un panel científico desempeñará un papel central en la supervisión de los modelos de IA de propósito general156.

Finalmente, se han convenido medidas dirigidas a apoyar a las pymes, para que puedan desarrollar soluciones con IA sin presión indebida de los gigantes de la industria que controlan la cadena de valor. A ese fin, se promoverá el uso de sandboxes regulatorios y pruebas con-

156 European Comission – Questions and answers, “New rules for Artificial Intelligence – Questions and answers”, actualizado al 12 de diciembre de 2023 [en línea: https://ec.europa.eu/commission/presscorner/api/files/ document/print/en/qanda_21_1683/QANDA_21_1683_ EN.pdf, acceso: 14/12/2023].

troladas en el mundo real, bajo comando de los estados nacionales, que permitan entrenar y desarrollar sistemas inteligentes innovadores previo a su comercialización.

Ahora resta que el texto acordado sea adoptado de manera formal por el Parlamento Europeo y por el Consejo, para que se convierta en legislación obligatoria para los países de la Unión Europea. En dicho marco, se prevé que las comisiones de Mercado Interior y Libertades Civiles del Parlamento voten sobre el acuerdo en una próxima reunión a celebrarse entre fines del año 2023 e inicios de 2024.

III.3. Conclusiones

El enfoque de la Unión Europea frente a la inteligencia artificial se centra en la excelencia y la confianza, con el fin de promover la investigación en la industria de la IA, a la vez que se garantizan la seguridad jurídica y los derechos fundamentales de las personas157 . En ese marco es que la Unión Europea busca promover un marco regulatorio común, aplicable a todos los Estados miembros158 .

157 Comisión Europea, “Un enfoque europeo de la inteligencia artificial”, 26 de enero de 2023, [en línea: https://digital-strategy.ec.europa.eu/es/policies/european-approach-artificial-intelligence#:~:text=El%20enfoque%20de%20la%20UE,seguridad%20y%20los%20derechos%20fundamentales., acceso el 6/4/2023].

158 Gamero Casado, Eduardo, “El enfoque europeo de inteligencia artificial”, Revista de Derecho Administrativo

El avance en este sentido ha tenido diversos hitos a lo largo de los últimos cinco años, entre los que se destacan la creación del Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial y el dictado de una serie de documentos relevantes para la regulación de la IA y la descripción de una serie de valores y principios éticos que aplicables a su diseño, desarrollo y despliegue. Entre ellos cabe destacar a la Estrategia de Inteligencia Artificial para Europa159, las Directrices Éticas para una IA fiable del año 2019160, y el Libro Blanco sobre la Inteligencia Artificial, publicado un año después, el 19 de febrero de 2020161.

Sin embargo, el documento más importante en la materia es el Proyecto de Reglamento Europeo para la IA, que fue presentado por la Comisión el 21 de abril del 2021, con el objetivo de lograr una regulación común y vinculante para toda la Unión Europea, que rompa con la lógica de creación de estrategias nacionales aisladas que entorpezcan la fluidez en la – CDA 20, 2021, p. 286 [en línea: https://dialnet.unirioja. es/descarga/articulo/8510535.pdf, acceso el 6/4/2023].

159 Comisión Europea, “Inteligencia artificial para Europa”, 25 de abril de 2018 [en línea: https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52018DC0237&from=EN, acceso el 7/4/2023].

160 Grupo de Expertos de alto nivel sobre inteligencia artificial, “Directrices Éticas para una IA fiable”, 8 de abril de 2019, p. 10.

161 Comisión Europea, Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza

circulación de productos y servicios de IA en el ámbito de la Unión.

Esta regulación se plantea bajo un enfoque basado en los riesgos, “…que se limita a establecer los requisitos mínimos necesarios para subsanar los riesgos y problemas vinculados a la IA, sin obstaculizar ni impedir indebidamente el desarrollo tecnológico y sin aumentar de un modo desproporcionado el coste de introducir soluciones de IA en el mercado…”162.

Así, la lógica que plantea el reglamento se basa en imponer cargas normativas severas solo cuando se trata de sistemas de IA que probablemente entrañan riesgos para los derechos fundamentales y la seguridad. En cambio, frente a los demás sistemas (los que no son de alto riesgo) solo se imponen una serie de obligaciones relacionadas con el deber de transparencia163.

El proyecto sigue el procedimiento legislativo ordinario y ya cuenta con el informe preliminar de las comisiones de Libertades Civiles, Justicia y Asuntos de

162 Comisión Europea, “Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

163 Comisión Europea, “Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

Interior (LIBE) y de Mercado y Protección del Consumidor (IMCO), del 20 de abril y del 14 de junio de 2022, respectivamente, que sirvió de base para el debate en el seno del Parlamento Europeo.

El pasado 6 de diciembre del 2022, el Consejo adoptó una orientación general164 a través del Grupo de Trabajo sobre Telecomunicaciones y Sociedad de la Información y el 14 de junio de este año, el Parlamento Europeo adoptó su posición negociadora sobre el reglamento con el voto positivo de 499 de sus miembros, 28 negativos y 93 abstenciones. Allí propone setecientas setenta y una (771)165 enmiendas al Proyecto de Reglamento de la Comisión.

La adopción de la orientación general y de la posición del Parlamento dieron lugar a un ciclo de diálogos tripartitos con miras a alcanzar un acuerdo sobre la propuesta166. Este ciclo concluyó con

164 Cabe recordar que una orientación general es un tipo de acuerdo político a nivel del Consejo que se adopta a la espera de la posición del Parlamento, que busca facilitar el acuerdo entre ambas instituciones.

165 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”.

166 Consejo de la Unión Europea, “Reglamento de Inteligencia Artificial: el Consejo pide que se promueva una IA segura que respete los derechos fundamentales”, 6 de diciembre de 2022, [en línea: https://www.consilium.europa.eu/es/press/press-releases/2022/12/06/

el acuerdo provisorio sobre el texto del reglamento del 9 de diciembre de 2023. Queda ahora pendiente que ese texto acordado sea adoptado de manera formal por el Parlamento Europeo y por el Consejo para que se convierta en legislación obligatoria para los países que integran la Unión Europea.

Una vez que ello suceda, el reglamento entrará en vigor el vigésimo día siguiente al de su publicación en el Diario Oficial de la Unión y será plenamente aplicable 24 meses después de ese momento.

De manera previa, tendrá un enfoque de aplicación gradual bajo el siguiente esquema:

a. 6 meses después de la entrada en vigor, los Estados miembros abordarán los sistemas prohibidos.

b. 12 meses después, se aplican las obligaciones relativas a la gobernanza de la IA de uso general.

c. 24 meses después, todas las normas del reglamento de IA serán aplicables, incluidas las obligaciones para los sistemas de alto riesgo definidos en el anexo III (lista de casos de uso de alto riesgo).

d. A los 36 meses, se aplicarán las obligaciones para los sistemas de alto riesgo definidas en el anexo II (lista de la legislación de armonización de la Unión).

IV. CIERRE

Los últimos años vividos no dejan margen de duda respecto de la vertiginosidad del avance en el desarrollo de nuevos sistemas inteligentes que no solo están cada vez más presentes en diversos ámbitos de la vida de la gente (desde el ocio a la atención de su salud, la interacción con el banco y con el gobierno, la educación, entre muchos otros), sino que comienzan a desplegarse en ámbitos de incumbencia, tareas y acciones que antes solo podíamos hacer las personas, como generar texto y sostener una conversación, o generar música, imágenes y videos.

Esta velocidad, sin dudas, también representa un enorme desafío de adaptación para todos, no solo a los sistemas inteligentes en sí y las posibilidades que traen, sino a los cambios que provocan en la sociedad que, sin mucho tiempo para reflexionar al respecto, se va viendo transformada en periodos cada vez más breves del tiempo.

artificial-intelligence-act-council-calls-for-promoting-safe-ai-that-respects-fundamental-rights/, acceso el 18/4/2023].

Aparecen nuevos sistemas inteligentes y, entonces, desaparecen o se

transforman los empleos y surgen otros nuevos167; al ser humano se le requieren nuevas habilidades digitales para operar estos sistemas y también recursos disponibles para poder acceder a ellos porque, aun cuando muchos son gratuitos y otros de pago, todos son accesibles solo a través de internet y algún dispositivo electrónico (una tablet, un celular o una computadora). Ello, de una manera u otra, da lugar a nuevas formas y espacios de exclusión, pues muchas personas comienzan a quedar atrás por carencia de recursos, pero también de habilidades.

Pero no solo ello, sino que la potencia, precisión y tipo de acciones que ejecutan estos sistemas, sobre todo aquellos de tipo generativo como los que se han enunciado al inicio de este trabajo, generan nuevos desafíos y profundizan otros que ya se avizoraban con sistemas inteligentes anteriores, que tienen que ver con la afectación de principios, libertades y derechos de las personas como la privacidad, la autonomía, la igualdad y no discriminación y la libertad, y desafían la democracia y los gobiernos, pues esta-

167 Se ha estimado que esta tecnología puede llegar a sustituir una cuarta parte de las tareas laborales en EE. UU. y Europa, pero al momento es muy difícil predecir el efecto concreto que tendrá en el mercado laboral. Ver en Redacción BBC Mundo, “La carta en la que más de 1.000 expertos piden frenar la inteligencia artificial por ser una “amenaza para la humanidad”, BBC Mundo News, 29 de marzo de 2023 [en línea: https://www.bbc.com/mundo/ noticias-65117146, acceso el 22/4/2023].

mos ingresando definitivamente una era en la que resulta muy complejo distinguir la realidad de la ficción a través de sentidos en los que hasta hace un par de años atrás podíamos confiar, como la vista y el oído.

Así, la era de la inteligencia artificial trae consigo un gran conjunto de oportunidades, pero también una serie de enormes (y desconocidos) desafíos para la humanidad. Y frente a este escenario, la intervención de los Estados en el dictado de marcos regulatorios que garanticen que cuando lleguen al mercado estos sistemas sean lo suficientemente seguros, confiables, explicables y transparentes, deviene sustancial.

Es que, como se ha señalado, todos los mercados de alguna manera están regulados. Por ejemplo, las farmacéuticas, previo a comercializar un medicamento, deben corroborar sus efectos positivos y negativos en la salud de las personas; en cambio, con la IA sucede lo contrario: todos los desarrollos se dan en un vacío regulatorio general168, con el agravante de que cuando se sueltan, se sueltan al mundo entero y luego se ven las consecuencias.

168 Manuel G. Pascal, “Ramos Gabriela ‘La cuestión no es si se tiene que regular la inteligencia artificial, sino cómo’”, El País, 22 de abril de 2023 [en línea: https://elpais. com/tecnologia/2023-04-22/gabriela-ramos-la-cuestion-no-es-si-se-tiene-que-regular-la-inteligencia-artificial-sino-como.html, accedido el 22/4/2023].

En este contexto, la Unión Europea se encuentra trabajando fuerte y concienzudamente en el desarrollo de un marco regulatorio que rompa con el esquema de estrategias nacionales aisladas que rige en continentes como el latinoamericano, para ir hacia una regulación única y obligatoria para todos los Estados miembros.

Esta regulación parte de un enfoque centrado en la excelencia y la confianza, que procura garantizar la seguridad jurídica y el respeto de los derechos fundamentales de las personas y los valores de la Unión169, y se plantea desde una óptica regulatoria basada en los riesgos, que impone cargas normativas severas solo cuando se trata de sistemas de IA que probablemente entrañan riesgos para los derechos fundamentales y la seguridad170.

Este proyecto, que fue presentado por la Comisión en abril de 2021, ya cuenta con la orientación general del Consejo, adoptada el 6 de diciembre del 2022, a través del Grupo Telecom, y la posición negociadora del Parlamento Europeo,

169 EUR-Lex, “Un enfoque europeo de la inteligencia artificial”.

170 EUR-Lex, “Propuesta de reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión”, p. 7.

que propone 771171 enmiendas al proyecto.

El Consejo y el Parlamento Europeo entablaron un ciclo de diálogos tripartitos con miras a alcanzar un acuerdo sobre la propuesta172, que, el pasado 9 de diciembre, dio lugar a un acuerdo provisorio sobre el texto del reglamento.

Queda pendiente que ese texto acordado se adopte formalmente por el Parlamento Europeo y por el Consejo, para que se convierta en un hito histórico en la regulación de la inteligencia artificial que sirva como faro para otras regiones.

171 Parlamento Europeo, “Enmiendas aprobadas por el Parlamento Europeo el 14 de junio de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión (COM(2021)0206 – C9-0146/2021 – 2021/0106(COD)”.

172 Consejo de la Unión Europea, “Reglamento de Inteligencia Artificial: el Consejo pide que se promueva una IA segura que respete los derechos fundamentales”.

La justicia y su futuro

Inteligencia artificial o inteligencia humana

Miguel Mario Flores

Máster en Derecho Penal de la Universidad Austral (acuerdo con la Universidad de Pompeu Fabra, Barcelona, España). Diplomatura en Criminología de la Universidad del Norte Santo Tomás de Aquino con acuerdo de la Universidad de Ávila (España). Especialista en Justicia Constitucional y Derechos Humanos del Centro de Capacitación de la Corte Suprema de Justicia de Tucumán en acuerdo con la Universidad de Bologna (Italia).

I. INTRODUCCIÓN

La metodología de trabajo en el sistema de justicia tuvo un giro inédito a partir del surgimiento de la inteligencia artificial motivada por la incorporación de tecnologías en ese ámbito judicial con la revolución que trae aparejado. Los operadores judiciales se sirven de estos instrumentos informáticos para la resolución de algunas controversias; entonces, emerge una cuestión debatida desde el aspecto ético-jurídico: si los procesos mentales del ser humano pueden ser reemplazados por los algoritmos, sistemas predictivos o sistemas informáticos. Pero estas tecnologías innovativas —hoy en auge en la justicia— deben ser dirigidas a un respeto irrestricto de los derechos fundamentales de los ciudadanos, entre los que se encuentran el derecho a la no discriminación, a la protección de datos y a la privacidad.

En las sentencias que dictan los jueces se pueden observar en los considerandos y en su argumentación el razonamiento y la logicidad jurídica aplicada al caso concreto, resolviendo el conflicto generado entre las partes. En la actualidad esta tarea tiene una acción mancomunada entre los operadores del sistema judicial y los investigadores de la inteligencia artificial, quienes diseñan proyectos de sistemas de computación que pueden reproducir la valoración y apreciación de igual entidad que un juez en cada caso judicial, pero esta tarea representa un riesgo que obliga a dejar a resguardo una premisa fundamental: esa herramienta debe servir y ser utilizada como auxiliar en las tareas del juzgador y no la sustitución absoluta del sujeto que imparte justicia.

II. INTELIGENCIA ARTIFICIAL: RESEÑA DE UNA HERRAMIENTA SIN FRONTERAS

Nuestra sociedad está rodeada de inteligencia artificial: muchas herramientas que usamos cotidianamente están impregnadas de algoritmos, datos, preferencias o tendencias en los usuarios, motores sincrónicos de búsquedas. Esto nos aboca a que en un futuro no muy lejano las modificaciones más importantes

que experimentará el hombre de derecho sucederán en su mente como resultado de la integración con la inteligencia artificial, lo cual influirá en el aprendizaje, sentimientos, emociones1, en las labores diarias y en la forma de resolver los conflictos.

La inteligencia artificial constituye un gran impacto en la sociedad y un avance en distintos ámbitos, en especial el laboral. Todo el proceso tiene un punto de inicio que se remonta al año 1950, cuando los científicos exploraron la idea de crear máquinas inteligentes tratando de emular la inteligencia humana. Es partir del año 1960 cuando emergen los primeros programas de inteligencia artificial pero focalizados en la resolución de problemas matemáticos. Una década después, se concentró la investigación de la inteligencia artificial en el campo del conocimiento pero atendiendo las reglas y datos almacenados en las memorias internas de las máquinas. En la década del ‘90 se produjo un resurgimiento de la inteligencia artificial impulsando el aprendizaje automático y las redes neuronales artificiales, con un avance sorprendente en el procesamiento del lenguaje natural, la conducción autónoma y la asistencia virtual.

1 Conf. HERNÁNDEZ RAMÍREZ, Greco, Homo Roboticus. Ensayos sobre la creatividad científica en biología Editorial Siglo XXI, Ciudad de México, 2017, p. 24.

En la década del 2000 la inteligencia artificial ya se encontraba presente en múltiples áreas y tareas habituales de la cotidianeidad que a veces no teníamos en cuenta y se adaptó a nuestras necesidades, ello con motivo de grandes cantidades de datos que se requieren y al aumento de la capacidad de almacenamiento de la inteligencia artificial (por ejemplo, teléfonos celulares).

El avance revelador se dio en el aprendizaje automático, que demostró su utilidad y versatilidad en la conducción autónoma de vehículos, la asistencia virtual, el diagnóstico médico, el reconocimiento de voz, la biometría facial en 3d.

La inteligencia artificial se basa en modelos y algoritmos que permiten a las máquinas el procesamiento de una cantidad importante de datos, la identificación de patrones y la toma de decisiones en las bases comparativas. En su evolución, la palabra clave en la inteligencia artificial es el “algoritmo”, que sería el esquema ejecutivo de la máquina que almacena todas las opciones de decisión en función de los datos que se van conociendo2; esto permite la obtención de uno o más resultados, a lo que el ser humano señala como “toma de decisiones”.

2 Conf. NIEVA FERNOLL, Jordi, Inteligencia artificial y proceso judicial, Madrid, Editorial Marcial Pons, 2018, p. 20.

La incorporación de la tecnología en el ámbito judicial va en aumento aceleradamente. Basta observar en nuestro medio la aplicación de la automatización de determinadas labores, como, por ejemplo, la cédula digital, el casillero digital, las audiencias y comparecencias digitalizadas, así como la aplicación de la predicción judicial. En este avance inconmensurable de la inteligencia artificial en el ámbito jurídico se deben elaborar principios, normativas y directrices para la resolución de conflictos y la utilización de esta herramienta fundamental dentro del proceso judicial debe contener las limitaciones necesarias, con una visión centrada en las consideraciones éticas-morales, evitando la violación de derechos fundamentales tanto de las partes en el proceso como de los propios operadores del sistema.

La inteligencia artificial tiene sus reparos en cuanto a que una parte de su contenido es desconocido: ese es el límite del aprendizaje profundo, que es un subtipo al que se le aplica cierta tecnología de aprendizaje no supervisado por el hombre, que genera lo que se denomina “la cuarta revolución industrial” y que indefectiblemente afectará todos los ámbitos de la vida de las personas y que tendrá un impacto preponderante en la justicia.

III. EL PROCESO PENAL: INJERENCIA DE LA INTELIGENCIA ARTIFICIAL

El procedimiento penal tiene como objetivo averiguar la verdad sobre un hecho ilícito y, con ello, la atribución de responsabilidad penal de una persona, lo cual en algunos casos puede generar la pérdida de la libertad. Ese conocimiento se realiza por medios reglados y debidamente legitimados por normas jurídicas acordes para respetar los derechos fundamentales de las personas y constituir un valladar al ius puniendi del Estado.

Hace poco tiempo la inteligencia artificial en el ámbito jurídico se concentraba en los procesadores de texto, buscadores de doctrina y jurisprudencia, es decir, estaba focalizada en la organización y mecanización de búsquedas en bases de datos. Con los avances tecnológicos esas fronteras se ampliaron y la inteligencia artificial pasó a ser una herramienta de trabajo en legajos judiciales más complejos, no solo en el ámbito de los despachos, sino también en los estudios jurídicos. En ese avance emergieron herramientas importantes para el mundo jurídico como las “técnicas de predicción judicial”, que tienen trascendencia por la aplicación de formulaciones por medio del procesamiento de datos con el fin de construir una es-

trategia procesal adecuada. A modo de ejemplo, si el letrado se encuentra en una situación jurídica planteada por el cliente, puede incorporar al sistema los datos necesarios (plazos, hechos, personas, datos personales, documentación) y una base legal-jurisprudencial-doctrinaria dará una respuesta acorde a la solicitud de consulta.

Se ha elaborado una herramienta de análisis legal denominada Ross Intelligence, que es un explorador de jurisprudencia, documentación jurídica y doctrinaria, en la cual los letrados plantean una cuestión o interrogante y reciben una respuesta inmediata en distintas áreas del derecho, en especial en el campo penal. Los abogados multifuncionales son muy buscados en el nuevo y creciente campo legal tech; son los que la industria en puja requiere. Algunos de estos letrados con doble habilidad se están convirtiendo en líderes en su espacio, pero sigue habiendo una plétora oportunidad para más voces, materializando métodos para el marketing exitoso y el desarrollo de productos en tecnología legal3.

En el ámbito internacional, el Tribunal Europeo de Derechos Humanos (TEDH) aplicó la inteligencia artificial y logró predecir un porcentaje importante

3 Andrés Arrua Ceo, cofundador de Ross Intelligence.

de casos. Sobre el particular, en la obra Derecho de las nuevas tecnologías y del entretenimiento4 se señala: “…La mayor parte de los asuntos que llegan a la TEDH tiene una resolución objetiva que, mediante el análisis de la normativa vigente, es posible resolver con facilidad. En temas tan claros como estos, sería posible aplicar sistemas cognitivos —bases de datos que recopilan sentencias y jurisprudencia— o de inteligencia artificial. Así, procedimientos que, por razones puramente formales, se extienden durante años, se podrían resolver en pocos meses…”.

Resulta paradójico que una parte importante de las tareas que desarrollan los juzgados, en especial en el fuero penal, se realizan de manera mecánica utilizando formatos, modelos y, en algunos casos, modificando los datos del cuerpo de un decreto o resolución, utilizando “control” + “c” y “control” + “v”, lo cual es una práctica común. En este sentido la inteligencia artificial, mediante la predicción judicial, suministra un instrumento al juez para adoptar la resolución o dictar un decreto más adecuado al caso sin necesidad de recurrir a aquella práctica, que en muchos casos incurre a errores.

4 MOISÉS BARRIO, Andrés, Derecho de las nuevas tecnologías y del entretenimiento, Valencia, Editorial Tirant Lo Blanch, 2018.

En EE. UU. la aplicación de la inteligencia artificial en el ámbito de la justicia punitiva tiene por objeto reducir la población carcelaria al utilizar una combinación de algoritmos (Program Compas) que, de acuerdo con los antecedentes del sujeto, puede determinar una predicción sobre las posibilidades de reincidencia5, pero es una técnica en evolución y no permite certezas en sus resultados.

La aplicación de la inteligencia artificial en la investigación punitiva judicial tiene un avance importante con la grabación de audiencias entre las partes del proceso, las comunicaciones orales por medio de dispositivos electrónicos, la aplicación de las metodologías denominadas “Gold Standard” para una mayor exactitud en el tratamiento de muestras que son tomadas en el lugar del hecho (saliva, sangre, fluidos diversos), el uso del “cromatógrafo gaseoso” para la detec-

5 Program Compas es un algoritmo que predice la reincidencia de un delito. El puntaje de reincidencia está destinado a predecir delitos violentos después de la liberación del sujeto. La escala utiliza datos o indicadores que incluyen el historial de violencia, el historial de incumplimiento, los problemas vocacionales/educativos, la edad de ingreso de la persona y la edad de la primera detención. La escala de riesgo de reincidencia de violencia se calcula así: s=a (-w)+a first (-w)+h violence w+v edu w+hncw (s: significa la puntuación por riesgo de reincidencia por violencia; w: es un multiplicador de peso; a: la edad actual del sujeto; a first: edad que tenía el sujeto en el primer arresto; h violence: es la historia de violencia; v edu: escala de educación vocacional y h nc: historial de incumplimiento. El peso w está determinado por la fuerza de la relación del elemento con la reincidencia del delito del individuo. (Correctional Offender Management Profiling For Alternative Sanctions, https: //windentrepeneur. org/compas).

ción de estupefacientes y distintas sustancias de cortes, y los equipos de intervención de comunicaciones telefónicas y telemáticas. Se puede advertir que, por aplicación de la inteligencia artificial en la investigación penal tecnológica, se obtiene una serie de pruebas que es de valor probatorio en la investigación de todo tipo de infracciones punitivas6.

Esta evolución innovadora que produce la tecnología de vanguardia tiene como consecuencias algunos riesgos con relación a la restricción de los derechos fundamentales que están a resguardo en la Constitución nacional. No hay que obviar que esta tecnología se encuentra en un proceso de creación, adecuación y perfeccionamiento y que aún se desconoce cuál es su frontera en el espectro penal, entre otras ramas del derecho.

Es vista de lo expuesto, algunos juristas señalan la necesidad del control humano como un nuevo derecho, que es la respuesta jurídica para una veeduría o injerencia del hombre en la inspección y desarrollo de los sistemas tecnológicos legales que se encuadran dentro de la inteligencia artificial con un fin de tutela de los bienes jurídicos, las libertades, el

6 BORGES BLÁZQUEZ, Raquel, “La prueba electrónica en el proceso penal y el valor probatorio de conversaciones mantenidas utilizando programas de mensajería instantánea”, Revista Boliviana de Derecho, 2018, p. 541.

debido proceso y la privacidad de los sujetos7.

En Argentina, específicamente en el área del Ministerio Público Fiscal de la Ciudad Autónoma de Buenos Aires, se creó en fecha 22/11/2017 el programa de inteligencia artificial “Prometea” con el objetivo de optimizar y agilizar el servicio de justicia, en coordinación con las pautas fijadas desde la Oficina de Planificación Estratégica de la Corte Suprema. La aplicación de este sistema de inteligencia artificial jurídico se focaliza en procedimientos consuetudinarios y conjuga un entrecruzamiento de datos, realiza tareas repetitivas y resuelve un importante número de casos que llegan a la Fiscalía Adjunta en lo Contencioso Administrativo y Tributario de la Ciudad Autónoma8. Lo

7 La excomisionada de las Naciones Unidas para los Derechos Humanos, Dra. Verónica Michelle Bachelet, en fecha 15/9/2021, enfatizó la urgente necesidad de establecer una moratoria a la venta y uso de los sistemas de inteligencia artificial que amenazan gravemente a los derechos humanos hasta que se hayan puesto en vigor las salvaguardas adecuadas; indicando además “…que la inteligencia artificial llega ahora a casi todos los rincones de nuestras vidas, e incluso alcanza hasta nuestros estados emocionales. Los sistemas de inteligencia artificial se usan para decidir quien recibe servicios públicos, quien tiene oportunidad de obtener un empleo y, por supuesto, afecta a la información que la gente ve y que puede compartir en internet”. Enfatiza sobre la necesidad de su regulación y que dado el rápido y continuo crecimiento de la inteligencia artificial, se debe llenar el inmenso vacío de asunción de responsabilidades sobre cómo se recogen, almacenan, comparten y utilizan los datos, es uno de los cometidos más urgentes que afrontamos en materia de derechos humanos”.

8 CORBALÁN, Juan Gustavo, Estados eficientes. La productividad del sector público; inteligencia artificial para una integración predictiva e inclusiva en América Latina, 1ra edición, Editorial Planeta, Buenos Aires, 2018.

llamativo de este sistema es su asombrosa capacidad para discurrir, dictaminar, realizar un análisis gramático y resolver en veinte segundos una cuestión atinente al fuero, además de permitir la traducción en otros idiomas. Dentro de sus funciones permite interactuar con personas que poseen discapacidad a través de su asistente de reconocimiento de voz. El sistema de inteligencia artificial “Prometea”, si bien es operado por medio de la supervisión humana, tiene la ventaja de ahorrar tiempo al personal, funcionarios y jueces, en especial en causas —dentro de la justicia penal— que están relacionadas con la alcoholemia y que tramitan ante las fiscalías de primera instancia, las cuales, por ser estandarizadas y con cierto grado de previsibili dad, son resueltas de manera rápida y eficaz, lo cual per mite destinar ese tiem po al análisis de otras cuestiones más graves, como ciberacoso, pornografía infantil, etcétera.

La cuestión se torna controversial en situaciones más complejas en materia penal, en las cuales, muchas veces, los analistas

e ingenieros informáticos relacionan lo sistemático del instrumento con un entrelazado que imita a los mecanismos básicos del cerebro humano. Esto desde la perspectiva científica es un desafío, pero desde la perspectiva del derecho penal no está exento de críticas y reparos. Este nuevo horizonte nos introduce en el sistema IAJVR (inteligencia artificial judicial de valoración de riesgos), que es la aplicación de la inteligencia artificial a las resoluciones que involucran analizar un determinado riesgo en el análisis de las medidas a adoptar (prisiones preven-

sospechoso, la ausencia de pertenencia a bandas delictivas, el arraigo, el trabajo; con todos estos elementos se permitiría, con base en la sana crítica racional del juzgador, el dictado de una prisión preventiva.

La aplicación de IAJVR no eliminará la esencia analítica de quien debe juzgar la conducta del imputado, pero sí coadyuvará a que las decisiones que se adopten posean datos más asertivos, con un margen de error más concentrado, porque el hombre no posee la capacidad ni el tiempo de realizar un análisis pormenorizado de la información con objetividad, con lo cual debe acudir al auxilio de la inteligencia artificial en este caso. La inteligencia artificial judicial de valoración de riesgos no es un sistema perfecto, pero en la medida en que haya cierta transparencia en la programación (procesamiento de datos, directivas impartidas), permitirá el resguardo del debido proceso y el legítimo derecho de defensa; sin ese control, las garantías constitucionales a favor de los ciudadanos se verían afectadas (art. 18 CN).

La necesidad en la aplicación de este sistema de inteligencia artificial debe estar en relación con la exigencia de publicidad en cuanto a su configuración, diseño y funcionamiento metodológico tivas, prohibiciones de acercamientos, etc.), en cuanto confrontan con la autodeterminación del hombre, que constituye un derecho fundamental que se deriva de la dignidad del ser humano9. Existe un automatismo natural en la valoración que realiza el juzgador en los supuestos de casos similares en los que tuvo injerencia como una verdadera directriz general que toma el sentenciante en las decisiones, pero aun así el factor humano es susceptible de vulnerabilidad por distintos condicionamientos (físicos, emocionales, psíquicos, etc.). Así, la aplicación del IAJVR en la etapa primigenia del proceso es adecuada y útil, porque al realizar un escaneo dentro de la vasta información general y la base de datos que posee y, a su vez, replicar la mente humana, teniendo presente la normatividad legal local, los tratados internacionales, jurisprudencia y doctrina, y un paneo de los antecedentes del sujeto, otorga un mayor grado de certidumbre y fiabilidad. En ese contexto se moviliza la inteligencia artificial para un análisis fiable del dictado de una cautelar restrictiva de derechos, tomando en cuenta el riesgo procesal, el peligro de fuga, la peligrosidad de la conducta social del imputado, las características psicosociales y familiares del 9 RODOTA, Stefano, El derecho a tener derechos, Editorial Trotta, Madrid, 2014, p. 182; CASTELLANO, Simón, El sistema de inteligencia artificial para la valoración del riesgo, Universidad Austral, 2023, p. 130.

de IAJVR. Esto reviste un valor importante porque el procesado se encontraría frente a un pronóstico cuyos datos y metodología se encuentran blindados, lo cual es contrario al principio de igualdad en el proceso. Por ello se debe considerar que los programas con características deductivas en torno a las contingencias procesales punitivas sean desarrollados por instituciones estatales, lo cual permite que los códigos fuentes sean puestos a disposición de la justicia. Así se evita la injerencia del sector privado, que está orientado a la obtención de lucros, por lo cual mantendrían esos códigos fuentes en hermetismo, con las consecuencias que produciría en los derechos de los sujetos. La creación e implementación de los códigos fuentes por parte de los organismos públicos resulta positivo al conocerse quiénes son los sujetos que han intervenido en la programación, de tal manera que puedan dar explicaciones sobre su funcionamiento o también la elaboración de instructivos con ese objetivo10, es decir, dotar de un respaldo 10 SERVENTICH, Catalina, “Inteligencia artificial en el proceso penal”, Revista Jurídica Austral, punto 2.2, p. 876, fecha 2/12/2022: “…Son muchos los autores que con recelo cuestionan estas técnicas por considerar que pondrían en tela de juicio la inocencia del investigado. Les preocupa que, a través de estos programas, en lugar de eliminar nuestros sesgos, solo los estemos escondiendo. Y lo que es peor, que bajo la etiqueta de valoración de riesgo se disfrace una versión tecnológica de pronóstico de peligrosidad (Riquert, M. A., 2002, ‘Inteligencia artificial y derecho penal’, Editorial Ediar). A modo de ejemplo podríamos citar al caso más polémico que con frecuencia es aludido por la doctrina: La herramienta COMPAS (siglas asigna-

metodológico que solo puede brindar el Estado como garante de la protección de los derechos de los sujetos sometidos a proceso.

IV. REGULACIÓN DE LA INTELIGENCIA ARTIFICIAL EN GENERAL Y EN MATERIA PENAL

En esta visión vanguardista de las herramientas tecnológicas nos encontramos con verdaderos desafíos para el legislador, porque la falta de una regulación adecuada de estas innovaciones puede afectar los derechos fundamentales al amparo de la Constitución nacional. A nivel global, la implementación de algoritmos y motores de búsquedas, tan utilizados en los estrados judiciales, son pautados por empresas como Microsoft o Google, las cuales tienen investigación junto a empresas que desarrollan productos y servicios de inteligencia artificial (por ejemplo, Totvs, Protiit, Anthropic, Open IA). Estas empresas formularon una serie de normativas reguladoras con el objetivo de que estas tecnologías se desarrollen e implementen en forma responsable11. En vista de lo expresado se das por su denominación en inglés ‘Correctional Offeder Managemen Profiling Alternative Sanctions’, creada por la empresa Norhpoint). Se trata de una inteligencia artificial que opera a través de un algoritmo no público y protegido, cuya función es predecir el riesgo de reincidencia de un individuo sobre la base de un análisis compuesto a partir de las respuestas que este brinda en una encuesta predeterminada”.

11 NÚÑEZ, Javier F., La Ley 15-7-20, JA 2020-III-159,

creó la organización “The Frontier Model Forum”, que vigilará los avances de esta tecnología y el resguardo de la privacidad y seguridad del usuario12.

Se observa la necesidad de fijar los principios que enmarcan la tecnología de la IA para que sean aplicados a las normas reguladoras sobre la temática. En esa línea, el Parlamento europeo publicó un listado de los principios que se aplican a la IA tomando como base el principio por el cual esta tecnología debe

“Inteligencia artificial: experiencias y propuestas de regulación en el derecho comparado”: “…Las aplicaciones de la IA se basan en algoritmos. El funcionamiento exacto de estos puede resultar incomprensible para el público en general; sin embargo, podemos estudiar los principales defectos que incorporan los algoritmos para tener más control sobre los riesgos que presentan los sistemas automatizados más avanzados. Una vez que se comprenden dónde están las imperfecciones o defectos de los algoritmos en esta cuestión, se podrá considerar lo que implicará luego requerirles transferencia y si ello es factible e incluso deseable. En tal sentido, los errores en los datos de entadas o de entrenamiento, la fase de prueba y el modelo de decisión pueden dar lugar a resultados erróneos o no deseados (referencia en artículo de BUITEN, Miriam C: “Towards Intelligent Regulation of Artificial”, European Journal Of Risk Regulation, Hec, Paris (France), Vol. 10:1, pág. 49, año 2019).

12 Conf. “Redacción-Periodismo Humano-Tecnología”, fecha 27/07/2023, “La Unión Europea está trabajando en un proyecto para regularizar la IA en los países que integran el bloque y obligan a las empresas a tener un mayor control humano sobre las plataformas. La República de China, por otro lado, es el primer país en regular la IA. En un comunicado el país asiático dijo que: ‘buscará promover el desarrollo saludable y la aplicación estandarizada de la IA para salvaguardar la seguridad nacional y los intereses públicos y sociales y proteger los derechos e intereses legítimos de los ciudadanos, personas jurídicas y otras organizaciones’. En EE. UU. requirió a empresas como Google, Open IA y Microsoft que se encarguen de garantizar la seguridad de todos sus productos en el marco de un deber moral, con tres principios esenciales: seguridad, protección y confianza. Mientas tanto Open IA está trabajando en una inteligencia artificial que contaría con una capacidad cognitiva que serán similares a las humanas”.

respetar el bien y evitar el mal, llevando el tratamiento al aspecto ético de la tecnología predictiva y la justicia, evitando la discriminación y, sobre todo, respetando los valores consagrados en el art. 2° del Tratado de la Unión Europea13 y en la Carta de los Derechos Fundamentales de la Unión. El Parlamento europeo aprobó el proyecto de ley sobre la IA clasificándose en función del riesgo potencial que supone para el bienestar social: A) Riesgo mínimo: son aquellas plataformas que son de uso mínimo y representan una mínima amenaza o constituyen una amenaza nula (por ejemplo, los spam que tienen como base la IA). B) Riesgo limitado: son aquellas aplicaciones que por medio de su funcionamiento indican al usuario que están interactuando con un sistema de IA (son plataformas de IA que tienen obligaciones determinadas de transparencia). C) Riesgo alto: son desarrollos de IA con obligaciones legales más estrictas, que por sus características especiales requieren de la supervisión del ser humano y el uso de datos de alta calidad para evitar contingencias, como la discriminación de los usuarios (por ejemplo, sistemas bancarios basados en la IA para el otorgamiento de créditos).

13 Tratado de la Unión Europea, art. 2°: “La Unión se fundamenta en los valores de respeto de la dignidad humana, libertad, democracia, igualdad, Estado de Derecho y respeto de los derechos humanos, incluidos los derechos de las personas pertenecientes a minorías”.

D) Riesgo inaceptable: son aquellos que quedan prohibidos en la Unión Europea (por ejemplo, The Social Score, que consiste en la puntuación social que brinda la IA para la credibilidad o reputación de una persona, entidad o cuenta de redes sociales).

Más allá de estos principios reguladores, los impactos éticos de la aplicación de la IA conjugan el accionar humano con el tecnológico, sobre todo en el marco de la responsabilidad y el análisis de los valores en la conducta del hombre. Resulta innegable el creciente auge de los sistemas de IA, y ello implica un impacto significativo en el marco del derecho internacional y de la política globalizada. En esta instancia —plena del desarrollo de la IA—, hasta que haya un desarrollo complejo y perfeccionista de estos sistemas para la evaluación conductual de un sujeto sometido a juicio penal, se tendrá que estudiar la forma en que esta tecnología no vulnere las garantías procesales vigentes, o que estas herramientas sirvan para construir patrones indicativos o que proyecten determinados patrones que convoquen a los prejuicios. Por ello, cuando más excelsior sea la calidad de los datos que se incorporen y nutran a los algoritmos y también al código del sistema, será menor la incidencia negativa de las predicciones injustas.

En nuestro país, a través de la disp. 2/2023 de la Jefatura de Gobierno de Ministros de la Nación, se establece un marco regulatorio que apuntala los principios que deberán preservarse al hacerse uso de esta herramienta en la educación, ciencia y cultura, circunscribiendo que el Estado debe establecer reglas claras para garantizar que el desarrollo tecnológico pueda ser aprovechado por todos los sectores de la sociedad, para promover la recolección y el uso responsable de los datos personales de los sujetos, evitando la discriminación algorítmica y gestionando los riesgos del uso de IA para prevenir perjuicios14.

14 Conf. “Aspectos Éticos de la IA”, Argentina.Gob.Ar, Recomendaciones para el uso de la IA, Disposición Ministerio de Justicia de la Nación 2/2023 Jefatura de Gabinete de Ministros. “El desarrollo y la implementación de la IA debe realizarse siguiendo principios éticos para proteger los derechos fundamentales, respetar valores democráticos, prevenir o disminuir los riesgos, promover la innovación y promover el diseño centrado en las personas. En el momento de partida del Proyecto de IA los actores que participen deben considerar ciertos principios éticos. En especial se debe respetar la Recomendación sobre la Ética de la IA de la Organización de las Naciones Unidas, siendo algunos de sus principios los de Proporcionalidad e inocuidad. En caso de que pueda producirse cualquier daño para los seres humanos, debe garantizarse la aplicación de procedimientos de evaluación de riesgos y la adopción de medidas para impedir que ese daño se produzca. Seguridad y protección. Los daños no deseados (riesgos de seguridad) y las vulnerabilidades a los ataques (riesgos de protección) deben ser evitados y deben tenerse en cuenta, prevenirse y eliminarse durante el ciclo de vida de los sistemas de IA para garantizar la seguridad y la protección de los seres humanos, del medio ambiente y de los ecosistemas. Equidad y no discriminación. Los actores de la Inteligencia artificial deben promover la diversidad y la inclusión, garantizar la justicia social, proteger la equidad y luchar contra todo tipo de discriminación, de conformidad con el derecho internacional. Los actores de la IA deberían hacer todo lo razonablemente posible por reducir al mínimo y evitar reforzar o perpetuar aplicaciones y resultados discriminatorios o sesgados a lo largo del ciclo de

Para lograr los objetivos previstos en nuestro medio, se requiere la interrelación de un equipo de trabajo diverso y multidisciplinario, que permita una diversidad de conocimiento y experiencia para poder afrontar los desafíos éticos de las nuevas fronteras tecnológicas, que deben ser exploradas y estudiadas concienzudamente. Por lógica razón, cuando haya daño a las personas que están involucradas como responsables de los sistemas de IA, se debe actuar inmediatamente para evitar o revertir el daño ocasionado. Dentro de este esquema regulatorio implementado desde el gobierno argentino, se especificó que en los servicios brindados a través de estas tecnologías de IA se debe establecer una vía humana (con atención personal) para vida de los sistemas de IA, a fin de garantizar la equidad de dichos sistemas. Supervisión y decisión humanas. La decisión de ceder el control a los sistemas de IA en contextos limitados sigue siendo de los seres humanos, porque un sistema de IA no puede reemplazar la responsabilidad final de los seres humanos y su obligación de rendir cuentas. Transparencia y explicabilidad. La transparencia y la explicabilidad de los sistemas de IA son condiciones previas fundamentales para garantizar el respeto, la protección y la promoción de los derechos humanos, las libertades fundamentales y los principios éticos. Las personas deben tener la oportunidad de pedir explicaciones e información al responsable de la IA o a las instituciones del sector público correspondientes. Sensibilización y educación. La sensibilización y la comprensión del público sobre las tecnologías de IA y el valor de los datos deben promoverse mediante una educación abierta y accesible, la participación cívica, las competencias digitales y la capacitación en materia de ética del uso de la IA. También debe realizarse la alfabetización mediática e informacional y la capacitación dirigida conjuntamente por los gobiernos, las organizaciones intergubernamentales, la sociedad civil, las universidades, los medios de comunicación, los dirigentes comunitarios y el sector privado, para garantizar una participación pública efectiva”.

asistencia de las personas que por su perfil o su situación no posean acceso a los dispositivos y servicios tecnológicos básicos universales necesarios para el usuario de los servicios de IA, o que prefieran la atención de una persona humana.

En el Poder Judicial de Tucumán en fecha 25/2/2019 se inició un proceso de investigación, análisis y trabajo para la implementación de inteligencia artificial15, entendiéndose como el desarrollo de sistemas informáticos que está diseñado para realizar determinadas tareas de poca complejidad que se consideran

15 Poder Judicial de Tucumán, Acordada nro. 113/2019-Actuaciones de Superintendencia 656/2019, fecha 25/2/2029: “VISTO: Las actuaciones de Superintendencia Nº 656/19; y CONSIDERANDO: El avance tecnológico en materia de inteligencia artificial en distintas áreas de interés general y su probable incidencia en la órbita judicial. Que resulta necesario iniciar un proceso de investigación, análisis y trabajo destinado a la implementación, en el ámbito del Poder Judicial, de la Inteligencia Artificial, entendida como el desarrollo de sistemas informáticos diseñados para realizar determinadas operaciones de menor complejidad que se consideran propias de la inteligencia humana. En el abordaje de esta ciencia de ‘datos’ este Tribunal considera de suma importancia abocarse a la evaluación de sus ventajas y posibles incidencias negativas, priorizando en todos los casos la particular tarea desarrollada por cada uno de los agentes en la tramitación de asuntos judiciales… ACORDARON: I.- ORDENAR un relevamiento que se encargue de estudiar e informar si existen programas de inteligencia artificial desarrollados para el servicio de justicia, incorporación en otros poderes judiciales u organismos del sistema de justicia y, en su caso, los resultados alcanzados, posibilidad de desarrollo o adaptabilidad a nuestros sistemas informáticos de gestión, necesidad de capacitaciones sobre la temática, la proyección y seguimiento de un plan piloto en algunas unidades judiciales que muestren interés en su implementación. II.- CONFORMAR una Comisión integrada inicialmente por…, sin perjuicio de incorporar agentes judiciales que muestren especial interés en la temática… III.- ELEVAR a esta Corte informes periódicos parciales y uno final del trabajo realizado, detallando las tareas llevadas a cabo y los resultados alcanzados”.

toda la probanza debe ser valorado por el juez.

Es necesaria la regulación de la IA frente los nuevos desafíos que se presentan ante los juzgados que tienen como meta primordial dar respuestas a la tutela judicial efectiva para los ciudadanos de manera ágil y respetando los derechos de las partes. Las regulaciones de la IA en los procesos penales requieren tener en resguardo derechos fundamentales como el derecho a la protección de datos y a la intimidad; ello deviene de la particular naturaleza de las medidas de investigación en el transcurso de una causa punitiva, en la cual se pueden afectar derechos intrínsecos como la intimidad, libertad, inviolabilidad del domicilio, imagen, secretos en los datos personales y medios de comunicación personales (dirección de mails, notebooks, etc.). Por eso estos derechos deben ser garantizados mediante la optimización del contralor de la IA, evitando cualquier intromisión en una investigación penal por medio de articulaciones tecnológicas ilegítimas, debiendo satisfacer los principios de idoneidad, proporcionalidad, necesidad y excepcionalidad, lo que debe constar en la decisión judicial a adoptarse. Más allá de la investigación y prevención en los supuestos de delitos comunes, los jueces se encuentran con nuevos horizontes ante propias de la inteligencia humana. Para la ejecución de esta tarea se conformó un grupo de trabajo para la realización de un relevamiento, de manera integral que contemple “…los diversos aspectos que inciden de manera directa en el tipo de servicio de justicia que se brindaría con la implementación de las herramientas que ofrece esta ciencia…”. La acordada enunciada refiere a que el relevamiento se realice de manera metódica y dispone la investigación sobre la existencia de programas de IA desarrollados para el servicio de justica que estén incorporados a otros poderes judiciales u organismos del sistema de justicia. En vista de esa integralidad el relevamiento debe ser diseñado por un grupo de trabajo relacionado con la temática y que permita, además, una adaptación al sistema informático vigente en el Poder Judicial. El punto de inicio de este camino de la IA en Tucumán se vio plasmado a través de la oralidad y las audiencias en videoconferencia y su resguardo virtual para su posterior compulsa, de ser necesario, por los interesados, siendo un medio reglado que profundizó los beneficios que otorga esa herramienta técnica para unir distancias geográficas, con las debidas garantías procesales para las partes en el proceso, debiendo tener presente que el valor probatorio de esos testimonios y de

V. CONCLUSIÓN

Frente al avance de la IA en la predicción jurídica en el procedimiento penal, lo cual tuvo punto de inicio y posee más interrogantes que conclusiones en el futuro, se infiere que la incorporación de esta tecnología en el campo punitivo se debe proyectar y aplicar respetando las normas jurídicas de forma y de fondo, pero sobre todo los derechos humanos de los sujetos intervinientes; siempre incorporando datos objetivos y constituyéndose en un instrumento que coadyuva al sistema judicial en su integridad conjuntamente con los agentes que actúan (abogados, jueces, partes, funcionarios, etc.).

16 ROMERO CASABONA, Carlos, De los delitos informáticos al cibercrimen, una aproximación conceptual y política-criminal, Editorial Comares, Granada, España, 2006, p. 11: “…Se entiende por ciberdelito el conjunto de conductas relativas al acceso, apropiación, intercambio y puesta a disposición de información en redes telemáticas, las cuales constituyen su entorno comisivo, perpetradas sin el consentimiento o autorización exigibles o utilizando información de contenido ilícito, pudiendo afectar a bienes jurídicos diversos de naturaleza individual o supranacional”.

Se debe tener presente que esta tecnología almacena, ordena y actualiza toda información esencial para el desarrollo de un proceso judicial desde distintas perspectivas según las partes en injerencia, por ello considero imprescindible el dictado de normas específicas que enmarquen responsabilidad de todos los sujetos intervinientes en el manejo de datos y algoritmos en los supuestos de los sistemas implementados, evitando ocasionar lesiones a los derechos y patrimonio de las personas.

El uso de las herramientas de la IA debe ser regulado, en especial en el campo del derecho punitivo, en tanto las contiendas judiciales y las decisiones que se adopten posean un contenido con factores psicológicos y humanos (análisis de conductas) que necesariamente deben interpretarse desde la perspectiva del hombre en el acontecer de su voluntad y conforme a la sana crítica racional, lo cual la IA y el avance de otro eje delictivo-tecnológico, como es la ciberdelincuencia, con una extraordinaria particularidad no solo en el medio utilizado para su acometimiento, sino también por la singularidad de los sujetos activos y pasivos del ilícito virtual, lo que motiva modernas formas de procedimientos, investigación y juzgamiento16.

Es necesaria la regulación de la IA

frente a los nuevos desafíos de los juzgados, que deben dar respuestas a los ciudadanos de manera ágil y respetando los derechos de las partes

impacta en la toma de una resolución jurisdiccional. El dominio absoluto de la IA en esta área por el momento es impracticable, mas no imposible. No obstante, resulta útil la aplicación de los elementos tecnológicos con que contamos para dar una respuesta expeditiva a los administrados dentro de un marco ético de equilibrio, transparencia y cumplimiento con los derechos básicos del ser humano, dando certezas y con un menor rango de error sobre las decisiones judiciales que se adopten.

Las obras generadas en forma autónoma por la inteligencia artificial frente a la propiedad intelectual

María Pía

Iturralde

Abogada, UBA. LLM, University of Pennsylvania (1990). Consultora en Estudio Magral y Asociados. Profesora de Legislación Cultural en USAL. Autora de varios artículos y trabajos de investigación en el Área de Propiedad Intelectual, Arte y Derecho.

“Mi querida señorita Glory, los Robots no son personas. Mecánicamente son más perfectos que nosotros, tienen una enorme inteligencia, pero no tienen alma”, de la obra teatral Los robots universales, del autor checo Karel Căpek, inventor del término “robot”1.

La centenaria obra de ciencia ficción de Căpek nos anticipa muchos de los interrogantes y desafíos a los que debemos hacer frente hoy con relación a la creación artificial y a la humanidad. Si bien los robots y la inteligencia artificial (en adelante, IA) han estado a nuestro alrededor desde hace ya muchos años, la tendencia actual de desarrollar sistemas inteligentes, autónomos, con capacidad de conversar, aprender, tomar decisiones, generar 1 1920, p. 11.

material creativo en forma autónoma, etcétera, presenta múltiples interrogantes y preocupaciones éticas y legales sobre sus efectos directos e indirectos en la sociedad.

En el área de la propiedad intelectual en particular, varios son los interrogantes que se plantean2. En esta nota, voy a analizar el status legal de las obras producidas en forma autónoma por la IA, aprovechando el antecedente del caso “Thaler”3, en el que tanto la Oficina de Derechos de Autor de los Estados Unidos como la jueza de primera instancia dictaminaron que una obra generada en forma autónoma por la IA no se encuentra protegida por la ley de derechos de autor de ese país, por carecer de autoría humana.

Comenzaré con una breve introducción al tema, analizaré luego el ámbito de protección de la propiedad intelectual en Argentina y las obras generadas por la IA en relación con ese marco legal y, finalmente, esbozaré mi conclusión, la que iré

2 En este sentido, la IA no puede funcionar si no es con una enorme cantidad de “data” con la que se la alimenta o entrena. Mucha de esa “data” son obras protegidas por la propiedad intelectual, por lo que se plantea el interrogante de la infracción a los derechos intelectuales cuando se entrena con esa data a estos sistemas de aprendizaje.

3 “Thaler c. Perlmutter”, 18/08/2023, United States District Court for the District of Columbia, Civil Action No. 22-1564, publicado en el Diario La Ley el 31/10/2023, TR LALEY US/JUR/4/2023.

trazando de todos modos durante el análisis del tema.

I. INTRODUCCIÓN

“Obras creadas en forma autónoma por la IA” son aquellas obras digitales generadas por un sistema informático de IA, entrenado con una enorme cantidad de “data” (texto, imágenes, voces, videos, etc.) siguiendo instrucciones o prompts —que consisten en palabras o frases— ingresadas por una persona, la que va indicando al sistema el modo, estilo, medida y otros detalles que pretende reflejar.

Estos sistemas, llamados también de IA generativa o sistemas abiertos de aprendizaje, tienen la capacidad de generar nuevo material creativo interpretando y reproduciendo la “data” con la que son entrenados. No hay un proceso creativo consciente, como ocurre cuando los seres humanos crean una obra, sino que se trata de un sofisticado proceso probabilístico realizado por el sistema informático, que entiende cómo funcionan las frases y puede descifrar qué palabra viene después en una secuencia y cómo seguir.

En este proceso, la intervención de una persona puede consistir en a) programar el sistema, elegir la “data” con la que

se lo entrenará y luego dar los prompts o indicaciones (eligiendo de entre las obras producidas por el sistema aquella que más le gusta), b) solamente programar el sistema y elegir la “data” con la que se lo entrenará o c) limitarse a dar prompts o instrucciones a un sistema que ya ha sido entrenado con “data”. Cabe aclarar a esta altura que no me refiero en esta nota a aquellas situaciones en las que un “autor” entrena un sistema informático con obras propias y se vale de este solo como una herramienta de trabajo.

Las obras producidas por estos sistemas informáticos en la forma descripta, cualquiera sea el nivel de intervención de una persona en el proceso, son el resultado de una colaboración entre el sistema y una o varias personas. El interrogante que se plantea es si las obras así generadas pueden ser calificadas como “obras intelectuales” y si podemos hablar de “autoría” en el sentido que se atribuye a ese término bajo propiedad intelectual.

Veamos algunos ejemplos:

“El próximo Rembrandt” fue un proyecto que se realizó en el año 2016, el que involucró obras del pintor holandés Rembrandt Van Rijn (1606-1669). Un grupo de científicos, historiadores de arte e ingenieros trabajaron con un algoritmo entrenado, con una colección de unas 300

imágenes de obras pintadas por el artista y diseñaron un sistema que aprendió la composición de la obra de Rembrandt y sus materiales pictóricos. El sistema de IA examinó cada una de las pinturas: vestimenta, gestos, género, expresiones faciales, color de ojos, forma de las pinceladas y otros detalles. Luego utilizó los principios aprendidos para replicar el estilo y generar nuevos rasgos faciales y así generó autónomamente un retrato con todas aquellas características que hacen que una obra de Rembrandt sea reconocida como suya4. Esto mismo podría hacerse con canciones, obras literarias o poemas de grandes artistas que vivieron en distintos momentos de la historia.

En el mencionado caso “Thaler”, el Sr. Thaler programó un sistema de IA, lo entrenó con “data”, dio luego los prompts u órdenes hasta que el sistema produjo la obra gráfica Una entrada al paraíso, obra que intentó registrar como obra intelectual y, ante su denegatoria, dio lugar a la acción judicial5.

Con programas comerciales, tales como Midjourney, los suscriptores se li-

4 Sofinko Pitol, “Con Inteligencia Artificial se logró pintar el último retrato de Rembrandt”, 7/11/2017, Infobae (en línea). Recuperado de https://www.infobae.com/america/vice/2017/11/07/la-inteligencia-artificial-que-pinto-el-ultimo-retrato-de-rembrandt/. (Fecha de consulta 3/11/2023).

5 Idem nota 3.

mitan a ingresar texto, el que va guiando el tono de lo que se busca, y el sistema —ya entrenado con “data”— va generando imágenes en concordancia. El usuario elige luego una o varias de las imágenes que arroja el sistema de IA, seguramente aquella que más se acerca a lo que deseaba que fuera representado. Es el algoritmo el que va creando cientos de posibilidades. Así, por ejemplo, frente al texto “Un gato y una mujer, en una nave espacial, explorando una galaxia escondida, con fondo detallado, personajes expresivos, que incluya elementos mágicos e ilustración hecha a mano”, el programa generó la siguiente imagen:

Estamos frente a aportes conceptuales, ya sea que una misma persona participe en todo el proceso generativo o que

solamente vaya guiando con palabras a un sistema de IA ya entrenado; las palabras representan las ideas que el usuario quiere que el algoritmo represente en imágenes. Ni quien entrena al sistema con la “data” ni quien va dando las órdenes o prompts tiene un control sobre la obra final generada. Los aportes que esas personas realizan son ideas, conceptos, detalles de cómo quieren que se represente una idea.

¿Se encuentran estas obras protegidas por la propiedad intelectual? ¿Puede el algoritmo ser considerado “autor”?

¿Puede ser considerado “autor” quien seleccionó la “data” y entrenó al algoritmo? ¿Y la persona que guio al sistema en el proceso generativo?

Para responder estos interrogantes, tenemos que saber cuándo hay “autor” para la propiedad intelectual y cuál es el aspecto de la obra que esta protege.

II. EL ÁMBITO DE PROTECCIÓN DE LA PROPIEDAD INTELECTUAL EN ARGENTINA

6

Los derechos de “autor”, en nuestro sistema legal, encuentran su base en la Constitución nacional (CN):

6 María Pía Iturralde, “La ‘expresión del autor’ como único objeto de protección de la Ley 11.723”, TR LALEY AR/DOC/3936/2009.

...una obra generada en forma autónoma por la IA no se encuentra protegida por la ley de derechos de autor de ese país, por carecer de autoría humana.

a) Artículo 17: “Todo autor… es propietario exclusivo de su obra… por el término que le acuerde la ley”.

b) Artículo 75: “Corresponde al Congreso…, inciso 18) Proveer lo conducente a la prosperidad del país, al adelanto y bienestar de todas las provincias, y al progreso de la ilustración, dictando planes de instrucción general y universitaria, y promoviendo la industria, la inmigración, la construcción de ferrocarriles y canales navegables, la colonización de tierras de

propiedad nacional, la introducción y establecimiento de nuevas industrias, la importación de capitales extranjeros y la exploración de los ríos interiores, por leyes protectoras de estos fines y por concesiones temporales de privilegios y recompensas de estímulo”.

El juego de los artículos transcriptos sienta las bases para la legislación de propiedad intelectual en nuestro país. El objetivo de esta propiedad sui generis, contemplada en la CN, no se limita solamente al reconocimiento de quienes contribuyen con sus obras a nuestro acervo cultural, sino que también tiene como fin la búsqueda del progreso y del desarrollo cultural de la sociedad, apoyada en una filosofía utilitaria y de justicia a la vez, con el convencimiento de que, mediante la concesión de esos derechos de propiedad temporales —o privilegios—, se estimulará la actividad creativa de las personas en beneficio del bien común7.

El art. 17 de la CN en la parte transcripta nos habla de “autor” y de “obra”, pero ¿cuál es la relación entre ambos?

¿Cuándo hay un “autor” y su “obra”? Pa-

7 Juan Bautista Alberdi, Bases y puntos de partida para la organización política de Argentina, p. 56, 160 y 178 (en línea). Recuperado de https://www.hacer.org/pdf/Bases. pdf. (Fecha de consulta 3 de noviembre de 2023). Para un análisis más profundo, recomiendo consultar “Historia del Sistema Argentino de Patentes de Invención (15801863)”, de Guillermo E. Vidaurreta, La Ley, 2007.

recería que el eje de la propiedad intelectual es un ser humano y su creatividad.

II.1. Autoría

Las varias acepciones del término “autor” que arroja el Diccionario de la lengua de la Real Academia Española se refieren siempre una persona, ya sea que esta cree, invente, produzca una obra científica literaria o artística. “Obra” es para ese Diccionario “una cosa hecha o producida por un agente”.

La ley 11.723 de Propiedad Intelectual, dictada siguiendo el mandato constitucional, regula el ámbito y alcance de protección.

La vida —o mejor dicho la muerte— de la persona física “autor” es el parámetro en la ley para establecer el plazo de duración de la protección de los derechos en relación con la mayoría de las obras8. La ley no define quién es “autor”, ni tampoco qué constituye una “obra”. Sin embargo, de los antecedentes legislativos9 y de su articulado surge que, para la ley, “autor” es solo un ser humano10, un ser humano con derecho a exigir que su nombre aparezca junto a su “obra”, 8 Art. 5°: “La propiedad intelectual sobre sus obras corresponde a los autores durante su vida y a sus herederos o derechohabientes hasta setenta años contados a partir del 1 de enero del año siguiente al de la muerte del autor”.

9 Ver Diario de Sesiones Congreso Nacional, Cámara de Diputados, Reunión Número 57, septiembre 1933. 10 Ej. arts. 2°, 3°, 4°, 5°, 6°, 7°.

como también con derecho a impedir que su “obra” sea presentada de forma distorsionada11 .

El Código Civil, por su parte, en el art. 464, al enumerar los bienes propios de los cónyuges, nos habla de los derechos intelectuales y establece que el derecho moral sobre la obra intelectual es siempre personal del “autor”.

Para el Convenio de Berna para la Protección de Obras Literarias y Artísticas, “autor” es también una persona física. Así en el art. 3°, en los criterios para elegibilidad, habla de nacionalidad del autor y de residencia del autor y, en el art. 7° fija el plazo general de duración en la vida del autor más 50 años. Y es en esta Convención, art. 6° bis, donde encontramos, en nuestro derecho, la forma más completa y precisa de los derechos morales de los “autores”: aquellos derechos que se le reconocen a la persona en relación con su obra por un vínculo que, se supone, subsiste más allá de la venta total de sus derechos económicos y que se vincula con su honor y reputación autoral12 .

En cuanto a la jurisprudencia de los tribunales, en forma uniforme ha sostenido que toda obra intelectual, para tener protección, debe ser original de quien se 11 Arts. 51 y 52.

12 Convenio de Berna para la Protección de las Obras Literarias y Artísticas, ley 25.140.

dice “autor”, reflejar de algún modo la visión de esa persona. La expresión protegida en cada obra estará dada por la reacción personal del “autor” frente a lo existente. Como cada persona es única, la expresión también tendrá algo de único, y es por ello que la obra, para obtener la protección de la ley 11.723, debe ser original. Así los tribunales han sostenido lo siguiente:

“La ley solo protege la forma, el modo de expresión, la aplicación del tema, la marca de individualidad, es decir, lo que da a la obra el carácter personal, original, lo que revela el poder creador del autor. No es tutelable en cambio la realidad material en que se ha inspirado o de la cual el autor ha hecho objeto de su expresión, porque esa realidad no ha sido creada por él”13.

La obra, para gozar de protección, debe ser original, pero la originalidad en materia autoral no es sinónimo de novedad en cuanto al tema tratado, ni tampoco en cuanto a la inventiva o al mérito que este exhiba; no hace al contenido de la obra, sino que hace al “autor” de ella. Es equivalente a creación independiente. Significa que aquel que se dice “autor” es realmente quien ha dado origen a la obra

13 “Güevil, Norberto D. c. Fernández Musiak, Diego”, C. N. en lo Civil, Sala I, agosto de 1999.

que se adjudica como propia y que, para ello, no ha copiado el trabajo de otro. Así:

“Para que una obra intelectual esté protegida la originalidad o individualidad no requiere novedad temática, basta que exprese lo propio del autor, que lleve la impronta de su personalidad”14.

“Sí es necesario, en cambio, que presenten las características de originalidad (o individualidad) que, como señalan los mismos autores, reside en la expresión, es decir, en la forma representativa, creativa e individualizada de la obra, aun cuando la creación y la individualidad sean mínimas. También se ha dicho que para que exista originalidad en la obra es suficiente que medie aporte personal del espíritu, de carácter intelectual, ‘que distinga a lo creado de los elementos o ideas que se conocían que se utilizan combinándolas en un modo distinto’ (C. Nac. Civ., sala F, 17/12/1987), que revele la impronta de su personalidad, sin que importe que se utilicen elementos existentes. Se trata, pues, de una cuestión de hecho, librada a la apreciación judicial” 15 .

De estos antecedentes, podemos afirmar que, para nuestro sistema de propie14 “Waveluk, María c. Iglesia Ortodoxa s/ propiedad intelectual”, causa 135.834, Cámara Nacional en lo Civil, Sala G, 14/10/93, TR LALEY 952092.

15 Voto del Dr. Dupuis en “Santander de Santamaría, Cristina c. López Gutiérrez, Benilde y otros”, Cámara Nacional en lo Civil, Sala E, 25/06/04, TR LALEY 20042820.

dad intelectual, “autor” es solo un ser humano. Pareciera entonces que un sistema informático no puede ser considerado “autor” para la propiedad intelectual.

II.2. ¿Puede ser considerado “autor” la persona que eligió la “data” con la que se programa el sistema? ¿Y quien guio al programa mediante la introducción de prompts u órdenes para producir una obra nueva? ¿Constituyen esas decisiones y órdenes un aspecto expresivo de la obra y, por ende, protegibles por la ley 11.723?

El art. 1°, segunda parte, de la ley 11.723 expresa: “La protección del derecho de autor abarcará la expresión de ideas, procedimientos, métodos de operación y conceptos matemáticos, pero no esas ideas, procedimientos, métodos y conceptos en sí”.

La expresión del “autor” es el único elemento protegido de una obra16.

Una obra intelectual contiene aspectos protegibles y otros que no lo son. La expresión es el modo en que la persona llamada “autor” nos comunica una idea; son sus palabras, es lo que elige escribir y cómo, de qué modo. En la obra El sueño de una noche de verano, William Shakespeare, a través de sus personajes y na-

16 María Pía Iturralde, ob. cit.

rraciones, nos habla de los sueños, de la realidad, del amor, de la magia. Son esas descripciones y personajes, objeto de su imaginación y creación, el único aspecto que gozaría de protección por la propiedad intelectual si la obra fuera escrita hoy.

Y, por el contrario, no ha realizado una obra intelectual quien contrata a alguien para que realice una obra escultórica y le da indicaciones, tales como que represente a una mujer mestiza, de pelo oscuro, que lleve puesto un vestido a las rodillas, aros y algo en sus manos, que descanse en un pedestal de piedra de no más de 60 cm de altura. Esas indicaciones no son más que ideas que necesitan de un “autor” para que les dé forma y puedan así ser comunicadas y percibidas.

Las obras generadas en forma autónoma por un algoritmo son producidas mediante los aportes conceptuales de quien lo va guiando en relación con cómo quiere que represente la imagen, qué colores, qué estilo, qué época, etcétera. Es, en definitiva, el sistema informático quien representará las ideas o conceptos que le son indicados por el usuario. La obra así producida no es reflejo de la imaginación o concepción intelectual de esa persona, sino que es el resultado de todas esas indicaciones procesadas

o interpretadas por un sistema informático, que no entiende las palabras del mismo modo en que lo hace una persona, que no tiene capacidad de juicio estético ni ético ni aspecto sensible. La obra así producida no contiene ningún material expresivo de la persona que utiliza el sistema, quien no tiene un control sobre el resultado final.

En cuanto a quien elige la “data” para entrenar al sistema, si bien hay un proceso creativo de selección, como esa persona tampoco controla el resultado final producido, tal como he tratado de mostrar, no podemos hablar de un aporte protegible.

Por ello, en estos casos no hay una obra intelectual objeto de protección por la propiedad intelectual.

III. LA SITUACIÓN EN LOS ESTADOS UNIDOS

En la causa “Thaler” ya mencionada, el Juzgado de primera instancia interviniente, por las mismas razones esbozadas por la oficina administrativa, confirmó la denegatoria de registro de una obra creada en forma autónoma por un sistema informático. Sostuvo que, si no hay intervención humana, no hay una obra para la propiedad intelectual. El señor Thaler recurrió el dictamen administrativo ante la justicia pidiendo su revocación

por considerarlo arbitrario, discrecional y contrario a derecho. El tribunal, fundando su decisión sobre las mismas bases jurídicas invocadas por la Oficina de Derechos de Autor, confirmó lo sostenido en la sede administrativa.

En el fallo, la jueza interviniente sostuvo que solo las creaciones hechas por seres humanos están protegidas por la ley de derecho de autor. También señaló que, si bien estos pueden valerse de herramientas para crear, la herramienta debe ser controlada y guiada por una persona de forma tal que la obra sea siempre el producto de la visión de una persona, ya que la creatividad humana es la condición sine qua non para que haya protección. Aun cuando esa creatividad se canalice a través de nuevas herramientas o hacia nuevos medios, siempre la obra tiene que representar la concepción original del “autor”.

IV. CONCLUSIÓN

Parece claro que las obras generadas en forma autónoma por los sistemas de IA no están protegidas por la propiedad intelectual, porque no son el producto de la reacción de una persona, el “autor”, frente a una idea. En palabras de Căpek, porque “no tienen alma”; son el producto final del algoritmo, sobre el que no tiene control quien lo utiliza.

Resta preguntarse si habría que dar o no algún tipo de protección a estas obras, aunque parecería que, al no haber autoría humana, se encuentran fuera del alcance de esta propiedad, prevista exclusivamente para los “autores” en la Constitución nacional, como incentivo a la creatividad humana.

...podemos afirmar que, para nuestro sistema de propiedad

entre

vistas

Melina Sol Rahvalschi

Abogada. Titular del Estudio Jurídico Rahvalschi. Creadora de “Del Derecho al Hecho”. Columnista de radio. Autora de material educativo para talleres.

La Dra. Rahvalschi del @delderecho.alhecho nos compartió su experiencia sobre cómo incursionó en las redes sociales y los desafíos que enfrenta al gestionar su cuenta. Además, nos proporcionó valiosos consejos legales al finalizar la conversación.

¿Por qué decidiste estudiar Derecho?

La verdad es que no hay una razón puntual por la que decidí estudiar abogacía. Es algo que quise hacer desde cuarto grado. Creo que un poco influenciada por las películas de Estados Unidos y mi idea de gritar “¡OBJECIÓN!” en el medio de un juicio oral. Pero es algo que siempre supe que quería hacer. La realidad es que nunca tuve un plan B. No es que era abogacía u otro tipo de carrera. Era solo abogacía. Con lo cual, cuando terminé la secundaria estaba completamente segura de lo que tenía que hacer y me anoté directamente en la carrera. Me podría haber salido mal porque, como te digo, no había un motivo puntual, pero por suerte es algo que me gustó desde el minuto cero.

¿Cómo fue que decidiste crear un perfil de Instagram para compartir contenido jurídico? ¿Cuál era tu objetivo?

Del Derecho al Hecho surge en el 2021 a raíz de la pandemia. En el 2020 el estudio estaba prácticamente cerrado y yo tenía una jornada laboral de ver TikTok, porque no tenía nada para hacer, donde me pasaba seis u ocho horas al día mirando videos. Nada laboral, solo miraba videos para divertirme. Pero me di cuenta de que había un montón de profesionales y no había abogados, o por lo menos a mí no me salían en ese momento. Entonces me pareció que era una buena idea poder empezar por eso. Aparte el estudio estaba en una situación económica muy mala porque habíamos venido de un año parados completamente y necesitábamos conseguir clientes como sea y fue una buena manera de poder llegar a mucho público.

También me pasaba que yo sentía que cuando me juntaba con mis amigas, familia y demás, había muchísimo desconocimiento de derechos básicos y dije “Bueno, si vos no tenés un abogado amigo que por lo menos te pueda contestar estas preguntas… Capaz hay un montón de cosas en las que te han estafado en la vida o que te asustan en

la vida y que no debería ser así”. Entonces me parece una buena manera de que el derecho llegue a cualquier tipo de persona.

Mi objetivo era, por un lado, poder conseguir clientes. La realidad es que yo no me imaginé que iba a generar todo esto, pero la idea principal era poder conseguir uno o dos clientes. Y, por otro lado, que la gente conozca sus derechos, que me parece que es algo básico. Las cosas que yo cuento en las redes creo que deberían ser estudiadas desde el secundario, porque el derecho no puede seguir siendo algo privado para los abogados o para quienes pasamos por la Facultad de Derecho. Tiene que ser algo que conozca todo el mundo porque regula la vida de todos.

¿Es la única red social que utilizás para este fin?

Las redes que más usamos son Instagram y TikTok, que las usamos a la par. Después tengo un canal de YouTube, pero, siendo completamente sincera, subí un par de videos y lo abandoné. Tengo el proyecto de empezar otra vez a hacer contenido para esa red. Y Twitter, pero lo tengo completamente abandonado. Es muy difícil poder tener presencia en todas las redes sociales. Uno cree que no, que subís un videíto y ya está, pero la realidad es que generar contenido para tantas redes que tienen un público distinto, una manera de gestionarse distinta y demás, se hace bastante complicado. Yo cada dos o tres meses digo “este mes me voy a poner las pilas con Twitter, YouTube y demás”, y hasta ahora no estaría funcionando.

¿Cómo describirías tu cuenta de Instagram a alguien que no la conoce? ¿Qué tipo de contenido se puede encontrar en ella?

Yo describiría “Del Derecho al Hecho” como una cuenta donde vas a aprender sobre todas las leyes argentinas en un idioma super fácil, coloquial, un idioma

con el que nos entendemos entre todos y no uno que solo entienden los abogados. Y como el nombre lo indica, es pasar del derecho al hecho, es decir, pasar de lo que dicen las leyes a lo que realmente pasa en la vida, en el día a día de la gente. Nosotros sabemos que hay un montón de leyes que no se cumplen o no se cumplen como deberían y demás, entonces creo que, justamente, el Instagram lo que busca es esto. Que sepamos la realidad de los derechos y obligaciones que tenemos todos.

¿Cómo seleccionás los temas legales que compartís en tus publicaciones?

Los temas los va eligiendo un poquito la gente, porque la forma de trabajar que yo tengo es agarrar los videos, ver los comentarios e ir contestando sobre esos comentarios. Entonces siempre intento elegir las preguntas que más se repiten para poder ir haciendo el video de mayor interés para la gente. Obviamente siempre sobre temas que yo toco, por ejemplo, hacen preguntas penales y yo sobre penal no tengo idea de nada, por lo que no voy a hacer un video penal. Pero siempre intento subir videos sobre temas de los que tenga conocimientos, más allá de que después yo, como profesional, no lleve ese tipo de tema. Pero es así, lo que hacemos es ver sobre qué temas nos están preguntando más y hacer un video sobre eso.

Después obviamente tenemos cuestiones de actualidad, por ejemplo, ahora hay mucho “quilombo” [sic] con la ley ómnibus, DNU y demás, entonces cada vez que hay una novedad subimos un video para que la gente entienda bien lo que está pasando.

¿Cuánto tiempo diario le dedicás a la cuenta?

La verdad es que es muy difícil poder decirte con exactitud cuántas horas del día le dedico, porque creo que le dedico todo el día. No es como una oficina, que vos entrás

a las ocho y te vas a las cinco, que sabés qué horario vas a cumplir, sino que es un trabajo que es mucho más dinámico, pero también es mucho más demandante. Puedo entrar un sábado a las dos de la tarde, un domingo a las cinco, en la semana a la noche, a la mañana, voy entrando a medida que puedo, que tengo tiempo y demás (ya que las redes las manejo yo sola).

En lo que es la creación del contenido, lo que yo intento hacer para organizarme es, una vez por semana, hacer el contenido para toda la semana, para evitar tener que estar todos los días filmando, porque es un trabajo bastante cansador, ya que son muchos videos. Entonces me resulta más cómodo organizarlo de esa manera. Obviamente puede pasar que haya algo que tenga que filmar por alguna novedad que haya pasado y demás, ahí se filma, pero si no, intento tener ese trabajo organizado. Y los días que filmo son, por ejemplo, cinco o seis horas de solo filmar.

¿Cómo manejás los comentarios negativos en tus publicaciones?

La verdad es que, por suerte, comentarios negativos no tenemos muchos, y cuando hay, yo intento contestarlos, porque me parece que es muy fácil agredir atrás de una computadora, entonces me parece que está bueno responderlos. Sí nos está pasando ahora, con toda la actualidad política de las leyes, DNU y demás, que por cada video que subimos hay un millón de comentarios o tratándome de una cosa o tratándome de otra cosa y demás, entonces esos yo directamente los ignoro, porque sería imposible… Solo subiría videos contestando insultos, con lo cual esos intento ignorarlos. Pero después, sacando estas cuestiones políticas, nunca tuve mucho comentario negativo. Sí, cuando los tengo, que tal vez son más comentarios no hacía mí, sino hacia todos los profesionales, a todos los abogados, intento contestarlos. Y la realidad es que a la gente también

le gusta que le contesten. Pero, por suerte, yo tenía mucho más miedo de lo que era exponerse y demás, pero no es algo que pueda decir que me pasa todo el tiempo.

¿Cuál es tu consejo para otros abogados que desean utilizar la plataforma para compartir conocimientos legales?

Lo primero que les diría a los abogados que quieren empezar es que tienen que saber que es un trabajo. Esto se tiene que tomar con responsabilidad y con constancia. No sirve de nada subir un video y a los seis meses subir otro porque no vas a crecer, no vas a tener seguidores y demás. Entonces, lo primero que tienen que saber es que las redes son un trabajo más, como el trabajo que ya tenemos en un estudio jurídico.

Después me parece que es fundamental que se pierda la vergüenza. Hay mucha vergüenza al qué dirán, mucho miedo a equivocarse, mucho miedo a los comentarios negativos y demás. Creo que esto es fundamental que la gente se lo saque de encima. A mí me pasaba los primeros dos, tres o cuatro videos que me daba muchísima vergüenza subir cosas, tenía miedo de “Ay, mirá si lo ven mis conocidos”, “Ay, mirá si piensan esto de mí”, y hoy hasta te hago canciones hablando de derecho porque ya no me importa absolutamente nada el qué dirán. Me parece que es eso importante, que perdamos un poco la vergüenza a pensar “Uy, si esto no gusta o gusta” y demás.

Y, por otro lado, yo recibo muchas preguntas de abogados que me dicen “A mí no me gusta”, “No quiero aparecer, pero tengo que hacerlo”. Me parece que es importante saber que no es obligatorio. Estar en las redes no es obligatorio y la profesión de abogado no depende de estar en Instagram, TikTok y demás. Con lo cual, si es algo que no querés hacer por ninguna circunstancia, me parece que hay que aceptarlo y no hacerlo. Como todo en la vida, ha-

cer las cosas sin ganas no va a funcionar y hay muchísimas maneras de ejercer la profesión sin la necesidad de estar subiendo videos a las redes.

¿Cuáles son los temas legales que encontrás más desafiantes de comunicar en Instagram?

La mayor controversia, hoy por hoy, es la actualidad. Cada vez que hablo de los proyectos de ley, del DNU, de lo que dice la Constitución sobre el DNU y demás, hay “bardeadas” [sic] de todos lados. De los que están a favor y de los que están en contra. Por alguna razón o por otra siempre hay comentarios negativos sobre esos videos.

Después, la realidad es que por el resto de las cosas no suele haber mucho comentario negativo, mucha controversia. Eso es lo que hoy por hoy puedo notar, que sí, que cada video que suba sé que va a haber polémica, que va a haber debate, conmigo o entre los seguidores mismos. Pasa mucho que yo subo un video y alguien escribe algo y se empiezan a contestar entre ellos. Pero más que nada pasa con las cosas de actualidad.

¿Cuál es el mito o creencia legal que más se repite en las preguntas o comentarios de tus seguidores?

El mayor mito que se repite constantemente, y no importa la cantidad de videos que haga (de hecho, hasta tengo un tema hablando sobre esto 1), es que, si no estás casado, pero conviviste muchos años, podés heredar. O, si no estás casado y tenés hijos, podés heredar. Lo mismo con la división de bienes en algún tipo de separación. Ese es un mito que yo creo que no importa la cantidad de videos que haga yo o el resto de mis colegas que están en las redes, la gente lo va a seguir sosteniendo. Es impresionante lo metido que está en el inconsciente colectivo de que “Yo

1 https://www.instagram.com/reel/C2caEt6AI9j/?utm_source=ig_web_copy_

viví mucho tiempo, tengo derechos hereditarios” o “Tengo derechos a una división de bienes”.

¿Qué consejo legal general darías a tus seguidores en redes sociales? Primero, a los que no son abogados; segundo, a los que son abogados

Hay tres consejos que yo doy siempre, que son: no salgas de garante de nadie en quien no confíes ciegamente; no construyas en la casa de tus suegros; y salvo que vos tengas ganas de renunciar, nunca renuncies. Esos me parece que son tres pilares fundamentales que te van a evitar un montón de dolores a futuro.

Y después, a los abogados, les diría que colaboren para cambiar la imagen que tienen los clientes de nosotros, que intentemos hablar en un idioma claro, que intentemos ser claros con nuestros honorarios, que intentemos ser claros con las formas de trabajar, que contestemos los teléfonos, que no desaparezcamos, que estemos constantemente informándole al cliente cada vez que nos pide información de en qué estado están sus procesos o causas y demás. Yo creo que lo peor que pasa con nuestra profesión es la desconfianza absoluta que tienen los clientes y, en muchos casos, es por el accionar de los abogados.

El derecho al recurso como acceso al proceso en los juicios contra el

Estado

Emanuel Saldi

Cuando en el título expreso “acceso al proceso”1, me refiero en términos alvaradianos a lo que habitualmente se denomina “acceso a la justicia”, que no es más ni menos que el acceso al debido proceso regido por sus principios fundamentales2 y la posibilidad cierta de su conclusión mediante el dictado de una sentencia definitiva que resuelva el litigio y el conflicto que en él subyace, sin perjuicio de encontrarse una solución mediante los denominados métodos alternativos de resolución de conflictos, a veces incluso de mayor eficacia que la sentencia.

1 Ponencia expuesta en forma oral, el día 04/11/2022, en el XVII Congreso de Derecho Procesal Garantista, Azul, Prov. de Buenos Aires.

2 Estos principios son cinco: imparcialidad de juzgador, igualdad de las partes litigantes, transitoriedad del proceso, eficacia de la serie procedimental y moralidad del debate. Ver Alvarado Velloso, A., “Sistema procesal: Garantía de la libertad”, Rubinzal Culzoni, Santa Fe, 2009, T.1, p. 339. Mgter. en Derecho Procesal por la Facultad de Derecho de la UNR, secretario relator en la SCJ Mendoza, profesor universitario UC sede Mendoza.

Siguiendo a Hutchinson, debido proceso y tutela judicial efectiva constituyen términos equivalentes, y en cuanto a su contenido, “…el derecho que analizamos es muy vasto, ya que despliega sus efectos en tres momentos distintos: primero, al acceder a la justicia; segundo, durante el desarrollo del proceso, y finalmente, al tiempo de ejecutarse la sentencia…”3. Este derecho incluye, entre otros, el de impugnar la sentencia definitiva4.

Explica Davobe que el acceso al proceso en sí constituye un derecho fundamental autónomo, amparado tanto por nuestra Constitución (arts. 14, 18, 43 y ccs.) como por los instrumentos internacionales de protección asumidos en ella (art. 75, inc. 22), que permite asegurar el ejercicio de los restantes derechos y libertades, siendo esencial para lograr el derecho a la igualdad. Se trata de una institución compleja que ha sido definida desde tres puntos de vista: a) como acceso propiamente dicho, es decir, posibilidad de llegar al sistema judicial; b) como posibilidad de lograr un buen servicio de justicia, obteniendo un pronunciamiento judicial justo en un tiempo prudencial; y c) como conocimiento de sus derechos por parte de los ciudadanos, como de los

3 Hutchinson, T., “Derecho Procesal Administrativo”, Rubinzal Culzoni, Santa Fe, 2009, T. 1, p. 249 y ss. 4 Ibídem, p. 261.

medios para ejercer y hacer reconocer esos derechos, con conciencia del acceso a la justicia como derecho y consiguiente deber del Estado de brindarlo y promoverlo5.

Por otra parte, específicamente, aquí se hace referencia a los procesos en que se impugna la actividad o inactividad de las entidades públicas en su función administrativa, mayormente, aunque no exclusivamente de carácter estatal, lo que de un modo genérico se denomina “juicios contra el Estado”. Ello ocurre en los conflictos entre particulares o entidades intermedias y la Administración pública nacional, provincial o municipal.

Asimismo, quiero destacar una relación que me parece importante entre el derecho al recurso —amplio y ordinario— y el acceso al proceso, especialmente en lo contencioso administrativo. Es de observarse que el referido derecho al recurso se encuentra inserto y puede ejercerse durante el desarrollo del proceso, luego de iniciada una causa y más precisamente cuando concluye la primera instancia con una sentencia adversa —o decisión equiparable— respecto a una de las partes, a los fines

5 Dabove, M. I., “De los derechos humanos al derecho de la vejez: Acceso a la justicia y protección internacional”, en (Dir.: Davobe), Derechos humanos de las personas mayores, Astrea, CABA, 2015, p. 32.

de que tal resolución sea revisada o controlada en forma amplia por otro juez o tribunal diverso al primero, en la medida en que exista un interés jurídico para ello.

Este derecho al recurso se encuentra íntimamente relacionado con la organización judicial, que posibilita su ejercicio efectivo; y su existencia y previsión normativa en lo concreto puede tener una incidencia favorable al justiciable, a los fines de su acceso inicial al proceso, facilitando de tal modo su llegada al sistema judicial por primera vez, a través de la descentralización territorial del Poder Judicial.

Con relación a ello, destaco que existe por lo menos una posible vinculación entre el derecho al recurso y el acceso inicial al proceso, que se da cuando existe una organización judicial que permite el ejercicio de ese derecho a través de juzgados de primera instancia y tribunales de apelación dispersos a lo largo y ancho del territorio de una jurisdicción dada, sea esta una provincia o un país determinado, lo que implica una mayor cercanía entre el justiciable y los órganos judiciales, a través de la descentralización del Poder Judicial por fuera del asiento de su superior tribunal o corte que habitualmente se ubica en la ciudad capital.

Al respecto, he sostenido la tesis conforme a la cual la resolución en única instancia de este tipo de causas resulta inconstitucional por no preverse ni permitirse, al particular involucrado, un recurso ordinario contra la sentencia allí dictada6. Ello por derivación lógica de la jurisprudencia emanada en su momento de la Corte IDH, en los casos de la “Panel Blanca” (1998), “Tribunal Constitucional” (2001), “Ivcher Bronstein” (2001) y “Baena” (2001) 7, conforme a la cual todas las garantías específicas del proceso penal, que se encuentran detalladas en el inc. 2 del art. 8° de la CADH, resultan aplicables a las restantes materias —no penales—, a los fines de respetar cabalmente el debido proceso contemplado de forma genérica en el inc. 1 de tal artículo. Entre estas garantías específicas (en el art. 8°, inc. 2, ap. h de la CADH), se encuentra el aseguramiento a la persona, de que puede recurrir el fallo recaído en su contra en la primera instancia, ante otro juez o tribunal superior.

6 Saldi, E., “Necesidad de introducir la doble instancia en el proceso administrativo”, Fundación para el Desarrollo de las Ciencias Jurídicas, Rosario, 2018.

7 Caso “Panel Blanca (Paniagua Morales y otros) vs. Guatemala”. Fondo. Sentencia de 8 de marzo de 1998. Serie C No. 37.

Caso “Tribunal Constitucional vs. Perú”, sentencia de 31 de enero de 2001, Fondo, Reparaciones y Costas, Serie C, N° 71.

Caso “Ivcher Bronstein vs. Perú”, sentencia de 6 de febrero de 2001, Reparaciones y Costas, Serie C, N° 74.

Caso “Baena, Ricardo y otros vs. Panamá”, sentencia de 2 de febrero de 2001, Fondo, Reparaciones y Costas, Serie C, Nº 72.

En la actualidad, la evolución de esa jurisprudencia interamericana derivó específicamente respecto de esta garantía puntual —de recurrir el fallo adverso—, en una delimitación que la propia Corte IDH ha realizado, refiriéndolo exclusivamente a los procesos penales y a los procesos de naturaleza sancionatoria, pero sin extenderlo al resto de materias o situaciones. Así, por ejemplo, en el caso “Spoltore vs. Argentina” 8, la Corte concluyó, con cita de los fallos “Vélez Loor” y “Maldonado”, que el derecho contenido en el art. 8.2.h) no es aplicable al proceso en que se reclama una indemnización por enfermedad profesional.

A partir de esta nueva interpretación jurisprudencial, de carácter limitativo, salvo en los procesos que tengan por objeto controlar o revisar sanciones penales o administrativas, en principio, no se requiere a nivel convencional, como garantía mínima, el aseguramiento de una doble instancia con derecho a recurrir el fallo adverso recaído en la primera y única instancia.

Ahora bien, es de notarse que, aunque a la luz de esta nueva interpretación no se requiera en general y como garantía mínima que los ordenamientos na-

8 Caso “Spoltore vs. Argentina”, Excepción Preliminar, Fondo, Reparaciones y Costas, sentencia del 20 de junio de 2020, Serie C, n° 404.

cionales garanticen tal derecho en todas las materias jurídicas o situaciones planteadas —casos—, lo cierto es que existen ordenamientos jurídicos en que se lo asegura a nivel constitucional y/o legal en materia procesal administrativa (y en otras), con lo cual allí no sería jurídicamente posible retroceder en su reconocimiento, dado el principio interpretativo de irreversibilidad contenido en el art. 29 de la CADH, en virtud del cual, una vez que un derecho ha sido reconocido, queda definitiva e irrevocablemente integrado a la categoría de aquellos derechos cuya inviolabilidad debe ser respetada y garantizada.

Entonces, partimos de la regla conforme a la cual resulta necesario asegurar ese mínimo respeto del derecho a la doble instancia, a través del ejercicio de un recurso ordinario y amplio, en los procesos en que se revisan sanciones penales y en las administrativas, en el más restrictivo de los supuestos, cuando la sanción consiste en la pérdida de libertad ambulatoria, pero también, desde un punto de vista más amplio, cuando ella suponga una afectación patrimonial —tal como la aplicación de multas u otras sanciones pecuniarias de carácter contractual— o extrapatrimonial, como la pérdida de la ciudadanía o la lesión del derecho al honor o al trabajo —cuando se aplican san-

ciones tales como suspensión o cesantía en el empleo público—, por citar solo algunos ejemplos.

En materia de juicios contra el Estado, que mayormente transita por vía de acciones procesales administrativas —usualmente denominado “contencioso-administrativo”—, en la mayoría de las provincias argentinas, cuando el conflicto no se logra solucionar en sede administrativa, se resuelve en única instancia originaria ante sus respectivos tribunales superiores de justicia o cortes, lo cual impide el ejercicio del derecho al recurso ordinario ante un juez o tribunal superior que posteriormente revise la decisión, aunque ello se podría resolver, mínima y provisoriamente, mediante la previsión de un recurso amplio de carácter horizontal, dentro del mismo tribunal pero con jueces diversos a los que dictaron la sentencia, a fin de posibilitar el control de la sentencia adversa al accionante que litiga frente a la Administración pública.

No obstante, existen jurisdicciones en nuestro país en las que actualmente se encuentra asegurado el derecho al recurso en materia contencioso-administrativa, tal como en la provincia de Buenos Aires, CABA, San Juan, Río Negro, Corrientes y en el ámbito de la

justicia federal —Estado nacional— en general. En ellas, no sería jurídicamente posible retroceder en el reconocimiento del derecho al recurso, por ya encontrarse incorporada como garantía la posibilidad de recurrir fallos adversos en la materia.

En tal sentido, resulta valiosa la experiencia de la provincia de Buenos Aires, que en el año 1994 reformó su Constitución, sustrayendo desde entonces el conocimiento originario en única instancia de su Suprema Corte de Justicia respecto de este tipo de causas, estableciendo al mismo tiempo la necesidad de creación de un fuero especializado en la materia, el que comenzó a funcionar a fines del año 2003, con juzgados y cámaras de apelaciones distribuidos a lo largo y ancho de su territorio.

La comparación de estadísticas obtenidas en su momento dan cuenta de que en total se iniciaron aproximadamente cincuenta y siete (57) veces más juicios correspondientes a acciones procesales administrativas que cuando no existía ese fuero y se concentraba la competencia en su Suprema Corte de Justicia. Solo en La Plata, que posee —la mayor cantidad de— tres juzgados contenciosos administrativos, para el año 2010 se iniciaron trece (13) veces más juicios de tal tipo

que lo que sucedía con anterioridad a la existencia de ese fuero especializado9.

De lo anterior, queda en claro que se ha satisfecho una mayor demanda de acceso al proceso en la materia, a partir de la existencia de una organización judicial descentralizada por fuera de su capital, a través de un fuero especializado con doble instancia, compuesto de juzgados y cámaras de apelación, descentralizados en el territorio provincial, lo cual nos da la pauta de que se favorece de tal modo el respeto del debido proceso y la tutela judicial efectiva de las personas cuando se garantiza el derecho al recurso de un modo orgánico, estructural, con normas jurídicas y una organización acordes a la nueva situación jurídica, sin perjuicio de las mejoras que requiere todo sistema y que surgen de la propia experiencia, a partir de su concreción en la dinámica diaria de su funcionamiento.

Desde una perspectiva valorativa, lo expuesto conduce a razonar que, si más de ciento cincuenta años después de san-

9 Conforme estadísticas remitidas por la Oficina de Estadísticas de la Secretaría de Planificación de la Suprema Corte de Justicia bonaerense, con motivo de la elaboración de mi tesis de maestría, titulada Necesidad de introducir la doble instancia en el proceso administrativo de Mendoza, que puede compulsarse en soporte físico papel en la biblioteca de la Facultad de Derecho de la UNR, y en soporte digital en: https://www.academia.edu/11281433/Necesidad_de_introducir_la_doble_instancia_en_el_proceso_administrativo

cionada nuestra Constitución nacional, se ha comenzado a cumplir en Argentina con el mandato de tal jerarquía, consistente en establecer el juicio por jurados, también resulta previsible que algún día, no tan lejano en el tiempo, la mencionada experiencia bonaerense en materia de organización judicial pueda ser aprovechada en otras provincias que aún poseen la única instancia como forma de tramitar y resolver los procesos administrativos, reconociéndose en ellas el derecho al recurso —doble instancia— en los juicios contra el Estado.

Qué leer

¿Cuál es el costo de trabajar con inteligencia ar tificial generativa?

A 170 años de la sanción de la Constitución Nacional y a los 40 años de la recuperación de la democracia

Coordinador

Ver índice acá

Pablo L. Manili

Juan G. Corvalán y Mariana Sanchez Caparros

Ver índice acá

Te

Director Editorial

Fulvio G. Santarelli

Jefa de Redacción

Yamila Cagliero

Editores

Nicolás R. Acerbi Valderrama

Jonathan A. Linovich

Elia Reátegui Hehn

Érica Rodríguez

Marlene Slattery

Correctora y diseñadora

Ileana Campagno Pizarro

Profesional 360° Marzo 2024 - 7ma edición.

- Propietario: LA LEY SAEI Tucumán 1471 (C1050AAC) Registro DNDA en trámite