nueva página del texto (beta)
Español (pdf)
Articulo en XML
Traducción automática
Citado por SciELO 
Citado por Google 
Similares en
SciELO 
Similares en Google 
Permalink
Introducción
La injusticia en cualquier lugar es una amenaza para la justicia en todas partes. Estamos atrapados en una red ineludible de mutualidad, atados en una única prenda del destino. Lo que afecta a uno directamente, afecta a todos indirectamente.
Martin Luther King, Jr. 1
A mediados de marzo del año 2020, dentro de las medidas adoptadas para enfrentar la pandemia del Covid-19, el Primer Ministro británico anunció el cierre de las escuelas y la cancelación de los exámenes de admisión universitaria, GCSE y A-level. Para su reemplazo la Oficina de Calificaciones (Ofqual) desarrolló un sistema para determinar un puntaje de ingreso universitario para cada estudiante de forma predictiva y automatizada, utilizando inteligencia artificial. El resultado estaba supeditado principalmente a dos variables: 1) datos estadísticos relacionados con el desempeño histórico en cada establecimiento educacional, esto es, el desempeño de estudiantes de años anteriores y no directamente el desempeño de aquellos jóvenes sometidos a este proceso; y 2) un puntaje estimado dado por cada profesor en base a un sistema de calificación previamente estandarizado. 2
Las referidas variables estaban ajustadas de manera que los registros estadísticos de desempeño por establecimiento tenían mayor peso que el puntaje estimado de profesores con el objeto de disminuir cualquier inflación de calificaciones. Con la publicación de los resultados quedó en evidencia que los estudiantes de sectores pobres y vulnerables fueron drásticamente perjudicados en su puntaje, con un promedio de un 40% por debajo de sus calificaciones regulares, mientras que aquellos alumnos de clases acomodadas se beneficiaron llegando a una proporción de notas A* y A histórica que dobló la tasa de las escuelas públicas. El sistema asignó mayor valor a evaluaciones emitidas por profesores pertenecientes a escuelas pequeñas ya que, según informó el Gobierno, no existía un modelo estadístico seguro para aplicar la variable de registros de desempeño histórico respecto de grupos reducidos de estudiantes. Este tipo de escuelas reducidas están directamente relacionadas con establecimientos privados exclusivos para grupos de altos ingresos. En contraste, un grupo históricamente en desventaja, en este caso, jóvenes pertenecientes a familias de bajos ingresos, fueron desproporcionadamente perjudicados, reproduciendo y amplificando una desigualdad social y evidenciando una discriminación, descartando con ello su real capacidad y desempeño, los cuales fueron reemplazados por un valor dado en base a un modelo estadístico de registros de otros estudiantes de años anteriores. 3
Este no es un caso aislado, hay un patrón detectado en el uso de sistemas de inteligencia artificial (IA) automatizados —que asisten o sustituyen procesos de toma de decisiones que, de otro modo, serían realizados por humanos— 4 cuando se emplean en materias de relevancia social. En dichos casos, grupos históricamente excluidos y oprimidos, tales como personas afroamericanas, latinas, pueblos originarios, comunidades LGBTIQ+, minorías religiosas, personas de escasos recursos, entre otras, son comúnmente afectados de forma desproporcionada, reproduciendo y perpetuando injusticias sociales (Costanza-Chock , 2020; D’Ignazio y Klein, 2020; Zuboff, 2019; Benjamin, 2020 ).
Sistemas predictivos de abuso infantil que asocian injustamente pobreza con abusos (Eubanks, 2018: 127), sistemas predictivos de delitos que asocian delincuencia a racismo policial histórico ( Selbst, 2017 ), sistemas predictivos que detectan erróneamente fraudes de beneficios sociales a personas honestas de escasos recursos ( Gilman, 2020 ), la determinante y peligrosa discriminación en sistemas de reconocimiento facial ( Buolamwini y Gebru , 2018), los generalizados sistemas automatizados de contratación de personal ( Sánchez-Monedero, Dencik y Edwards, 2020 ), son solo algunos ejemplos.
Evaluar y fortalecer los actuales marcos legales para la regulación de este tipo de sistemas de IA se ha vuelto prioritario ( Pasquale, 2017 ; Wachter, Mittelstadt y Russell, 2020; Barocas y Selbst, 2016 ) considerando el aumento exponencial del uso de este tipo de soluciones en el sector privado ( Creel y Hellman, 2021 ), así como el creciente interés de incorporar dentro de políticas públicas sistemas de toma de decisiones automatizadas para la administración del Estado 5 en materias como prevención del delito, seguridad social, justicia, salud, educación y subsidios públicos (Brown y otros, 2019).
Hasta ahora las distintas propuestas de regulación sobre esta materia han sido desarrolladas principalmente en Europa ( Goodman y Flaxman, 2017 ), Canadá ( McKelvey y MacDonald, 2019 ) y algunos estados norteamericanos. 6
Es importante destacar que este particular tema regulatorio posee una notoria complejidad y, contrario a la intuición, esta no se relaciona con la complejidad tecnológica, sino por la propia materia legal abordada. En efecto, las normas sobre igualdad y no discriminación se han construido bajo complejas e históricas tensiones políticas y sociales, existiendo, al día de hoy, diversas teorías e interpretaciones (Khaitan, 2015). Los conceptos de igualdad y discriminación tienen distintos contenidos y alcances en cada sistema jurídico, ( Hagerty y Rubinov, 2019 ) poseyendo, además, particularidades propias en cada país, siendo en definitiva conceptos elaborados en virtud de su contexto social (Hellman y Moreau, 2013). De la misma manera, el concepto antítesis de discriminación del norte global, fairness, posee distintas interpretaciones dependiendo si se usa en el área computacional, social o legal ( Xiang y Raji, 2019 a), con distinto alcance según el contexto social de cada país (Sambasivan y otros, 2021) y no cuenta con un equivalente exacto en Latinoamérica, siendo interpretado como imparcialidad, equidad o justicia ( Rawls, 1990 ).
Pues bien, teniendo presente lo anterior, este artículo realiza las siguientes contribuciones: 1) ofrece un análisis sobre las particularidades técnicas y legales de una problemática poco abordada en Latinoamérica; 2) propone una teoría conceptual sobre la discriminación algorítmica situada en el contexto latinoamericano, identificando las particularidades de grupos protegidos, prácticas discriminatorias propias de la región y desafíos asociados; 3) propone la adopción de un principio relacional de corte filosófico, presente transversalmente en todos los pueblos originarios latinoamericanos, cuya visión y contenido permite afrontar apropiadamente los desafíos que presenta la IA, y 4) propone una nuevo enfoque interpretativo de los conceptos de igualdad y discriminación con un contenido colectivo y ético moral, en línea con el referido principio relacional. Estas interpretaciones superan las dificultades que presentan las actuales normas de la materia en comento, teniendo por finalidad, además, no solo condenar o mitigar una discriminación, sino superar el statu quo y desmantelar las estructuras de injusticia social que las originan. Lo propuesto sirve de base para una evaluación, reinterpretación y fortalecimiento legal en esta materia.
Este análisis sigue la siguiente estructura: entendiendo que en materia de IA existen múltiples interpretaciones y puntos de vista, se ha considerado necesario incorporar en el primer apartado elementos básicos relacionados con esta tecnología, describiendo el actual nivel de desarrollo tecnológico, aspectos elementales del centro de este desarrollo, el aprendizaje automático o machine learning (ML) y particularidades sobre los sistemas de ML utilizados para la toma de decisiones automatizadas. La segunda parte de este primer apartado explora la actual tendencia a la hora de conceptualizar la IA para propósitos regulatorios, destacando el aspecto sociotécnico de este concepto. El segundo apartado analiza cómo los sistemas de IA de toma de decisiones automatizadas pueden generar discriminación. Este acápite se desarrolla de forma complementaria desde el punto de vista técnico y desde la relación que poseen estas herramientas de IA con el poder presente en las sociedades, 7 tomando para ello perspectivas teóricas feministas y decoloniales.
El tercer apartado hace un análisis exploratorio de las actuales normas legales sobre la materia de estudio en el derecho comparado, en particular, normas europeas y norteamericanas, detectando y describiendo debilidades y desafíos legales. El cuarto apartado desarrolla una teoría conceptual sobre la discriminación algorítmica situada y contextualizada en América Latina, caracterizando particularidades sobre grupos protegidos, prácticas discriminatorias particulares y desafíos frente a este nuevo tipo de discriminación. El quinto apartado propone la adopción de un principio relacional filosófico cuya visión y contenido dan herramientas y perspectivas para una relación constructiva con este tipo de tecnología y da cuenta de una nueva interpretación de los conceptos de igualdad y discriminación. Finalmente, el sexto apartado pone en práctica la construcción descriptiva establecida en el punto anterior, tomándola como parámetro para el análisis y evaluación empírica de un caso de estudio: la normativa vigente en Chile.
Este trabajo se limita al estudio regulatorio exclusivamente de sistemas de IA de toma de decisiones automatizadas que producen consecuencias discriminatorias, desde las normas de no discriminación. 8 Para efectos prácticos e ilustrativos este análisis se ha centrado en aspectos relacionados con el racismo, pudiendo ser sus conclusiones igualmente aplicadas a otras características de grupos protegidos. En vista de lo anterior, y en pos de preservar la legibilidad de este trabajo, términos como sistemas de IA, discriminación algorítmica, algoritmos o modelos se circunscriben y refieren exclusivamente a este tipo de sistemas y temática particular.
Inteligencia artificial desde la perspectiva regulatoria: Aspectos básicos
Contexto actual de desarrollo de la IA
La representación tecnológica está estrechamente conectada con la visión que tenemos sobre nuestro futuro como sociedad. Respecto de la IA, existe una narrativa exagerada sobre estas expectativas. Constantemente se informa sobre la capacidad de la IA para mejorar nuestro futuro, predecir nuestro comportamiento y solucionar graves problemas sociales. Se habla de sistemas inteligentes autónomos, que aprenden y pueden reemplazar completamente funciones cognitivas humanas.
Lo anterior guarda relación con la denominada inteligencia artificial general (AGI, por sus siglas en inglés), que corresponde a una hipótesis sobre el desarrollo y estudio de inteligencias artificiales a nivel humano y con capacidad de generalización ( Hagerty y Rubinov, 2019 ). La AGI, que es la que vemos frecuentemente en la ciencia ficción, no ha sido desarrollada y dista mucho de la tecnología actual, incluso más, se cuestiona la posibilidad de alcanzarla en un corto plazo o derechamente que sea materialmente posible su creación (Fjelland, 2020). Los llamados sistemas autónomos hasta ahora no son tales, existen al respecto importantes limitaciones, además de incluir en todo su proceso significativo trabajo humano (Broussard, 2018; Tubaro y Casilli, 2019 ). 9
Lo cierto es que, teniendo presente el desarrollo actual de esta tecnología, se habla de IA estrecha, queriendo con ello describir que corresponden a sistemas que resuelven tareas limitadas y específicas, por ejemplo, reconocer objetos, jugar ajedrez, detectar spams o calificar riesgos (Broussard, 2018). Estos sistemas solo sirven para la tarea para la cual han sido programados y no responden a otro escenario, aunque sea solo ligeramente diferente (Marcus, 2020).
En consecuencia, la IA entendida como una rama de las ciencias computacionales 10 (Schuett, 2019) se denomina IA estrecha, en vista a su nivel de desarrollo, la cual se ha centrado principalmente en el aprendizaje automatizado o machine learning 11 y , dentro de este, el subgrupo denominado aprendizaje profundo o deep learning 12 (Broussard, 2018; Page, Bain y Mukhlish, 2018 ). Al respecto, Lerh y Ohm definen el ML en los siguientes términos:
Un proceso automatizado de descubrimiento de correlaciones (a veces alternativamente referidos como relaciones o patrones) entre variables en un conjunto de datos, a menudo para hacer predicciones o estimaciones de algún resultado ( Lehr y Ohm, 2017 ).
El funcionamiento básico de un ML se detalla en el siguiente ejemplo de un aprendizaje supervisado: 13 un algoritmo 14 es programado para obtener un modelo optimizado (una función abstracta matemática) para dar respuesta a una tarea determinada a partir de la identificación de patrones de un conjunto de datos previamente etiquetados, llamados training data 15 o datos de entrenamiento. El algoritmo estima las tasas de error de cada modelo aplicando otro conjunto externo de datos, los validation set o datos de validación, si el modelo tiene un rendimiento satisfactorio, termina el entrenamiento. Si el rendimiento no produce suficientes resultados, se modifica el modelo y se repita el proceso. El algoritmo selecciona el modelo que mejor describe las características y tendencias a partir de los conjuntos de datos de entrenamiento y validación. Finalmente, mediante un tercer conjunto de datos llamados test set o datos de pruebas, se calcula el error de predicción generalizado, lo que queda a disposición del usuario final para una evaluación adecuada del nivel predictivo o análisis del modelo. 16
Por su parte, deep learning, en términos simples, corresponde a un tipo de técnica de modelamiento de datos mediante múltiples capas de redes neuronales que corresponden a unidades matemáticas enlazadas. El entrenamiento tiene por objeto ajustar el peso de estos enlaces en base a un conjunto de datos de entrada, para luego funcionar de forma predictiva. 17
Como se ha señalado, este artículo analiza exclusivamente un tipo de ML, los sistemas de tomas de decisiones automatizadas, denominado Automated Decision-Making o Automated Decision Systems (ADM Systems, por sus siglas en inglés) y que agrupa dos tipos de sistemas: 1) aquellos que utilizan modelos algorítmicos para el apoyo de toma de decisiones, que finalmente son definidas por humanos; y 2) sistemas cuyas decisiones son completamente automatizadas (Orwat, 2020). Ambas formas poseen los mismos riesgos en relación con la afectación de grupos protegidos, ya que respecto del caso «semiautomatizado», existe una tendencia comprobada que las personas confían más en un juicio de un algoritmo que en el propio cuando estos no son coincidentes (Eubanks, 2018).
Es importante destacar que los modelos implementados en el mundo real pueden ser estáticos o, la regla general, desplegarse de forma continua. Por ejemplo, los sistemas de recomendación y gran parte de los sistemas de toma de decisiones automatizadas funcionan en tiempo real, por lo que requieren una infraestructura adicional. Asimismo, los ML que funcionan a gran escala, y en particular los sistemas de toma de decisiones, también pueden convertirse en sistemas de aprendizaje dinámico u online, es decir, sistemas en los que los modelos se vuelven a entrenar de forma regular y automática al recopilar nuevos datos ( Lehr y Ohm, 2017 ).
Concepto de IA para propósitos regulatorios
Las escasas propuestas legislativas sobre IA desarrolladas hasta ahora se conceptualizan, principalmente, a partir de una regulación basada en riesgos ( Giuffrida, 2019 ; Schneeberger, Stöger y Holzinger ,2020 )the European Commission published a White Paper on Artificial Intelligence (AI. En términos generales, los marcos regulatorios basados en riesgos tienen dos presupuestos básicos: 1) las normas vinculantes deben hacer referencia concreta a los objetivos a regular y a sus riesgos asociados, y 2) se debe desarrollar un sistema para evaluar dichos riesgos y puntuarlos cuantitativa y cualitativamente. La puntuación permite detectar aquellos sistemas de alto riesgo y regularlos con la finalidad de reducir y minimizar el impacto negativo sobre las personas (Baldwin, Cave y Lodge, 2010).
Sin perjuicio de lo anterior, últimamente se han desarrollado propuestas de marcos regulatorios para sistemas de IA basados en normas vinculantes internacionales sobre derechos humanos ( Yeung, Howes y Pogrebna, 2020 ; Latonero, 2018 ). Esta aproximación se opone a la creencia que la legislación debe tomar un rol secundario a la autorregulación del mercado y que una regulación legal solo se traduzca en soluciones técnicas (Baldwin, Cave y Lodge, 2012). Así, por ejemplo, sistemas de IA que vulneran gravemente derechos humanos, como se ha postulado respecto de sistemas biométricos, 18 deberían ser prohibidos y no secundar una autorregulación del mercado o una regulación técnica que simplemente clasifique a esta tecnología con una puntuación de riesgo. 19
Independiente de qué tipo de regulación se escoja, no se debería hablar de una «definición legal de IA», ya que si bien existen muchas definiciones, ninguna cumple parámetros legales apropiados y cualquier intento definitorio podría ser limitante (Schuett, 2019), en consecuencia, lo óptimo es contar con un concepto de IA para ser considerado en ámbitos regulatorios que debe contemplar: 1) la descripción de sistemas sociotécnicos, ya que junto con el aspecto técnico se despliegan motivaciones propias de las personas que poseen una directa relación en su creación e implementación y dentro de un contexto social particular. La suma de dichos factores, inciden en los diversos impactos sociales adscritos ( Hagerty y Rubinov, 2019 ) y 2) dicho concepto debe ser reflexivo, vale decir, entendiendo que un sistema puede ser usado para diversos propósitos y circunstancias.
¿Cómo discriminan los algoritmos?
Sobre la forma como discriminan los algoritmos, en particular los sistemas de toma de decisiones automatizadas, existen diversas investigaciones y estudios de carácter técnico. Es posible hacer un análisis mediante una clasificación establecida por Barocas y Selbst, complementada luego por Lerh y Ohm ( Barocas y Selbst, 2016 ; Lehr y Ohm, 2017 ). Barocas y Selbst desarrollan un esquema sobre aquellas consideraciones que condicionan la generación de actos discriminatorios, siendo posible resumirlas en la generación de los llamados «sesgos» en los datos, algoritmos y modelos, los cuales pueden ser generados de forma accidental o intencional.
En materia legal «sesgo» se utiliza a menudo como sinónimo de prejuicio o un trato injusto, sin embargo, cuando se habla de sesgos en los modelos de ML se usa una definición estadística que describe un factor que cambia un resultado de cierta forma. Por su parte, otra definición de sesgos usada en ML se refiere a aquellos inconscientes emanados de las personas involucradas en el diseño de los sistemas o implícitos en los datos ( Selbst, 2017 ).
Uno de los «sesgos en los datos» más conocidos es el de recopilación, el cual ocurre por la inferencia de sesgos incrustados en los mismos datos (Mehrabi y otros, 2019). En términos generales, los datos rara vez son neutros, están ligados a experiencias e historias de personas, por lo que reducirlos a modelos matemáticos sin tener en consideración las circunstancias que los rodean con el objeto de darle una aparente neutralidad, lleva ineludiblemente a resultados incompletos y equivocados.
Otro de los sesgos más importantes relacionados con los datos, es el sesgo de representación, el cual puede manifestarse de varias formas. Generalmente, el sesgo de representación se presenta cuando se muestrea solo una parte de una población no siendo luego representativa de la totalidad a la cual el sistema es aplicado, subrepresentando usualmente a grupos vulnerables ( Suresh y Guttag, 2019 ). Este sesgo es muy común en especial en los sistemas de toma de decisiones automatizadas, toda vez que estos son usualmente estandarizados, lo cual se explica por el reducido número de empresas que los desarrollan, no siendo viable técnica ni económicamente la creación de sistemas personalizados para cada usuario, por lo que en general son entrenados con el mismo conjunto de datos no representativos y usados a nivel mundial. Así, por ejemplo, los principales sistemas relacionados con decisiones en el área de la salud han sido entrenados con datos de tres estados norteamericanos ( Kaushal, Altman y Langlotz, 2020 ) los cuales no siendo representativos en su propio país de origen, poseen un riesgo discriminatorio alto, el cual se incrementa y agrava en un contexto geográfico y social diferente ( Creel y Hellman ,2021 ). 20
Respecto de sesgos en los algoritmos y modelos de ML, estos pueden manifestarse en decisión de diseñadores o como consecuencia de los propios límites técnicos de estos sistemas ( Malik, 2020 ), toda vez que corresponden a modelos matemáticos de carácter cuantitativo, por lo que en definitiva hacen una reducción de datos, no siendo capaces de analizar todas las variables presentes en construcciones sociales (tales como peligrosidad, solvencia, enfermedad y también raza y sexo binario). Gran parte de las complejidades humanas que se pierden entre las características en los datos definidas y los resultados obtenidos por este tipo de sistemas.
Detrás de esta reducción, Catherine D’Ignazio y Lauren F. Klein hacen presente que hay una historia de desarrollo relacionado con técnicas heurísticas ampliamente establecidas en tecnología, cuyo fin es llegar a un resultado de forma rápida a través de atajos, lo que en definitiva se traduce en el sentido común. El problema es que el sentido común, tan usado en la política y en los discursos de poder, está cargado de sesgos, tal como lo han demostrado en sus múltiples estudios Daniel Kahneman y Amos Tversky (D’Ignazio y Klein, 2020, cap. 1; Tversky y Kahneman, 1974 ).
De la misma forma, estas autoras señalan que los principales tipos de algoritmos de ML, como los de regresión lineal, fueron desarrollados por los eugenistas del siglo XX 21 y uno de los algoritmos más usados en ML, de agrupamiento jerárquico o clúster, deriva de un modelo de segregación habitacional racista de los años cincuenta (D’Ignazio y Klein, 2020). 22 En particular, estos algoritmos tienen una tendencia o preferencia hacia la optimización de un resultado predefinido y, en consecuencia, generan como contrapartida exclusión.
Asimismo, es importante hacer presente que cuando se habla de «predicción» nos referimos a un resultado de correlaciones y no a una predestinación ( Malik, 2020 ).Las correlaciones como predicciones son sensibles a los cambios de contextos y, por lo tanto, imprecisas. Definir el resultado de correlaciones como predicciones generalizables es extrapolar un resultado fijo que solo es dado para un momento y tiempo determinado, lo cual evidentemente sería ambiguo y limitado ( Lipton, 2018 ).
Estas correlaciones llamadas espurias, sin ninguna causa directa, se basan en constructos o abstracciones, denominados proxies, que intentan traducir conceptos complejos en elementos medibles. La delincuencia, la solvencia, la salud, son abstracciones no elementos físicos, por lo que el análisis medible de estas construcciones sociales por parte de los ML se conciben a través de dichos proxies, los cuales se traducen por ejemplo en, tasas de clicks, códigos postales, cupos de tarjetas de crédito o amigos de Facebook ( Malik, 2020 ). Con frecuencia estos proxies, de forma accidental o intencional, se corresponden con marcadores de características protegidas (determinados clicks pueden marcar una orientación sexual erróneamente, así como un código postal puede marcar una nacionalidad, condición social o etnia equivocada), en consecuencia, además de imprecisos, el uso de proxies fácilmente conlleva arbitrariedades y discriminación.
Sin perjuicio de lo anterior, explicar cómo se produce la discriminación a través de sistemas de IA exclusivamente desde el punto de vista técnico sería una limitación, puesto que como se ha señalado, la IA es un concepto «sociotécnico» que solo se explica teniendo en consideración propósitos, motivaciones y relaciones sociales que influyen en su desarrollo e implementación. En consecuencia, siguiendo la visión de teorías decoloniales (Lander y Castro-Gómez, 2000) y feministas ( Mendez, 2015 ), este análisis debe ser complementado con un cuestionamiento crítico de los impactos negativos de la IA como una manifestación de poder (VeneKlasen y otros, 2002) presente en todas las sociedades (Costanza-Chock, 2020; D’Ignazio y Klein, 2020; Benjamin, 2020 ).
En efecto, a lo largo de los siglos todos los grandes conflictos sociales han estado inexorablemente supeditados a una dinámica de poder y distribución de privilegios de unos sobre otros, que históricamente han generado grupos oprimidos, en constante desventaja, sujetos a discriminaciones y exclusiones. Lo anterior se traduce en que nuestros sistemas sociales y políticos son profundamente injustos y desiguales (Quijano, 2000; Collins, 2002; Freire, 1970).
En concordancia con el punto anterior, una explicación simplemente técnica se transforma en incompleta, ya que lleva a un análisis casuístico y de actos independientes, lo cual ha sido criticado por diversos autores (D’Ignazio y Klein, 2020; Benjamin, 2020 ), puesto que, para una acabada comprensión, se debe entender el problema de la discriminación y los sesgos discriminatorios como una situación estructural, pues así es como ocurre en la sociedad (Young, 2002).
Por su parte, la visión que generalmente se tiene de estas tecnologías es de neutralidad u objetividad. Sin embargo, desde la perspectiva del conocimiento situado (Haraway, 2013), se comprende que la IA en ningún caso es neutra, poseyendo en la práctica una aparente objetividad, siempre desde un punto de vista determinado. En ese sentido, tal como Donna Haraway lo describió respecto de la ciencia, los desarrollos tecnológicos están situados en un contexto donde ha existido históricamente una brecha entre hombres y mujeres, además de exclusión de grupos minoritarios, por lo que esta tecnología se diseña y desarrolla desde una perspectiva particular, la de hombres blancos de elite ( Benjamin, 2020 ), ya que son ellos los que ocupan las posiciones más altas y privilegiadas dentro del campo de los desarrollos tecnológicos (D’Ignazio y Klein, 2020, cap. 1).
Adicionalmente, los sistemas de toma de decisiones automatizadas, cuando están destinados a resolver problemas sociales, son generalmente de carácter punitivo, verbigracia, predictores de riesgos, de delitos o de fraudes, llamando la atención que no se implementen sistemas que tengan fines constructivos, como la rehabilitación o la reducción de desigualdades ( Birhane, 2020 ). A lo anterior se debe agregar que dichos sistemas son dirigidos casi exclusivamente a grupos marginados y vulnerables, pudiendo concluir que su afectación puede estar prácticamente asegurada, así como que su implementación puede transformarse en una forma de dominación, poder o vigilancia encubierta, tal cual funcionan otras herramientas dotadas de IA como la vigilancia masiva ( Yu, 2020 ). Cobraría lógica, a contrario sensu, la inexistencia de sistemas predictivos de fraudes a nivel empresarial o de elite o sistemas predictivos de violencia, delitos o abuso en poblaciones de estratos sociales altos.
Por su parte, cuando los sistemas de IA no benefician a las estructuras de poder, estas los ponen en duda. Un ejemplo se recoge en un reciente artículo ( Malik, 2020 )donde se cita un caso ( Iwanicz-Drozdowska y Witkowski, 2016 ) que describe la respuesta del sector crediticio automotriz estadounidense a un Informe de la Oficina de Protección Financiera del Consumidor, el cual detectó discriminaciones en el otorgamiento de créditos mediante una investigación que usó una metodología de IA sobre inferencia de rasgos no observados mediante proxies. El sector crediticio argumentó que la metodología usada para acusarlos era «una mera conjetura con apariencia sofisticada», siendo que estas son las mismas metodologías usadas para decidir este tipo de créditos.
Finalmente, un ejemplo de un uso derechamente intencional de este tipo de sistemas para propósitos discriminatorios fue conocido a través de un estudio realizado en los Estados Unidos 23 que demostró la existencia de actos discriminatorios como una parte integrante del modelo de negocios de publicidad selectiva de Facebook. Los perfiles creados por inferencia de datos o afinidades que se construyen para cada usuario permiten agruparlos en diversas categorías, que luego Facebook utiliza para ofrecer a sus diversos anunciantes una herramienta que les da la posibilidad de excluir a grupos enteros de acuerdo con las características específicas de los perfiles que reúne (afroamericanos, inmigrantes, orientación sexual, identidad de género, clase social, entre otros), dentro de la categoría «demografía». Esta herramienta impedía que estos grupos de personas tuviesen acceso a diversos anuncios de viviendas en una abierta discriminación, expresamente prohibida de forma legal en los Estados Unidos, debido a una histórica discriminación residencial de carácter racista existente hasta el día de hoy en dicho país. 24
Los desafíos de las normas de no discriminación frente a una discriminación algorítmica
Análisis comparativo situado en Estados Unidos y Europa
En términos generales las normas sobre no discriminación, sin distinción de su procedencia, protegen a las personas, específicamente a aquellas cuyas características las exponen a una probabilidad significativa de estar en desventaja y sufrir menoscabo (Khaitan, 2015); este es el criterio para determinar las denominadas «categorías sospechosas», que describen una pertenencia a grupos en desventaja que merecen una protección reforzada. No obstante, no existe un único concepto de discriminación, ni un único mecanismo establecido para determinar cuándo un acto es discriminatorio, dependiendo en gran medida de la cultura y contexto social.
En efecto, el alcance de las normas de no discriminación está asociado a su contexto histórico y social. De este modo, las normas específicas europeas, que son de reciente data, 25 tomaron como base leyes norteamericanas sobre no discriminación a discapacitados, siendo situadas y contextualizadas desde su perspectiva cultural. En ese sentido y desde el punto de vista cultural, las normas estadounidenses tendrían una connotación sobre la promoción de libertad y elección individual desde una perspectiva de derechos civiles, mientras que las normas europeas se basarían en un carácter de bienestar colectivo desde la justicia social ( De Búrca, 2012 ).
La primera aproximación en temas de discriminaciones es determinar qué se entiende por igualdad. La igualdad es un concepto jurídico que se establece sobre la noción aristotélica de tratar igual a los iguales y desigual a los desiguales (Díaz de Valdés y Manuel, 2015). Aquella fórmula básica, presente en múltiples tratados internacionales, constituciones y normas, es conocida como igualdad ante la ley o igualdad formal, una primera aproximación en la que coinciden gran parte de las legislaciones (Khaitan, 2015).
Dicha definición de igualdad formal necesita ser complementada con estándares externos de justicia para que revele un carácter sustantivo. La primera interpretación de estándar de justicia indica que la igualdad es una garantía de no discriminación hacia grupos vulnerables; es esta la forma como generalmente se conoce y guarda relación con la protección a personas pertenecientes a los referidos grupos protegidos, cuyo análisis se hace a través de una «evaluación de razonabilidad», en el caso de Europa, y un «escrutinio escalonado», en el caso de Estados Unidos ( Ronconi, 2018 ).
Siguiendo con el punto anterior, el concepto clásico de discriminación se define de manera comparativa en los siguientes términos:
Un trato diferente de individuos o grupos basado en criterios arbitrarios adscriptivos o adquiridos, como sexo, raza, religión, edad, estado civil o parental, discapacidad, orientación sexual, opiniones políticas, antecedentes socioeconómicos, afiliación y actividades sindicales. 26
La discriminación puede ser directa, siendo aquella fácilmente detectable y ocurre cuando «una persona es tratada menos favorablemente que otra por motivos de sexo y género, edad, nacionalidad, raza, etnia, religión o creencia, salud, discapacidad, orientación sexual o identidad de género, de lo que es, ha sido o sería tratada otra persona en una situación comparable». 27 En Estados Unidos este tipo de discriminación se denomina tratamiento dispar (disparate treatment).
De la misma forma, la discriminación también puede ser indirecta, la cual ocurre cuando una disposición o práctica aparentemente neutra pone a las personas que comparten una característica protegida en una desventaja desproporcionada en comparación con otras personas (Kitching, 2005). Anuncios de trabajo, de viviendas, el caso Ofqual sobre asignación de calificaciones, son un tipo de discriminación indirecta. Este tipo de discriminaciones en la legislación norteamericana se denomina impacto dispar (disparate impact) y es la regla general en materia de discriminación algorítmica.
Hasta esta clasificación no hay diferencias sustanciales entre la aproximación europea y norteamericana. Las diferencias se aprecian al momento de evaluar o determinar cuándo un acto es discriminatorio. A continuación, se exponen dos sistemas implementados en cada jurisdicción para graficar estas diferencias:
Caso 1, Reino Unido
Joint Council for the Welfare of Immigrants (JCWI), una organización no gubernamental de apoyo a inmigrantes en el Reino Unido, dedujo una demanda en el mes de junio de 2020 contra el Estado por discriminación directa por motivos de raza sobre un grupo de personas migrantes, en violación de la ley de igualdad, 28 norma interna en este país. 29
Según relata en su demanda, desde el año 2015 el Ministerio del Interior del Reino Unido ha utilizado un modelo de riesgo predictivo de ML, Streaming Tool, para evaluar las solicitudes de visa que recibe y clasificarlas en diferentes categorías de riesgo: roja, ámbar o verde. Se llegó a la conclusión de que la nacionalidad de los solicitantes era un factor significativo para la evaluación de riesgo. Los solicitantes de nacionalidades «sospechosas» en igualdad de condiciones que personas de otras nacionalidades, tenían una alta incidencia en recibir una calificación de riesgo alta, a pesar de que consideraciones por nacionalidad para el otorgamiento de visas están prohibidas en dicho país.
En este caso se retrata una discriminación directa contra grupos de población migrante. La discriminación directa se considera una excepción en materia de discriminación algorítmica, sin embargo, según el criterio de las víctimas, este sistema fue implementado con la intención directa de discriminar, usando un mecanismo de refuerzo negativo mediante eventos irracionales e injustos y mecanismos que desincentivaban que una persona tomara una decisión diferente al sistema, puesto que conllevaba una importante carga laboral adicional.
Los tribunales europeos realizan un examen de «razonabilidad» compuesto de varios pasos para evaluar un acto discriminatorio. En primer lugar, se debe determinar si se ha perseguido una finalidad legítima constitucionalmente no prohibida, luego, si no existió algún medio alternativo para lograr el mismo fin y, finalmente, se realiza un análisis sobre proporcionalidad ( Ronconi, 2018 ; Khaitan, 2015).
En este caso en particular, se probó la discriminación utilizando un comparador, esto es, personas con las mismas condiciones pero de otra nacionalidad no asociada a migración, y se hizo un análisis de razonabilidad destacando aquellos puntos por los que se consideró que el funcionamiento del sistema era irracional, particularmente, se hizo presente la existencia de un sistema de refuerzo que se «alimentaba de eventos» irracionalmente injustos, a saber, un evento negativo podría ser una visa vencida, el número de personas que solicitan visa dentro de un tiempo establecido superando cierto umbral o un rechazo anterior, entre otras situaciones que no guardan ninguna racionalidad para ser antecedente posterior de denegación de visas. Luego, a través de pruebas estadísticas se pudo comprobar que el mecanismo de refuerzo del sistema basado en los efectos negativos anteriores imponía condiciones arbitrarias en el análisis de futuras visas para personas de determinados países. 30
Caso 2, Estados Unidos
Allegheny Family Screening Tool (AFST) es un modelo estadístico predictivo de abuso infantil que elabora puntajes sociales de riesgo, de 1 a 20, siendo este último el riesgo más alto. Si el puntaje es alto se activa un sistema de investigación humana. El sistema no predice directamente el abuso infantil, sino que como ya se ha señalado, usa proxies o marcadores que se consideran asociados al mismo, así, por ejemplo, uno de los marcadores iniciales fue el número de llamadas de denuncias, lo cual es resultó un proxy complejo puesto que existe un sesgo en denuncias respecto de familias afrodescendientes tres veces mayor al de familias blancas.
Asimismo, el sistema produce resultados básicamente en función de los datos públicos disponibles, los cuales son en su gran mayoría de personas pobres extraídos de sistemas de asistencia médica pública, sistemas de beneficios sociales, seguros de ingresos suplementarios, entre otros, no teniendo como contrapartida, acceso a datos sobre personas que aceden a servicios privados, es decir, no se cuenta con los datos de aquellas personas que por ejemplo siguen tratamientos de drogas o médicos en establecimientos privados y pueden ser indicadores de abuso infantil. Adicionalmente, según estudios, el porcentaje de predicción correcta ha sido bajo, existiendo muchos falsos positivos y negativos (Eubanks, 2018, cap. 4).
En definitiva, gran parte de las variables de este sistema de riesgo son medidas directas de pobreza, en otras palabras, el sistema tiende a asociar abusos infantiles a pobreza, lo cual es un acto discriminatorio, ya que no analiza un comportamiento concreto, sino que se basa en una condición social, además de atentar contra la dignidad y privacidad de las personas, la salud e incluso la vida ( Gilman, 2020 ). En la ciudad de Illinois se prohibió el uso de un sistema similar 31 luego de que miles de niños fueran erróneamente asignados con alta probabilidad de muerte o lesiones, mientras que muchos niños que murieron o terminaron siendo abusados no fueron alertados a tiempo.
En este segundo ejemplo, se presenta un sistema para el bien social en Estados Unidos, la prevención del abuso infantil, que es aparentemente neutro, al igual que el sistema que determinó los puntajes de acceso universitario en el Reino Unido, pero que aplicado a la generalidad de la población pone a determinados grupos de personas que comparten una característica protegida en una situación de desventaja, pobreza y racismo, evidenciándose en consecuencia, una discriminación indirecta o de impacto dispar ( Suresh y Guttag, 2020 ; Friedler y otros, 2019).
Si bien estos sistemas y sus efectos son reales, en el caso del primero aún se sigue implementando. Para efectos ilustrativos, no tomaremos un caso judicial en particular, sino que ejemplificaremos hipotéticamente cómo se realizaría una evaluación para determinar discriminación en este tipo de sistemas en los tribunales norteamericanos. La Corte Suprema de Estados Unidos distingue «niveles de escrutinio» de mayor o menor exigencia dependiendo del rasgo protegido afectado (Kitching, 2005). Al contrario de lo que ocurre en Europa y en la mayor parte de Latinoamérica, en Estados Unidos existe un listado limitado de rasgos protegidos, algunos de rango constitucional, como la raza y el sexo, y otros de categoría legal, como la discapacidad, siendo aplicadas distintas normas según el acto lo cometa el Estado (norma constitucional) o un particular (leyes especiales) ( Hellman, 2020 a).
En este ejemplo, como es un sistema público, correspondería aplicar la norma constitucional. Si determinamos que la discriminación finalmente guarda relación con un tema de «raza» que se asocia con la clase social, se aplicaría un escrutinio estricto, por el cual se determina un acto discriminatorio sin considerar otras circunstancias como intenciones o proporciones, salvo un interés gubernamental importante, solo siendo necesario probar una razón racista explícita. Si no hay una razón racial explícita, si solo se alega que se discrimina a las personas por una condición social, se aplica un nivel de escrutinio menos estricto y se toman en consideración factores como la intención y otras circunstancias a la hora de evaluar una discriminación algorítmica ( Hellman, 2020 b). Por el contrario, en Europa frente a una discriminación algorítmica indirecta se actúa de la misma forma independientemente del grupo o característica afectada, es decir, se hace un mismo análisis racional y no se considera en estos casos la existencia de una intención en la práctica discriminatoria.
Dificultades y desafíos que enfrentan las actuales normas de No Discriminación
Como se ha señalado, la discriminación como regla general se prueba a través de un comparador. En el primer caso mencionado (Streaming Tool) pudiese ser menos complejo establecer un comparador (una persona de otra nacionalidad en las mismas condiciones), pero en la generalidad de las discriminaciones indirectas encontrar un comparador suele ser una tarea casi imposible, ya que en estos casos las comparaciones son a nivel de grupos de personas en circunstancias muy específicas (Farkas, 2011).
Adicionalmente, algunos autores han señalado que el concepto de características protegidas puede ponerse en tela de juicio y también pueden surgir nuevos y contraintuitivos proxies que pueden ser marcadores de clases protegidas difíciles de detectar (Wachter, Mittelstadt y Russell, 2020)Mittelstadt, y Russell 2020.
Por otra parte, es importante destacar que, dentro de una discriminación mediante sistemas de IA, tanto directa como indirecta, una persona puede ser afectada por error, no perteneciendo a un grupo protegido, pero siendo asociada a alguno. Así, por ejemplo, en el caso de los perfiles de usuarios creados por Facebook, muchos de ellos son «perfiles por afinidad», es decir, no se infieren directamente sobre datos personales sino que agrupan a determinadas personas de acuerdo con intereses asumidos, por lo que poseen altas tasas de imprecisión situación que no estaría contemplada en las actuales normas de no discriminación ni europeas ni norteamericanas ( Wachter, 2020 )
Otro de los grandes problemas es la dificultad que representa para una víctima probar un caso, en primer término, lograr obtener una discriminación prima facie, que es una descripción de un caso al inicio de un juicio acompañado de un nivel de evidencia tal que permita que un tribunal traslade la carga probatoria al acusado (Khaitan, 2015). Esto es esencial sobre todo en una discriminación algorítmica, dada la desventaja mayor en la que se encuentran las víctimas a la hora de aportar pruebas específicas de estos sistemas de características complejas y opacas.
Por su parte, la prueba estadística usada en los casos de discriminación por sistemas de IA, tanto en Europa como Norteamérica, es la de mayor relevancia, ya que se trata de un medio útil cuando disponer de pruebas es un desafío, y además permite exponer desigualdades estructurales ocultas respecto de otras personas ( Goodman y Flaxman, 2017 ). Sin embargo, estas pruebas tienen importantes limitaciones y complejidades, ya que, si bien se han creado métricas y sistemas para esta finalidad, estas dependen de lo que se crea correcto por punto de equidad o justicia, y es aquí donde cobra relevancia el concepto de fairness y lo que representa.
Las métricas de fairness norteamericanas funcionan bajo cierta lógica netamente matemática (Mehrabi y otros, 2019; Xiang y Raji, 2019 b; Green y Hu, 2018 ; Hu y Kohler-Hausmann, 2020 ) que no es completamente aplicable a los niveles de razonamiento subjetivo europeo o latinoamericano, donde aún no existe consenso sobre su equivalente jurídico en español. Lo anterior es de suma importancia, puesto que distintos tipos de sistemas o métricas pueden, para un mismo caso, dar resultados completamente diferentes ( Hellman, 2020 a). Por la importancia y extensión de esta temática particular, corresponde desarrollarla en un estudio independiente.
En conexión con el punto anterior, uno de los mayores problemas se traduce en una falta de transparencia, pero no aquella entendida como el conocimiento completo en detalle de un sistema, sino en términos de contar con información relevante para probar un caso, como antecedentes sobre decisiones tomadas por las personas detrás del desarrollo e implementación de un sistema, las razones de establecimiento de determinados proxies si fuese el caso, en general, información estratégica sobre como el sistema produce resultados discriminatorios, que pueda ser complementada con pruebas estadísticas. No obstante, existen casos en los que puede ser necesario además saber el detalle de componentes de estos sistemas, por ejemplo, en el caso que se requiera analizar un determinado dataset para corroborar sesgos discriminatorios en ellos. En tales circunstancias, pueden existir barreras que se relacionan con derechos de tipo industriales, como los secretos comerciales.
Teoría conceptual sobre discriminación algorítmica situada en América Latina
Como ya se ha señalado, la regulación sobre discriminación está situada dentro de un contexto determinado y, en consecuencia, las normas norteamericanas y europeas tienen distintas aproximaciones y distintas formas de determinar una discriminación algorítmica, siendo una materia esencialmente social. Siguiendo el punto anterior, desde el contexto latinoamericano, si bien contamos con una historia común con el derecho europeo, existen matices legales propios de cada país.
De la misma manera, desde el punto de vista técnico, gran parte de estas investigaciones, estándares y procedimientos sobre sistemas y métricas de detección y mitigación de sesgos, que se usan tanto para prevenir sesgos como para probar un caso en un juicio, se han realizado en Estados Unidos centrados en la detección de discriminación algorítmica relacionada, principalmente, con el racismo contra afrodescendientes (Mehrabi y otros, 2019; Selbst, 2017 ; Hanna y otros, 2020) pudiendo estas herramientas no ser del todo aplicables para otras regiones como Latinoamérica, donde los marcadores racistas pueden ser diferentes.
Así, por ejemplo, un mecanismo para detectar discriminación considerando el tono de piel usado como marcador de racismo, hipotéticamente puede no ser capaz de detectar discriminación en una población donde el tono de piel está compuesto por matices (Mehrabi y otros, 2019). Lo anterior significa no solo que no sería útil, sino que podría generar un resultado de «falso negativo» de discriminación, por lo que se considera primordial el desarrollo de estudios técnicos y legislativos regionales sobre este tema.
En vista de lo anterior, se desarrolla a continuación una caracterización de aquellos elementos distintivos y propios de Latinoamérica en relación con actos discriminatorios que pueden ser relevantes a la hora de evaluar una discriminación algorítmica, pudiendo ser tomados en consideración para futuras evaluaciones legales y técnicas. Para efectos prácticos este análisis se centra en aspectos discriminadores relacionados con el racismo.
Racismo y grupos protegidos latinoamericanos desde la perspectiva interseccional
Si bien los grupos protegidos en América Latina están determinados por tratados internacionales 32
y legislación interna, cobra relevancia en la región su análisis desde una perspectiva interseccional. 33 Para lo anterior, debemos considerar el origen histórico latinoamericano para advertir que la raza como construcción social y la clase (asimismo el género) están profundamente entrelazados, pudiendo en una evaluación algorítmica ser difíciles de detectar o determinar la característica o grupo que se está afectando de forma principal, siendo generalmente la acumulación de varios de ellos. Esta unión de categorías sospechosas tiene su origen en dos eventos históricos ocurridos simultáneamente, la constitución de América y la creación del capitalismo colonial. La clasificación social de la población colonizada sobre la idea de raza sirvió, en primera instancia, de justificación para la nueva dominación europea, practica denominada colonialidad (Mignolo, 2003). Esta distinción produjo nuevas identidades sociales (indios, negros, mestizos) y redefinió conceptos como español o portugués, de simples indicadores geográficos a indicadores jerárquicos de superioridad humana. Esta clasificación por rasgos fenotípicos sirvió, a su vez, para el control y explotación sobre el trabajo, dando paso al desarrollo del reciente capitalismo. Entonces, la clase social y raza quedaron unidas de forma estructural desde su origen (Quijano, 2000) hasta hoy. Estos tipos de discriminaciones, junto con la discriminación por motivo de género tienen un origen estructural, ya que son productos de circunstancias sociales históricas concatenadas, no siendo en ningún caso eventos independientes y esporádicos.
Otra característica de la región, especialmente en los países del pacifico sur, es que las naciones se fueron construyendo socialmente en base a una población mayoritariamente mestiza, quedando compuesta en menor medida por europeos e indígenas, sin embargo, las estructuras jerárquicas racistas que ahora sostenían una nueva economía fueron mantenidas socialmente (Silva y otros, 2018).
El racismo latinoamericano: el daltonismo racial
En países como México ( Moreno Figueroa y Saldívar Tanaka, 2016 ), Colombia, Argentina, Chile y Uruguay, existe una arraigada creencia de superación de los problemas raciales basados en la existencia de un generalizado mestizaje, sin embargo, como se ha mencionado en el párrafo anterior, en estas sociedades se han mantenido las estructuras jerárquicas fundadas en el racismo ( Wade, 2017 ).
Esta disonancia, denominada «daltonismo racial», se caracteriza porque las personas creen que desigualdades, exclusiones y discriminaciones no son un problema de racismo, viéndolo como un problema pasado y explicando cualquier tipo de injustica desde otras perspectivas, tales como consecuencias del mercado, la naturaleza o la suerte ( Bonilla-Silva y Embrick, 2006 ). El daltonismo racial puede dificultar una detección de discriminación algorítmica, ya que es probable que una persona no pueda percibir por si misma que está siendo discriminada por motivos raciales, pudiendo atribuir determinadas situaciones discriminatorias a hechos injustos de la naturaleza o el azar, ya que existe una tendencia en ciertos países latinoamericanos a autoclasificarse como blancos ( Lizcano Fernández, 2005 ).
En contrapartida, esta ceguera de tonalidades exacerba aquellas diferencias que son evidentes, representada en una abierta y aceptada exclusión y discriminación de comunidades indígenas, que actualmente se extiende hacia la nueva población migrante. Las comunidades de pueblos originarios en América Latina han sido fuertemente estereotipadas, asociándolas a determinadas clasificaciones morales ( Espinosa y Cueto, 2014 ).
La académica Safiya Noble ha estudiado la construcción de estos estereotipos en los motores de búsquedas de internet, en cuyos resultados es posible apreciar un sistema jerárquico de privilegio sobre la base de fenotipos, donde las identidades raciales son construidas por «etiquetas» impuestas por un grupo superior (Noble, 2018: 82).
Siguiendo a esta académica, si buscamos en Google imágenes, «hombres chilenos», el resultado que arroja muestra a hombres blancos, sonriendo y posando (no reflejando al común de los hombres chilenos) sin ningún contexto en particular. No aparecen alusiones a la cultura, tradición e historia y los botones de búsqueda adicional sugerida son triviales (jóvenes, famosos, normales, actores).
Si luego buscamos, «hombres mapuches», el resultado de imágenes es diferente, en primer lugar, no aparecen solo hombres (aparecen niños y mujeres también), por lo que no se trata de una búsqueda precisa. La mayor parte de las imágenes representan a personas enojadas o confrontaciones caracterizadas por sus vestimentas y dentro de un contexto cultural exacerbado, los botones de búsqueda adicional sugerida están contextualizado como vestimentas, historia, accesorios mapuches, tradición, guerra.
Al comparar ambos resultados, los hombres mapuches (además de mujeres y niños) son sobrerrepresentados, generándose un estereotipo, personas enojadas, «serias», que se desenvuelven en un contexto cultural determinado alejado de la modernidad. La sobrerrepresentación, como el modo de catalogar y definir a un grupo por parte de otro dominante, por sí mismo constituye un acto discriminatorio (Wieviorka, 2002).
En resumen, una discriminación derivada del uso de un sistema de IA en Latinoamérica posee particularidades propias de la región: 1) en primer lugar, las características sospechosas de raza y clase, así como género, están unidas por complejas capas interseccionales y estructurales, por lo que, además de ocultar al racismo como un elemento cultural relevante, frente a una evaluación de sesgo algorítmico puede ser difícil y confuso determinar qué categoría está siendo afectada; 2) la existencia del «daltonismo racial» dificulta que las propias personas sean conscientes de que están siendo discriminadas, cuestión, por lo demás, arduamente comprobable debido a que muchas prácticas discriminatorias son socialmente aceptadas; 3) los marcadores proxies y parámetros para determinar sesgos discriminatorios en sistemas de IA que se han desarrollado en países del norte global, no son compatibles con la realidad latinoamericana, pudiendo distinguirse marcadores regionales diferentes y propios, entre otros, tonalidades de piel, apellidos, consideraciones fenotípicas como altura, rasgos de ojos, pelo, forma de nariz y, al encontrarse interconectados con la clase, los marcadores como código postal, colegio, nivel de estudios, actividad agrícola son, a su vez, marcadores racistas ( Salgado y Castillo, 2018 ); 4) existe una cierta aceptación social de prácticas discriminatorias respecto de pueblos originarios, lo que también es un elemento característico asociado a las contemporáneas migraciones.
Rescatando la racionalidad y colectividad latinoamericana
Principio relacional: volvamos a ser puentes
Los pueblos originarios en América Latina poseen en común una cosmovisión relacional, que comprende una vivencia en comunidad contraria a todo concepto de individualidad y competencia impuestas desde tiempos coloniales, definiéndose esencialmente como sujetos relacionales ( Meza Salcedo, 2017 ). A pesar de diferencias de lenguajes y culturas, este principio es transversalmente característico y compartido también con pueblos de la lejana África ( Mhlambi, 2020 ). Trabajar y vivir en comunidad, de forma solidaria, con ayuda mutua y horizontalización de las familias, caracteriza a la totalidad de los pueblos originarios de la región (Estermann, 2008). Este artículo propone rescatar este principio filosófico propio de la región que puede servir de fuente para reinterpretar los principios de igualdad y el concepto de discriminación y ser una base para una nueva construcción relacional como sociedad y de cara a la tecnología.
Al respecto, la Comisión Interamericana de Derechos Humanos 34 recientemente ha declarado que los derechos humanos no son conceptos estáticos, debiendo ser reinterpretados constantemente a la luz de los cambios sociales, tomando como regla de interpretación principal «la opción más favorable a la persona», así como la evolución de los derechos fundamentales en el derecho internacional contemporáneo.
La racionalidad nos invita a dejar de ser meros observadores de nuestro entorno y pasar a ser participantes de este, reencontrarnos con el complejo conocimiento ancestral, sintiéndonos a salvo en comunidad con personas y medio ambiente. Desde esa perspectiva, podemos llegar a la conclusión de que no todo es solucionable tecnológicamente (Escobar, 2019), lo cual no significa un rechazo, sino un empoderamiento de decisiones donde se privilegie la cocreación de diseños tecnológicos en beneficio del buen vivir comunitario y de acuerdo al respeto por los más débiles.
Según Francisco Varela la relacionalidad nos invita a dejar de evadir las problemáticas sociales y pasar a ser parte de ellas, construyendo nuestra propia realidad (Varela, Thompson y Rosch, 2017). Desde esa perspectiva el uso generalizado de predicciones no tendría sentido, ya que preponderaría la reflexión y el aprendizaje en conjunto ( Birhane, 2021 ). Desde el principio relacional es posible generar un poder contrarrestante para mitigar los actos discriminatorios, tomando decisiones sobre qué tecnología se requiere y cuáles no son convenientes para oponerse a aquellas que se consideran riesgosas. Es posible elegir el desarrollo de innovación local e inclusiva incorporando el contexto y experiencia de los grupos más vulnerables, generando, en definitiva, una sociedad más justa con nuestras decisiones.
Igualdad como no dominación desde una perspectiva colectiva
Asimismo, es necesario hacer presente que la igualdad debe también ser interpretada desde una visión colectiva. Al respecto, siguiendo las reflexiones de Iris Marion Young, se establece que es una aproximación errada aquella que naturalmente ha considerado la igualdad como principio individual, es decir, cuya evaluación se hace a partir de los individuos ( Young, 2001 ).
En efecto, desde la perspectiva individual no es posible detectar ni evaluar injusticias, ya que se generan juicios sobre obligaciones o suficiencia (una persona no tiene para comer mientras a otras les sobra), pero no se toman en consideración circunstancias o aspectos que unen a estas personas con un grupo específico, siendo posible determinar que un hecho es desigual (una persona pobre versus una persona rica) mas no injusto. En cambio, para determinar que algo es injusto o no, discriminador o no, necesariamente se debe hacer una evaluación a nivel de grupos. Desde esta visión colectiva es posible determinar que las desigualdades sociales, raciales y de género son de carácter estructural, en lugar de actos esporádicos meramente mezquinos o irracionales (Young, 2002).
Por su parte, la igualdad clásica, entendida como no discriminación, tiene un carácter neutro, no toca las estructuras de injusticia social y mantiene el statu quo. Teniendo presente nuestro contexto histórico es preciso entender el principio de igualdad no solo desde una visión colectiva, sino como un principio antisubordinador ( Siegel, 2003 ; Fiss, 2004 ). Aquello significa que el propósito del principio de igualdad va más allá de una garantía contra la discriminación, ya que su finalidad es desmantelar las estructuras sociales que discriminan y excluyen a determinados grupos, lo cual está en línea con el sentido dado recientemente por la Comisión Interamericana de Derechos Humanos. Esta perspectiva de igualdad es significativa a la hora de evaluar discriminación en sistemas algorítmicos, ya que clarifica el hecho de que cualquier trato desigual sobre dichos grupos, mediando o no intención e independiente de análisis evaluativos, no es tolerado y, por lo tanto, debe ser sancionado, puesto que su resultado reproduce y perpetúa las condiciones estructurantes de injustica social.
La discriminación desde una perspectiva colectiva basada en un valor moral
Siguiendo con el punto anterior, la discriminación debe ser entendida, asimismo, desde una visión colectiva, puesto que lo que se afecta es una característica compartida por un grupo de personas, es decir, a todo un conjunto de forma directa al perpetuar y reforzar discriminaciones de carácter estructural.
Asimismo, es menester una concepción de discriminación que pueda hacer frente a nuevas configuraciones, como la discriminación algorítmica, teniendo presente el contexto social pertinente y su evolución. En ese sentido, Issa Kohler Hausmann ha conceptualizado la discriminación como «una acción o práctica que actúa o reproduce un aspecto de una categoría de manera moralmente objetable» ( Kohler-Hausmann, 2019 ).
Según la autora, este concepto tiene un contenido ético complejo, 35 en consecuencia, para determinar si un acto ha sido discriminatorio se debe partir de una norma moral, configurando una explicación constitutiva que describe cómo una acción o práctica es moralmente objetable teniendo en consideración el complejo tramado de significados y relaciones sociales que constituyen la categoría social y su contenido estructural ( Kohler-Hausmann, 2019 ). De esta manera, todas las aprensiones sobre cómo podría responder la legislación frente a nuevos grupos, o formas de discriminar a determinados grupos, quedarían contempladas en esta hipótesis reflexiva.
Esta teoría es crítica de la clásica forma de detectar una discriminación, el modelo causal contrafactual, que se centra en una manipulación de una condición protegida, aislándola de su contexto. En ese sentido, frente a una discriminación por causa de género, la causa «mujer» no puede ser considerada como un hecho aislado, sino que debe ser entendida como una construcción producto de una discriminación histórica, sin ser posible simplificarla ( Hu y Kohler-Hausmann, 2020 ).
Lo anterior es importante a la hora de determinar cuándo se produce una discriminación mediante algoritmos, ya que no cualquier modelo de ML, y en particular aquél basado en sistemas de equidad que permiten una prueba estadística, es capaz de reflejar estas construcciones sociales. Por lo tanto, estos métodos cuantitativos necesariamente deben ser complementados con otros de carácter cualitativo.
Aportes de la teoría situada al análisis y fortalecimiento de la legislación: el caso de Chile
En Chile, al igual que en el resto de América Latina, la igualdad formal se encuentra protegida a nivel constitucional, específicamente en los artículos 1, 2 y 19 de la Constitución Política de la República de Chile. Esta clásica definición de igualdad desde la perspectiva personal o individual comprende: 1) la igualdad ante la ley, referida a la igualdad de trato en situaciones similares, y 2) la igualdad en la ley, que es la expresión sustantiva del derecho, igualdad entendida como no discriminación (Nogueira Alcalá, 2006).
Respecto de normas de rango legal, en el año 2012, con el objeto de establecer una normativa especial que reemplazara la función del recurso de protección constitucional por discriminación arbitraria, debido a su poca efectividad y su naturaleza tutelar, que no es compatible con el conocimiento de juicios complejos, entró en vigor la Ley 20.609 que Establece Medidas contra la Discriminación. Esta ley se complementa con la normativa en materia laboral de no discriminación, que posee actualmente una protección de carácter constitucional, denominada «tutela laboral» que, según ha establecido la jurisprudencia, es de amplio espectro, definiéndose que esta discriminación corresponde a cualquier exclusión o menoscabo en el trabajo fundado en criterios distintos de la capacidad o idoneidad del trabajador ( Rojas Miño, 2020 ). Este concepto bastante amplio se adecúa a la interpretación de la definición de discriminación establecida en el punto anterior.
Por su parte, la referida ley sobre no discriminación arbitraria, define este concepto como toda distinción, exclusión o restricción que carezca de justificación razonable y que cause privación, perturbación o amenaza en el ejercicio legítimo de los derechos fundamentales establecidos en la Constitución Política de la República o en los tratados internacionales sobre derechos humanos. Luego señala que se consideran razonables las distinciones, exclusiones o restricciones que se encuentren justificadas en el ejercicio legítimo de otro derecho fundamental.
Teniendo presente esta normativa, se puede concluir que actualmente no existe en Chile una protección adecuada respecto de la gran mayoría de los casos de discriminación en base a sistemas automatizados de tomas de decisiones basados en IA, ya que derechamente esta norma no contempla la hipótesis de discriminación indirecta. En ese mismo sentido, denotando su carácter individual, una acción de no discriminación en virtud de esta ley, solo puede ser interpuesta por una sola víctima, contraria a la común ocurrencia, donde las víctimas son generalmente un grupo de personas.
En ese sentido, esta ley presenta profundas falencias. Posee un contenido netamente procesal, estableciéndose en su artículo 1 que su objeto es la instauración de un mecanismo judicial frente a un acto de discriminación arbitraria, en circunstancias en que por su naturaleza esta materia es de contenido sustantivo.
Adicionalmente, esta norma posee disposiciones que desincentivan el ejercicio de la acción, propiamente tal, como la falta de contemplación de indemnización reparatoria de perjuicios, y, por el contrario, se dispone una indemnización imputada a aquel demandante que obtenga un fallo adverso. De la misma manera, no contempla ninguna regla sobre la carga probatoria, por lo que se debe aplicar las normas generales del Código Civil, que deja la carga probatoria a quien presenta la acción. Todo lo anterior genera un escenario complejo y desventajoso para las víctimas de discriminaciones de cualquier naturaleza, y por sobre todo en materias de IA debido a la dificultad adicional de acceder a información relevante respecto de sistemas que por su naturaleza son opacos. En consecuencia, frente a una discriminación a través de un sistema de IA, al menos fuera del ámbito laboral donde podría ser discutible, existe actualmente en Chile una total desprotección legal que no es proporcional al creciente exponencial del uso de este tipo de sistemas, específicamente en grupos vulnerables.
Sin perjuicio de lo anterior, existe actualmente un proyecto de ley que modifica y fortalece la Ley 20.609 (Boletín 12.748-17), el cual está actualmente en trámite legislativo. Este proyecto de ley además de fortalecer en términos generales la protección de las personas frente a actos discriminatorios, protege asimismo contra discriminaciones algorítmicas. Sobre este carácter, se hacen presente las siguientes consideraciones:
Dentro del proyecto es posible encontrar la dimensión antisubordinadora del principio de igualdad y no solo consagrada como garantía de no discriminación. En efecto, el proyecto modifica el objetivo de la norma indicando que «tiene por finalidad la erradicación, prevención, sanción y reparación de toda discriminación en contra de cualquier persona o grupo de personas». En consecuencia, frente a una discriminación algorítmica, el mero hecho de reproducir una injusticia, aun cuando no fuese intencionada, se castigará, ya que este acto promueve y perpetúa las estructuras sociales que el principio de igualdad busca desmantelar. Sin embargo, considerando que la razón de la subordinación es desmantelar discriminaciones estructurales, se hace necesario, además, la creación de una institución independiente, con autonomía, que cumpla funciones fiscalizadoras, preventivas y educativas para lograr sus fines (artículo 1).
Definición de discriminación arbitraria: el nuevo proyecto de ley entiende por discriminación arbitraria toda distinción, exclusión, preferencia o restricción carente de justificación razonable, que tenga por objetivo o resultado la perturbación o amenaza en el ejercicio legítimo de los derechos fundamentales. Dichas distinciones, preferencias o restricciones «merecerán particular reproche» cuando se funden en un listado no taxativo de características sospechosas. De esta definición, la expresión «merecerán particular reproche» se sugiere ser eliminada en la propuesta final, toda vez que puede prestarse para interpretar que la norma ampara a otros grupos distintos de aquellos protegidos por encontrarse en una situación de vulnerabilidad, lo cual es contrario al derecho internacional y la generalidad del derecho comparado, ya que la esencia de una norma de no discriminación es la protección exclusiva de grupos en desventaja (artículo 2).
El proyecto de ley establece y define una discriminación indirecta como aquella que se produce, en la esfera pública o privada, cuando una disposición, un criterio o una práctica aparentemente neutra, es susceptible de implicar una desventaja particular para las personas que pertenecen a un grupo específico. También define la discriminación estructural, que es aquella de carácter grave que se ejerce en perjuicio de grupos vulnerables por su condición, situación social, económica o cultural, quienes han sido históricamente marginados, excluidos o discriminados en sus circunstancias materiales. Si bien lo anterior está en línea con la definición dada en el capítulo previo, tanto de igualdad como de discriminación, en el sentido de no centrar estos conceptos en un elemento comparativo, sino entendiendo las categorías como construcciones sociales creadas por injusticias estructurales, una descripción con todos estos elementos incluidos dentro de una sola clasificación de discriminación directa e indirecta hubiese sido suficiente y más clara para la ciudadanía (artículo 2b). Hace referencia a un mecanismo similar de «justificación de razonabilidad europeo», que comprende finalidad legítima constitucional, determinar que los medios para alcanzar dicha finalidad sean necesarios y que no generen estigmatización o menoscabo. En este caso se deben tomar los mismos resguardos que en el derecho europeo, en el sentido que las métricas y parámetros evaluativos norteamericanos pueden no encajar bien en un sistema de razonabilidad subjetiva, teniendo en consideración, además, las particularidades de grupos protegidos en Latinoamérica, que como se ha mencionado pueden determinar marcadores y proxies racistas no codificados por los sistemas de medición de sesgo algorítmico diseñados en países como Estados Unidos.
Establece una pluralidad de víctima, también el ejercicio de acciones de interés colectivo o difuso de uno o más grupos o colectivos discriminados; la acción también podrá ser presentada por personas jurídicas sin fines de lucro, constituida a lo menos con tres meses de anterioridad a la presentación de la acción (artículo 4).
Es importante definir claramente quiénes pueden representar a las víctimas en un proceso por actos discriminatorios, además de su representante legal, tanto de forma individual como colectiva, por la complejidad del tema. En particular, en materias de IA deben ser limitados a agrupaciones idóneas y con conocimiento de esta temática. De lo contrario las víctimas podrían recibir una asesoría deficiente, por falta de experiencia, o ser revictimizadas, esta vez debido a abusos por parte de personas inescrupulosas.
La regla general es que cuando hablamos de actos discriminatorios efectuados por la acción de un sistema de IA no existe intencionalidad. 36 Esto es una diferencia relevante con los actos discriminatorios hechos por personas. Las personas discriminan con intencionalidad negativa, por ejemplo, por racismo o prejuicio, pero en el caso de la IA operan muchas veces sesgos de forma incrustada, lo que pudiese parecer una discriminación más abstracta y por lo tanto difícil de probar (Wachter, Mittelstadt y Russell, 2020)Mittelstadt, y Russell 2020. Este principio debería quedar expresamente establecido en la ley nacional del ramo.
En ese sentido, es de toda lógica que la evaluación se determine de acuerdo con una norma moral y un análisis contextual social, lo cual desde el punto de vista de la discriminación algorítmica permite llenar vacíos en las actuales normas del derecho comparado, en complemento con las pruebas estadísticas de acuerdo a la interpretación de discriminación descrita en el acápite anterior.
No existe mención a pruebas estadísticas en el proyecto de ley quedando como una responsabilidad de los tribunales determinar a través de la jurisprudencia los parámetros evaluativos de esta prueba, para lo cual cobran relevancia las características particulares de la región latinoamericana, la identificación de características interseccionales y proxies o marcadores raciales determinados. Deberían ser reemplazados por un enfoque más coherente que contenga modelos cuantitativos, cualitativos y relacionales.
El proyecto de ley contempla la configuración de discriminación de prima facie si a partir de los antecedentes aportados al momento de ingresar la acción, el juez estima la existencia de fundamento plausible de que se ha producido una acción u omisión que importe una diferencia de trato, por lo que así lo señalará al momento de recibir la causa a prueba y corresponderá al denunciado explicar los fundamentos de las medidas adoptadas y de su proporcionalidad (artículo 10), así como un mecanismo indemnizatorio (artículo 14).
Finalmente, en vista al carácter antisubordinador del principio de igualdad, se hace necesario contar con una institucionalidad autónoma para desarrollar dicho carácter, que cumpla funciones fiscalizadoras y educativas, incorporando auditorias y evaluaciones de impactos algorítmicos. Es así como en Canadá ( McKelvey y MacDonald, 2019 ), por ejemplo, existe una normativa especial e independiente de regulación de sistemas de toma de decisiones automatizadas que incorporan auditorias, registros y evaluaciones de impacto algorítmicas. La evaluación de impacto es de gran relevancia en temas de IA, ya que es posible corregir y prevenir consecuencias negativas y documentar y registrar detalles de proceso que pueden ser utilizados como información estratégica frente a un caso efectivo de discriminación.
Conclusiones
A través del análisis sobre las particularidades técnicas y legales de una problemática compleja y la propuesta de una teoría conceptual sobre discriminación mediante sistemas de IA de tomas de decisiones automatizadas desde la perspectiva latinoamericana, es posible contar con una clara perspectiva sobre cómo funciona nuestra sociedad. En ese sentido, la IA tiene la cualidad paradojal de descubrir la existencia de estructuras de injusticias creadas a lo largo de la historia y de discriminaciones igualmente estructurales que afectan injustamente a un gran número de personas.
En vista de lo anterior y el hecho de que, como se ha comprobado, estamos frente a una temática contextual y social, se hace necesario el desarrollo de investigaciones y propuestas técnicas y regulatorias sobre el análisis de sesgos algorítmicos en Latinoamérica que no solo tengan en consideración particularidades propias de la región, sino que, tomando en cuenta el principio relacional, se propongan como objetivo principal el beneficio comunitario, en particular, el cuidado de aquellos más vulnerables.
En términos particulares, en materia normativa vinculante chilena, se hace indispensable contar con una protección legal contra discriminaciones algorítmicas que sea parte de un marco regulatorio mayor, compuesto por normas existentes y propuestas futuras que tengan por finalidad regular de forma efectiva sistemas de IA que impacten directamente a las personas.
