El sesgo de representación se basa en el mismo principio que explicamos en la sección anterior, la falsa creencia de que los datos son neutros y capaces de tomar decisiones automatizadas “democráticas”, pero estos están alimentados de información humana. A esto le llamamos desigualdad estructural y se define como una condición en la que a una categoría de personas se le atribuye un estatus desigual en relación con otras categorías de personas, y esta relación se perpetúa y refuerza mediante una confluencia de relaciones desiguales en roles, funciones, decisiones, derechos y oportunidades.
Este asunto cobra importancia cuando estos sistemas toman decisiones, lo que más bien entendemos como correlaciones entre diferentes patrones, y estas tienen efectos reales en las personas. Por ejemplo, en la asignación de recursos, en la planificación de programas sociales o en la comprensión de la realidad de ciertos grupos sociales. Catherine Muñoz Gutiérrez en su texto “La discriminación en una sociedad automatizada: Contribuciones desde América Latina” (2021) nos dice que estas correlaciones llamadas espurias se basan en constructos o abstracciones, denominados proxies, que intentan traducir conceptos complejos en elementos medibles. Por lo tanto, el análisis medible de estas construcciones sociales se concibe a través de dichos proxies y, en consecuencia, además de imprecisos, el uso de proxies fácilmente conlleva arbitrariedades y discriminación. Es decir, una persona se puede clasificar como “de riesgo” simplemente por información incidental que se agregó a su perfil digital.
Hay un amplio número de casos relacionados con este tema. Kuhlman, Jackson y Chunara (2020) en su texto “No Computation without Representation: Avoiding Data and Algorithm Biases through Diversity” mencionan dos ejemplos muy conocidos. Por un lado, los programas de reconocimiento facial muestran una mayor rapidez en reconocer a personas de piel blanca y rasgos eurocéntricos, pero presentan dificultades al intentar reconocer a poblaciones diversas debido a la falta de representación de rostros femeninos y de piel oscura. Por otro lado, podemos encontrar otro ejemplo en el procesamiento de lenguaje natural. Según el informe “Detecting and mitigating bias in natural language processing” (2021), diferentes patrones lingüísticos que son característicos de un género, nivel socioeconómico o grupo cultural/étnico, pueden ser detectados y utilizados en los procesos de contratación (con el caso de Amazon como ejemplo). Estos patrones se utilizan para tomar decisiones respaldadas por la automatización y, por ende, la supuesta neutralidad, lo que resulta en la pérdida de oportunidades laborales para las minorías.