¿Qué es el Nuevo Código Jim? ¿Es la tecnología realmente justa y objetiva? ¿Se limitan los algoritmos a hacer números y ofrecer resultados basados en datos?
Ruha Benjamin introduce un inquietante concepto denominado "el nuevo código Jim" en su argumento de que los sistemas digitales perpetúan la desigualdad. Sigue leyendo para saber cómo tecnologías aparentemente neutras pueden estar modificando silenciosamente quién tiene oportunidades y quién se queda atrás.
¿Qué es el nuevo Código Jim?
Benjamin sostiene que hemos entrado en una nueva fase de la evolución del racismo. Lo denomina "el nuevo código Jim", un término que se hace eco del "nuevo Jim Crow" de Michelle Alexander para subrayar la continuidad de los mecanismos de control racial a lo largo de la historia estadounidense. Esta última iteración implica el racismo incrustado en tecnologías y algoritmos digitales. Ejemplos de ello son los programas de reconocimiento facial que no identifican con precisión los rostros de piel más oscura y los algoritmos de evaluación de riesgos que señalan desproporcionadamente a los negros como personas de "alto riesgo" de cometer delitos.
La tecnología digital media cada vez más el acceso a oportunidades y recursos, de modo que cuando estos sistemas incorporan prejuicios raciales, exacerban las desigualdades. Pensemos en los algoritmos sanitarios que determinan la atención al paciente: Cuando estos sistemas utilizan el gasto médico anterior como indicador de la necesidad médica, recomiendan menos atención a los pacientes negros que a los blancos con los mismos síntomas, no porque los pacientes negros estén más sanos, sino porque el racismo histórico en la atención sanitaria significaba que tenían menos acceso a tratamientos caros en el pasado. Del mismo modo, los algoritmos de concesión de préstamos hipotecarios basados en datos históricos pueden perpetuar décadas de discriminación al denegar préstamos a solicitantes cualificados en barrios predominantemente negros.
(Nota breve: Los algoritmos sanitarios actuales son un capítulo moderno de una larga historia de injusticia racial en la medicina. Por ejemplo, los médicos blancos utilizaron a los negros esclavizados como sujetos experimentales sin su consentimiento, y J. Marion Sims, a menudo llamado "el padre de la ginecología estadounidense", perfeccionó sus técnicas quirúrgicas operando a mujeres esclavizadas sin anestesia. Del mismo modo, las células cancerosas de Henrietta Lacks fueron extraídas sin consentimiento en 1951 y se convirtieron en la base de innumerables avances médicos, aunque su familia no recibió ninguna compensación ni reconocimiento durante décadas. Tal explotación creó conocimientos médicos que beneficiaron principalmente a los pacientes blancos, al tiempo que establecieron pautas de atención desigual que continúan hoy en día).
La invisibilidad del nuevo código Jim
Benjamin sostiene que el Nuevo Código Jim es especialmente insidioso porque pensamos que la tecnología es neutral, objetiva y justa. Explica que los algoritmos que impulsan la tecnología moderna funcionan mediante números, estadísticas y códigos, y no mediante categorías raciales explícitas, por lo que sus resultados parecen basados en datos y no en opiniones. Este barniz de autoridad científica protege los resultados discriminatorios del escrutinio: Es más probable que cuestionemos el juicio de un director de recursos humanos que la determinación de un algoritmo de que ciertos candidatos "no encajan". La complejidad de la tecnología también crea una negación plausible: Los desarrolladores pueden afirmar que nunca programaron el algoritmo para discriminar, incluso cuando eso es precisamente lo que hace.
Por estas razones, muchas personas rechazan la idea de que la tecnología pueda perpetuar el racismo. Sin embargo, Benjamin sostiene que un sistema no tiene por qué ser construido por alguien con una animadversión racial explícita o una intención maliciosa para producir resultados racistas. Entiende el racismo como una fuerza sistémica más que como una actitud personal y sostiene que deberíamos juzgar los sistemas por sus efectos más que por sus intenciones.
| ¿Cómo codifican los algoritmos los prejuicios? El "Nuevo código Jim" de Benjamin sostiene que los algoritmos aparentemente neutros pueden perpetuar las desigualdades raciales. Pero, ¿qué es exactamente un algoritmo y cómo pueden estar sesgados los cálculos matemáticos? Un algoritmo es simplemente un conjunto de reglas o instrucciones para resolver un problema o realizar una tarea. En informática, los algoritmos procesan entradas (datos) para producir salidas (decisiones o recomendaciones) basadas en criterios predefinidos. Aunque las operaciones matemáticas en sí mismas pueden ser neutrales, hay varios mecanismos que pueden introducir sesgos. En primer lugar, los algoritmos hacen suposiciones sobre lo que es "normal" basándose en los patrones de sus datos de entrenamiento. Un sistema de reconocimiento facial entrenado principalmente con rostros blancos desarrolla un modelo matemático optimizado para reconocer rasgos comunes a esos rostros. Cuando se le presentan rostros de piel más oscura, puede obtener malos resultados porque su modelo no está calibrado para esos rasgos. En segundo lugar, muchos algoritmos utilizan el "filtrado colaborativo" para hacer recomendaciones basadas en patrones de similitud entre usuarios. Esto introduce sesgos: Estos algoritmos tienden a recomendar artículos que ya son populares, tienen problemas con los nuevos artículos que tienen pocas valoraciones y crean recomendaciones cada vez más homogéneas con el tiempo. Las personas que no coinciden con los patrones más comunes de los datos son las más afectadas por estos sesgos matemáticos. Por ejemplo, si un algoritmo se entera de que, históricamente, la mayoría de los solicitantes de empleo con éxito asistían a universidades de la Ivy League, dará prioridad a los graduados de esas instituciones, creando una desventaja para los candidatos que asisten a universidades históricamente negras o a colegios comunitarios. Cuando los algoritmos hacen predicciones sesgadas que influyen en las decisiones del mundo real (como quién obtiene préstamos, empleos o atención sanitaria), esas decisiones generan nuevos datos que refuerzan el sesgo original. Esto crea un ciclo de discriminación tecnológica que se refuerza a sí mismo y que parece objetivo porque se expresa mediante fórmulas matemáticas. |
Benjamin sostiene que la combinación de objetividad percibida y opacidad técnica hace que la discriminación racial bajo el Nuevo Código Jim sea más difícil de identificar y cuestionar que muchas manifestaciones pasadas de racismo. El Nuevo Código Jim opera prácticamente en todos los ámbitos de la vida moderna -desde la sanidad, la educación y el empleo hasta la vivienda, la justicia penal y los servicios sociales-, lo que lo convierte potencialmente en la iteración de racismo más omnipresente y difícil de cuestionar hasta la fecha.
(Nota breve: la mayoría de nosotros no nos damos cuenta de cuántas decisiones se toman ahora a través de algoritmos: solicitudes de tarjetas de crédito, selección de solicitudes de empleo, admisiones universitarias, diagnósticos médicos, sentencias penales, recomendaciones de contenidos, derecho a la asistencia social, aprobación de hipotecas, tarifas de seguros y publicidad dirigida. Como señala Hannah Fry (Hola Mundo), "Hemos invitado a estos algoritmos a nuestros tribunales, hospitales y escuelas, y están tomando estas pequeñas decisiones en nuestro nombre que están cambiando sutilmente el funcionamiento de nuestra sociedad". La gente rara vez sabe cuándo se ha visto perjudicada por un algoritmo, lo que hace que estos sistemas sean especialmente difíciles de cuestionar en comparación con las prácticas abiertamente discriminatorias del pasado).
