O que é o Novo Código Jim? A tecnologia é realmente justa e objetiva? Os algoritmos simplesmente processam números e fornecem resultados com base em dados?
Ruha Benjamin apresenta um conceito preocupante chamado "o Novo Código Jim" em seu argumento de que os sistemas digitais perpetuam a desigualdade. Continue lendo para saber como tecnologias aparentemente neutras podem estar remodelando discretamente quem tem oportunidades e quem é deixado para trás.
O que é o novo código Jim?
Benjamin afirma que entramos em uma nova fase na evolução do racismo. Ela chama isso de "o Novo Jim Code", um termo que ecoa o "Novo Jim Crow" de Michelle Alexander para enfatizar a continuidade dos mecanismos de controle racial ao longo da história americana. Essa última iteração envolve o racismo incorporado em tecnologias e algoritmos digitais. Os exemplos incluem software de reconhecimento facial que tem dificuldade para identificar com precisão rostos de pele mais escura e algoritmos de avaliação de risco que sinalizam desproporcionalmente indivíduos negros como de "alto risco" para cometer crimes.
A tecnologia digital medeia cada vez mais o acesso a oportunidades e recursos, portanto, quando esses sistemas incorporam preconceitos raciais, eles exacerbam as desigualdades. Considere os algoritmos de saúde que determinam o atendimento ao paciente: Quando esses sistemas usam gastos médicos anteriores como indicador de necessidade médica, eles recomendam menos cuidados para pacientes negros do que para pacientes brancos com os mesmos sintomas - não porque os pacientes negros sejam mais saudáveis, mas porque o racismo histórico no setor de saúde fez com que eles tivessem menos acesso a tratamentos caros no passado. Da mesma forma, os algoritmos de empréstimos hipotecários treinados com base em dados históricos de empréstimos podem perpetuar décadas de redlining, negando empréstimos a candidatos qualificados em bairros predominantemente negros.
(Nota breve: os algoritmos de saúde atuais são um capítulo moderno em uma longa história de injustiça racial na medicina. Por exemplo, os negros americanos escravizados foram usados como cobaias experimentais a contragosto por médicos brancos, e J. Marion Sims, muitas vezes chamado de "o pai da ginecologia americana", aperfeiçoou suas técnicas cirúrgicas operando mulheres escravizadas sem anestesia. Da mesma forma, as células cancerosas de Henrietta Lacks foram coletadas sem consentimento em 1951 e se tornaram a base para inúmeros avanços médicos, mas sua família não recebeu nenhuma compensação ou reconhecimento por décadas. Essa exploração criou um conhecimento médico que beneficiou principalmente os pacientes brancos, estabelecendo padrões de atendimento desigual que continuam até hoje).
A invisibilidade do novo código Jim
Benjamin argumenta que o New Jim Code é particularmente insidioso porque pensamos na tecnologia como neutra, objetiva e justa. Ela explica que os algoritmos que impulsionam a tecnologia moderna operam por meio de números, estatísticas e códigos, e não por meio de categorias raciais explícitas, de modo que seus resultados parecem orientados por dados e não baseados em opiniões. Esse verniz de autoridade científica protege os resultados discriminatórios do exame minucioso: É mais provável que questionemos o julgamento de um gerente de contratação do que a determinação de um algoritmo de que determinados candidatos "não são adequados". A complexidade da tecnologia também cria uma negação plausível: Os desenvolvedores podem alegar que nunca programaram o algoritmo para discriminar, mesmo quando é exatamente isso que ele faz.
Por esses motivos, muitas pessoas rejeitam a ideia de que a tecnologia pode perpetuar o racismo. Entretanto, Benjamin argumenta que um sistema não precisa ser construído por alguém com animosidade racial explícita ou intenção maliciosa para produzir resultados racistas. Ela entende o racismo como uma força sistêmica e não como uma atitude pessoal e argumenta que devemos julgar os sistemas por seus efeitos e não por suas intenções.
| Como os algoritmos codificam o preconceito? Benjamin's "New Jim Code" argumenta que algoritmos aparentemente neutros podem perpetuar as desigualdades raciais. Mas o que exatamente é um algoritmo e como os cálculos matemáticos podem ser tendenciosos? Um algoritmo é simplesmente um conjunto de regras ou instruções para resolver um problema ou executar uma tarefa. Na computação, os algoritmos processam entradas (dados) para produzir saídas (decisões ou recomendações) com base em critérios predefinidos. Embora as operações matemáticas em si possam ser neutras, vários mecanismos podem introduzir preconceitos. Primeiro, os algoritmos fazem suposições sobre o que é "normal" com base em padrões em seus dados de treinamento. Um sistema de reconhecimento facial treinado principalmente em rostos brancos desenvolve um modelo matemático otimizado para reconhecer características comuns a esses rostos. Quando apresentado a rostos de pele mais escura, ele pode ter um desempenho ruim porque seu modelo não está calibrado para esses recursos. Em segundo lugar, muitos algoritmos usam "filtragem colaborativa" para fazer recomendações com base em padrões de similaridade entre os usuários. Isso introduz vieses: Esses algoritmos tendem a recomendar itens já populares, têm dificuldade com novos itens que têm poucas classificações e criam recomendações cada vez mais homogêneas ao longo do tempo. As pessoas que não correspondem aos padrões mais comuns nos dados sofrem o impacto desses vieses matemáticos. Por exemplo, se um algoritmo souber que, historicamente, os candidatos a emprego mais bem-sucedidos frequentaram universidades da Ivy League, ele dará prioridade aos formados nessas instituições, criando uma desvantagem para os candidatos que frequentam faculdades historicamente negras ou faculdades comunitárias. Quando os algoritmos fazem previsões tendenciosas que influenciam as decisões do mundo real (como quem obtém empréstimos, empregos ou assistência médica), essas decisões geram novos dados que reforçam a tendência original. Isso cria um ciclo de auto-reforço de discriminação tecnológica que parece objetivo porque é expresso por meio de fórmulas matemáticas. |
Benjamin argumenta que a combinação da objetividade percebida e da opacidade técnica torna a discriminação racial no âmbito do New Jim Code mais difícil de identificar e contestar do que muitas manifestações passadas de racismo. O Novo Código Jim opera em praticamente todos os domínios da vida moderna - desde saúde, educação e emprego até moradia, justiça criminal e serviços sociais -, o que o torna potencialmente a iteração de racismo mais difundida e difícil de contestar até hoje.
(Nota breve: a maioria de nós não se dá conta de quantas decisões são agora mediadas por algoritmos: solicitações de cartão de crédito, triagem de candidaturas a empregos, admissões em faculdades, diagnósticos médicos, sentenças criminais, recomendações de conteúdo, elegibilidade para assistência social, aprovações de hipotecas, taxas de seguro e publicidade direcionada. Como Hannah Fry (Hello World) observa: "Convidamos esses algoritmos para nossos tribunais, hospitais e escolas, e eles estão tomando essas pequenas decisões em nosso nome que estão sutilmente mudando a forma como nossa sociedade está operando". As pessoas raramente sabem quando foram prejudicadas por um algoritmo, o que torna esses sistemas particularmente difíceis de serem contestados em comparação com as práticas abertamente discriminatórias do passado).
