DIREITO À REPARAÇÃO EM CASOS DE ALGORITMOS DISCRIMINATÓRIOS

QUANDO OS DADOS FALHAM - O DEVER DE REPARAR EM UMA ERA DE DECISÕES AUTOMATIZADAS

Resumo

A crescente adoção da inteligência artificial (IA) em sistemas decisórios automatizado tem provocado transformações profundas em diversas áreas, incluindo o Poder Judiciário. Embora prometa eficiência, celeridade e racionalização de processos, seu uso indiscriminado e sem regulação pode revelar vulnerabilidades éticas, técnicas e jurídicas, sobretudo quando os algoritmos reproduzem ou amplificam preconceitos sociais e históricos. Este resumo propõe uma reflexão crítica sobre o direito à reparação das vítimas afetadas por decisões automatizadas que violem direitos fundamentais, especialmente a dignidade da pessoa humana. A análise parte da constatação de que os algoritmos não são neutros. São treinados com base em dados históricos que podem refletir desigualdades estruturais, como racismo e discriminações de gênero ou estigmas sociais. Um exemplo paradigmático é o caso do software norte-americano COMPAS, utilizado para prever reincidência criminal: atribuiu pontuações de risco mais elevadas a réus negros em comparação a brancos com histórico semelhante, gerando decisões judiciais mais severas e comprometendo a imparcialidade. No contexto brasileiro, episódios envolvendo o uso de reconhecimento fácil em investigações penais também reforçam a urgência do tema, principalmente contra pessoas negras que foram confundidas com suspeitos com base em sistemas de identificação deficiente, imperfeito e incompleto, sem olvidar acerta dos bancos de dados limitados. Em outra caso emblemático registrado em 2023, um juiz brasileiro utilizou inteligência artificial para redigir parte de uma decisão judicial, na qual citou jurisprudência inexistente, supostamente gerada por um sistema automatizado. O Conselho Nacional de Justiça (CNJ) instaurou procedimento investigativo, revelando a dimensão do risco institucional e jurídico de uso irresponsável dessa tecnologia, sobretudo sem mecanismos adequados de verificação e controle. Tais episódios evidenciam não apenas falhas técnicas, mas um desafio mais profundo e complexo: a responsabilização por danos gerados por decisões influenciadas e/ou tomadas por inteligência artificial. Afinal, quando decisões injustas derivam da utilização de sistemas algorítmicos, a quem incube a responsabilização pela reparação do dano: o programador, o Estado ou o agente público. O artigo analisa os principais obstáculos enfrentados pelas vítimas de decisões automatizadas buscando a reparação dos danos suportados, haja vista a dificuldade em demonstrar o nexo de causalidade, além da opacidade dos algoritmos (as chamadas “caixas-pretas”) e a ausência de normas claras sobre responsabilização por danos causados por IA. Verifica-se, portanto, lacuna jurídica nessa seara, tendo em vista que o marco jurídico brasileiro ainda é insuficiente para cuidar de tais situações, sendo indispensável desenvolver diretrizes legais específicas que garantam, não só a transparência e o controle humano sobre sistemas automatizados, mas também mecanismos eficazes de responsabilização e reparação. Desta forma, princípios constitucionais e a justiça substantiva devem permear os sistemas de IA, com vistas a proteger os indivíduos em face de algoritmos discriminatórios, pois a questão ética se sobrepõe a eficiência técnica ou de governança digital, posto se tratar de compromisso com os valores fundamentais do Estado Democrático de Direito Constitucional.