Context-Based Association Strength: Uma Abordagem Probabilística para Análise de Viés
Métricas de Avaliação, Detecção de Viés, Justiça Contextual, Viés Interseccional, Modelos de Linguagem de Grande Escala
A ampla implementação de grandes modelos de linguagem (LLMs) em aplicações cruciais despertou preocupações sobre vieses discriminatórios em seus resultados. Esses vieses, frequentemente originados de conjuntos de dados de treinamento enviesados ou falhas em algoritmos, têm o potencial de reforçar estereótipos e agravar desigualdades sociais. Este estudo apresenta uma métrica probabilística inovadora chamada Context-Based Association Strength (CBAS), desenvolvida para analisar viés em LLMs. Ela busca superar as limitações de métodos convencionais que não consideram as sutilezas contextuais. A CBAS mede associações típicas por meio de uma análise contextual bidirecional, adaptando-se a diferentes arquiteturas de modelo como BERT, GPT-2 e T5, ao mesmo tempo em que integra janelas de contexto flexíveis. Experimentos conduzidos com os conjuntos de dados CrowS-Pairs e StereoSet, abrangendo atributos protegidos como raça, gênero e religião, demonstram que a CBAS supera métricas consolidadas (AUL, CAT, CPS) com uma melhoria média de 5–10% na detecção de viés, especialmente no caso de viés interseccional (atributos combinados). A métrica se mostra particularmente eficaz na identificação de padrões linguísticos sutis em estereótipos profissionais e socioeconômicos, onde abordagens convencionais falham. A CBAS representa um avanço na avaliação de viés em modelos de linguagem, oferecendo uma abordagem mais precisa e sensível ao contexto. Os resultados abrem caminho para aplicações práticas em domínios nos quais a justiça algorítmica é essencial, além de sugerirem novas direções para pesquisas futuras em outros idiomas e contextos.