Algoritmos têm desempenhado um papel crucial por muitos anos, mas somente recentemente ganharam a atenção dos reguladores europeus e internacionais. Apesar de vivermos na “Era dos Algoritmos”, o impacto dos algoritmos na igualdade de gênero tem recebido pouca atenção, exigindo uma análise detalhada dos desafios, oportunidades e possíveis resultados discriminatórios.

Algoritmos estão perpetuando desigualdades de gênero: quem será responsável por garantir a equidade na Era Digital?

Sistemas de IA, especialmente os baseados em aprendizado de máquina, podem herdar e perpetuar vieses presentes nos dados com os quais foram treinados. Isso levanta questões sobre discriminação, justiça e igualdade, especialmente quando esses sistemas são usados em áreas sensíveis como recrutamento, crédito ou justiça criminal.

Na jurisprudência, em particular no que se refere à igualdade de gênero e discriminação, a análise de algoritmos ainda é rara. Um exemplo isolado é o julgamento do Consiglio di Stato italiano que revisou a legalidade do uso de algoritmos na administração pública para alocar automaticamente postos escolares para professores1.¹ (LÜTZ, 2022)

Outro exemplo, foi a influência algorítmica na justiça criminal: Nos EUA, vários estados, incluindo Arizona, Colorado, Delaware, entre outros, incorporam sistemas computacionais de avaliação de riscos para apoiar decisões no âmbito da justiça

penal. Estas avaliações têm sido aplicadas em várias fases do processo judicial, influenciando até mesmo a determinação da liberdade do acusado em determinados estágios do caso. Uma pesquisa conduzida pela ProPublica² analisou mais de 10.000 avaliações de risco em um condado da Flórida. Os resultados mostraram algumas imprecisões no sistema: 61% dos indivíduos rotulados como propensos a reincidir de fato reincidiram, mas apenas 20% daqueles categorizados com uma propensão para “reincidência violenta” se comportaram conforme o indicado.

Ademais, também foram constatadas discriminação em publicidade online e possíveis preconceitos: Uma investigação revelou que, ao pesquisar no Google e no Reuters por nomes frequentemente associados a indivíduos afro-americanos (como “Latanya” ou “Latisha”), eram frequentemente exibidos anúncios de um site chamado “instantcheckmate.com”, sugerindo que esses indivíduos poderiam ter antecedentes criminais. Por outro lado, ao pesquisar nomes comumente ligados a indivíduos caucasianos (por exemplo, “Kristen” ou “Jill”), os anúncios relacionados eram, em sua maioria, neutros, sem insinuações sobre passados criminais.(SWEENEY, 2013)

Algumas formas de discriminação são visíveis e percebidas diretamente por mulheres e homens, como o algoritmo que negou o acesso a uma mulher aos vestiários femininos de uma academia devido ao seu título de “Dr.” estar associado aos homens. Outras são invisíveis, por exemplo, quando algoritmos classificam currículos em um procedimento de candidatura totalmente automatizado e não selecionam mulheres ou homens por causa de seu sexo. Outros comportamentos não necessariamente ultrapassam o limite de comportamento antediscriminatório sob a lei da UE, mas claramente apresentam problemas em termos de viés de gênero, estereótipos e metas de políticas de igualdade de gênero.

A forma como as tecnologias e percepções sociotécnicas se manifestam em um mundo influenciado pelo domínio da supremacia branca leva a uma organização algorítmica que categoriza racialmente a sociedade, distribuição de recursos e imposição de violência, afetando desfavoravelmente comunidades minoritárias. Essa

organização pode ser entendida como uma extensão do racismo sistêmico, que não apenas perpetua as disparidades atuais, mas também influencia futuras dinâmicas de poder. Isso aumenta o véu de obscuridade sobre a exploração e repressão que já se estabeleceram desde as iniciativas coloniais do século XVI.(SILVA, 2022)

O site Desvelar: Justiça racial, IA e tecnologias digitais mantem um mapeamento de danos e discriminação algorítmica muito interessante e informa que já em 2010 foi noticiado que as câmeras da nikon não entendem rostos asiáticos. Em, 2013, noticia que a busca por “garotas negras” resultava em conteúdo pornográfico. Com o avanço das IAs e consequente aumento de seu uso, percebe-se o aumento de ocorrências de discriminações.

Isso representa uma ameaça à igualdade de gênero em geral, mas também pavimenta o caminho para futuras discriminações baseadas no gênero. Além de vieses e estereótipos contidos em conjuntos de dados usados para treinar algoritmos e a introdução intencional ou não de vieses no design e programação dos algoritmos, existe outro problema subjacente que pode favorecer as desigualdades de gênero: desde seus primeiros dias, a “composição de gênero da comunidade de IA” influencia grandemente a maneira como os algoritmos são moldados e, consequentemente, tem um impacto em como os algoritmos funcionam, levando a potenciais resultados discriminatórios.

Até que ponto a predominância masculina no setor de IA está moldando os algoritmos e impactando a igualdade de gênero?

A predominância masculina no setor de Inteligência Artificial (IA) pode influenciar a forma como os algoritmos são desenvolvidos, criando potenciais viéses de gênero. Essa desproporção tem algumas consequências:

Desenvolvimento com Viés: Algoritmos são desenvolvidos por seres humanos e, assim, podem herdar inconscientemente os viéses de seus criadores. Com uma representatividade masculina maior no desenvolvimento, existe o risco de que os algoritmos não reflitam adequadamente as perspectivas femininas;

Testes Limitados: A falta de diversidade pode resultar em testes menos abrangentes, pois as equipes podem não considerar cenários específicos para mulheres ou outras minorias.

Impacto Sociais e Legais: Algoritmos tendenciosos podem perpetuar estereótipos de gênero e resultar em tratamentos injustos ou discriminatórios. No contexto do Direito Digital, isso levanta questões sobre a proteção de direitos individuais e igualdade de gênero na era digital.

Para garantir a justiça e a equidade, é fundamental promover a diversidade no setor de IA e estabelecer regulamentações e normas claras que garantam a neutralidade e a imparcialidade dos algoritmos.

A eficácia dos algoritmos de aprendizagem automática frequentemente se manifesta através do que é comumente denominado “viés”. Essas são inclinações inadvertidas nos resultados que, em várias situações, são vistas como controversas sob perspectivas éticas ou políticas. Inspirado por uma pesquisa que examinou o viés de gênero na tradução automática do Google Search (PRATES; AVELAR; LAMB, 2019), foi feita analise para reconhecer o viés de gênero no algoritmo BERT, investigando a relação entre pronomes e profissões produzidas por ele.(GONÇALVES; FERREIRA, 2021)

O BERT (“Google BERT”, 2020) representa um modelo de aprendizagem automática concebido pela Google, destinado a criar interpretações de um texto fornecido que, subsequentemente, podem ser aplicadas a diversos desafios em processamento de linguagem natural (PLN). A sua notoriedade no campo de PLN é amplamente reconhecida. Recentemente, a Google proclamou que o BERT seria implementado na maioria das consultas em inglês em sua plataforma principal, o Google Search. De acordo com a empresa, o BERT desempenha um papel crucial para decifrar a motivação subjacente a uma consulta, e sua integração tem aprimorado significativamente as buscas, influenciando cerca de 10% das pesquisas em inglês nos EUA (GOOGLE, 2020).

A análise dos dados empíricos, feita por Gonçalves e Ferreira, revelou uma inclinação geral em favorecer o pronome masculino “he” em detrimento do feminino “she”. Este padrão é consistente com um estudo anterior (PRATES; AVELAR; LAMB, 2019) que identificou um viés no Google Translate ao converter frases neutras em relação ao gênero de uma língua para frases predominantemente masculinas em outra. Entre as profissões examinadas, a profissão de enfermagem foi a única que quebrou essa tendência, refletindo um estereótipo tradicional associado ao gênero. Isso sugere que o BERT pode, em alguns casos, perpetuar viéses e estereótipos em seu processamento de texto.(GONÇALVES; FERREIRA, 2021)

Ao automatizar um dispositivo, suas funcionalidades tornam-se limitadas e mais previsíveis, levando a comportamentos estereotipados e uma interação mais limitada com seu ambiente (SIMONDON, 2020b). Pasquinelli e Joler (2021) afirmam que os dados são a essência do valor e inteligência. Algoritmos de aprendizado de máquina, como o BERT, operam em duas fases: treinamento e inferência.

O BERT é treinado usando grandes datasets, como o BooksCorpus, uma coleção de livros diversos, e a versão em inglês da Wikipedia, excluindo listas e cabeçalhos. Enquanto a literatura reflete as perspectivas e valores de seus autores, é crucial reconhecer que até fontes como a Wikipedia não são completamente neutras em termos de valores.Em especial, sobre viés de gênero: “pessoas e conhecimentos publicados em materiais escritos são largamente de uma perspectiva branca e masculina, relatam Gonçalves e Peixoto em sua pesquisa. (GONÇALVES; FERREIRA, 2021)

O BERT reflete certas inclinações por meio de dois mecanismos principais identificados por Pasquinelli e Joler (2021): um é o “viés preexistente”, que é a perpetuação dos preconceitos já existentes na sociedade, e o outro é o “viés de coleta de dados”, que surge durante a fase de coleta e preparação dos dados. Adicionalmente, ao consolidar as informações durante a etapa de treinamento, ocorre o que se pode chamar de “viés de modelagem”, uma magnificação dos vieses iniciais pelo próprio algoritmo.

No contexto do BERT, essas inclinações, juntamente com uma narrativa que enfatiza a neutralidade dessas ferramentas, podem inadvertidamente endossar visões discriminatórias. Portanto, torna-se essencial uma inspeção abrangente que avalie

tanto os algoritmos quanto os dados em relação aos impactos socioculturais, bem como nas fases de desenvolvimento e uso das tecnologias de machine learning.

Como podemos garantir que a revolução da Inteligência Artificial não marginalize ainda mais as mulheres na sociedade tecnológica?

A discriminação algorítmica pode ser uma consequência direta dos preconceitos incorporados no algoritmo, levando a um ciclo vicioso conhecido como feedback loop. Esse ciclo intensifica a marginalização de grupos já vulneráveis, perpetuando sua situação de desvantagem na sociedade.

Para garantir que a revolução da Inteligência Artificial (IA) não marginalize ainda mais as mulheres na sociedade tecnológica, é essencial adotar medidas proativas. Embora os resultados da pesquisa não forneçam informações específicas sobre essa questão, aqui estão algumas sugestões baseadas em conhecimentos gerais:

Educação e Capacitação: Garantir o acesso das mulheres à educação e formação em campos tecnológicos e de IA. Incentivar a participação feminina desde cedo e criar programas de mentoria para mulheres.

Diversidade nas Equipes: Encorajar e garantir a diversidade de gênero nas equipes de desenvolvimento e pesquisa em IA. Equipes diversificadas podem ajudar a evitar vieses inconscientes na criação de algoritmos.

Sensibilização: Promover campanhas e programas de sensibilização sobre a importância da inclusão de gênero na tecnologia e na IA.

Regulamentações Claras: Estabelecer diretrizes e regulamentações claras sobre igualdade de gênero e inclusão em setores tecnológicos e de IA.

Monitoramento e Avaliação: Monitorar regularmente o progresso e avaliar os impactos da IA na igualdade de gênero. Fazer ajustes conforme necessário para garantir uma inclusão contínua e significativa.

No âmbito da responsabilidade civil, é crucial tomar medidas proativas para prevenir danos decorrentes dessa discriminação. Em relação às abordagens internas, que englobam algoritmos e os dados utilizados, avanços tecnológicos são aliados. Eles proporcionam mecanismos de prestação de contas, ou “accountability” em inglês, que se refere à transparência, ética e responsabilidade em relação às operações e resultados dos algoritmos. Simplificando, este conceito sugere que entidades com papéis significativos na sociedade devem ser transparentes sobre suas ações, justificativas e métodos. (CARNEIRO COSTA, 2023)

Em consonância com essa ideia, é possível identificar que as principais práticas de prestação de contas sugeridas pela literatura se alinham ao que Danilo Doneda define como governança algorítmica. Esse termo refere-se a um conjunto de estratégias e ferramentas destinadas a minimizar os desafios trazidos pela IA, otimizando sua eficiência e minimizando consequências adversas.

Algumas das práticas de governança incluem: i) monitoramento ou análise do algoritmo; ii) avaliação das decisões automatizadas; iii) integração dos relatórios de impacto sobre a proteção de dados pessoais (RIPDP); iv) estabelecimento de entidades reguladoras de IA ou outros mecanismos para estruturar e aplicar a governança algorítmica. (CARNEIRO COSTA, 2023)

Apesar dos instrumentos da LGPD serem fundamentais na luta contra a discriminação algorítmica, e de haver uma clara relação entre proteção de dados e princípios de igualdade, os recursos atuais podem não ser suficientes para abordar todas as questões em pauta.

Além disso, existem abordagens contemporâneas que buscam reduzir as chances de discriminação, como a análise criteriosa dos dados de entrada e a modulação dos resultados, adotando a perspectiva de “justiça desde o início” no desenvolvimento do algoritmo. Esta visão defende que a IA seja estruturada desde sua criação para identificar e combater discriminações.

Por fim, soluções potencialmente eficazes na mitigação da discriminação podem estar além do próprio algoritmo, como as ações afirmativas direcionadas à IA, promovendo uma participação mais ampla de comunidades vulneráveis na concepção e tomada de decisão relativas aos algoritmos.

Referências

____________________

1. A sentença destacou dois requisitos essenciais para o uso de algoritmos: a cognoscibilidade ou compreensão da decisão e a possibilidade de revisão judicial completa, Consiglio di Stato, nomeadamente o parágrafo. 8.2, 8.3, 8.4 e 9. Em outra sentença, o tribunal tentou definir algoritmos, Consiglio di Stato, par. 3: “uma sequência finita de instruções”

GOOGLE. Search On 2020. Disponível em: site. Acesso em: 21 ago. 2021.

SILVA, Tarcízio. Mapeamento de Danos e Discriminação Algorítmica. Desvelar, 2023. Disponível em: site.

CARNEIRO COSTA, D. A RESPONSABILIDADE CIVIL PELOS DANOS CAUSADOS PELA  INTELIGÊNCIA  ARTIFICIAL  NAS  HIPÓTESES  DE  DISCRIMINAÇÃO ALGORÍTMICA. Direito UNIFACS – Debate Virtual, n. 272, 28 jan. 2023.

GONÇALVES, R.; FERREIRA, P. P. Aprendizado de máquina como mediação técnica: uma investigação sobre viés de gênero no modelo de linguagem BERT. XXIX CONGRESSO DE INICIAçãO CIENTíFICA DA UNICAMP. Anais…Campinas, Galoá,:   2021.   Disponível    em:   site. Acesso em: 26 set. 2023

Google BERT: o que é e como funciona o novo algortimo de busca? Rock Content – BR, 8 out. 2020. Disponível em: site. Acesso em: 26 set. 2023

LÜTZ, F. Gender equality and artificial intelligence in Europe. Addressing direct and indirect impacts of algorithms on gender-based discrimination. ERA Forum, v. 23, n. 1, p. 33–52, 1 maio 2022.

SILVA, T. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. [s.l.] Edições Sesc SP, 2022.

SWEENEY, L. Discrimination in Online Ad Delivery. Rochester, NY, 28 jan. 2013. Disponível em: <https://papers.ssrn.com/abstract=2208240>. Acesso em: 28 set. 2023