Inteligência artificial discriminativa: o que é?

A inteligência artificial (IA) é uma área da ciência da computação que busca criar sistemas capazes de simular o comportamento humano, como aprender, raciocinar, decidir e resolver problemas. Nesse sentido, a IA tem sido aplicada em diversos campos e setores, como educação, saúde, indústria, comércio, entretenimento, etc, trazendo benefícios e oportunidades para a sociedade. Porém, também existem pontos negativos, como no caso da inteligência artificial discriminativa.

Isto é, a IA também pode gerar riscos e desafios, especialmente quando produz ou reproduz resultados tendenciosos ou injustos em relação a certos grupos ou indivíduos. Isso acontece por causa de falhas no modelo, nos dados ou nas decisões dos desenvolvedores. Esse tipo de IA é chamado de inteligência artificial discriminativa.

A inteligência artificial discriminativa pode afetar negativamente a vida das pessoas em áreas como contratação, crédito, segurança, saúde e justiça, violando os seus direitos humanos, como a dignidade, a igualdade, a liberdade e a privacidade . Além disso, a inteligência artificial discriminativa pode comprometer a confiança e a aceitação da sociedade em relação à IA, prejudicando o seu desenvolvimento ético e responsável.

Neste artigo, vamos explicar o que é a inteligência artificial discriminativa, como ela surgiu, quais são os seus tipos e exemplos, e como ela pode ser evitada ou reduzida. Acompanhe!

Como surgiu a inteligência artificial discriminativa?

A princípio, a inteligência artificial discriminativa surgiu como um efeito colateral do avanço dos algoritmos de aprendizado profundo, que buscam simular o comportamento humano a partir de grandes quantidades de dados. No entanto, esses dados podem não representar a realidade ou refletir os preconceitos existentes na sociedade, como racismo, homofobia, misoginia, etc . Além disso, os próprios desenvolvedores podem ter vieses inconscientes ou interesses comerciais que influenciam na definição dos objetivos e critérios da inteligência artificial.

A inteligência artificial discriminativa pode surgir em vários estágios do processo de criação e uso dos sistemas de IA, como na definição do problema, na coleta e no tratamento dos dados, no treinamento e na avaliação dos modelos, e na implementação e no monitoramento das soluções . Alguns fatores que podem contribuir para a inteligência artificial discriminativa são:

A falta de representatividade ou diversidade dos dados e dos desenvolvedores, que pode levar a uma visão parcial ou limitada da realidade, ignorando ou excluindo as características, as necessidades e as preferências de certos grupos ou indivíduos.
A reprodução de preconceitos ou vieses existentes na sociedade, que podem ser transmitidos ou reforçados pelos dados ou pelos algoritmos, gerando resultados que discriminam ou estereotipam certos grupos ou indivíduos, como por gênero, raça, etnia, idade, orientação sexual, etc.
Os interesses comerciais ou políticos dos controladores de dados, que podem usar a inteligência artificial para explorar ou manipular os usuários ou a sociedade, visando obter lucro ou poder, sem considerar os impactos éticos ou sociais dos seus atos.
A opacidade ou complexidade dos algoritmos, que podem dificultar ou impedir a compreensão, a explicação, a verificação ou a contestação dos resultados ou dos impactos da inteligência artificial, reduzindo a transparência e a prestação de contas dos sistemas de IA.

Quais são os tipos de inteligência artificial discriminativa?

Discriminação direta: É aquela que ocorre quando a inteligência artificial usa explicitamente um atributo protegido. Assim como gênero, raça, etnia, etc., para diferenciar ou excluir certos grupos ou indivíduos, violando as normas legais ou éticas. Por exemplo, um sistema de IA que nega um empréstimo bancário com base na cor da pele do solicitante.
Discriminação indireta: É aquela que ocorre quando a inteligência artificial usa um atributo não protegido, mas correlacionado com um atributo protegido, para diferenciar ou excluir certos grupos ou indivíduos, de forma implícita ou não intencional. Por exemplo, um sistema de IA que nega um empréstimo bancário com base no código postal do solicitante. Isso porque pode estar associado à sua renda ou à sua origem.
Discriminação sistêmica: É aquela que ocorre quando a inteligência artificial reproduz ou amplia as desigualdades existentes na sociedade, que afetam certos grupos ou indivíduos de forma estrutural ou histórica. Por exemplo, um sistema de IA que recomenda candidatos para uma vaga de emprego com base nos dados de contratações anteriores, que podem refletir um padrão de exclusão ou de preferência por certos perfis.
Discriminação individual: É aquela que ocorre quando a inteligência artificial afeta negativamente a vida de uma pessoa específica, por causa de um erro, de uma falha ou de uma decisão injusta ou arbitrária. Por exemplo, um sistema de IA que identifica erroneamente uma pessoa como suspeita de um crime, por causa de uma semelhança facial com o verdadeiro culpado.

Quais são alguns exemplos de inteligência artificial discriminativa?

A inteligência artificial discriminativa pode se manifestar de várias formas, afetando diferentes áreas e grupos sociais. Aqui estão alguns exemplos que ilustram esse problema:

Em 2015, a API de identificação de objetos do Google exibiu imagens de pessoas negras com o rótulo “Gorilas”, causando um grave dano de representação.
Em 2018, um algoritmo desenvolvido pela Amazon para ajudar o RH na contratação de novos colaboradores rejeitou currículos perfeitamente aceitáveis (apenas de mulheres). O casso ocorreu com base em certas características (por exemplo, hobbies das pretendentes).
Em 2020, a organização AlgorithmWatch publicou no Facebook dois anúncios fictícios de emprego, um para motorista de caminhão e outro para educador. Os próprios algoritmos de IA do Facebook decidiram para quem exibir cada anúncio, resultando em uma distribuição altamente enviesada por gênero.
Em 2021, um estudo revelou que os sistemas de reconhecimento facial usados pela polícia nos EUA têm uma taxa de erro muito maior para pessoas negras, asiáticas e indígenas do que para pessoas brancas. Assim, aumentando o risco de falsas acusações e violações de direitos humanos.

Esses são apenas alguns casos que mostram como a inteligência artificial discriminativa pode gerar danos de alocação e de representação. Assim, prejudicando a vida das pessoas em termos de acesso a recursos, serviços, oportunidades e identidade. É preciso estar atento e exigir medidas de ética e responsabilidade na criação e no uso dos sistemas de inteligência artificial.

descubra-como-evitar-ou-reduzir-a-inteligência-artificial-discriminativa — Imagem: DALL-E 3.

Como evitar ou reduzir a IA discriminativa?

Para evitar ou reduzir a inteligência artificial discriminativa, é preciso adotar medidas de ética e responsabilidade na criação e no uso dos sistemas de IA. Assim como garantir a diversidade e a representatividade dos dados e dos desenvolvedores, monitorar e avaliar os resultados e os impactos dos algoritmos. Além de promover a transparência e a participação dos usuários e da sociedade.

Algumas dessas medidas são:

Certificar-se de coletar somente os dados realmente necessários, respeitando a privacidade e o consentimento dos usuários.
Utilizar técnicas de anonimização e criptografia para proteger os dados pessoais, evitando vazamentos ou usos indevidos
Revisar e avaliar os dados utilizados no treinamento e na validação dos modelos de IA. Assim, verificando se eles são representativos e diversos, e se não contêm vieses ou erros.
Relatar os atributos como gênero, raça e etnia das pessoas apresentadas nos dados de treinamento, e tornar os conjuntos de dados intencionalmente representativos.
Monitorar e corrigir os resultados e os impactos dos sistemas de IA, usando ferramentas e métodos que detectem e mitiguem possíveis vieses ou discriminações.
Ser transparente e responsável em relação à aplicação da inteligência artificial. Ou seja, seguindo as normas e os princípios éticos e legais. E, assim, permitindo a participação dos usuários e da sociedade na criação e no uso dos sistemas de IA.
Seguir as orientações e as boas práticas de organizações e iniciativas internacionais, como a União Europeia, a OCDE, a ONU, entre outras. Afinal, elas buscam promover uma inteligência artificial de confiança, ética e justa.
Essas medidas podem ajudar a evitar ou reduzir a inteligência artificial discriminativa, e a garantir que os sistemas de IA contribuam para o bem comum.

Em última análise…

Em suma, a inteligência artificial discriminativa é aquela que produz ou reproduz resultados tendenciosos ou injustos em relação a certos grupos ou indivíduos. Seja por conta de falhas no modelo, nos dados ou nas decisões dos desenvolvedores. Esse tipo de tecnologia pode afetar negativamente a vida das pessoas diversas áreas. Assim como contratação, crédito, segurança, saúde e justiça, violando os seus direitos humanos, como a dignidade, a igualdade, a liberdade e a privacidade.

A inteligência artificial discriminativa pode se manifestar de diferentes formas, dependendo da origem, da natureza ou do efeito do preconceito ou da discriminação. Alguns tipos de inteligência artificial discriminativa são: discriminação direta, discriminação indireta, discriminação sistêmica e discriminação individual. Alguns exemplos de IA discriminativa: o caso dos gorilas do Google, o caso dos currículos da Amazon e o caso do reconhecimento facial da polícia.

Para evitar ou reduzir a IA discriminativa, é preciso adotar medidas de ética e responsabilidade na criação e no uso dos sistemas de inteligência artificial. Assim como garantir a diversidade e a representatividade dos dados e dos desenvolvedores, monitorar e avaliar os resultados e os impactos dos algoritmos. Além de promover a transparência e a participação dos usuários e da sociedade. Além disso, é preciso seguir as orientações e as boas práticas de organizações e iniciativas que buscam promover uma IA de confiança, ética e justa.