O que acontecerá quando alguém morrer por um erro de inteligência artificial?

Postado em: 02/09/2024 | Por: Emerson Alves

O uso crescente da inteligência artificial (IA) em diversas áreas traz benefícios significativos, mas também levanta questões críticas sobre quem será responsabilizado quando essas tecnologias falharem, resultando em tragédias.

A inteligência artificial está cada vez mais presente em nossas vidas, contribuindo para ganhos de produtividade e auxiliando na tomada de decisões. No entanto, por mais avançada que seja, a IA ainda está longe de ser perfeita. Em alguns casos, suas falhas podem ter consequências devastadoras, incluindo a perda de vidas.

Leia também: Nubank utilizará inteligência artificial para análise de limites dos cartões.

O perigo dos erros de IA em decisões críticas

Um exemplo real dessa problemática vem da polícia espanhola, que utiliza o sistema VioGén para calcular o risco de violência de gênero. Em 2022, Lobna Hemid foi morta por seu marido após o sistema calcular que ela corria pouco risco de ser atacada novamente, mesmo após ela ter registrado uma queixa na delegacia. Esse caso, infelizmente, não é isolado: desde 2007, 247 mulheres foram mortas após serem analisadas pelo VioGén, sendo que 55 dessas vítimas foram classificadas como estando em risco “insignificante” ou “baixo”.

Esses casos levantam perguntas preocupantes: quem deve ser responsabilizado quando um erro de IA leva à morte de alguém? Os policiais que confiaram na decisão da máquina? O fabricante da plataforma? No momento, não há uma resposta clara. Embora as autoridades argumentem que o VioGén tem ajudado a reduzir a violência contra mulheres, essa estatística não conforta as famílias das vítimas que perderam suas vidas devido a uma análise errônea.

Impacto no Brasil e a discriminação exacerbada

No Brasil, casos semelhantes ainda não foram oficialmente reportados, mas diferentes sistemas de IA já causaram erros graves no âmbito policial e jurídico. Exemplos incluem o uso de sistemas de reconhecimento facial que levaram à prisão de pessoas inocentes, muitas vezes negras, devido ao viés nos dados utilizados para treinar esses sistemas. A injustiça de passar dias na cadeia por um erro da IA é inaceitável, especialmente quando o erro é agravado por preconceitos raciais.

Outra situação ocorreu em São Paulo, onde o sistema de vigilância pública Smart Sampa, que usa IA para prevenir crimes, precisou ser ajustado após se descobrir que a tecnologia rastreava indivíduos com base em características como cor da pele, o que é ilegal.

A necessidade de supervisão humana e regulamentação

Esses exemplos demonstram que, embora a IA possa ser extremamente útil, as decisões críticas devem continuar sob supervisão humana. O caso do juiz Jefferson Ferreira Rodrigues, que utilizou jurisprudências inexistentes criadas pelo ChatGPT para negar uma indenização, mostra o risco de confiar cegamente nessas plataformas. O erro foi atribuído a uma “sobrecarga de trabalho”, mas isso não exime a responsabilidade de garantir que as decisões sejam baseadas em informações precisas.

É essencial que a legislação evolua para responsabilizar não apenas os usuários, mas também os fabricantes dessas tecnologias quando ocorrerem falhas graves. Sem isso, as empresas continuarão a colher os louros quando tudo dá certo, mas se esquivarão da responsabilidade quando as coisas derem errado.

Conclusão

Enquanto a IA oferece grandes vantagens, é crucial que seu uso seja acompanhado por um rigoroso controle humano, especialmente em áreas onde um erro pode ser fatal. A responsabilidade por essas falhas deve ser claramente definida, e as empresas que desenvolvem essas tecnologias devem ser responsabilizadas quando seus produtos causarem danos. A inteligência artificial deve sempre servir aos interesses humanos, e não o contrário.