Modelos de IA são reprovados no teste de brasilidade

Postado em: 25/08/2024 | Por: Emerson Alves

Os principais chatbots de inteligência artificial disponíveis no Brasil têm dificuldade em compreender e responder adequadamente a questões relacionadas à cultura e regionalismos brasileiros, como mostra um teste realizado pelo GLOBO.

Desde o início de agosto, o Claude, robô de inteligência artificial da Anthropic, está disponível no Brasil. No entanto, ele não consegue identificar símbolos populares da religiosidade brasileira, como imagens de orixás ou de Nossa Senhora Aparecida, padroeira do Brasil. O ChatGPT, por sua vez, desconhece que “catenga” é um termo usado no Nordeste para se referir a uma lagartixa. E o Gemini, IA do Google, erra ao afirmar que o pastel de berbigão, uma iguaria típica do Sul do Brasil, é uma “exclusividade” da Baixada Santista, em São Paulo.

Leia também: Claude, concorrente do ChatGPT, finalmente chega ao Brasil: Conheça este poderoso LLM.

Falhas na brasilidade

Os chatbots de IA generativa, como ChatGPT, Claude e Gemini, foram treinados com grandes bases de dados e operam com os modelos de linguagem mais avançados do mundo. No entanto, quando confrontados com questões culturais brasileiras, eles não conseguem capturar o “borogodó” local, falhando em fornecer respostas corretas.

Mesmo quando não possuem a informação precisa, as IAs geralmente respondem, em vez de admitirem que não sabem. Por exemplo, o ChatGPT, que desde maio possui uma versão que processa informações visuais, foi “abrasileirado” para identificar figuras como Ogum e Iansã, mas falha em explicar corretamente expressões regionais como “carapanã”, que na região Norte se refere a um mosquito, mas foi erroneamente identificado como uma árvore e, depois, como uma serpente.

O Gemini acerta a origem de alguns pratos regionais, mas erra ao afirmar que o fígado com jiló é popular no Rio de Janeiro, quando na verdade é em Belo Horizonte. Rusty Marcellini, jornalista especializado em gastronomia e comentarista da CBN, critica a inconsistência das IAs em relação à culinária regional: “Um leigo completo que ler as respostas vai acreditar que cartola (sobremesa que é patrimônio imaterial de Pernambuco) é do Rio de Janeiro e que jerimum é do interior de São Paulo, o que não são.”

Complexidade do samba e expressões populares

Em relação aos ritmos de samba, as IAs conseguem listar os tipos mais populares, como o samba de roda e o samba-canção, mas falham ao explicar o ritmo, segundo o sambista e sociólogo Tadeu Kaçula. Ele observa que as IAs não conseguem fornecer os elementos fundamentais para se entender a complexidade do samba.

O professor de língua portuguesa Pasquale Cipro Neto avaliou o desempenho das IAs em questões sobre expressões populares. Ele nota que, apesar de as IAs já terem incorporado arquivos de dicionários, elas falham ao analisar expressões como “a porca torce o rabo”, tentando buscar uma lógica onde muitas vezes não há.

IA brasileira em desenvolvimento

Diante dessas limitações, startups brasileiras estão desenvolvendo modelos de linguagem mais adaptados à realidade nacional. A Maritaca AI, por exemplo, fundada por pesquisadores da Unicamp, está criando IAs especializadas no Brasil, com foco em dados relevantes para o ambiente local. O robô Maritalk, que opera com o modelo de linguagem Sabiá, é um exemplo desse esforço.

Outra iniciativa é a Amazônia IA, desenvolvida pela startup Widelabs, em parceria com Oracle e NVIDIA. Esse sistema foi treinado com bancos de dados brasileiros, incluindo pesquisas científicas, e busca criar uma IA mais alinhada com a realidade local.

O Plano Nacional de Inteligência Artificial, lançado recentemente pelo governo, visa fortalecer o desenvolvimento de IAs no Brasil, com a previsão de um investimento de R$ 23 bilhões nos próximos quatro anos. Rodrigo Nogueira, CEO da Maritaca AI, ressalta a importância de políticas de acesso a dados para o avanço das IAs no país.

Conclusão

Embora as IAs como ChatGPT, Claude e Gemini estejam entre as mais avançadas do mundo, elas ainda falham em capturar nuances culturais e regionais do Brasil. Iniciativas como a Maritaca AI e a Amazônia IA estão trabalhando para criar modelos de linguagem mais adaptados à realidade brasileira, destacando a importância de uma abordagem local para o desenvolvimento de tecnologia.