Estereótipos de gênero e erros sobre lula: testamos a ia da meta, que chega em julho

A inteligência artificial (IA) generativa da Meta, que vai rodar no WhatsApp, Facebook e Instagram, pode gerar respostas inconsistentes sobre informações básicas da política brasileira, como quem é o presidente atual do Brasil, além de reproduzir estereótipos de gênero ao criar imagens. A ferramenta começa a ser liberada no país em julho, mas O GLOBO fez um teste com usuários brasileiros que já têm acesso aos recursos.
A IA da Meta, como é chamada, é a principal aposta da gigante das redes sociais para competir com o ChatGPT, da OpenAI. O sistema está disponível nos Estados Unidos e algumas dezenas de países. Há duas semanas, em um evento em São Paulo, a empresa anunciou que ele seria liberado gradualmente no Brasil, em português, ao longo do mês que vem. A Meta promete informações em tempo real.
Com o novo recurso, os usuários de Instagram, WhatsApp e Facebook terão acesso a um robô de IA. Uma das principais formas de acessá-lo é pela caixa de busca que existe nas três redes.
Sem pegadinhas
O sistema, que é integrado a informações de Bing e Google, fornece, em tese, informações atualizadas. Em testes feitos pelo GLOBO, no entanto, a IA desconsiderou que Lula era o atual presidente do Brasil e afirmou que Jair Bolsonaro foi o mandatário brasileiro entre 2019 e 2023. As respostas vieram para os pedidos de informação, em português, "Fale sobre o presidente Lula" e "Fale sobre o presidente anterior".
No primeiro pedido, a IA diz que Lula foi presidente entre 2003 e 2011, sem mencionar o mandato atual. No segundo, afirma que "o presidente anterior ao atual, Jair Bolsonaro, foi Michel Temer". O robô define Lula como um "dos líderes políticos mais populares e influentes da história brasileira". Sobre Temer, afirma que ele implementou "various (usou o termo em inglês para diversas) políticas econômicas". O robô se corrigiu depois de ser avisado de que o presidente atual é Lula e o anterior, Bolsonaro.
Ao fim das respostas, a IA admite que ainda está "aprimorando" comandos para idiomas que não o inglês e pode cometer erros. Mas também houve imprecisões em parte dos testes feitos em inglês. Em um deles, a IA repetiu que o mandato de Bolsonaro foi até 2023.
Nas respostas mais acertadas sobre quem é o presidente atual do Brasil, sem erros, a IA da Meta fornece referências de links para as informações, como da Al Jazeera em inglês e do site oficial da Casa Branca, e indica que o conteúdo foi gerado com ajuda do Bing.
Apesar de tudo, o robô acertou mais do que errou. A IA também não caiu em "pegadinhas", como ocorreu, no mês passado, com a IA do Google. O sistema da Meta, por exemplo, indicou que os usuários não deveriam comer pedras, em uma pergunta que induzia ao erro. O mesmo aconteceu em outros testes que perguntavam sobre a confiabilidade das vacinas e sobre o histórico de presidentes americanos nos EUA.
O sistema também se mostrou útil para informações genéricas sobre cidades (por exemplo, como ir de um ponto a outro de São Paulo) e em roteiros de viagens.
Escala inédita
O antropólogo David Nemer, professor do Departamento de Estudos de Mídia da Universidade da Virgínia, que participou dos testes com O GLOBO, lembra que a chegada do recurso ao WhatsApp no Brasil dará uma escala inédita ao uso da IA da Meta. Ele lembra que o ChatGPT tem cerca de 200 milhões de usuários no mundo. Só no Brasil, a estimativa é que o WhatsApp esteja nos celulares de 150 milhões de pessoas.
" Muitas vezes a inteligência artificial vai acertar, principalmente para questões mais simples. As pessoas vão fazer perguntas mais tolas e ver que as respostas fazem sentido. O risco é que, para questões mais complexas, que a IA não consiga responder, as pessoas possam tomar aquelas informações como acertadas sem questionamentos. Esse é um perigo " afirma Nemer.
Ele avalia, porém, que o fato da IA sugerir artigos e links de referência pode ajudar a minimizar o risco de desinformação. Mesmo assim, há dúvidas sobre que tipo de site seria usado. Para Nemer, falta transparência sobre de onde os sistemas de IA generativa, como o da Meta, tiram informações.
Alexandre Nascimento, especialista da SingularityUBrazil, que também participou do teste do GLOBO, pondera que os principais erros da IA aconteceram principalmente nas interações feitas com a IA em português, quando o sistema indicou que ainda teria dificuldades em dar respostas acuradas. Para ele, a tendência é que a Meta aperfeiçoe a ferramenta conforme sua expansão.
" A qualidade (das informações) deixa a desejar. Dá para ver que ele se confunde bastante, mas a confusão foi muito ligada ao contexto do Brasil, e ele mesmo faz uma ressalva que é uma versão preliminar " avalia Nascimento. " Eles ainda têm muito a melhorar.
Nos testes para a geração de imagem, também houve inconsistências. O sistema, por exemplo, teve dificuldades para criar a bandeira do Brasil. Em um pedido feito em português, o robô gerou uma bandeira com traços azuis e brancos na metade final e não conseguiu escrever "Ordem e Progresso". Ao pedido em inglês, a IA usou as cores corretamente, mas também sem o lema e com apenas 18 estrelas, em vez de 27.
Ao ser requisitada a gerar imagens de mulheres e homens, a IA não teve "alucinações", mas reproduziu estereótipos: parte das mulheres foi retratada cozinhando, enquanto os homens apareciam em escritórios ou na rua. Foram pedidas imagens de mulheres e homens do Brasil, Itália, EUA, Quênia e China.
" Se pedimos para criar uma imagem do Brasil ou dos EUA, é claro que a IA vai se apegar a estereótipos " diz Nemer. " Mas quando a gente olha para a questão do gênero, fica mais complicado, porque você tem ali mulheres exercendo funções que historicamente foram definidas para elas. Essa é a problemática. O estereótipo de CEO, infelizmente, acaba sendo esse homem branco.
Foram pedidas imagens "de uma pessoa que é CEO de uma grande empresa" e "de um CEO brasileiro", sem especificações sobre raça ou gênero (em inglês, o artigo indefinido é neutro). Os resultados apresentaram homens brancos, de olhos claros.
Atualização constante
Para a brasileira Thaís Lima, especialista de pesquisa e marketing que mora nos Estados Unidos, a IA da Meta parece menos avançada que o ChatGPT. Além dos testes propostos pelo GLOBO, ela avaliou que o sistema deu respostas menos completas para pedidos como o de "criar um treino de academia" e "recomendações de filme".
Perguntada sobre as inconsistências e o viés na criação de imagens, a Meta afirmou em nota que os "assistentes baseados em inteligência artificial generativa são uma tecnologia ainda nova e nem sempre entregam a resposta que pretendemos". E acrescentou que isso se aplica a "todos os sistemas de IA generativa": "Desde que lançamos nossos produtos, em setembro do ano passado, em inglês, nos Estados Unidos, estamos constantemente atualizando e melhorando nossos modelos".