O gigante da tecnologia OpenAI promove seu sistema de transcrição por inteligência artificial, Whisper, como uma ferramenta com precisão e robustez quase comparáveis às de humanos.
No entanto, Whisper apresenta uma falha gravíssima: ele começa a inventar coisas iverídicas, de acordo com entrevistas com mais de uma dezena de engenheiros de software, desenvolvedores e pesquisadores acadêmicos. Esses especialistas afirmam que essas invenções — conhecidas na indústria como alucinações — podem incluir comentários raciais, retórica violenta e até tratamentos médicos fictícios.
O problema é preocupante porque Whisper está sendo utilizado em diversos setores para transcrever e traduzir entrevistas, gerar textos em tecnologias populares e criar legendas para vídeos. Ainda mais alarmante é o uso acelerado por centros médicos para transcrever consultas, apesar do alerta da OpenAI para que Whisper não seja usado em “áreas de alto risco”.
A extensão total do problema é difícil de medir, porém, pesquisadores relatam frequentemente encontrar essas “alucinações”. Um pesquisador da Universidade de Michigan, por exemplo, encontrou alucinações em 8 de cada 10 transcrições de reuniões públicas que inspecionou. Outro engenheiro de machine learning identificou falhas em cerca de metade das mais de 100 horas de transcrições analisadas, e um terceiro desenvolvedor observou alucinações em quase todos os 26 mil registros que processou.
Esses erros aparecem até em áudios curtos e bem gravados. Um estudo recente de cientistas da computação registrou 187 alucinações em mais de 13 mil trechos de áudio. Em uma escala maior, esse padrão poderia levar a dezenas de milhares de transcrições incorretas, dizem os especialistas.
Tais falhas podem trazer consequências graves, especialmente no setor hospitalar. Alondra Nelson, ex-diretora do Escritório de Política Científica e Tecnológica dos EUA, reforçou a necessidade de um rigor maior, destacando o perigo de ocorrerem diagnósticos incorretos.
O Whisper também é usado para criar legendas para pessoas surdas ou com deficiência auditiva, um público particularmente vulnerável a transcrições incorretas. Christian Vogler, diretor do Programa de Acesso à Tecnologia da Universidade de Gallaudet, explica que esses indivíduos não conseguem identificar se o conteúdo é inventado, pois as alucinações ficam “escondidas no meio do texto”.
Whisper é integrado ao ChatGPT da OpenAI e a plataformas de nuvem da Oracle e Microsoft, além de estar presente em assistentes de voz e call centers. Recentemente, uma versão de Whisper foi baixada mais de 4,2 milhões de vezes. Sanchit Gandhi, engenheiro de machine learning da plataforma, afirmou que Whisper é o modelo de reconhecimento de fala mais popular, presente em diversos serviços.
Pesquisadoras das universidades de Cornell e da Virgínia, analisando trechos do banco de dados da TalkBank, descobriram que quase 40% das alucinações são problemáticas, distorcendo falas. Em um exemplo, Whisper transformou uma fala comum em uma narrativa violenta; em outro, adicionou um comentário racial; e, em um terceiro, inventou um medicamento fictício chamado “antibióticos hiperativados”.
Ainda não se sabe ao certo o motivo das alucinações, mas os desenvolvedores indicam que tendem a ocorrer durante pausas ou sons de fundo. A OpenAI recomenda que Whisper não seja usado em “contextos de tomada de decisão, onde a precisão é essencial”.
Apesar desse alerta, hospitais vêm utilizando Whisper para transcrever consultas, liberando profissionais para outras tarefas. Muitos médicos e sistemas de saúde adotaram uma ferramenta baseada no Whisper, desenvolvida pela Nabla, que é ajustada para linguagem médica.
A Nabla afirma ter ciência do problema de alucinação e trabalha para mitigá-lo. No entanto, por razões de segurança de dados, o áudio original é apagado, impossibilitando a comparação entre a transcrição e a gravação original.
