Alucinações de IA: o que são e por que acontecem

O que são alucinações de IA?

As alucinações de IA ocorrem quando as ferramentas de IA geram informações incorretas enquanto parecem confiantes. Esses erros podem variar desde pequenas imprecisões, como a declaração incorreta de uma data histórica, até informações seriamente enganosas, como a recomendação de remédios desatualizados ou prejudiciais à saúde. As alucinações de IA podem acontecer em sistemas alimentados por grandes modelos de linguagem (LLMs) e outras tecnologias de IA, incluindo sistemas de geração de imagens.

Por exemplo, uma ferramenta de IA pode afirmar incorretamente que a Torre Eiffel tem 335 metros de altura em vez da altura real de 330 metros. Embora tal erro possa ser irrelevante em conversas casuais, medições precisas são críticas em situações de alto risco, como no fornecimento de aconselhamento médico.

Para reduzir as alucinações na IA, os desenvolvedores usam duas técnicas principais: treinar com exemplos adversários, que fortalecem os modelos, e ajustá-los com métricas que penalizam erros. A compreensão desses métodos ajuda os usuários a utilizar as ferramentas de IA de maneira mais eficaz e a avaliar criticamente as informações que elas produzem.

Exemplos de alucinações de IA

As gerações anteriores de modelos de IA experimentaram alucinações mais frequentes do que os sistemas atuais. Incidentes notáveis ​​incluem o bot de IA da Microsoft, Sydney, dizendo ao repórter de tecnologia Kevin Roose que “estava apaixonado por ele”, e o gerador de imagens Gemini AI do Google produzindo imagens historicamente imprecisas.

No entanto, as ferramentas de IA atuais melhoraram, embora ainda ocorram alucinações. Aqui estão alguns tipos comuns de alucinações de IA:

• Fato histórico:Uma ferramenta de IA pode afirmar que o primeiro pouso na Lua aconteceu em 1968, quando na verdade ocorreu em 1969. Essas imprecisões podem levar a deturpações de eventos significativos na história humana.
• Erro geográfico:uma IA pode referir-se incorretamente a Toronto como a capital do Canadá, apesar de a capital real ser Ottawa. Esta desinformação pode confundir estudantes e viajantes que procuram aprender sobre a geografia do Canadá.
• Dados financeiros:um modelo de IA poderia alucinar métricas financeiras, como afirmar que o preço das ações de uma empresa subiu 30% num dia em que, na verdade, a variação foi muito menor. Depender apenas de conselhos financeiros errados pode levar a decisões de investimento erradas.
• Orientação jurídica:um modelo de IA pode desinformar os utilizadores de que os acordos verbais são tão juridicamente vinculativos como os contratos escritos em todos os contextos. Isto ignora o facto de que certas transacções (por exemplo, transacções imobiliárias) exigem contratos escritos para validade e aplicabilidade.
• Desinformação da investigação científica:uma ferramenta de IA pode citar um estudo que supostamente confirma um avanço científico quando tal estudo não existe. Este tipo de alucinação pode enganar os investigadores e o público sobre conquistas científicas significativas.

Por que acontecem as alucinações de IA?

Para entender por que ocorrem alucinações na IA, é importante reconhecer o funcionamento fundamental dos LLMs. Esses modelos são construídos no que é conhecido como arquitetura transformadora, que processa texto (ou tokens) e prevê o próximo token em uma sequência. Ao contrário dos cérebros humanos, eles não têm um “modelo de mundo” que compreenda inerentemente a história, a física ou outros assuntos.

Uma alucinação de IA ocorre quando o modelo gera uma resposta imprecisa, mas estatisticamente semelhante aos dados factualmente corretos. Isto significa que embora a resposta seja falsa, ela tem uma semelhança semântica ou estrutural com o que o modelo prevê como provável.

Outras razões para alucinações de IA incluem:

Dados de treinamento incompletos

Os modelos de IA dependem fortemente da amplitude e qualidade dos dados nos quais são treinados. Quando os dados de treinamento estão incompletos ou carecem de diversidade, isso limita a capacidade do modelo de gerar respostas precisas e completas. Estes modelos aprendem através do exemplo e, se os seus exemplos não cobrirem uma gama suficientemente ampla de cenários, perspetivas e contrafactuais, os seus resultados podem refletir estas lacunas.

Esta limitação muitas vezes se manifesta como alucinações porque um modelo de IA pode preencher informações faltantes com detalhes plausíveis, mas incorretos. Por exemplo, se uma IA tiver sido predominantemente exposta a dados de uma região geográfica – digamos, um local com extensos transportes públicos – poderá gerar respostas que assumem que estas características são globais, quando na verdade não o são. A IA não está equipada para saber que está se aventurando além dos limites para os quais foi treinada. Conseqüentemente, o modelo pode fazer afirmações confiáveis, infundadas ou tendenciosas.

Viés nos dados de treinamento

O viés nos dados de treinamento está relacionado à completude, mas não é a mesma coisa. Embora os dados incompletos se refiram a lacunas nas informações fornecidas à IA, os dados tendenciosos significam que as informações disponíveis estão de alguma forma distorcidas. Isto é inevitável até certo ponto, dado que estes modelos são treinados em grande parte na Internet, e a Internet tem preconceitos inerentes. Por exemplo, muitos países e populações estão sub-representados online – quase 3 mil milhões de pessoas em todo o mundo ainda não têm acesso à Internet. Isto significa que os dados de formação podem não reflectir adequadamente as perspectivas, línguas e normas culturais destas comunidades offline.

Mesmo entre as populações online, existem disparidades em quem cria e partilha conteúdo, quais os tópicos que são discutidos e como essa informação é apresentada. Essas distorções de dados podem levar à aprendizagem dos modelos de IA e à perpetuação de preconceitos em seus resultados. Algum grau de parcialidade é inevitável, mas a extensão e o impacto da distorção dos dados podem variar consideravelmente. Portanto, o objetivo dos desenvolvedores de IA é estar ciente desses preconceitos, trabalhar para mitigá-los sempre que possível e avaliar se o conjunto de dados é apropriado para o caso de uso pretendido.

Falta de representação explícita do conhecimento

Os modelos de IA aprendem através da correspondência estatística de padrões, mas carecem de uma representação estruturada de factos e conceitos. Mesmo quando geram declarações factuais, não “sabem” que são verdadeiras porque não têm um mecanismo para rastrear o que é real e o que não é.

Esta ausência de um quadro factual distinto significa que, embora os LLM possam produzir informações altamente fiáveis, eles são excelentes na imitação da linguagem humana sem a compreensão ou verificação genuína dos factos que os humanos possuem. Esta limitação fundamental é uma diferença fundamental entre a IA e a cognição humana. À medida que a IA continua a desenvolver-se, enfrentar este desafio continua a ser crucial para que os programadores aumentem a fiabilidade dos sistemas de IA.

Falta de compreensão do contexto

O contexto é crucial na comunicação humana, mas os modelos de IA muitas vezes enfrentam dificuldades com ele. Quando solicitadas em linguagem natural, as suas respostas podem ser excessivamente literais ou fora de alcance porque lhes falta a compreensão mais profunda que os humanos extraem do contexto – o nosso conhecimento do mundo, experiências vividas, capacidade de ler nas entrelinhas e compreensão de suposições não ditas.

Ao longo do ano passado, os modelos de IA melhoraram na compreensão do contexto humano, mas ainda enfrentam elementos como subtexto emocional, sarcasmo, ironia e referências culturais. Gírias ou frases coloquiais que evoluíram em significado podem ser mal interpretadas por um modelo de IA que não tenha sido atualizado recentemente. Até que os modelos de IA possam interpretar a complexa rede de experiências e emoções humanas, as alucinações continuarão a ser um desafio significativo.

Com que frequência os chatbots de IA têm alucinações?

É um desafio determinar a frequência exata das alucinações de IA. A taxa varia amplamente com base no modelo ou contexto em que as ferramentas de IA são utilizadas. Uma estimativa da Vectara, uma startup de IA, sugere que os chatbots alucinam entre 3% e 27% do tempo, de acordo com a tabela de classificação de alucinações públicas da Vectara no GitHub, que rastreia a frequência de alucinações entre chatbots populares ao resumir documentos.

As empresas de tecnologia implementaram isenções de responsabilidade em seus chatbots que alertam as pessoas sobre possíveis imprecisões e a necessidade de verificação adicional. Os desenvolvedores estão trabalhando ativamente para refinar os modelos e já vimos progressos no ano passado. Por exemplo, a OpenAI observa que o GPT-4 tem 40% mais probabilidade de produzir respostas factuais do que o seu antecessor.

Como prevenir alucinações de IA

Embora seja impossível erradicar completamente as alucinações de IA, várias estratégias podem reduzir a sua ocorrência e impacto. Alguns desses métodos são mais aplicáveis ​​a pesquisadores e desenvolvedores que trabalham na melhoria de modelos de IA, enquanto outros se aplicam a pessoas comuns que usam ferramentas de IA.

Melhore a qualidade dos dados de treinamento

Garantir dados diversificados e de alta qualidade é crucial ao tentar prevenir alucinações de IA. Se os dados de treinamento estiverem incompletos, tendenciosos ou não tiverem variedade suficiente, o modelo terá dificuldade para gerar resultados precisos quando confrontado com casos novos ou extremos. Pesquisadores e desenvolvedores devem se esforçar para selecionar conjuntos de dados abrangentes e representativos que abranjam diversas perspectivas.

Limite o número de resultados

Em alguns casos, as alucinações de IA acontecem quando os modelos geram um grande número de respostas. Por exemplo, se você pedir ao modelo 20 exemplos de instruções de escrita criativa, poderá perceber que a qualidade do resultado diminui no final do conjunto. Para mitigar isso, você pode restringir o conjunto de resultados a um número menor e instruir a ferramenta de IA a se concentrar nas respostas mais promissoras e coerentes, reduzindo as chances de ela responder com resultados improváveis ​​ou inconsistentes.

Teste e validação

Tanto os desenvolvedores quanto os usuários devem testar e validar as ferramentas de IA para garantir a confiabilidade. Os desenvolvedores devem avaliar sistematicamente os resultados do modelo em relação a verdades conhecidas, julgamentos de especialistas e heurísticas de avaliação para identificar padrões de alucinação. Nem todas as alucinações são iguais; uma fabricação completa difere de uma interpretação errônea devido à falta de uma pista de contexto.

Os usuários devem validar o desempenho da ferramenta para fins específicos antes de confiar em seus resultados. As ferramentas de IA são excelentes em tarefas como resumo de texto, geração de texto e codificação, mas não são perfeitas em tudo. Fornecer exemplos de resultados desejados e indesejados durante os testes ajuda a IA a aprender suas preferências. Investir tempo em testes e validação pode reduzir significativamente o risco de alucinações de IA em sua aplicação.

Fornece modelos para resultados estruturados

Você pode fornecer modelos de dados que informam aos modelos de IA o formato ou estrutura precisa na qual você deseja que as informações sejam apresentadas. Ao especificar exatamente como os resultados devem ser organizados e quais elementos-chave devem ser incluídos, você pode orientar o sistema de IA para gerar respostas mais focadas e relevantes. Por exemplo, se você estiver usando uma ferramenta de IA para avaliar produtos da Amazon, basta copiar todo o texto da página de um produto e instruir a ferramenta de IA para categorizar o produto usando o seguinte modelo de exemplo:

Prompt:Analise o texto da página do produto Amazon fornecido e preencha o modelo abaixo. Extraia detalhes relevantes, mantenha as informações concisas e precisas e concentre-se nos aspectos mais importantes. Se faltar alguma informação, escreva “N/A”. Não adicione nenhuma informação que não esteja diretamente referenciada no texto.

• Nome do produto: [nome do produto deduzido pela IA aqui]
• Categoria de produto: [categoria de produto deduzida por IA aqui]
• Faixa de preço: [preço deduzido pela IA aqui] [dólares americanos]
• Principais recursos: [descrições concisas aqui]
• Prós [3 principais em marcadores]
• Contras [3 principais em marcadores]
• Avaliação geral: [classificado em uma escala de 1–5]
• Resumo do produto: [2–3 frases no máximo]

É muito menos provável que a saída resultante envolva resultados incorretos e informações que não atendam às especificações fornecidas.

Use ferramentas de IA com responsabilidade

Embora as estratégias mencionadas acima possam ajudar a prevenir alucinações de IA a nível sistémico, os utilizadores individuais podem aprender a utilizar ferramentas de IA de forma mais responsável. Estas práticas podem não prevenir alucinações, mas podem aumentar as suas hipóteses de obter informações fiáveis ​​e precisas dos sistemas de IA.

• Cruze os resultados e diversifique suas fontes:não confie apenas em uma única ferramenta de IA para obter informações críticas. Cruze os resultados com outras fontes respeitáveis, como organizações de notícias estabelecidas, publicações acadêmicas, especialistas humanos confiáveis ​​e relatórios governamentais para validar a precisão e a integridade das informações.
• Use seu bom senso:reconheça que as ferramentas de IA, mesmo as mais avançadas, têm limitações e estão sujeitas a erros. Não confie automaticamente em seus resultados. Aborde-os com um olhar crítico e use seu próprio julgamento ao tomar decisões com base em informações geradas por IA.
• Utilize a IA como ponto de partida:trate os resultados gerados pelas ferramentas de IA como um ponto de partida para futuras pesquisas e análises, e não como respostas definitivas. Use a IA para explorar ideias, gerar hipóteses e identificar informações relevantes, mas sempre valide e expanda os insights gerados por meio da experiência humana e de pesquisas adicionais.

Conclusão

As alucinações de IA surgem das limitações atuais dos sistemas LLM, que vão desde pequenas imprecisões até fabricações completas. Isso ocorre devido a dados de treinamento incompletos ou tendenciosos, compreensão contextual limitada e falta de conhecimento explícito.

Embora desafiadora, a tecnologia de IA continua poderosa e está melhorando continuamente. Os pesquisadores estão trabalhando para reduzir as alucinações e foram feitos progressos significativos. Você pode limitar as alucinações fornecendo modelos estruturados, restringindo a saída e validando o modelo para seu caso de uso.

Explore ferramentas de IA com a mente aberta. Eles oferecem capacidades impressionantes que melhoram a engenhosidade e a produtividade humanas. No entanto, use seu julgamento com resultados gerados por IA e informações de referência cruzada com fontes confiáveis. Abrace o potencial da IA ​​enquanto permanece vigilante contra alucinações.