Nova técnica ajuda IA a moderar sua autoconfiança

São PauloPesquisadores descobriram uma nova forma de evitar que modelos de IA tenham excesso de confiança em respostas erradas. A técnica, denominada Thermometer, visa tornar os grandes modelos de linguagem mais confiáveis.

As pessoas utilizam os grandes modelos de linguagem para diversas tarefas, como traduzir idiomas, detectar fraudes financeiras e responder perguntas de atendimento ao cliente.

Esses modelos nem sempre são precisos. Às vezes, mostram alta confiança em respostas erradas ou falta de confiança em respostas corretas. Isso os torna difíceis de confiar.

Pesquisadores do MIT e do MIT-IBM Watson AI Lab desenvolveram o Termômetro para solucionar esse problema. O Termômetro utiliza um modelo adicional menor para ajustar os níveis de confiança dos LLMs. Esse método inovador é eficiente e não exige muita potência computacional, além de manter a precisão do modelo.

Métodos tradicionais de ajuste de modelos de aprendizado de máquina são projetados para uma única tarefa. Esses métodos não funcionam bem para grandes modelos de linguagem (LLMs), já que esses modelos executam muitas tarefas. Utilizar um método tradicional pode diminuir o desempenho de um LLM em tarefas para as quais ele não foi ajustado.

Calibrar modelos de linguagem de grande escala normalmente exige muitas amostras combinadas, o que é custoso em termos de computação. Thermometer oferece uma abordagem diferente utilizando a técnica de ajuste de temperatura para regular a confiança do modelo. Esse método é uma forma consagrada de calibração, onde o "termômetro" é um parâmetro que ajuda a alinhar os níveis de confiança com a precisão das previsões.

Geralmente, é necessário um conjunto de dados validado e rotulado para encontrar a temperatura correta. No entanto, obter conjuntos de dados rotulados para novas tarefas é desafiador. Por exemplo, se uma empresa quer usar um modelo de linguagem para responder perguntas sobre um novo produto, provavelmente ainda não possui um conjunto de dados para isso.

O Termômetro utiliza um modelo auxiliar para estimar a temperatura necessária. Esse modelo é treinado com dados de várias tarefas comuns, permitindo que ele lide com novas atividades sem precisar de mais dados rotulados. Por exemplo, um Termômetro treinado com questões de álgebra e questões médicas de múltipla escolha pode também ajustar respostas para perguntas de geometria ou biologia.

O modelo Thermometer está mais avançado agora, embora ainda não seja perfeito. Ele precisa acessar apenas uma pequena parte do LLM, resultando em uma desaceleração mínima.

O termômetro proporcionou resultados mais precisos sobre as incertezas nos testes e demandou menos potência de computação do que outras abordagens.

Cientistas acreditam que o Thermometer pode realizar novas tarefas com êxito se for treinado em diversas funções. Eles também descobriram que o sistema é eficaz tanto com modelos pequenos quanto grandes no mesmo grupo. Isso faz dele um método adaptável.

A equipe pretende aperfeiçoar o Thermometer para tarefas mais complexas e modelos de linguagem maiores. Eles também buscam determinar quantos conjuntos de dados rotulados são necessários para ter um bom desempenho em novas tarefas. A pesquisa foi financiada pelo MIT-IBM Watson AI Lab.