Desvendando a confiança: aprimorando a precisão dos modelos de IA com MDL e IF-COMP

São PauloPesquisadores do MIT desenvolvem nova técnica para estimar incertezas em modelos de aprendizado de máquina

Pesquisadores do MIT criaram uma maneira inovadora de estimar incertezas em modelos de aprendizado de máquina com mais precisão. Isso é crucial para tarefas como diagnósticos médicos e triagem de candidatos a emprego. Às vezes, os modelos de aprendizado de máquina podem fazer previsões erradas, então é vital saber o quão confiáveis são essas decisões. Estimativas precisas de incerteza ajudam as pessoas a decidir se devem confiar nos resultados do modelo. A nova técnica, desenvolvida em parceria com a Universidade de Toronto, proporciona essas estimativas de forma mais precisa e rápida do que métodos anteriores.

Os pesquisadores aplicaram o princípio do comprimento mínimo de descrição (CMD). Esse método avalia todos os rótulos possíveis que um modelo pode atribuir a um ponto de teste. Quando há muitos rótulos adequados, o modelo torna-se menos confiante. Veja o que essa técnica faz:

• Estimativas de incerteza mais precisas
• Maior eficiência e escalabilidade
• Aplicabilidade a grandes modelos de aprendizado profundo

Em aplicações do mundo real, métodos estatísticos simples muitas vezes não funcionam bem devido à complexidade dos modelos de aprendizado de máquina. Muitos métodos atuais requerem cálculos complexos e suposições, tornando difícil seu uso em modelos maiores. Pesquisadores do MIT evitaram esses problemas utilizando o MDL, um método que não exige tais suposições.

O novo método, IF-COMP, torna o MDL utilizável para modelos grandes. Ele opera de forma mais rápida utilizando uma técnica chamada funções de influência. Além disso, aplica a escalagem de temperatura para aumentar a precisão das saídas do modelo. Juntas, essas abordagens ajudam o IF-COMP a fornecer medições de incerteza confiáveis.

Leia também:

Hoje · 07:41

Desafios da transição da OpenAI para uma empresa lucrativa

Os benefícios do IF-COMP na detecção de dados rotulados erroneamente e outliers

Os casos onde esse método se mostra mais eficaz são aqueles em que auxilia na identificação de dados rotulados incorretamente e outliers. Nessas tarefas, o IF-COMP foi mais rápido e preciso do que outros métodos. Ele garante que um modelo esteja bem calibrado, o que é crucial à medida que os modelos de machine learning lidam cada vez mais com grandes volumes de dados que não foram minuciosamente verificados.

Modelos de aprendizado de máquina podem cometer erros e, às vezes, confiar em informações falsas. Este novo método auxilia os usuários a entenderem quando as previsões de um modelo podem estar equivocadas. Ele é compatível com diferentes tipos de modelos de aprendizado de máquina e aprimora a tomada de decisões em diversas áreas.

Você pode confiar mais nas ferramentas de IA, mesmo sem saber muito sobre aprendizado de máquina. Elas oferecem detalhes mais precisos sobre a confiabilidade dessas ferramentas, seja em diagnósticos médicos ou em processos de seleção de emprego. Isso é crucial em áreas como a saúde, onde decisões precisas são fundamentais.

Os pesquisadores pretendem aplicar essa técnica em modelos de linguagem mais avançados. Eles também esperam explorar outras formas de utilizar o princípio MDL. Isso pode aumentar a confiabilidade e a segurança dos sistemas de IA em diversas tarefas.