Perfectionner la confiance : estimations précises d'incertitude pour modèles d'IA par le MIT

ParisDes chercheurs du MIT ont développé une nouvelle méthode pour effectuer des estimations d'incertitude dans les modèles d'apprentissage automatique, les rendant ainsi plus précises. Ceci est crucial pour des tâches telles que le diagnostic médical et le tri des candidatures. Parfois, ces modèles peuvent faire des prédictions erronées, d'où l'importance de connaître le degré de certitude de leurs décisions. Des estimations d'incertitude précises aident les utilisateurs à décider s'ils peuvent faire confiance aux résultats du modèle. Cette nouvelle technique, issue d'une collaboration entre le MIT et l'Université de Toronto, produit ces estimations de manière plus précise et rapide que les méthodes traditionnelles.

Les chercheurs ont appliqué le principe de la longueur minimale de description (MDL). Cette méthode évalue toutes les étiquettes possibles qu'un modèle peut attribuer à un point de test. Lorsque de nombreuses étiquettes conviennent, le modèle devient moins sûr. Voici en quoi consiste cette technique :

• Estimations d'incertitude plus précises
• Amélioration de l'efficience et de la scalabilité
• Adaptabilité aux grands modèles de deep learning

Dans les applications pratiques, les méthodes statistiques simples sont souvent inefficaces en raison de la complexité des modèles d'apprentissage automatique. De nombreuses méthodes actuelles nécessitent des calculs et des hypothèses compliqués, rendant leur utilisation difficile pour des modèles de grande envergure. Les chercheurs du MIT ont contourné ces problèmes en utilisant la méthode MDL, qui ne requiert pas de telles hypothèses.

La méthode novatrice IF-COMP rend la MDL accessible pour des modèles de grande envergure. Elle est plus rapide grâce à l’utilisation des fonctions d’influence. De plus, elle recourt au redimensionnement de température pour améliorer la précision des sorties du modèle. Ensemble, ces techniques permettent à IF-COMP de fournir des mesures d'incertitude fiables.

Lisez aussi:

Aujourd'hui · 12:41

La transition difficile d'OpenAI vers une entité à but lucratif

Les situations où cette méthode est la plus performante sont celles où elle permet de détecter des données mal étiquetées et des valeurs aberrantes. Dans ces contextes, IF-COMP s'est avéré plus rapide et précis que d'autres techniques. Elle garantit un modèle bien calibré, ce qui est crucial car les modèles d'apprentissage automatique sont de plus en plus utilisés pour traiter des volumes importants de données non vérifiées.

Les modèles d'apprentissage automatique peuvent commettre des erreurs et parfois accorder de la confiance à de fausses informations. Cette nouvelle méthode aide les utilisateurs à comprendre quand les prédictions d'un modèle pourraient être erronées. Elle est compatible avec différents types de modèles d'apprentissage automatique et améliore la prise de décision dans divers domaines.

Vous pouvez avoir plus confiance en les outils d'IA, même si vous ne maîtrisez pas bien l'apprentissage automatique. Vous obtiendrez de meilleures informations sur la fiabilité de ces outils, qu'ils soient utilisés pour les diagnostics médicaux ou les candidatures à des emplois. Cela est particulièrement crucial dans des domaines comme la santé, où des décisions précises sont indispensables.

Les chercheurs souhaitent appliquer cette méthode à des modèles de langage plus grands. Ils envisagent également d'explorer d'autres façons d'utiliser le principe de MDL. Cela pourrait rendre les systèmes d'IA plus fiables et dignes de confiance dans diverses tâches.