De l'engouement pour l'IA aux vrais critères de succès
ParisDes scientifiques du Princeton Plasma Physics Laboratory et de l'Université de Princeton, dépendant du département de l'Énergie des États-Unis, ont étudié l'efficacité de l'apprentissage automatique dans la résolution de certains problèmes mathématiques fluides appelés équations aux dérivées partielles. Ils ont découvert que, bien que l'apprentissage automatique soit souvent vanté, ses performances sont parfois surestimées. Les méthodes traditionnelles restent plus efficaces dans de nombreux cas. Les chercheurs ont souligné la présence d'erreurs persistantes avec l'apprentissage automatique et ont soutenu la nécessité de méthodes claires pour évaluer son succès.
Observations clés de l'étude :
- Les comparaisons biaisées ont souvent tendance à privilégier les méthodes d'apprentissage automatique par rapport aux méthodes traditionnelles.
- Les résultats négatifs sont souvent sous-rapportés, ce qui donne une image excessivement optimiste.
- L'apprentissage automatique est parfois comparé à des références numériques plus faibles, ce qui déforme les avantages perçus en termes de performance.
Les attentes envers l'intelligence artificielle sont souvent élevées, mais pas toujours fondées. Parfois, l'apprentissage automatique peut offrir une solution plus rapide, mais les méthodes numériques traditionnelles restent généralement plus précises et équilibrent mieux la rapidité et l'exactitude. Il est crucial de comprendre ce compromis pour juger de l'efficacité réelle d'une méthode. Pourtant, de nombreux articles académiques ne montrent pas clairement ces compromis. Ils comparent souvent des techniques d'apprentissage automatique à des méthodes numériques moins efficaces, ce qui masque le potentiel des approches plus avancées.
Publication exclusive de résultats positifs : favoriser les biais ? Diffuser uniquement des résultats positifs peut entraîner des biais dans les rapports. Les revues scientifiques ont tendance à ignorer les résultats négatifs à cause de ces biais. Les chercheurs sont incités à publier des découvertes impressionnantes, ce qui les pousse à se concentrer davantage sur l'amélioration de leurs modèles plutôt que sur une comparaison rigoureuse avec les meilleures méthodes disponibles.
Pour améliorer la recherche scientifique avec l'apprentissage automatique, il est crucial de comparer équitablement les méthodes. Cela implique d'évaluer les méthodes d'IA face à des normes numériques rigoureuses et de partager les résultats de manière honnête. Les organismes de financement et les événements académiques devraient établir des règles favorisant la transparence. Cela inclut la nécessité de fournir des explications claires sur le choix des références de base et les raisons de ces choix.
Cette étude souligne l'importance de méthodes scientifiques plus rigoureuses et réfléchies pour améliorer réellement l'utilisation de l'intelligence artificielle dans les domaines de la science et de l'ingénierie. En encourageant des évaluations plus détaillées et approfondies, nous pouvons éviter les revendications exagérées et réaliser des progrès concrets.
L'étude est publiée ici:
http://dx.doi.org/10.1038/s42256-024-00897-5et sa citation officielle - y compris les auteurs et la revue - est
McGreivy, N., Hakim, A. Weak baselines and reporting biases lead to overoptimism in machine learning for fluid-related partial differential equations. Nat Mach Intell, 2024 DOI: 10.1038/s42256-024-00897-518 novembre 2024 · 14:36
Étudier le comportement des souris avec précision grâce à l’IA et à moins d’animaux
18 novembre 2024 · 12:24
L'IA détecte rapidement les tumeurs cérébrales invisibles lors d'interventions chirurgicales
17 novembre 2024 · 11:45
L'IA prédictive cible les sites à risque pour une surveillance améliorée des eaux souterraines
Partager cet article