Från AI-hype till reella framgångsmått för forskare

StockholmForskare vid U.S. Department of Energy's Princeton Plasma Physics Laboratory och Princeton University undersökte hur effektiv maskininlärning är vid lösning av vissa flödesspecifika matematiska problem kända som partiella differentialekvationer. De fann att även om maskininlärning ofta får mycket beröm, är dess prestationer ofta överdrivna. Traditionella metoder fungerar fortfarande bättre i många fall. Forskarna påpekade att det finns återkommande fel med maskininlärning och betonade att det bör finnas tydliga sätt att mäta dess framgång.

Studien uppmärksammar flera viktiga insikter:

• Jämförelser som gynnar maskininlärningsmetoder före traditionella metoder är ofta partiska.
• Negativa resultat rapporteras sällan, vilket ger en alltför optimistisk bild.
• Maskininlärning jämförs ibland med svagare numeriska baslinjer, vilket ger en snedvriden uppfattning om prestationsfördelar.

Människor har ofta höga förväntningar på AI, men dessa är inte alltid realistiska. Maskininlärning kan ibland vara snabbare, men traditionella numeriska metoder är vanligtvis mer exakta och erbjuder en bättre balans mellan hastighet och noggrannhet. Att förstå denna kompromiss är viktigt för att bedöma hur effektiv en metod faktiskt är. Många akademiska artiklar visar dock inte tydligt på dessa avvägningar. De jämför ofta maskininlärningstekniker med mindre effektiva numeriska metoder, vilket tenderar att dölja potentialen hos mer avancerade tillvägagångssätt.

Läs också:

Igår · 04:40

Kalifornien skärper lagar mot AI-baserat utnyttjande av barn

Publicering av enbart positiva resultat kan leda till en snedvridning i rapporteringen. Vetenskapliga tidskrifter tenderar att förbise negativa resultat på grund av dessa snedvridningar. Forskare drivs av viljan att publicera uppseendeväckande fynd, vilket gör att de lägger mer energi på att förfina sina modeller än på att noggrant jämföra dem med de bästa tillgängliga metoderna.

För att förbättra vetenskaplig forskning med maskininlärning är det viktigt att rättvist jämföra metoder. Det innebär att testa ML-metoder mot starka numeriska standarder och att ärligt dela resultaten. Finansiärer och akademiska event bör införa regler som främjar öppenhet, vilket innebär att kräva tydliga förklaringar av valda riktmärken och orsakerna till dessa val.

Denna studie understryker behovet av starkare och mer noggranna vetenskapliga metoder för att verkligen förbättra användningen av artificiell intelligens inom vetenskap och teknik. Genom att främja mer detaljerade och grundliga utvärderingar kan vi undvika överdrivna påståenden och göra verkliga framsteg.