Rozszyfrowywanie pewności: jak ufać modelom AI dzięki nowym naukowym odkryciom.

WarsawNaukowcy z MIT opracowali nowy sposób poprawy dokładności szacowania niepewności w modelach uczenia maszynowego. Jest to kluczowe przy zadaniach, takich jak diagnoza medyczna czy selekcja kandydatów do pracy. Modele uczenia maszynowego mogą czasami podawać błędne prognozy, dlatego ważne jest, aby wiedzieć, jak pewne są te modele w odniesieniu do swoich decyzji. Dokładne szacowanie niepewności pomaga ludziom zdecydować, czy powinni zaufać wynikom modelu. Nowa technika, opracowana przez MIT i Uniwersytet w Toronto, pozwala uzyskać te szacunki precyzyjniej i szybciej niż starsze metody.

Naukowcy zastosowali zasadę minimalnej długości opisu (MDL). Ta metoda analizuje wszystkie możliwe etykiety, które model mógłby przypisać punktowi testowemu. Jeśli istnieje wiele odpowiednich etykiet, model staje się mniej pewny. Oto, co robi ta technika:

• Bardziej precyzyjne oszacowania niepewności
• Lepsza efektywność i skalowalność
• Zastosowanie do dużych modeli głębokiego uczenia

W rzeczywistych zastosowaniach proste metody statystyczne często nie sprawdzają się, ponieważ modele machine learning są złożone. Wiele obecnych metod wymaga skomplikowanych obliczeń i założeń, co sprawia, że ich zastosowanie w większych modelach jest trudne. Badacze z MIT uniknęli tych problemów, stosując MDL, metodę, która nie wymaga takich założeń.

Nowa metoda, IF-COMP, sprawia, że MDL staje się użyteczne dla dużych modeli. Działa szybciej dzięki zastosowaniu funkcji wpływu. Ponadto używa skalowania temperaturowego, aby zwiększyć dokładność wyników modelu. Razem te elementy pomagają IF-COMP dostarczać wiarygodne pomiary niepewności.

Zobacz również:

Dzisiaj · 12:41

Trudna transformacja OpenAI w spółkę nastawioną na zysk

Metoda ta jest najbardziej skuteczna w przypadkach, gdy pomaga zidentyfikować źle oznaczone dane oraz wartości odstające. W takich zadaniach, IF-COMP okazał się szybszy i dokładniejszy niż inne metody. Zapewnia, że model jest dobrze skalibrowany, co jest istotne, zwłaszcza w kontekście coraz większej ilości danych, które maszyny uczące się przetwarzają bez dokładnej weryfikacji.

Modele uczenia maszynowego mogą popełniać błędy i czasem ufać nieprawdziwym informacjom. Nowa metoda pomaga użytkownikom zrozumieć, kiedy przewidywania modelu mogą być błędne. Działa z różnymi rodzajami modeli uczenia maszynowego i usprawnia proces podejmowania decyzji w różnych dziedzinach.

Możesz bardziej zaufać narzędziom AI, nawet jeśli niewiele wiesz o uczeniu maszynowym. Dostaniesz dokładniejsze informacje o wiarygodności tych narzędzi, czy to podczas pomagania w diagnozach medycznych, czy w aplikacjach o pracę. Jest to szczególnie ważne w takich dziedzinach jak opieka zdrowotna, gdzie precyzyjne decyzje mają kluczowe znaczenie.

Badacze zamierzają zastosować tę metodę na większych modelach językowych. Planują również zbadać inne sposoby wykorzystania zasady minimalnej długości opisu, co mogłoby uczynić systemy AI bardziej niezawodnymi i godnymi zaufania w różnorodnych zadaniach.