Confianza y precisión: innovando estimaciones de incertidumbre en modelos de IA

MadridInvestigadores del MIT han desarrollado una nueva forma de hacer estimaciones de incertidumbre en modelos de aprendizaje automático, mejorándolas en precisión. Esto es crucial para tareas como diagnósticos médicos y selección de candidatos laborales. Los modelos de aprendizaje automático pueden cometer errores en sus predicciones, por lo que es esencial saber con cuánta seguridad se han tomado esas decisiones. Estimaciones de incertidumbre precisas ayudan a determinar si se debe confiar en los resultados del modelo. La nueva técnica, creada en colaboración con la Universidad de Toronto, genera estas estimaciones de manera más precisa y rápida que los métodos anteriores.

Los investigadores utilizaron el principio de longitud mínima de descripción (MDL). Este método examina todas las posibles etiquetas que un modelo podría asignar a un punto de prueba. Cuando existen muchas etiquetas adecuadas, el modelo se muestra menos seguro. Así es como funciona esta técnica:

• Estimaciones de incertidumbre más precisas
• Mayor eficiencia y escalabilidad
• Aplicabilidad a modelos de aprendizaje profundo de gran escala

En aplicaciones del mundo real, los métodos estadísticos simples a menudo no funcionan bien debido a la complejidad de los modelos de aprendizaje automático. Muchos métodos actuales requieren cálculos y suposiciones complicadas, lo que dificulta su uso en modelos más grandes. Los investigadores del MIT evitaron estos problemas utilizando MDL, un método que no necesita tales suposiciones.

El nuevo método, IF-COMP, hace que MDL sea utilizable para modelos grandes. Funciona más rápido usando una técnica llamada funciones de influencia. Además, utiliza el escalado de temperatura para que las salidas del modelo sean más precisas. Juntos, estos elementos ayudan a que IF-COMP proporcione mediciones de incertidumbre fiables.

Lea también:

Hoy · 7:41

La desafiante transición de OpenAI a entidad con fines de lucro

Los casos donde este método es más eficaz son aquellos en los que ayuda a encontrar datos mal etiquetados y valores atípicos. En estas tareas, IF-COMP fue más rápido y preciso que otros métodos. Garantiza que un modelo esté bien calibrado, lo cual es crucial a medida que los modelos de aprendizaje automático manejan cantidades crecientes de datos que no han sido verificados a fondo.

Los modelos de aprendizaje automático pueden cometer errores y, en ocasiones, confiar en información incorrecta. Este nuevo método ayuda a los usuarios a entender cuándo las predicciones de un modelo podrían fallar. Es compatible con diferentes tipos de modelos de aprendizaje automático y mejora la toma de decisiones en diversas áreas.

Puedes confiar más en las herramientas de IA, incluso si no sabes mucho sobre aprendizaje automático. Obtendrás mejores detalles sobre la fiabilidad de estas herramientas, ya sea que ayuden con diagnósticos médicos o solicitudes de empleo. Esto es fundamental en áreas como la salud, donde las decisiones precisas son esenciales.

Los investigadores quieren aplicar este método en modelos de lenguaje más grandes. También pretenden explorar otras formas de utilizar el principio de MDL. Esto podría hacer que los sistemas de inteligencia artificial sean más fiables y seguros en diversas tareas.