Améliorer l'équité dans l'allocation des ressources d'IA grâce à la randomisation intelligente

ParisDe plus en plus d'organisations utilisent des modèles d'apprentissage automatique pour allouer des ressources limitées ou des opportunités. Ces modèles peuvent aider les entreprises à sélectionner des candidats à partir de CVs ou assister les hôpitaux dans le classement des greffes de rein. Pour assurer l'équité de ces décisions, les utilisateurs ajustent les caractéristiques ou les scores afin de réduire les biais.

Des chercheurs du MIT et de l'Université Northeastern estiment que les méthodes actuelles pour garantir l'équité sont insuffisantes. Ils constatent que rendre les décisions d'un modèle aléatoires peut améliorer l'équité. En effet, en randomisant les décisions, on peut s'assurer qu'une seule personne méritante ne soit pas systématiquement privée d'une ressource limitée. Cela est particulièrement important en cas d'incertitudes ou lorsque le même groupe reçoit fréquemment des décisions négatives.

Des chercheurs ont mis au point un nouveau système basé sur une loterie pondérée, introduisant ainsi un niveau de hasard maîtrisé.

• Empêche l'exclusion systémique
• Réduit les incertitudes des modèles prédictifs
• Accroît l'équité générale sans nuire à l'efficacité

Même les modèles d'apprentissage automatique les plus avancés présentent des zones d'incertitude. Par exemple, prévoir l'espérance de vie pour l'attribution d'un rein est très incertain. Lorsque les décisions sont plus incertaines, il est préférable d'inclure une certaine part de hasard. L'utilisation prudente de l'aléatoire peut rendre les résultats plus équitables sans grandement impacter l'efficacité du modèle.

Shomik Jain, étudiant diplômé à l'Institut pour les données, systèmes et société (IDSS), dirige cette recherche. Il collabore avec Kathleen Creel de l'université Northeastern et Ashia Wilson, chercheuse principale au Laboratoire des systèmes d'information et de décision (LIDS) du MIT. Ils présenteront leurs résultats à la prestigieuse Conférence internationale sur l'apprentissage automatique.

Ce travail s'appuie sur des études antérieures montrant que l'allocation fixe peut accentuer les inégalités. Les modèles d'apprentissage automatique peuvent commettre des erreurs, et les modèles statiques peuvent les reproduire. En revanche, l'utilisation de la sélection aléatoire permet de mieux respecter les revendications individuelles face à des ressources limitées. Cette méthode est en accord avec les idées du philosophe John Broome, qui préconise l'utilisation de loteries pour une répartition équitable des ressources.

La randomisation peut être utile, mais ce n'est pas toujours le bon choix. Les chercheurs déconseillent son utilisation dans des contextes où elle pourrait être néfaste, comme dans le domaine de la justice pénale. En revanche, ils estiment qu'elle pourrait être bénéfique dans des domaines tels que l'admission à l'université.

L'impact de la randomisation sur la concurrence, les prix et la fiabilité des modèles

L'équipe souhaite analyser comment la randomisation influence la concurrence, les prix et la fiabilité des modèles. Les chercheurs proposent que les parties prenantes utilisent la randomisation pour déterminer quand l'appliquer. Ils examineront également le degré optimal de randomisation nécessaire dans différents scénarios.

La randomisation structurée dans les décisions des IA permet une répartition plus équitable des ressources limitées. Elle prend en compte les incertitudes et respecte les besoins individuels. Cette méthode évite l'exclusion et améliore l'équité sans sacrifier l'efficacité.