Les systèmes d’IA envahissent et transforment les métiers de la finance et de l’assurance. Ils s’appuient sur des données historiques souvent biaisées ou incomplètes, qui amplifient des biais socioéconomiques existants. Or, la confiance, l’équité et la conformité réglementaire sont essentielles pour les assureurs.
S’ils prennent le risque que leurs clients soient victimes de discriminations systémiques, ils mettent en gage leur crédibilité et encourent la peine de voir leur réputation faiblir. Les défis sont donc de taille pour rester compétitifs et se donner les capacités de se réinventer :
- transparence accrue et responsabilisation des équipes,
- éthique et inclusion financière,
- performance et confiance client.
Face à ces défis, les acteurs de la finance développent le cadre de contrôle nécessaire. Il doit garantir la qualité des technologies exploitées et l’explicabilité des décisions qui sont prises pour un processus d’innovation responsable et durable.
Qu’est-ce que le risque de biais algorithmique ?
Le biais algorithmique est une erreur systématique dans le fonctionnement d’un algorithme, qui conduit à des décisions injustes, discriminatoires ou inéquitables envers certains individus ou groupes. Les biais aggravent ou perpétuent des discriminations socioéconomiques, ethniques et sexistes préexistantes.
Ils peuvent provenir :
- de données historiques biaisées : biais de sélection,
- soit de préjugés humains intégrés lors de la conception1, soit du fait d’une interprétation erronée ou partielle des résultats : biais de confirmation,
- de défauts dans la structure et l’optimisation des modèles : biais d’algorithmie.
Les études scientifiques citent les deux premières sources comme étant celles que les entreprises doivent fréquemment affronter.
En effet, l’amplification par l’IA de biais sociaux existant dans les données historiques est un phénomène récurrent et bien connu. A titre d’illustration : les services de modération de contenu sur les réseaux sociaux, ayant conduit à une censure abusive de communautés2. Les automates programmés pour lutter contre la prolifération de contenus malveillants suppriment mécaniquement des mots associés à des propos haineux, collectés parmi les données sur internet, pour entrainer les modèles.
Des conséquences dommageables pour les institutions financières
Le biais d’algorithmie est quant à lui lié à la structure et à l’optimisation des modèles. Le cas du logiciel COMPAS est bien connu. Plusieurs Etats américains l’ont adopté pour évaluer le risque de récidive des personnes arrêtées. L’algorithme sous-estimait le risque pour les individus « blancs » et surestimait celui des autres groupes, « noirs » notamment. COMPAS avait été optimisé pour maximiser la précision globale, au détriment de la précision pour chacun des groupes
« raciaux »3.
Les biais algorithmiques sont à l’origine de situations inopportunes pour les organisations et en particulier pour les institutions financières pouvant entrainer des conséquences sérieuses :
- réputationnelle : dégradation de l’image de l’entreprise,
- réglementaire : sanctions de la part des régulateurs. En France, par exemple, la discrimination commise à l'égard de personnes physiques ou morales, est punie. Les sanctions peuvent aller jusqu’à trois ans d’emprisonnement et 45 000 euros d’amende4,
- opérationnelle : dégradation des performances de l’entreprises.
La mise en place de mesures comme l’amélioration de la qualité des données d’entrainement est un enjeu de taille pour les entreprises. En 2020, une étude de Gartner estimait à 12,9 millions d’euros la perte annuelle moyenne mondiale due à l’utilisation de données de mauvaises qualité5.
Pour en savoir plus sur les impacts des biais algorithmiques, vous pouvez télécharger l'article complet dans lequel :
- nous analysons les facteurs aggravant le risque considéré,
- nous étudions le contexte géopolitique et social, avec un focus sur la géopolitique de l'IA,
- nous listons les métiers les plus impactés par ce risque,
- nous passons en revue les réponses des organisations face à ce risque,
- enfin, nous élaborons 3 scénarios d'avenir face à l'invasion de l'IA.
1 Biais algorithmiques - Data Bird
2 IA et discrimination : un cas d’école de « discrimination algorithmique »
3 Machine Bias : by Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, ProPublica
4 Article 225-2 du Code pénal
5 Data quality: Best practice for accurate insights, Gartner