L’être humain peut avoir des préjugés, mais cela ne veut pas dire que l'IA doit en avoir. Les algorithmes apprennent à se comporter principalement en fonction du type de données qui leur sont fournies. Si celles-ci contiennent des biais sous-jacents, le modèle d'IA apprendra à agir en conséquence. Si les entreprises ne veillent pas à ce que leurs modèles soient aussi justes que possible, elles peuvent laisser les biais s’installer à leur insu.
Le problème des données
Certains types de données sont plus susceptibles conduisent, (souvent par inadvertance) pour discriminer certains groupes – à l’instar des informations sur le genre ou l’âge.
Les entreprises doivent examiner attentivement les données utilisées par l'IA. Sinon, celles-ci peuvent engendrer un traitement injuste de certaines populations - comme la limitation excessive des prêts, des polices d'assurance ou des remises sur les produits à ceux qui en ont vraiment besoin. Plus qu’une obligation morale, il s’agit d’une véritable responsabilité pour les entreprises de prévenir l’apparition de tels biais.
Quand les biais deviennent réels
Au cours de l'année écoulée, plusieurs incidents très médiatisés ont mis en évidence les risques de partialité involontaire et l'effet néfaste qu’elle peut avoir sur une marque et ses clients. Dans le climat actuel où tant d'entreprises luttent pour se maintenir à flot, cet effet n’est que renforcé. La discrimination a un coût : perte de revenus, perte de confiance entre les clients, les employés et les autres parties prenantes, amendes réglementaires, atteinte à la réputation de la marque et ramifications juridiques.
Comment identifier et anticiper les biais
Le marketing auprès de groupes spécifiques présentant des caractéristiques similaires n'est pas nécessairement biaisé. Par exemple, l'envoi d'offres aux parents de jeunes enfants avec des promotions sur les couches, les plans d'épargne des universités, l'assurance vie, etc. est parfaitement acceptable si l'entreprise leur propose des offres personnalisées. De même pour le ciblage des personnes âgées bénéficiant d'une mutuelle ou d’une retraite, à condition que la société fasse la promotion d’offres pertinentes et utiles pour cette cible. Il ne s’agit pas de discrimination, mais de marketing intelligent.
Mais le ciblage de groupes peut rapidement devenir une pente glissante. Il incombe aux organisations d'intégrer une technologie de détection des biais dans tous les modèles d'IA. En particulier, dans les secteurs réglementés, comme les services financiers et les assurances, où les conséquences peuvent être graves. La détection des biais ne doit pas se faire uniquement tous les trimestres ou tous les mois. Les entreprises doivent surveiller en permanence leurs modèles d'IA autodidactes, 24 heures sur 24 et 7 jours sur 7, afin de détecter et d'éliminer de manière proactive les comportements discriminatoires.
Afin d’éviter ces biais intégrés, les entreprises doivent utiliser des « sources de données propres » pour construire leurs modèles d’IA. Elles doivent malgré tout rester prudentes, car les identificateurs de classe « classiques » (niveau d’éducation, profession, état civil…) peuvent eux aussi être sources de discrimination dans certaines situations.
L’utilisation d’une technologie spécifique pour repérer ces biais est indispensable. Tester les modèles d’IA via des simulations permet de repérer les comportements discriminatoires de l’IA, et de les corriger à l’avance. Il s’agit d’une étape essentielle, d’autant plus l’IA est récente, puissante, et souvent opaque dans sa manière de fonctionner – rendant la détection de biais inhérents plus complexes.
Mais il ne suffit pas de détecter le biais au niveau du modèle prédictif. L'interaction entre plusieurs modèles (parfois des centaines) et la stratégie client de l'entreprise peut elle aussi faire apparaître des comportements discriminatoires. Ainsi, la présence de biais doit être testée lors de la décision finale qu'une entreprise prend à l'égard d'un client, et non pas seulement lors des phases de test.
L’utilisation d’une technologie pour détecter les biais est essentielle pour deux raisons. La première est celle de l’échelle du travail qu’il est nécessaire de réaliser. La seconde est que les clients et les médias sont de plus en plus sensibles à la question, et d’autant moins indulgents. Des erreurs à ce niveau ne sont pas tolérables.