Assurance : avec 80 % de réponses non fiables, les IA sont encore loin de remplacer l’expertise des conseillers

La néo-assurance Leocare basée à Rennes, a étudié la véracité des réponses fournies par les IA les plus populaires. Le constat est alarmant : seulement 20,6 % des réponses sont complètes et exactes laissant dans la majorité des cas, l'assuré avec une information fausse, incomplète ou trompeuse.

Des réponses approximatives mais des risques bien concrets

Pour mesurer la fiabilité des IA, Leocare a soumis les 500 questions les plus fréquemment posées par les Français aux quatres plateformes les plus populaires : Claude (Anthropic), Gemini (Google), ChatGPT (OpenAI) et Le Chat (Mistral). Le verdict est sans appel : 135 questions sur 500 (27 %) piègent au moins une IA avec une réponse fausse ou trompeuse, et 34 mettent simultanément en défaut les trois IA les plus performantes. Pour les assurés, les conséquences sont concrètes : croire qu'un sinistre n'est pas couvert et renoncer à le déclarer ou, à l'inverse, se croire protégé dans une situation qui constitue en réalité une exclusion.

L'assurance moto concentre le pire taux d'erreur global : 32 % pour Mistral, 17 % pour Gemini, 15 % pour ChatGPT. L'habitation suit avec 15 à 24 % selon l'IA, en raison de la complexité des exclusions (trampoline, drone, feux d'artifice, panneaux solaires).

Sur les 2 000 réponses obtenues, les IA se révèlent très performantes sur les questions simples et stables : L'assurance auto est-elle obligatoire ? Quelle est la différence entre tiers et tous risques ? Le constat amiable est-il obligatoire ? Là où elles échouent, c'est sur les nuances, l'actualité réglementaire et les exceptions soit précisément les questions pour lesquelles les assurés attendent des réponses adaptées à leur situation.

D'après l'étude menée par Leocare, on peut distinguer trois types d'erreurs dans les réponses des IA :

Erreur #1 : les nuances juridiques

« L'assurance est-elle transférable en cas de vente ? » : la majorité des IA répondent non à la question, mais omettent que le contrat peut être reporté sur un nouveau véhicule avec l'accord de l'assureur (art. L121-11 du Code des assurances).

« L'assurance couvre-t-elle un accident si mon enfant mineur conduit ? » : Gemini et Mistral répondent catégoriquement par la négative, alors que la responsabilité civile des parents (art. 1242 al. 4 du Code civil) indemnise les tiers, même en cas de conduite sans permis (Cass. crim., loi Badinter d'ordre public).

Le même schéma se reproduit sur la question du prêt de véhicule, de l'alcool au volant, de la conduite sous stupéfiants ou du passager non casqué en moto. À chaque fois, les IA affirment que « la garantie est annulée » sans distinguer deux réalités juridiques distinctes : la responsabilité civile (RC) obligatoire continue de couvrir les victimes tierces quelles que soient les circonstances, l'assureur pouvant ensuite se retourner contre le conducteur fautif ; mais les garanties facultatives (tous risques, dommages au véhicule, protection du conducteur) peuvent, elles, être légitimement exclues par l'assureur.

Erreur #2 : l'actualité réglementaire

Les IA ne sont pas toujours à jour. À la question « La carte verte est-elle encore obligatoire ? », ChatGPT indique qu'elle a été supprimée « depuis 2022 » hors la date exacte est le 1er avril 2024. Mistral affirme au contraire qu'elle est toujours obligatoire et qu'il faut la présenter en cas de contrôle. Les deux ont tort, pour des raisons opposées.

Erreur #3 : les exclusions et conditions

À la question « Qu'est-ce que la garantie valeur à neuf ? », les trois IA omettent de préciser qu'elle est limitée dans le temps : dans la grande majorité des contrats, elle court entre 6 mois et 2 ans à compter de la mise en circulation du véhicule, certains assureurs proposant une extension optionnelle jusqu'à 5 ans. Les trois sont évaluées « trompeuses » sur cette question : l'assuré repart avec l'impression que son véhicule sera remboursé au prix d'achat en toute circonstance.

À la question « La garantie équipement du motard est-elle importante ? », les trois IA répondent « oui, elle couvre le casque, les gants et le blouson ». Ce qui manque, c'est l'information clé : cette garantie n'est pas incluse dans les formules dommages standard. Un motard qui souscrit une assurance tous risques sans vérifier ce point peut découvrir après un accident que ses 2 000 € d'équipement ne sont pas couverts.

Sur la clause de conduite exclusive, aucune IA ne mentionne correctement les conséquences : il s'agit soit d'une déchéance de garantie, soit d'une franchise supplémentaire (et non d'une nullité du contrat) si un conducteur non désigné est au volant au moment du sinistre. Gemini et Mistral parlent d'« interdiction de prêter le volant », une formulation juridiquement inexacte : la clause ne rend pas le prêt illégal, elle prive simplement l'assuré de son droit à indemnisation en cas d'accident.

Des tics de langage qui trahissent les approximations

Pour aller plus loin, l'étude a pris en compte 7 indicateurs linguistiques sur l'ensemble des 2 000 réponses. Résultat : chaque IA possède un profil sémantique qui explique directement ses performances et ses failles.

• Claude : trop court pour être fiable. Avec 12 mots en moyenne et 78 % de réponses binaires, Claude répond de façon catégorique, sans nuance ni avertissement. Sur ses réponses erronées, la majorité commence par « Non » alors que la réponse avance le contraire. Sans nuance, les réponses de Claude offrent le risque d'erreur maximal.

• ChatGPT : rassurant en apparence, creux en pratique. ChatGPT multiplie les précautions de langage : le verbe « peut » apparaît ainsi 257 fois sur 500 questions, et la formule « selon les conditions prévues dans le contrat » dans 31 % des cas. Ce filet linguistique permet d'éviter les erreurs franches, mais produit des réponses sans substance (aucun chiffre précis, ni montant d'amende par exemple).

• Mistral : un tic trompeur répété 147 fois. La formule « sauf si une garantie spécifique est souscrite » apparaît dans près de 30 % de ses réponses. Un biais linguistique trompeur quand la garantie est obligatoire : dire que « si la garantie catastrophes naturelles est souscrite » laisse entendre qu'elle serait optionnelle, or est incluse de droit dans tout contrat MRH depuis 1982.

• Gemini : un profil proche de l'expert. Seul modèle à combiner affirmations claires, termes juridiques et données chiffrées, Gemini est aussi le seul à formuler régulièrement des avertissements.
  

  L’IA plus un point d’entrée qu’un conseiller

  Au-delà des chiffres, l'étude révèle une limite structurelle : les IA traitent l'assurance comme un sujet de connaissance générale, alors que c'est un domaine où chaque situation est un cas particulier. L'IA peut être utile pour se familiariser avec des notions de base mais dès qu'il s'agit d'évaluer sa couverture face à une situation concrète, de comprendre une exclusion ou de prendre une décision, le recours à un professionnel demeure une nécessité. Lui seul connaît les conditions particulières, les évolutions réglementaires récentes, les jurisprudences en vigueur et surtout lui seul engage sa responsabilité sur le conseil donné.

  Un professionnel ne répondra jamais par un simple « oui » ou « non ». Il analyse la situation personnelle de l’assuré pour apporter une réponse adaptée selon les conditions particulières de son contrat ou de son historique.