Comment l’IA transforme la lutte contre les violences numériques

Publié le 26 mai 2026, le premier baromètre de Moderering dresse un état des lieux préoccupant des violences numériques sur plusieurs environnements numériques majeurs. À travers l'analyse de plateformes telles que Wyylde, Gleese, Chatiw, Facebook et Roblox, l'étude montre que les contenus illicites ne constituent plus des incidents isolés mais s'inscrivent désormais dans des mécanismes structurels favorisant leur diffusion. Dans un contexte où les atteintes numériques aux personnes progressent régulièrement et où les régulateurs européens renforcent leurs exigences, la question de la prévention devient centrale. Selon le baromètre, la simple modération après signalement ne suffit plus à contenir l'ampleur des risques.

Les violences numériques révèlent des failles persistantes de modération en ligne

Les chiffres mis en avant par le baromètre témoignent d'une situation préoccupante. D'après l'analyse IA de Moderering, 82 % des images et vidéos étudiées autour de Wyylde concerneraient des personnes n'ayant pas donné leur consentement à leur diffusion sur la plateforme. De même, 58 % des contenus observés sur Gleese impliqueraient des personnes dont le consentement n'aurait pas été obtenu. Par ailleurs, plus de 61 % des profils Wyylde se présentant comme des couples seraient en réalité des hommes seuls. Ces estimations, issues de l'analyse propriétaire de Moderering, mettent en évidence l'importance des mécanismes de vérification et des contrôles automatisés. Selon Alexandre Sossou, fondateur de Moderering, « les plateformes ne sont plus seulement confrontées à des contenus à modérer, mais à des environnements de risque à détecter ». D'après lui, « le dommage survient souvent avant le signalement ».

Les violences numériques touchent également les publics les plus vulnérables. Sur Chatiw, l'étude établit une corrélation entre le jeune âge déclaré par un utilisateur et la rapidité de réception de messages à caractère sexuel après connexion. Dans le même temps, près de 50 % des utilisateurs de Roblox auraient moins de 13 ans selon les données reprises dans le baromètre. Ces constats rejoignent les préoccupations exprimées par la Commission européenne concernant la protection des mineurs sur les grandes plateformes. En mai 2024, Bruxelles a ouvert une procédure formelle contre Meta afin d'évaluer la conformité de Facebook et Instagram aux obligations du Digital Services Act relatives à la sécurité des enfants et aux mécanismes de vérification d'âge. La Commission s'inquiétait notamment d'effets addictifs et de protections jugées insuffisantes pour les mineurs.

Pourquoi les contenus illicites échappent encore aux dispositifs de modération

Selon Moderering, une fragilité commune relie l'ensemble des plateformes étudiées : la modération reste majoritairement réactive. Dans ce modèle, un utilisateur signale un contenu problématique, puis celui-ci est examiné avant d'être éventuellement retiré. Or, lorsqu'il s'agit de violences numériques, de pornodivulgation, de harcèlement ou de prédation envers les mineurs, les conséquences peuvent déjà être irréversibles avant toute intervention. Le baromètre souligne ainsi que la rapidité de propagation des contenus illicites dépasse souvent la capacité de traitement humain des équipes de modération.

Cette problématique s'inscrit dans un contexte plus large. D'après le ministère français de l'Intérieur, 348 000 crimes et délits liés au numérique ont été enregistrés en 2024. Parmi eux, 103 300 concernaient des atteintes numériques aux personnes, soit une hausse de 7 % sur un an. Les femmes représentaient 66 % des victimes majeures et 70 % des victimes mineures pour cette catégorie d'infractions. Ces données illustrent la montée en puissance des violences numériques dans le quotidien des utilisateurs et renforcent la nécessité d'outils capables d'agir avant que les contenus illicites ne produisent leurs effets.

L'IA devient un levier stratégique contre les violences numériques

Face à cette évolution, le Digital Services Act impose désormais aux plateformes une approche beaucoup plus ambitieuse. Les grandes plateformes doivent non seulement retirer les contenus illicites, mais également identifier, évaluer et réduire les risques systémiques liés à la haine en ligne, aux violences de genre, à la désinformation ou à la protection des mineurs. Cette évolution réglementaire marque un changement profond de philosophie. La question n'est plus uniquement de supprimer rapidement un contenu problématique, mais d'anticiper sa diffusion.

C'est précisément sur ce terrain que les solutions d'intelligence artificielle cherchent à s'imposer. Moderering affirme avoir développé des agents IA capables d'analyser simultanément textes, images, vidéos, URL et conversations afin de détecter des signaux faibles associés aux violences numériques. Cyberharcèlement, contenus sexuels non consentis, racisme, haine, contenus générés par IA ou encore comportements prédateurs peuvent ainsi être identifiés plus rapidement. Alexandre Sossou résume cette mutation en expliquant que « la modération doit changer de nature » et devenir « proactive, automatisée, contextualisée ». Cette orientation rejoint les attentes des régulateurs européens. La Commission européenne a d'ailleurs ouvert plusieurs enquêtes concernant Meta, notamment sur l'efficacité des mécanismes de signalement des contenus illégaux et sur la protection des utilisateurs les plus vulnérables. Les autorités européennes considèrent désormais que la conformité passe autant par la prévention que par la suppression des contenus illicites.