Avant de vous plonger dans cette partie, assurez-vous d'avoir lu l'article sur Comment les OSC peuvent jouer un rôle moteur dans le développement d'une IA responsable, introduction à ce guide pratique, Partie 1 : REGARDER - Préparer le terrain, et Partie 2 : CRÉER - Identifier et définir vos principes, Partie 3 : Mise en pratique, Partie 4 : CRÉER - Définir les responsabilités en matière de gouvernance de l'IA pour les OSC et Partie 5 :Comment les OSC peuvent élaborer des politiques en matière d'IA qui soient réellement applicables
Deux situations, une même compétence.
Un responsable de programme d'une OSC est confronté à un scénario de « feu orange » issu de la nouvelle politique de l’organisation en matière d'IA. Il souhaite utiliser un outil d'IA pour faciliter le tri des demandes émanant de bénéficiaires en situation de vulnérabilité. La politique dit qu’il faut « s’arrêter et demander. » Mais demander quoi, exactement ? Et à qui ?
Pendant ce temps, à Málaga, en Espagne, une femme prénommée Lina s'est rendue au commissariat pour signaler les menaces proférées par son ex-compagnon. Son dossier a été enregistré dans VioGén, le système algorithmique espagnol d'évaluation des risques de violence sexiste. L'algorithme lui a posé 35 questions et a évalué son niveau de menace comme étant « moyen ». Elle a demandé une ordonnance restrictive. La demande a été rejetée. Trois semaines plus tard, Lina est morte, victime d'un incendie domestique qui aurait été déclenché par son ex-compagnon, qui disposait toujours d'une clé de son domicile
Ces deux scènes posent la même question : Qui examine attentivement les conséquences de cet algorithme pour les gens ?
Les scénarios « feu orange » définis dans votre politique en matière d'IA constituent le point de départ de l'évaluation des risques. La politique vous indique quand faire une pause. L'évaluation des risques vous dit comment approfondir votre analyse. Et c’est ce qui rend cette compétence particulièrement précieuse pour la société civile : les mêmes capacités d’enquête et d’analyse que vous mobilisez pour encadrer l’usage de vos propres outils d’IA sont aussi celles dont vous avez besoin pour demander des comptes aux détenteurs du pouvoir lorsque des systèmes d’IA sont imposés aux communautés que vous accompagnez.
C’est la phase « CONSTRUIRE » de ce parcours, au cours de laquelle tout ce que vous avez créé devient opérationnel. Cet article traite du développement de ces deux muscles.
Pourquoi le risque lié à l'IA est différent : La réalité sociotechnique
L'IA ne fonctionne pas en vase clos. Il fonctionne au sein de systèmes sociaux complexes et humains. Cela en fait une technologie sociotechnique, ce qui bouleverse complètement notre façon d'évaluer les risques.
Prenons l'exemple du système néerlandais d’indication des risques (SyRI), un algorithme de détection des fraudes aux prestations sociales qui recoupait les données personnelles des citoyens issues de différentes bases de données gouvernementales. Le programme SyRI avait été déployé exclusivement dans des quartiers à faibles revenus et à forte population immigrée. En février 2020, le tribunal de grande instance de La Haye a estimé que cette décision constituait une violation de l'article 8 de la Convention européenne des droits de l'homme. Le tribunal a estimé que les mesures de protection contre la discrimination étaient insuffisantes. Qu'est-ce qui a rendu cette décision possible ? Une coalition composée de six organisations de défense des droits de l'homme et du plus grand syndicat des Pays-Bas a saisi la Cour de cette affaire, en s'appuyant sur une analyse du Rapporteur spécial des Nations unies sur l'extrême pauvreté. La société civile a mené le travail d’enquête qui a permis de mettre fin à un système préjudiciable.
Ou prenons l'exemple de la Jordanie, où le programme de transferts monétaires « Takaful »,, financé par la Banque mondiale, utilise un algorithme comprenant 57 indicateurs socio-économiques pour classer les familles en fonction de leur niveau de pauvreté et déterminer qui peut bénéficier d’une aide. Une enquête menée par Human Rights Watch a mis en évidence que l'algorithme reposait sur des hypothèses erronées concernant la nature de la pauvreté. Des familles ont été sanctionnées parce qu'elles possédaient des voitures qu'elles utilisaient pour transporter de l'eau, ou en raison d'une consommation d'électricité due à une mauvaise isolation qu'elles n'avaient pas les moyens de réparer. Une femme vivant dans l'un des villages les plus pauvres de Jordanie a déclaré aux enquêteurs : « La voiture nous a ruinés. »
L’idée essentielle : les préjudices sont propres à chaque cas d’usage. Un même outil peut être sans danger dans un cas et dangereux dans un autre. Il n'existe pas de solution universelle, mais seulement des questions spécifiques à chaque contexte ; plus les OSC comprennent l'évaluation des risques liés à l'IA, plus elles peuvent apporter leur aide.
Qu'est-ce qu'une évaluation des risques, et dans quels cas en avez-vous besoin ?
Ce domaine regorge d'acronymes intimidants : FRIA, AIA, ARIA. Les noms changent, mais le principe reste le même. L'évaluation des risques, c'est jouer les détectives pour votre système d'IA : poser des questions pertinentes et intelligentes, consigner les conclusions et décider des mesures à prendre en conséquence.
Le cadre CIDA (contexte, entrée, décision, action) structure votre démarche d’investigation. Dans quel contexte social et politique cet algorithme est-il utilisé ? Quelles sont les données utilisées, et quels biais pourraient-elles comporter ? Comment les décisions sont-elles prises ? Que se passe-t-il en aval ? Cette approche s'applique aussi bien si l'algorithme est le vôtre que s'il appartient à un organisme public chargé de prendre des décisions concernant les personnes que vous accompagnez.
Pour prévenir les préjudices, vous n'avez pas besoin de repartir de zéro. Les bases de données sur les incidents liés à l'IA, comme la AI Incident Database, le OECD AI Incidents Monitoret le AI Risk Repository, recensent les défaillances survenues dans le monde réel. Voici les dossiers dont vous disposez avant de commencer votre propre enquête.
Et si tout cela vous semble compliqué, rappelez-vous ce que je dis dans mes ateliers : si j’expliquais les cadres de gestion des risques à ma grand-mère, elle me dirait : « Tu m’en parles comme si tu avais découvert quelque chose de nouveau. » « C'est ainsi que nous, les humains, fonctionnons depuis des siècles. » Avant d'agir, vous réfléchissez aux personnes qui pourraient être concernées. Vous vous renseignez. Vous envisagez le pire scénario. L'évaluation des risques ne fait que donner une structure à cet instinct.
Dans quels cas en avez-vous besoin ? Cela dépend de votre relation avec le système d'IA. Si vous faites appel à un outil tiers, ce qui est le cas le plus fréquent pour une OSC, l'évaluation des risques fait partie intégrante de votre processus de diligence raisonnable. Si vous utilisez déjà des outils d'IA sans avoir procédé à aucune évaluation, ce qui est sans doute le point de départ le plus réaliste pour de nombreuses OSC, il est urgent de procéder à une évaluation rétrospective. Si des systèmes d'IA sont utilisés au sein de vos communautés, qu'il s'agisse d'évaluation des droits sociaux ou de décisions automatisées en matière d'immigration, vous devez disposer de connaissances en matière d'évaluation des risques pour pouvoir les examiner de près et défendre vos intérêts. Il s'agit là d'une action propre à la société civile. Au sein de l'UE, la loi sur l'IA rend obligatoire l'évaluation des risques pour les systèmes à haut risque.
Deux approches que les OSC peuvent adopter
Il ne s'agit pas de méthodes concurrentes, mais de perspectives complémentaires, chacune mettant en lumière des aspects différents.
L'approche axée sur les valeurs part de vos principes. La Khan Academy l'a démontré lorsqu'elle a adopté les neuf principes du Cadre éthique pour l’IA dans l’éducation, puis a mis en place des garde-fous internes pour ses équipes produit. Leur premier principe, « Atteindre les objectifs éducatifs », a conduit au garde-fou 1.4: « mécanismes en place pour empêcher les usages non éducatifs de l’IA. » À partir de là, ils étaient en mesure d’évaluer les risques et de mettre en place des mesures d’atténuation ciblées. Principe → Garde-fou → Évaluation des risques → Atténuation. Votre OSC peut suivre la même démarche et adopter la même approche pour évaluer les systèmes externes.
Légende : Tableau 1. Exemple de feuille de calcul créée et utilisée par la Khan Academy. Source : Le cadre de la Khan Academy pour une IA responsable dans l'éducation, par Khan Academy, 3 avril 2025, blog de la Khan Academy. © 2025 Khan Academy. Tous droits réservés. Ce contenu n'est pas couvert par la licence CC BY 4.0 International. Vous pouvez consulter le texte complet du tableau dans le fichier fourni ici.
L'approche centrée sur les parties prenantes part des personnes concernées. J'ai animé un jour une séance avec environ 70 responsables issus de 30 ONG spécialisées dans l’éducation, en collaboration avec Tech To The Rescue, séance pendant laquelle nous avons examiné le système d’alerte précoce contre le décrochage scolaire du Wisconsin, un algorithme qui utilisait des données telles que l’origine ethnique et les antécédents disciplinaires pour prédire quels élèves risquaient d’abandonner leur scolarité. Les participants ont endossé les rôles de chef d’établissement, parent, data scientist, responsable du district scolaire et enseignant. En 30 minutes, ils ont élaboré une feuille de route détaillée pour la transformation du système.
Par exemple, lorsque le « parent sceptique » présent à la table a demandé pourquoi l’origine ethnique de son enfant était utilisée pour prédire un échec, l’ensemble du groupe a changé d’approche : le data scientist a proposé de supprimer l’origine ethnique et les codes postaux des critères d’analyse, l’enseignant a suggéré de remplacer l’étiquette stigmatisante « à haut risque » par des informations exploitables telles que « pourrait bénéficier d’un soutien supplémentaire en algèbre », et le proviseur a recadré l’objectif global du système, le faisant passer de « prédire les décrochages scolaires » à « identifier les parcours vers la réussite ». Une seule question posée par un des acteurs a modifié toute la conception. La diversité des points de vue ne fait pas qu’améliorer l'évaluation des risques, elle la transforme.
Ces deux approches aboutissent à la même formule de base : Probabilité × Ampleur = Niveau de risque. Ce ne sont pas des maths compliquées. C'est une discussion franche et structurée.
L'évaluation des risques dans la pratique
Concrétisons un peu tout cela. Une OSC spécialisée dans la prestation de services envisage de mettre en place un chatbot basé sur l'IA pour effectuer un premier tri parmi les personnes sollicitant une aide juridique. Examinez le cas à la lumière du cadre CIDA :
Contexte : Quel est le but ? Qui a décidé de mettre cela en place ? Quel est le cadre réglementaire ?
Entrée : Quelles données le chatbot utilise-t-il ? Qu'advient-il des personnes qui ne savent pas utiliser les interfaces numériques ?
Décision : Que recommande le chatbot ? Y a-t-il une vérification humaine ? Que se passe-t-il s’il évalue mal le degré d’urgence d’une personne ?
Action : Que se passe-t-il en aval ? Est-il possible qu'une personne se voie refuser une aide en temps voulu ?
Le fait de cartographier ces questions permet de faire émerger des préjudices concrets : perte d’opportunités, atteinte à la dignité, violation de la vie privée. Votre équipe peut alors les évaluer, les hiérarchiser et déterminer lesquels doivent être traités en priorité. Vient ensuite la recherche de mesures d’atténuation : supervision humaine aux étapes critiques de la prise de décision, procédure alternative pour les personnes que le chatbot ne peut pas accompagner correctement, protocoles d’anonymisation des données, etc.
Mais la vérité est qu’on ne peut pas éliminer tout risque. Même après avoir pris des mesures d'atténuation, un certain risque subsiste : c'est ce qu'on appelle le risque résiduel, et il s'agit d'une réalité, pas d'un échec. C'est là qu'interviennent les mécanismes de gouvernance de l'IA : une surveillance continue et des critères clairs déclenchant une réévaluation. Vos conclusions sont consignées dans un registre des risques; il s'agit d'un document vivant qui devient le document de travail de l’Arbre et la base factuelle sur laquelle s'appuieront les futures mises à jour de la politique.
Le cycle vivant
L'évaluation des risques n'est pas un document que l’on rédige une fois pour toutes. C'est un processus vivant qui relie tous les éléments de cette série. Vos conclusions alimentent votre stratégie ; les scénarios « feu orange » se précisent, de nouvelles « lignes rouges » apparaissent, tandis que les « feux verts » sont confirmés. À mesure que l'IA est mise en œuvre dans le monde réel, de nouveaux risques apparaissent et sont ajoutés au registre.
Lorsque cet état d'esprit s'inscrit dans votre culture d'entreprise, vous passez d'une attitude réactive à une attitude proactive : L'éthique dès la conception. Au fil du temps, une approche axée sur les risques évolue vers une approche axée sur l'impact, dans laquelle vos choix en matière d'IA ne se contentent pas d'éviter les préjudices, mais créent activement de la valeur positive pour les communautés que vous accompagnez.
Invitation
Vos principes ont défini vos convictions. Votre Arbre a déterminé qui participe à la discussion. Votre police a défini les termes de votre accord. L'évaluation des risques permet de définir les éléments à surveiller et boucle la boucle en réinjectant dans le système toutes les informations recueillies.
Choisissez un feu orange. Rassemblez votre Arbre. Posez les questions.
Et n'oubliez pas : cette compétence ne s'arrête pas aux murs de votre entreprise. Aux Pays-Bas, une coalition d'ONG a réussi à faire invalider par la justice un algorithme discriminatoire utilisé dans le domaine de l'aide sociale. En Espagne, Eticas, une organisation de la société civile, a mené un audit contradictoire de VioGén après que le ministère de l'Intérieur a refusé d'autoriser un examen indépendant. En travaillant avec la Fondation Ana Bella, sur la base des données accessibles au publicet d’entretiens avec des survivantes, ils ont constaté que la police suivait la classification du risque produite par l’algorithme dans 95 % des cas, déléguant de fait à une formule des décisions pouvant être une question de vie ou de mort. Entre 2003 et 2021, 71 femmes ayant précédemment signalé des violences ont été tuées alors qu'elles étaient prises en charge par les services compétents ; toutes avaient été classées dans la catégorie de risque « négligeable » ou « moyen ».
Les mêmes questions, les mêmes cadres d’analyse, la même exigence de diversité des points de vue : voilà les outils dont la société civile a besoin pour demander des comptes aux institutions les plus puissantes. Le travail d'enquête se déroule à la fois à l'intérieur et à l'extérieur. C'est ce qui en fait un objet qui n'appartient qu'à vous.
→ Le guide d’accompagnement propose une procédure étape par étape ainsi que des modèles pour mener votre première évaluation des risques en équipe, que vous analysiez votre propre usage de l’IA ou un système qui affecte votre communauté.
Votre avis compte
Que pensez-vous de ce texte ? Prenez 30 secondes pour nous faire part de vos commentaires et nous aider à créer un contenu utile pour la société civile !
Dernière mise à jour le 8 octobre 2026 afin de refléter les évolutions les plus récentes. Cet article aborde la violence à l’égard des femmes, un problème social grave et complexe. Pour en savoir plus sur les violences fondées sur le genre, veuillez consulter cet article d’Amnesty International sur le sujet, ainsi qu’une analyse plus approfondie de l’organisation sur l’évolution de cette problématique au fil des années. Le cas VioGén mentionné dans cet article ne représente qu’une partie d’un problème beaucoup plus vaste en Espagne (comme l’expliquent cet article d’Euronews et cet article de données de RTVE), mais également dans le reste du monde. Si vous souhaitez signaler une forme de violence à l’égard des femmes ou des enfants en Espagne, de l’aide est disponible ici. Pour les cas internationaux, vous pouvez trouver de l’aide ici en fonction de votre localisation.
Mentions légales
Ce document a été élaboré dans le cadre de l'initiative L’IA au service du changement social au sein du Digital Activism Program de TechSoup, avec le soutien de Google.org.
L'auteur a utilisé l'IA pour créer ce contenu. Toutefois, l'intégralité de cet article a été conçue, révisée et vérifiée par l'auteur et l'équipe de TechSoup.
Les outils d'IA évoluent rapidement, et bien que nous fassions tout notre possible pour garantir la fiabilité des informations que nous fournissons, il peut arriver que certains éléments ne soient plus à jour. Si vous constatez qu'une information n'est plus à jour, merci de nous le signaler à l'adresse contact@hive-mind.community