Des analyses basées sur l'IA pour transformer la gestion des risques et la prévention des sinistres

L'intelligence artificielle transforme déjà le fonctionnement des collectivités publiques. Les agents utilisent l'IA générative pour rechercher des informations, analyser des données, rédiger des communications et rationaliser les tâches administratives. Les enseignants et les élèves l'intègrent dans leurs cours, tandis que les administrations explorent des applications susceptibles d'améliorer leur efficacité et d'aider les agents à donner du sens à des informations de plus en plus complexes.

Pour les responsables de la gestion des risques dans le secteur public, cette adoption généralisée s'accompagne d'un nombre croissant de considérations. L'utilisation de l'IA peut entraîner des risques liés à la vie privée, à la cybersécurité, aux pratiques en matière d'emploi, à la conservation des documents, à la désinformation, au risque de réputation et à la sécurité publique. Dans de nombreuses organisations, il se peut que les employés utilisent déjà l'IA avant que les politiques officielles, les programmes de formation et les structures de gouvernance ne soient pleinement mis en place. 

Des pratiques bien établies en matière de gestion des risques et de prévention des sinistres peuvent offrir un cadre solide pour gérer ces expositions, même si la technologie ne cesse d'évoluer.

Commençons par la gouvernance

L'une des questions les plus pertinentes qu'un responsable de la gestion des risques puisse se poser aujourd'hui est la suivante :savons-nous comment l'IA est utilisée au sein de notre organisation ?

En l'absence d'une approche à l'échelle de l'entreprise, les collaborateurs ou les services peuvent prendre leurs propres décisions quant aux outils à utiliser, aux informations pouvant y être saisies et au moment où il est approprié d'intégrer dans leur travail les résultats générés par l'IA. Ces décisions peuvent entraîner des risques bien au-delà du collaborateur qui a initialement utilisé la technologie.

Une politique officielle de gouvernance de l'IA peut définir des attentes communes concernant les utilisations acceptables et interdites, la confidentialité et la sécurité des données, la vérification humaine, la formation des employés, les contrôles des fournisseurs, la conservation des documents et le signalement des incidents. 

Pour les établissements scolaires, la gouvernance peut également inclure des accords relatifs à l'utilisation de l'IA par les élèves et les parents, ainsi que des attentes claires à l'égard des employés chargés de traiter les données des élèves. Des politiques écrites peuvent servir de base à la formation, à la responsabilisation et à une prise de décision cohérente, tout en démontrant que l'organisation a pris des mesures proactives pour gérer les risques émergents. 

Étant donné que les fonctionnalités d'intelligence artificielle sont de plus en plus intégrées aux téléphones, aux plateformes logicielles, aux outils de recherche et aux autres technologies que les employés utilisent au quotidien, les collectivités publiques devraient définir des règles claires concernant l'utilisation de ces outils, les informations auxquelles ils peuvent accéder et les cas où une supervision humaine est nécessaire.

Suivez les données

Les organismes publics traitent régulièrement des informations qui ne doivent pas être introduites à la légère dans un environnement d'IA non agréé, notamment les dossiers du personnel, les informations relatives aux administrés, les données protégées concernant les élèves et d'autres documents confidentiels ou sensibles.

Les responsables de la gestion des risques doivent collaborer avec les équipes informatiques, de sécurité de l'information, juridiques et opérationnelles afin de comprendre où vont les informations lorsqu'une application d'IA est utilisée, si elles sont conservées, qui peut y avoir accès et si l'organisation est en mesure de les récupérer en cas de besoin.

Les obligations en matière de documents publics constituent un autre élément à prendre en compte. Si des employés utilisent l'IA pour créer ou modifier du contenu lié à des activités publiques, les organisations peuvent être amenées à déterminer si ce contenu est soumis aux obligations applicables en matière de conservation ou de divulgation, et s'il est effectivement possible de le localiser et de le produire. 

Un exercice utile pour prévenir les pertes consiste à suivre le parcours des données du début à la fin :quelles informations sont saisies dans l'outil ? Où sont-elles transmises ? Que leur arrive-t-il une fois là-bas ? Qui peut y accéder ? Comment pourrions-nous les récupérer si nécessaire ?

Lorsque l'on ne peut pas répondre à ces questions avec certitude, le cas d'utilisation justifie un examen plus approfondi.

Veiller à ce que chacun assume la responsabilité des résultats

L'IA est capable de générer des informations à une vitesse remarquable et avec une assurance apparente, y compris des informations incomplètes, biaisées ou erronées. Cela revêt une importance particulière lorsque l'IA influence des décisions concernant le recrutement, les promotions, les aménagements raisonnables, l'octroi de licences, les réclamations, les communications publiques ou d'autres activités ayant des conséquences importantes.

Pour qu'un examen humain soit efficace, il faut une personne disposant de connaissances et d'une autorité suffisantes pour remettre en question les résultats, valider les informations sous-jacentes et rejeter une recommandation le cas échéant.

Les organisations doivent également réfléchiraux personnes susceptibles d'être affectées en cas d'erreur de l'IA. Les étudiants peuvent être confrontés à des problèmes liés à la vie privée, à l'accessibilité et à la sécurité ; les salariés peuvent être concernés par des décisions relatives au recrutement, aux aménagements ou à l'évolution de carrière ; et les citoyens peuvent se poser des questions concernant l'égalité d'accès, la transparence et le respect des procédures. 

Les conséquences potentielles devraient permettre de déterminer le niveau de contrôle approprié. Les applications d'IA susceptibles d'avoir un impact significatif sur une personne peuvent nécessiter des tests supplémentaires, un examen par des humains et des procédures d'escalade clairement définies.

L'expérience est un autre facteur à prendre en compte. Un professionnel très expérimenté peut rapidement se rendre compte qu'une recommandation générée par l'IA n'a pas de sens, tandis qu'une personne moins expérimentée sera peut-être plus encline à accepter le résultat tel quel. Les organisations devraient déterminer dans quels cas un soutien ou une vérification supplémentaires pourraient s'avérer nécessaires, en fonction des différents niveaux d'expérience et des différents rôles. 

La formation à l'IA devrait inclure des conseils permettant de repérer les résultats douteux, de valider les informations et de déterminer quand un examen complémentaire s'impose.

Prévoir ce qu'il faut faire en cas de problème

Les principes traditionnels de prévention des sinistres restent tout à fait pertinents dans un environnement basé sur l'intelligence artificielle.

Les informations critiques doivent faire l'objet d'une sauvegarde adéquate et être récupérables. Les contrats avec les fournisseurs doivent clairement définir les responsabilités, la protection des données et d'autres garanties appropriées, notamment des clauses d'indemnisation et la confirmation d'une couverture d'assurance adéquate pour les risques liés à l'IA. À mesure que les assureurs introduisent des exclusions liées à l’IA générative, les organisations doivent collaborer avec leurs courtiers d’assurance pour examiner attentivement les termes des polices et identifier d’éventuelles lacunes de couverture. Ces exclusions peuvent avoir une incidence sur la responsabilité découlant de contenus, de recommandations ou de décisions générés par l’IA, y compris certaines réclamations pour préjudice corporel, dommages matériels et violation de la propriété intellectuelle. Les organisations doivent également comprendre comment les fournisseurs utilisent l’IA dans le cadre des services qu’ils fournissent, car l’exposition d’une entité peut s’étendre au-delà de la technologie qu’elle achète ou déploie directement.

Les applications présentant un risque plus élevé peuvent nécessiter des mesures de protection supplémentaires. Par exemple, si l’on attend d’une technologie qu’elle identifie des propos liés à l’automutilation, à des menaces de violence envers autrui, au harcèlement ou à tout autre problème grave de sécurité, les responsables de la gestion des risques doivent vérifier si un système de surveillance automatisé et d’alertes est en place, ce qui déclenche ces alertes et si celles-ci parviennent au personnel compétent pour permettre une intervention rapide. Pour les établissements scolaires en particulier, ces mesures de protection peuvent s’avérer cruciales lorsque la technologie joue un rôle dans l’identification de menaces potentielles pour le bien-être des élèves.

Les organisations doivent également réfléchir à la manière dont elles pourraient reprendre le contrôle si un processus basé sur l'IA venait à se comporter de manière inattendue. La technologie peut-elle être immédiatement isolée ou désactivée grâce à un mécanisme d'arrêt d'urgence, parfois appelé « kill switch » ? Les informations critiques peuvent-elles être récupérées ? Qui a le pouvoir d'intervenir ?

Il s'agit là de questions classiques en matière de gestion des risques, appliquées à une nouvelle génération de technologies.

Faire de la gouvernance de l'IA une responsabilité partagée

Une gouvernance efficace de l'IA nécessite la participation de l'ensemble de l'organisation. Les conseils d'administration et les dirigeants peuvent définir l'appétit pour le risque et les politiques à adopter ; les ressources humaines peuvent se charger de la formation du personnel et des règles d'utilisation acceptables ; les services informatiques et de sécurité peuvent gérer les technologies et la protection des données ; les équipes juridiques et de conformité peuvent veiller au respect des exigences réglementaires et en matière de confidentialité ; les responsables de service peuvent superviser les applications opérationnelles ; enfin, les cadres et les employés restent responsables de la manière dont l'IA est utilisée dans leur travail quotidien. 

Les responsables de la gestion des risques peuvent jouer un rôle important pour faire le lien entre ces fonctions, identifier les points de recoupement des risques et contribuer à garantir une répartition claire des responsabilités à mesure que de nouvelles applications d'IA sont mises en place.

Sept questions à l'intention des responsables de la gestion des risques dans le secteur public

Les collectivités publiques peuvent commencer à renforcer leurs contrôles en se posant sept questions concrètes :

1. Dans quels domaines les employés utilisent-ils déjà l'IA, y compris des outils qui n'ont pas été officiellement approuvés ?
2. Quelles sont les informations saisies, et certaines d'entre elles pourraient-elles être confidentielles, protégées ou soumises à des obligations en matière d'archivage ?
3. Quelles activités assistées par l'IA pourraient avoir des répercussions significatives sur un salarié, un étudiant, un citoyen ou un électeur ?
4. Dans quels cas une vérification humaine est-elle nécessaire, et les vérificateurs sont-ils prêts à remettre en question et à valider les résultats fournis par l'IA ?
5. Dans quelles situations faut-il immédiatement faire remonter l'information à un supérieur ?
6. Serait-il possible d'interrompre un processus piloté par l'IA et de récupérer des informations essentielles si un problème venait à survenir ?
7. À quand remonte la dernière fois où nous avons réexaminé nos politiques, nos formations, nos contrats avec les fournisseurs et nos couvertures d'assurance à la lumière des technologies d'IA réellement utilisées aujourd'hui ?

Ces questions doivent être réexaminées régulièrement, car les nouvelles réglementations, les technologies émergentes, les risques liés à la vie privée et à la sécurité, l'expérience opérationnelle et l'évolution de l'adoption par les collaborateurs modifient le profil de risque d'une organisation.

Renforcer la résilience à mesure que l'IA évolue

L'intelligence artificielle évolue plus rapidement que ne le permettent de nombreux processus traditionnels de définition des politiques et d'approbation au sein du secteur public. Dans certaines organisations, les politiques doivent être soumises à des conseils d'administration et à d'autres procédures d'examen formelles, ce qui peut empêcher la gouvernance de suivre le rythme des évolutions technologiques rapides. 

Les pratiques établies en matière de gestion des risques constituent une base utile : des attentes claires, des contrôles bien pensés, la protection des informations sensibles, une supervision humaine pertinente, des formations, des procédures d'escalade et une réévaluation régulière. Ces pratiques peuvent également renforcer la confiance des collectivités publiques lorsqu'elles évaluent de nouvelles applications d'IA et déterminent dans quels cas des mesures de protection supplémentaires pourraient s'avérer appropriées.

Les organisations qui définissent dès aujourd'hui des attentes claires, mettent en place un contrôle rigoureux et adoptent des mesures de protection concrètes seront mieux préparées à s'adapter à mesure que l'IA continue d'évoluer.