Des renseignements basés sur l'IA pour transformer la gestion des risques et le contrôle des pertes

L'intelligence artificielle transforme déjà le fonctionnement des entités publiques. Les employés utilisent l'IA générative pour rechercher des informations, analyser des données, rédiger des communications et simplifier les tâches administratives. Les enseignants et les élèves l'intègrent dans leurs programmes scolaires, tandis que les administrations explorent des applications susceptibles d'améliorer l'efficacité et d'aider les employés à appréhender des informations de plus en plus complexes.

Pour les responsables de la gestion des risques dans le secteur public, l'adoption généralisée de l'IA soulève un nombre croissant de questions. Son utilisation peut engendrer des risques liés à la protection de la vie privée, à la cybersécurité, aux pratiques d'emploi, à la conservation des données, à la désinformation, aux risques d'atteinte à la réputation et à la sécurité publique. Dans de nombreuses organisations, les employés utilisent déjà l'IA avant même que les politiques, les programmes de formation et les structures officielles de gouvernance ne soient pleinement opérationnels. 

Des pratiques établies de gestion des risques et de contrôle des pertes peuvent fournir un cadre durable pour gérer ces risques, même si la technologie continue d'évoluer.

Commencez par la gouvernance

L'une des questions les plus utiles qu'un gestionnaire de la gestion des risques puisse se poser aujourd'hui est la suivante : savons-nous comment l'IA est utilisée dans toute notre organisation ?

En l'absence d'une approche globale au sein de l'organisation, chaque employé ou service peut décider individuellement des outils à utiliser, des informations à y saisir et du moment opportun pour intégrer les résultats générés par l'IA à son travail. Ces décisions peuvent engendrer des risques bien au-delà de l'employé ayant initialement utilisé la technologie.

Une politique de gouvernance officielle de l'IA peut établir des attentes communes concernant les utilisations acceptables et interdites, la confidentialité et la sécurité des données, le contrôle humain, la formation des employés, les contrôles des fournisseurs, la conservation des enregistrements et le signalement des incidents. 

Pour les districts scolaires, la gouvernance peut également inclure des accords d'utilisation de l'IA conclus entre les élèves et les parents, ainsi que des attentes claires envers les employés qui traitent les informations relatives aux élèves. Les politiques écrites peuvent servir de base à la formation, à la responsabilisation et à une prise de décision cohérente, tout en démontrant que l'organisation a pris des mesures proactives pour gérer les risques émergents. 

Étant donné que les capacités de l'IA sont de plus en plus intégrées aux téléphones, aux plateformes logicielles, aux outils de recherche et autres technologies que les employés utilisent quotidiennement, les entités publiques devraient établir des paramètres clairs concernant la manière dont ces outils peuvent être utilisés, les informations auxquelles ils peuvent accéder et les cas où une supervision humaine est requise.

Suivez les données

Les entités publiques traitent régulièrement des informations qui ne devraient pas être saisies à la légère dans un environnement d'IA non approuvé, notamment les dossiers des employés, les renseignements sur les électeurs, les données protégées des étudiants et d'autres documents confidentiels ou sensibles.

Les responsables de la gestion des risques doivent collaborer avec les équipes TI, de sécurité de l'information, juridiques et opérationnelles pour comprendre où vont les informations lorsqu'une application d'IA est utilisée, si elles sont conservées, qui peut y avoir accès et si l'organisation peut les récupérer au besoin.

Les exigences en matière d'accès aux documents publics ajoutent une autre considération. Si des employés utilisent l'IA pour créer ou modifier du contenu relatif aux affaires publiques, les organisations devront peut-être déterminer si ce contenu est soumis aux obligations de conservation ou de divulgation applicables et s'il peut effectivement être localisé et produit. 

Un exercice utile de prévention des pertes consiste à suivre les données du début à la fin : quelles informations entrent dans l’outil ? Où vont-elles ? Qu'est-ce qui leur arrive ? Qui peut y avoir accès ? Comment les récupérer au besoin ?

Lorsque ces questions ne peuvent être résolues avec certitude, le cas d'utilisation justifie un examen plus approfondi.

Responsabiliser les gens quant aux résultats

L'IA peut produire des informations avec une rapidité et une assurance apparentes remarquables, y compris des informations incomplètes, biaisées ou inexactes. Cela revêt une importance particulière lorsque l'IA influence des décisions relatives à l'embauche, la promotion, l'aménagement du poste de travail, l'octroi de licences, les réclamations, la communication publique ou d'autres activités importantes.

Un examen humain efficace nécessite une personne possédant suffisamment de connaissances et d'autorité pour remettre en question le résultat, valider les informations sous-jacentes et rejeter une recommandation le cas échéant.

Les organisations doivent également tenir compte des personnes susceptibles d'être touchées par les dysfonctionnements de l'IA . Les étudiants peuvent faire face à des problèmes de confidentialité, d'accessibilité et de sécurité ; les employés peuvent être touchés par des décisions relatives à l'embauche, aux adaptations de poste ou à la promotion ; et les citoyens peuvent se poser des questions concernant l'égalité d'accès, la transparence et le respect des procédures légales. 

Les conséquences potentielles devraient permettre de déterminer le niveau de surveillance approprié. Les applications d'IA susceptibles d'affecter significativement un individu pourraient nécessiter des tests supplémentaires, un examen humain et des procédures d'escalade clairement définies.

L'expérience est un autre facteur important. Un professionnel chevronné saura rapidement déceler les incohérences d'une recommandation générée par une IA, tandis qu'une personne moins expérimentée pourrait être plus encline à accepter le résultat sans le remettre en question. Les organisations doivent identifier les besoins en matière de soutien ou de vérification supplémentaires, en fonction du niveau d'expérience et du rôle de chacun. 

La formation en IA devrait comprendre des conseils sur la reconnaissance des résultats douteux, la validation des informations et la détermination des situations nécessitant un examen plus approfondi.

Prévoyez le cas où quelque chose tourne mal

Les principes traditionnels de prévention des pertes demeurent très pertinents dans un environnement où l'IA est omniprésente.

Les informations critiques doivent être correctement sauvegardées et récupérables. Les contrats avec les fournisseurs doivent clairement définir les responsabilités, la protection des données et les autres garanties appropriées, notamment les clauses d'indemnisation et la confirmation d'une couverture d'assurance adéquate pour les risques liés à l'IA. Face à l'introduction d'exclusions relatives à l'IA générative par les assureurs, les organisations doivent collaborer avec leurs courtiers d'assurance afin d'examiner attentivement les termes des polices et d'identifier les éventuelles lacunes de couverture. Ces exclusions peuvent avoir une incidence sur la responsabilité découlant de contenus, de recommandations ou de décisions générés par l'IA, y compris certains dommages corporels, matériels et les réclamations relatives à la propriété intellectuelle. Les organisations doivent également comprendre comment les fournisseurs utilisent l'IA dans les services qu'ils offrent, car leur exposition peut s'étendre au-delà de la technologie qu'elles achètent ou déploient directement.

Les applications à haut risque peuvent nécessiter des mesures de protection supplémentaires. Par exemple, si la technologie est censée identifier les propos associés à l'automutilation, aux menaces de violence envers autrui, au harcèlement ou à tout autre problème grave de sécurité, les responsables de la gestion des risques doivent s'assurer de la mise en place de systèmes de surveillance et d'alerte automatisés, des éléments déclencheurs de ces alertes et de leur transmission au personnel compétent pour une intervention rapide. Pour les établissements scolaires en particulier, ces mesures de protection sont essentielles lorsque la technologie aide à identifier les menaces potentielles au bien-être des élèves.

Les organisations doivent également réfléchir à la manière dont elles pourraient reprendre le contrôle si un processus reposant sur l'IA commençait à se comporter de manière inattendue. La technologie peut-elle être isolée ou désactivée immédiatement par un mécanisme d'arrêt d'urgence ? Les renseignements critiques peuvent-ils être récupérés ? Qui est habilité à intervenir ?

Ce sont des questions classiques de gestion des risques appliquées à une nouvelle génération de technologies.

Faire de la gouvernance de l'IA une responsabilité partagée

Une gouvernance efficace de l'IA nécessite la participation de tous les échelons de l'organisation. Les conseils d'administration et la direction peuvent définir le niveau de risque acceptable et la politique en la matière ; les RH peuvent s'occuper de la formation du personnel et des bonnes pratiques d'utilisation ; les services de TI et de sécurité peuvent gérer la technologie et la protection des données ; les services juridiques et de conformité peuvent répondre aux exigences réglementaires et de confidentialité ; les gestionnaires de service peuvent superviser les applications opérationnelles ; et les gestionnaires et les employés demeurent responsables de l'utilisation de l'IA dans leur travail quotidien. 

Les gestionnaires de risques peuvent jouer un rôle important en reliant ces fonctions, en identifiant les points de convergence des expositions et en contribuant à garantir des lignes de responsabilité claires lors de l'introduction de nouvelles applications d'IA.

Sept questions à l'intention des responsables de la gestion des risques du secteur public

Les entités publiques peuvent commencer à resserrer leurs contrôles en se posant sept questions pratiques :

1. Où les employés utilisent-ils déjà l'IA, y compris les outils qui n'ont pas été officiellement approuvés ?
2. Quelles informations sont saisies, et certaines d'entre elles pourraient-elles être confidentielles, protégées ou assujetties à des obligations d'archivage ?
3. Quelles activités assistées par l'IA pourraient avoir un impact significatif sur un employé, un étudiant, un citoyen ou un électeur ?
4. Dans quels cas une intervention humaine est-elle requise, et les examinateurs sont-ils prêts à questionner et à valider les résultats de l'IA ?
5. Quelles situations devraient déclencher une intervention immédiate auprès d'une personne ?
6. Pourrions-nous interrompre un processus utilisant l'IA et récupérer des informations critiques en cas de problème ?
7. Quand avons-nous revu pour la dernière fois nos politiques, nos formations, nos contrats avec les fournisseurs et nos couvertures d'assurance par rapport à la technologie d'IA réellement utilisée aujourd'hui ?

Ces questions devraient être revues régulièrement, car les nouvelles réglementations, les technologies émergentes, les risques liés à la confidentialité et à la sécurité, l'expérience opérationnelle et l'évolution de l'adoption par les employés modifient le profil de risque d'une organisation.

Renforcer la résilience face à l'évolution de l'IA

L'intelligence artificielle évolue plus rapidement que de nombreux processus d'approbation et d'élaboration de politiques publiques traditionnels. Dans certaines organisations, les politiques doivent être approuvées par des conseils d'administration et d'autres instances de contrôle formelles, ce qui peut compliquer la tâche de la gouvernance face à l'évolution rapide des technologies. 

Les pratiques de gestion des risques établies constituent un fondement solide : des attentes claires, des contrôles rigoureux, la protection des renseignements personnels sensibles, une supervision humaine efficace, des formations, des procédures d’escalade et une réévaluation régulière. Ces pratiques permettent également aux organismes publics d'avoir davantage confiance lorsqu'ils évaluent de nouvelles applications d'IA et déterminent les mesures de protection supplémentaires à mettre en place.

Les organisations qui définissent aujourd'hui des attentes claires, une surveillance rigoureuse et des garanties pratiques seront mieux préparées à s'adapter à l'évolution constante de l'IA.