AI-drevet innsikt for å transformere risikostyring og tapskontroll

Kunstig intelligens endrer allerede hvordan offentlige enheter jobber. Ansatte bruker generativ AI til å undersøke informasjon, analysere data, utarbeide kommunikasjon og effektivisere administrativt arbeid. Lærere og elever integrerer det i klasserommet, mens offentlige etater utforsker applikasjoner som kan forbedre effektiviteten og hjelpe ansatte med å forstå stadig mer kompleks informasjon.

For risikoledere i offentlig sektor medfører utbredt bruk et økende sett med hensyn. Bruk av AI kan medføre risikoer knyttet til personvern, nettsikkerhet, ansettelsespraksis, oppbevaring av dokumenter, feilinformasjon, omdømmerisiko og offentlig sikkerhet, og i mange organisasjoner kan det hende at ansatte allerede bruker AI før formelle retningslinjer, opplæringsprogrammer og styringsstrukturer har tatt helt igjen forspranget. 

Etablerte praksiser for risikostyring og tapskontroll kan gi et varig rammeverk for å håndtere disse eksponeringene, selv om teknologien fortsetter å endre seg.

Start med styring

Et av de nyttigste spørsmålene en risikoleder kan stille i dag er: Vet vi hvordan AI brukes i hele organisasjonen vår?

Uten en organisasjonsomfattende tilnærming kan individuelle ansatte eller avdelinger ta sine egne avgjørelser om hvilke verktøy de skal bruke, hvilken informasjon som kan legges inn i dem og når det er passende å innlemme AI-generert output i arbeidet sitt. Disse avgjørelsene kan skape eksponeringer langt utover den ansatte som opprinnelig brukte teknologien.

En formell styringspolicy for AI kan etablere felles forventninger rundt akseptabel og forbudt bruk, databeskyttelse og -sikkerhet, menneskelig gjennomgang, opplæring av ansatte, leverandørkontroller, oppbevaring av journaler og hendelsesrapportering. 

For skoledistrikter kan styring også omfatte avtaler om bruk av AI mellom elever og foreldre og klare forventninger til ansatte som håndterer elevinformasjon. Skriftlige retningslinjer kan gi et grunnlag for opplæring, ansvarlighet og konsekvent beslutningstaking, samtidig som de viser at organisasjonen har tatt proaktive skritt for å håndtere nye risikoer. 

Fordi AI-funksjoner i økende grad er innebygd i telefoner, programvareplattformer, søkeverktøy og annen teknologi som ansatte bruker hver dag, bør offentlige enheter etablere klare rammer for hvordan disse verktøyene kan brukes, hvilken informasjon de har tilgang til og hvor menneskelig tilsyn er nødvendig.

Følg dataene

Offentlige enheter håndterer rutinemessig informasjon som ikke tilfeldigvis bør legges inn i et ikke-godkjent AI-miljø, inkludert ansattjournaler, informasjon om tilknyttede parter, beskyttede studentdata og annet konfidensielt eller sensitivt materiale.

Risikoledere bør samarbeide med IT-, informasjonssikkerhets-, juridiske og operative team for å forstå hvor informasjonen går når en AI-applikasjon brukes, om den oppbevares, hvem som kan ha tilgang til den og om organisasjonen kan hente den når det er nødvendig.

Krav til offentlige registre legger til en annen faktor. Hvis ansatte bruker AI til å opprette eller endre innhold relatert til offentlig virksomhet, kan organisasjoner måtte avgjøre om dette innholdet er underlagt gjeldende oppbevarings- eller offentliggjøringskrav, og om det faktisk kan lokaliseres og produseres. 

En nyttig øvelse for tapskontroll er å følge dataene fra begynnelse til slutt: Hvilken informasjon kommer inn i verktøyet? Hvor havner den? Hva skjer med den der? Hvem har tilgang til den? Hvordan kan vi hente den frem om nødvendig?

Når disse spørsmålene ikke kan besvares med sikkerhet, krever brukstilfellet ytterligere gjennomgang.

Hold folk ansvarlige for resultatet

AI kan produsere informasjon med bemerkelsesverdig hastighet og tilsynelatende sikkerhet, inkludert informasjon som er ufullstendig, partisk eller feil. Dette blir spesielt viktig når AI påvirker beslutninger som involverer ansettelser, forfremmelser, tilrettelegging, lisensiering, krav, offentlig kommunikasjon eller andre følgeaktiviteter.

Effektiv menneskelig vurdering krever noen med nok kunnskap og autoritet til å stille spørsmål ved resultatet, validere den underliggende informasjonen og avvise en anbefaling når det er passende.

Organisasjoner bør også vurdere hvem som kan bli berørt når AI gjør noe galt . Studenter kan møte bekymringer knyttet til personvern, tilgjengelighet og sikkerhet; ansatte kan bli berørt av beslutninger som gjelder ansettelser, tilrettelegging eller avansement; og innbyggere kan støte på spørsmål knyttet til lik tilgang, åpenhet og rettssikkerhet. 

De potensielle konsekvensene bør bidra til å bestemme riktig nivå av tilsyn. AI-applikasjoner som kan påvirke en person betydelig, kan kreve ytterligere testing, menneskelig gjennomgang og klart definerte eskaleringsprosedyrer.

Erfaring er en annen faktor. En svært erfaren fagperson kan raskt gjenkjenne når en AI-generert anbefaling ikke gir mening, mens noen med mindre erfaring kan være mer tilbøyelige til å akseptere resultatet for god ordens skyld. Organisasjoner bør vurdere hvor det kan være behov for ytterligere støtte eller gjennomgang på tvers av ulike erfaringsnivåer og roller. 

AI-opplæring bør inkludere veiledning i hvordan man gjenkjenner tvilsomme resultater, validerer informasjon og vet når det er behov for ytterligere gjennomgang.

Planlegg for når noe går galt

Tradisjonelle prinsipper for tapskontroll er fortsatt svært relevante i et AI-aktivert miljø.

Kritisk informasjon bør sikkerhetskopieres på en passende måte og kunne gjenopprettes. Leverandørkontrakter bør tydelig omhandle ansvar, databeskyttelse og andre passende sikkerhetstiltak, inkludert bestemmelser om erstatning og bekreftelse av passende forsikringsdekning for KI-relaterte eksponeringer. Etter hvert som forsikringsselskaper innfører unntak knyttet til generativ KI, bør organisasjoner samarbeide med sine forsikringsmeglere for å nøye gjennomgå policyteksten og identifisere potensielle hull i dekningen. Disse unntakene kan påvirke ansvar som følge av KI-generert innhold, anbefalinger eller beslutninger, inkludert visse krav knyttet til personskade, eiendomsskade og immaterielle rettigheter. Organisasjoner bør også forstå hvordan leverandører bruker KI i tjenestene de tilbyr, siden en enhets eksponering kan strekke seg utover teknologien den direkte kjøper eller distribuerer.

Høyrisikoapplikasjoner kan kreve ytterligere sikkerhetstiltak. Hvis teknologi for eksempel forventes å identifisere språkbruk knyttet til selvskading, trusler om skade på andre, mobbing eller andre alvorlige sikkerhetsproblemer, bør risikoledere forstå om automatisert overvåking og varsler er på plass, hva som utløser disse varslene og om de når riktig personell for rettidig intervensjon. Spesielt for skoledistrikter kan disse sikkerhetstiltakene være viktige når teknologi spiller en rolle i å identifisere potensielle trusler mot elevers velvære.

Organisasjoner bør også vurdere hvordan de kan gjenvinne kontrollen hvis en AI-aktivert prosess begynner å oppføre seg uventet. Kan teknologien umiddelbart isoleres eller deaktiveres gjennom en nødavstengningsmekanisme, noen ganger kalt en kill switch? Kan kritisk informasjon gjenopprettes? Hvem har myndighet til å gripe inn?

Dette er kjente spørsmål om risikostyring som anvendes på en ny generasjon teknologi.

Gjør styring av kunstig intelligens til et delt ansvar

Effektiv styring av AI krever deltakelse på tvers av organisasjonen. Styrer og toppledere kan etablere risikoappetitt og retningslinjer; HR kan håndtere opplæring av arbeidsstyrken og akseptabel bruk; IT og sikkerhet kan administrere teknologi og databeskyttelse; juridiske og compliance-team kan håndtere regulatoriske og personvernkrav; avdelingsledere kan føre tilsyn med driftsapplikasjoner; og ledere og ansatte forblir ansvarlige for hvordan AI brukes i det daglige arbeidet. 

Risikoledere kan spille en viktig rolle i å koble sammen disse funksjonene, identifisere hvor eksponeringer krysser hverandre og bidra til å sikre at det er klare ansvarslinjer når nye AI-applikasjoner introduseres.

Syv spørsmål til risikoledere i offentlig sektor

Offentlige enheter kan begynne å styrke kontrollene sine ved å stille syv praktiske spørsmål:

1. Hvor bruker ansatte allerede AI, inkludert verktøy som ikke er formelt godkjent?
2. Hvilken informasjon legges inn, og kan noe av den være konfidensiell, beskyttet eller underlagt journalkrav?
3. Hvilke AI-assisterte aktiviteter kan ha vesentlig innvirkning på en ansatt, student, borger eller velger?
4. Hvor kreves menneskelig gjennomgang, og er anmeldere forberedt på å stille spørsmål ved og validere AI-ens resultater?
5. Hvilke situasjoner bør utløse en umiddelbar eskalering av en person?
6. Kunne vi stoppe en AI-aktivert prosess og gjenopprette kritisk informasjon hvis noe gikk galt?
7. Når gjennomgikk vi sist våre retningslinjer, opplæring, leverandørkontrakter og forsikringsdekning mot AI-teknologien som faktisk brukes i dag?

Disse spørsmålene bør vurderes regelmessig ettersom nye forskrifter, ny teknologi, personvern- og sikkerhetsrisikoer, driftserfaring og endret ansattes adopsjon endrer en organisasjons risikoprofil.

Bygge motstandskraft etter hvert som AI utvikler seg

AI utvikler seg raskere enn mange tradisjonelle offentlige politikk- og godkjenningsprosesser kan gå. I noen organisasjoner må policyer gå gjennom styrer og andre formelle gjennomgangsprosesser, noe som kan gjøre det vanskelig for styringen å holde tritt med raske endringer i teknologien. 

Etablerte risikostyringspraksiser gir et nyttig grunnlag: klare forventninger, gjennomtenkte kontroller, beskyttelse av sensitiv informasjon, meningsfull menneskelig tilsyn, opplæring, eskaleringsprosedyrer og regelmessig revurdering. Disse praksisene kan også gi offentlige enheter større trygghet når de evaluerer nye AI-applikasjoner og bestemmer hvor ytterligere sikkerhetstiltak kan være passende.

Organisasjoner som etablerer klare forventninger, sterk tilsyn og praktiske sikkerhetstiltak i dag, vil være bedre forberedt på å tilpasse seg etter hvert som AI fortsetter å endre seg.