KI-gestützte Erkenntnisse zur Transformation des Risikomanagements und der Schadenverhütung

Künstliche Intelligenz verändert bereits jetzt die Arbeitsweise öffentlicher Einrichtungen. Mitarbeiter nutzen generative KI, um Informationen zu recherchieren, Daten zu analysieren, Mitteilungen zu entwerfen und Verwaltungsaufgaben zu optimieren. Lehrkräfte und Schüler integrieren sie in den Unterricht, während Behörden nach Anwendungsmöglichkeiten suchen, die die Effizienz steigern und den Mitarbeitern helfen können, immer komplexere Informationen zu verstehen.

Für Risikoverantwortliche im öffentlichen Sektor bringt die weitverbreitete Einführung von KI eine wachsende Zahl von Aspekten mit sich, die es zu berücksichtigen gilt. Der Einsatz von KI kann Risiken in Bezug auf Datenschutz, Cybersicherheit, Beschäftigungspraktiken, Aufbewahrungspflichten, Falschinformationen, Reputationsrisiken und öffentliche Sicherheit mit sich bringen. In vielen Organisationen nutzen die Mitarbeiter KI möglicherweise bereits, bevor formelle Richtlinien, Schulungsprogramme und Steuerungsstrukturen vollständig umgesetzt sind. 

Bewährte Verfahren des Risikomanagements und der Schadenverhütung können einen tragfähigen Rahmen für den Umgang mit diesen Risiken bieten, auch wenn sich die Technologie ständig weiterentwickelt.

Beginnen Sie mit der Unternehmensführung

Eine der nützlichsten Fragen, die sich ein Risikomanager heute stellen kann, lautet:Wissen wir, wie KI in unserem gesamten Unternehmen eingesetzt wird?

Ohne einen unternehmensweiten Ansatz könnten einzelne Mitarbeiter oder Abteilungen eigenmächtig entscheiden, welche Tools sie nutzen, welche Informationen darin erfasst werden dürfen und wann es angebracht ist, KI-generierte Ergebnisse in ihre Arbeit einzubeziehen. Diese Entscheidungen können Risiken mit sich bringen, die weit über den Mitarbeiter hinausgehen, der die Technologie ursprünglich genutzt hat.

Eine formelle Richtlinie zur KI-Governance kann gemeinsame Erwartungen in Bezug auf zulässige und verbotene Nutzungszwecke, Datenschutz und -sicherheit, menschliche Überprüfung, Mitarbeiterschulungen, Kontrollen von Anbietern, Aufbewahrungspflichten und die Meldung von Vorfällen festlegen. 

Für Schulbezirke kann die Steuerung auch Vereinbarungen über die Nutzung von KI durch Schüler und Eltern sowie klare Vorgaben für Mitarbeiter umfassen, die mit Schülerdaten umgehen. Schriftlich festgelegte Richtlinien können eine Grundlage für Schulungen, Rechenschaftspflicht und eine einheitliche Entscheidungsfindung bilden und gleichzeitig zeigen, dass die Organisation proaktive Maßnahmen ergriffen hat, um neu auftretende Risiken zu bewältigen. 

Da KI-Funktionen zunehmend in Smartphones, Softwareplattformen, Suchwerkzeuge und andere Technologien integriert sind, die Mitarbeiter täglich nutzen, sollten öffentliche Einrichtungen klare Vorgaben festlegen, wie diese Werkzeuge eingesetzt werden dürfen, auf welche Informationen sie zugreifen dürfen und in welchen Fällen eine menschliche Kontrolle erforderlich ist.

Folgen Sie den Daten

Öffentliche Einrichtungen verarbeiten regelmäßig Informationen, die nicht ohne Weiteres in eine nicht genehmigte KI-Umgebung eingegeben werden sollten, darunter Personalakten, Daten von Bürgern, geschützte Schülerdaten und andere vertrauliche oder sensible Informationen.

Risikoverantwortliche sollten mit den Teams aus den Bereichen IT, Informationssicherheit, Recht und Betrieb zusammenarbeiten, um zu verstehen, wohin Informationen bei der Nutzung einer KI-Anwendung gelangen, ob sie gespeichert werden, wer Zugriff darauf hat und ob das Unternehmen sie bei Bedarf wieder abrufen kann.

Die Vorschriften zur Aufbewahrung öffentlicher Unterlagen stellen eine weitere Herausforderung dar. Wenn Mitarbeiter KI einsetzen, um Inhalte im Zusammenhang mit öffentlichen Angelegenheiten zu erstellen oder zu ändern, müssen Organisationen möglicherweise prüfen, ob diese Inhalte den geltenden Aufbewahrungs- oder Offenlegungspflichten unterliegen und ob sie tatsächlich auffindbar sind und vorgelegt werden können. 

Eine nützliche Maßnahme zur Verlustprävention besteht darin, den Datenweg von Anfang bis Ende nachzuvollziehen:Welche Informationen werden in das Tool eingegeben? Wohin werden sie weitergeleitet? Was geschieht dort mit ihnen? Wer hat Zugriff darauf? Wie könnten wir sie bei Bedarf wiederherstellen?

Wenn diese Fragen nicht mit Sicherheit beantwortet werden können, muss der Anwendungsfall genauer geprüft werden.

Die Verantwortlichen für das Ergebnis zur Rechenschaft ziehen

KI kann Informationen mit bemerkenswerter Geschwindigkeit und scheinbarer Sicherheit liefern, darunter auch Informationen, die unvollständig, voreingenommen oder falsch sind. Dies gewinnt besonders an Bedeutung, wenn KI Entscheidungen beeinflusst, die die Einstellung von Mitarbeitern, Beförderungen, angemessene Vorkehrungen, die Erteilung von Lizenzen, Ansprüche, die öffentliche Kommunikation oder andere weitreichende Maßnahmen betreffen.

Für eine effektive menschliche Überprüfung ist eine Person erforderlich, die über ausreichendes Fachwissen und die nötige Befugnis verfügt, um die Ergebnisse zu hinterfragen, die zugrunde liegenden Informationen zu überprüfen und eine Empfehlung gegebenenfalls abzulehnen.

Organisationen sollten zudem bedenken,wer betroffen sein könnte, wenn KI Fehler macht. Studierende könnten mit Bedenken hinsichtlich Datenschutz, Barrierefreiheit und Sicherheit konfrontiert sein; Mitarbeiter könnten von Entscheidungen in Bezug auf Einstellungen, angemessene Vorkehrungen oder Beförderungen betroffen sein; und Bürger könnten mit Fragen zu gleichberechtigtem Zugang, Transparenz und ordnungsgemäßen Verfahren konfrontiert sein. 

Die potenziellen Folgen sollten als Grundlage für die Festlegung eines angemessenen Maßes an Aufsicht dienen. KI-Anwendungen, die erhebliche Auswirkungen auf eine Person haben können, erfordern möglicherweise zusätzliche Tests, eine Überprüfung durch Menschen sowie klar definierte Eskalationsverfahren.

Erfahrung ist ein weiterer zu berücksichtigender Faktor. Ein sehr erfahrener Fachmann erkennt möglicherweise schnell, wenn eine von einer KI generierte Empfehlung keinen Sinn ergibt, während jemand mit weniger Erfahrung eher dazu neigt, das Ergebnis ungeprüft zu akzeptieren. Unternehmen sollten prüfen, wo je nach Erfahrungsniveau und Rolle zusätzliche Unterstützung oder Überprüfung erforderlich sein könnte. 

Die KI-Schulung sollte Anleitungen zum Erkennen fragwürdiger Ergebnisse, zur Überprüfung von Informationen und dazu enthalten, wann eine zusätzliche Überprüfung erforderlich ist.

Planen Sie für den Fall, dass etwas schiefgeht

Traditionelle Grundsätze der Schadensverhütung behalten auch in einem KI-gestützten Umfeld ihre hohe Relevanz.

Kritische Informationen sollten angemessen gesichert und wiederherstellbar sein. In Lieferantenverträgen sollten Verantwortung, Datenschutz und andere geeignete Schutzmaßnahmen klar geregelt sein, einschließlich Haftungsfreistellungsklauseln und der Bestätigung eines angemessenen Versicherungsschutzes für KI-bezogene Risiken. Da Versicherer Ausschlussklauseln im Zusammenhang mit generativer KI einführen, sollten Unternehmen gemeinsam mit ihren Versicherungsmaklern die Versicherungsbedingungen sorgfältig prüfen und potenzielle Deckungslücken identifizieren. Diese Ausschlussklauseln können sich auf die Haftung auswirken, die sich aus KI-generierten Inhalten, Empfehlungen oder Entscheidungen ergibt, einschließlich bestimmter Ansprüche wegen Körperverletzung, Schäden an der „ Sachschaden “ und Ansprüchen im Zusammenhang mit geistigem „ Sachschaden “. Unternehmen sollten zudem verstehen, wie Anbieter KI im Rahmen ihrer Dienstleistungen einsetzen, da sich das Risiko eines Unternehmens über die Technologie hinaus erstrecken kann, die es direkt erwirbt oder einsetzt.

Anwendungen mit höherem Risiko erfordern unter Umständen zusätzliche Sicherheitsvorkehrungen. Wenn beispielsweise von einer Technologie erwartet wird, dass sie Äußerungen identifiziert, die mit Selbstverletzung, Androhung von Gewalt gegen andere, Mobbing oder anderen schwerwiegenden Sicherheitsbedenken in Verbindung stehen, sollten Risikoverantwortliche wissen, ob automatisierte Überwachungs- und Warnmechanismen vorhanden sind, welche Auslöser diese Warnungen auslösen und ob sie das zuständige Personal erreichen, damit rechtzeitig eingegriffen werden kann. Insbesondere für Schulbezirke können diese Sicherheitsvorkehrungen wichtig sein, wenn Technologie eine Rolle bei der Erkennung potenzieller Gefahren für das Wohlergehen der Schüler spielt.

Unternehmen sollten sich außerdem überlegen, wie sie die Kontrolle zurückgewinnen könnten, falls sich ein KI-gestützter Prozess unerwartet verhalten sollte. Lässt sich die Technologie über einen Notabschaltmechanismus – manchmal auch als „Kill-Switch“ bezeichnet – sofort isolieren oder deaktivieren? Können wichtige Informationen wiederhergestellt werden? Wer ist befugt, einzugreifen?

Dies sind bekannte Fragen zum Risikomanagement, die auf eine neue Technologiegeneration angewendet werden.

Machen wir die KI-Governance zu einer gemeinsamen Verantwortung

Eine wirksame KI-Governance erfordert die Mitwirkung aller Bereiche des Unternehmens. Vorstände und Führungskräfte legen die Risikobereitschaft und die Richtlinien fest; die Personalabteilung kümmert sich um die Schulung der Mitarbeiter und die Festlegung der zulässigen Nutzung; die IT- und Sicherheitsabteilungen sind für den Umgang mit Technologien und den Datenschutz zuständig; die Rechts- und Compliance-Teams kümmern sich um regulatorische und datenschutzrechtliche Anforderungen; die Abteilungsleiter überwachen den Einsatz der KI im operativen Geschäft; und Führungskräfte sowie Mitarbeiter tragen weiterhin die Verantwortung dafür, wie KI im Arbeitsalltag eingesetzt wird. 

Risikoverantwortliche können eine wichtige Rolle dabei spielen, diese Funktionen miteinander zu verknüpfen, Schnittstellen zwischen den Risiken zu identifizieren und dazu beizutragen, dass bei der Einführung neuer KI-Anwendungen klare Zuständigkeiten gewährleistet sind.

Sieben Fragen an Risikoverantwortliche im öffentlichen Sektor

Öffentliche Einrichtungen können damit beginnen, ihre Kontrollmechanismen zu stärken, indem sie sich sieben praktische Fragen stellen:

1. Wo setzen Mitarbeiter bereits KI ein, einschließlich Tools, die noch nicht offiziell genehmigt wurden?
2. Welche Informationen werden eingegeben, und könnten einige davon vertraulich, geschützt oder der Aufbewahrungspflicht unterliegen?
3. Welche KI-gestützten Aktivitäten könnten erhebliche Auswirkungen auf einen Arbeitnehmer, einen Studenten, einen Bürger oder einen Wähler haben?
4. In welchen Fällen ist eine Überprüfung durch Menschen erforderlich, und sind die Prüfer bereit, die Ergebnisse der KI zu hinterfragen und zu validieren?
5. In welchen Situationen sollte eine sofortige Eskalation an eine zuständige Person erfolgen?
6. Könnten wir einen KI-gestützten Prozess anhalten und wichtige Informationen wiederherstellen, falls etwas schiefgehen sollte?
7. Wann haben wir unsere Richtlinien, Schulungen, Lieferantenverträge und Versicherungsschutz zuletzt im Hinblick auf die heute tatsächlich eingesetzte KI-Technologie überprüft?

Diese Fragen sollten regelmäßig überprüft werden, da neue Vorschriften, neue Technologien, Datenschutz- und Sicherheitsrisiken, operative Erfahrungen sowie die sich wandelnde Akzeptanz seitens der Mitarbeiter das Risikoprofil eines Unternehmens verändern.

Resilienz stärken im Zuge der Weiterentwicklung der KI

Die KI entwickelt sich schneller, als viele traditionelle politische und Genehmigungsverfahren im öffentlichen Sektor mithalten können. In einigen Organisationen müssen Richtlinien von Gremien und anderen formellen Prüfungsverfahren durchlaufen werden, was es für die Unternehmensführung schwierig machen kann, mit den rasanten technologischen Veränderungen Schritt zu halten. 

Bewährte Risikomanagementverfahren bilden eine nützliche Grundlage: klare Erwartungen, durchdachte Kontrollmechanismen, Schutz sensibler Informationen, sinnvolle menschliche Aufsicht, Schulungen, Eskalationsverfahren und regelmäßige Neubewertungen. Diese Verfahren können öffentlichen Einrichtungen zudem mehr Sicherheit geben, wenn sie neue KI-Anwendungen bewerten und entscheiden, wo zusätzliche Schutzmaßnahmen angebracht sein könnten.

Die Organisationen, die heute klare Erwartungen, eine strenge Aufsicht und praktische Schutzmaßnahmen festlegen, werden besser darauf vorbereitet sein, sich an die fortschreitenden Veränderungen im Bereich der KI anzupassen.