Insights baseados em IA para transformar a gestão de riscos e o controle de perdas

A inteligência artificial já está mudando a forma como as entidades públicas funcionam. Os funcionários estão utilizando a IA generativa para pesquisar informações, analisar dados, redigir comunicações e otimizar o trabalho administrativo. Educadores e alunos estão incorporando essa tecnologia à sala de aula, enquanto órgãos governamentais exploram aplicações que possam melhorar a eficiência e ajudar os funcionários a compreender informações cada vez mais complexas.

Para os líderes de gestão de riscos do setor público, a adoção generalizada traz um conjunto cada vez maior de considerações. O uso da IA pode gerar riscos relacionados à privacidade, à segurança cibernética, às práticas trabalhistas, à retenção de registros, à desinformação, ao risco reputacional e à segurança pública; e, em muitas organizações, os funcionários podem já estar utilizando a IA antes que políticas formais, programas de treinamento e estruturas de governança tenham se adaptado totalmente a essa realidade. 

Práticas consolidadas de gestão de riscos e controle de perdas podem oferecer uma estrutura duradoura para o gerenciamento dessas exposições, mesmo com as constantes mudanças tecnológicas.

Comece pela governança

Uma das perguntas mais úteis que um líder de gestão de riscos pode fazer hoje é:sabemos como a IA está sendo utilizada em toda a nossa organização?

Sem uma abordagem que abranja toda a organização, funcionários ou departamentos podem tomar suas próprias decisões sobre quais ferramentas utilizar, quais informações podem ser inseridas nelas e quando é apropriado incorporar resultados gerados por IA em seu trabalho. Essas decisões podem gerar riscos que vão muito além do funcionário que utilizou a tecnologia inicialmente.

Uma política formal de governança de IA pode definir expectativas comuns em relação a usos aceitáveis e proibidos, privacidade e segurança de dados, revisão humana, treinamento de funcionários, controles de fornecedores, retenção de registros e notificação de incidentes. 

Para os distritos escolares, a governança também pode incluir acordos sobre o uso de IA por alunos e pais, além de expectativas claras para os funcionários que lidam com informações dos alunos. Políticas escritas podem servir de base para treinamento, prestação de contas e tomada de decisões coerentes, ao mesmo tempo em que demonstram que a organização tomou medidas proativas para gerenciar riscos emergentes. 

Como os recursos de IA estão cada vez mais integrados a celulares, plataformas de software, ferramentas de busca e outras tecnologias que os funcionários utilizam diariamente, os órgãos públicos devem estabelecer parâmetros claros sobre como essas ferramentas podem ser utilizadas, a quais informações elas têm acesso e em que casos é necessária a supervisão humana.

Acompanhe os dados

Os órgãos públicos lidam rotineiramente com informações que não devem ser inseridas de forma descuidada em um ambiente de IA não aprovado, incluindo registros de funcionários, informações de cidadãos, dados protegidos de alunos e outros materiais confidenciais ou sensíveis.

Os responsáveis pela gestão de riscos devem trabalhar em conjunto com as equipes de TI, segurança da informação, jurídica e operacional para entender para onde as informações vão quando uma aplicação de IA é utilizada, se elas são retidas, quem pode ter acesso a elas e se a organização pode recuperá-las quando necessário.

Os requisitos relativos a registros públicos acrescentam mais um aspecto a ser considerado. Se os funcionários utilizarem IA para criar ou modificar conteúdo relacionado a assuntos públicos, as organizações podem precisar determinar se esse conteúdo está sujeito aos requisitos aplicáveis de retenção ou divulgação e se ele pode, de fato, ser localizado e apresentado. 

Um exercício útil para o controle de perdas consiste em acompanhar os dados do início ao fim:Que informações são inseridas na ferramenta? Para onde elas vão? O que acontece com elas lá? Quem pode acessá-las? Como poderíamos recuperá-las, se necessário?

Quando não for possível responder a essas perguntas com segurança, o caso de uso justifica uma análise mais aprofundada.

Faça com que as pessoas se responsabilizem pelo resultado

A IA pode gerar informações com notável rapidez e aparente confiança, inclusive informações incompletas, tendenciosas ou incorretas. Isso se torna particularmente importante quando a IA influencia decisões relacionadas a contratações, promoções, adaptações, licenciamentos, reclamações, comunicações públicas ou outras atividades de grande impacto.

Uma análise humana eficaz requer alguém com conhecimento e autoridade suficientes para questionar o resultado, validar as informações subjacentes e rejeitar uma recomendação quando for o caso.

As organizações também devem levar em consideraçãoquem pode ser afetado quando a IA comete um erro. Os estudantes podem enfrentar questões relacionadas à privacidade, acessibilidade e segurança; os funcionários podem ser afetados por decisões relacionadas à contratação, adaptações ou promoção; e os cidadãos podem se deparar com questões relacionadas à igualdade de acesso, transparência e devido processo legal. 

As possíveis consequências devem ajudar a determinar o nível adequado de supervisão. Aplicações de IA que possam afetar significativamente um indivíduo podem exigir testes adicionais, revisão humana e procedimentos de escalonamento claramente definidos.

A experiência é outro fator a ser levado em conta. Um profissional altamente experiente pode reconhecer rapidamente quando uma recomendação gerada por IA não faz sentido, enquanto alguém com menos experiência pode estar mais inclinado a aceitar o resultado sem questionar. As organizações devem avaliar em que casos pode ser necessário oferecer apoio ou revisão adicionais, considerando os diferentes níveis de experiência e funções. 

O treinamento em IA deve incluir orientações sobre como reconhecer resultados questionáveis, validar informações e saber quando é necessária uma análise adicional.

Planeje-se para o caso de algo dar errado

Os princípios tradicionais de controle de perdas continuam sendo altamente relevantes em um ambiente que utiliza inteligência artificial.

As informações críticas devem ter backups adequados e ser recuperáveis. Os contratos com fornecedores devem abordar claramente as responsabilidades, a proteção de dados e outras salvaguardas apropriadas, incluindo cláusulas de indenização e a confirmação de cobertura de seguro adequada para riscos relacionados à IA. À medida que as seguradoras introduzem exclusões relacionadas à IA generativa, as organizações devem trabalhar com seus corretores de seguros para analisar cuidadosamente a redação das apólices e identificar possíveis lacunas na cobertura. Essas exclusões podem afetar a responsabilidade decorrente de conteúdos, recomendações ou decisões gerados por IA, incluindo certas reivindicações por danos físicos, danos materiais e violação de propriedade intelectual. As organizações também devem compreender como os fornecedores estão utilizando a IA nos serviços que prestam, uma vez que a exposição de uma entidade pode se estender além da tecnologia que ela adquire ou implanta diretamente.

Aplicações de maior risco podem exigir medidas de segurança adicionais. Por exemplo, se se espera que a tecnologia identifique linguagem associada a automutilação, ameaças de dano a terceiros, bullying ou outra questão grave de segurança, os responsáveis pela gestão de riscos devem verificar se há monitoramento automatizado e alertas em vigor, o que aciona esses alertas e se eles chegam ao pessoal adequado para uma intervenção oportuna. Para distritos escolares, em particular, essas medidas de segurança podem ser importantes quando a tecnologia desempenha um papel na identificação de ameaças potenciais ao bem-estar dos alunos.

As organizações também devem considerar como recuperariam o controle caso um processo baseado em IA começasse a se comportar de maneira inesperada. É possível isolar ou desativar imediatamente a tecnologia por meio de um mecanismo de desligamento de emergência, às vezes chamado de “kill switch”? É possível recuperar informações críticas? Quem tem autoridade para intervir?

Essas são questões conhecidas relacionadas à gestão de riscos, aplicadas a uma nova geração de tecnologia.

Tornar a governança da IA uma responsabilidade compartilhada

Uma governança eficaz da IA requer a participação de toda a organização. Os conselhos administrativos e os líderes executivos podem definir a propensão ao risco e as políticas; o RH pode cuidar do treinamento da força de trabalho e do uso aceitável; as equipes de TI e segurança podem gerenciar a tecnologia e a proteção de dados; as equipes jurídicas e de conformidade podem lidar com os requisitos regulatórios e de privacidade; os líderes de departamento podem supervisionar as aplicações operacionais; e os gerentes e funcionários continuam sendo responsáveis pela forma como a IA é utilizada no trabalho cotidiano. 

Os líderes de risco podem desempenhar um papel importante na integração dessas funções, identificando onde as exposições se cruzam e ajudando a garantir que haja linhas claras de responsabilidade à medida que novas aplicações de IA são introduzidas.

Sete perguntas para os líderes de gestão de riscos do setor público

Os órgãos públicos podem começar a fortalecer seus controles fazendo sete perguntas práticas:

1. Em que áreas os funcionários já estão utilizando IA, inclusive ferramentas que ainda não foram formalmente aprovadas?
2. Que tipo de informação está sendo inserida, e alguma delas poderia ser confidencial, protegida ou estar sujeita a requisitos de manutenção de registros?
3. Quais atividades assistidas por IA poderiam afetar significativamente um funcionário, aluno, cidadão ou eleitor?
4. Em que casos é necessária uma revisão humana, e os revisores estão preparados para questionar e validar os resultados gerados pela IA?
5. Em que situações se deve recorrer imediatamente a uma pessoa superior?
6. Será que poderíamos interromper um processo baseado em IA e recuperar informações essenciais caso algo desse errado?
7. Quando foi a última vez que revisamos nossas políticas, treinamentos, contratos com fornecedores e cobertura de seguro à luz da tecnologia de IA que está sendo realmente utilizada atualmente?

Essas questões devem ser reavaliadas regularmente, uma vez que novas regulamentações, tecnologias emergentes, riscos à privacidade e à segurança, experiência operacional e mudanças na adesão dos funcionários alteram o perfil de risco de uma organização.

Desenvolvendo resiliência à medida que a IA evolui

A IA está se desenvolvendo mais rapidamente do que muitos processos tradicionais de formulação de políticas e aprovação do setor público conseguem acompanhar. Em algumas organizações, as políticas precisam passar por conselhos e outros processos formais de revisão, o que pode dificultar que a governança acompanhe as rápidas mudanças na tecnologia. 

As práticas estabelecidas de gestão de riscos oferecem uma base útil: expectativas claras, controles bem planejados, proteção de informações confidenciais, supervisão humana eficaz, treinamento, procedimentos de escalonamento e reavaliação periódica. Essas práticas também podem proporcionar às entidades públicas maior confiança ao avaliar novas aplicações de IA e decidir em que casos pode ser apropriado adotar medidas de proteção adicionais.

As organizações que estabelecerem hoje expectativas claras, uma supervisão rigorosa e medidas de proteção práticas estarão mais bem preparadas para se adaptar à medida que a IA continuar a evoluir.