Información basada en la inteligencia artificial para transformar la gestión de riesgos y el control de pérdidas

La inteligencia artificial ya está cambiando la forma de trabajar de las entidades públicas. Los empleados utilizan la IA generativa para buscar información, analizar datos, redactar comunicaciones y agilizar las tareas administrativas. Los docentes y los alumnos la están incorporando a las aulas, mientras que los organismos públicos están explorando aplicaciones que puedan mejorar la eficiencia y ayudar a los empleados a interpretar una información cada vez más compleja.

Para los responsables de la gestión de riesgos del sector público, la adopción generalizada plantea un conjunto cada vez mayor de consideraciones. El uso de la inteligencia artificial puede generar riesgos relacionados con la privacidad, la ciberseguridad, las prácticas laborales, la conservación de registros, la desinformación, el riesgo reputacional y la seguridad pública; además, en muchas organizaciones, es posible que los empleados ya estén utilizando la inteligencia artificial antes de que las políticas oficiales, los programas de formación y las estructuras de gobernanza se hayan adaptado plenamente a esta tecnología. 

Las prácticas consolidadas de gestión de riesgos y control de pérdidas pueden proporcionar un marco sólido para gestionar estos riesgos, incluso a medida que la tecnología sigue evolucionando.

Empecemos por la gobernanza

Una de las preguntas más útiles que puede plantearse hoy en día un responsable de gestión de riesgos es:¿Sabemos cómo se está utilizando la inteligencia artificial en toda nuestra organización?

Sin un enfoque que abarque toda la organización, los empleados o departamentos pueden tomar sus propias decisiones sobre qué herramientas utilizar, qué información se puede introducir en ellas y cuándo es adecuado incorporar a su trabajo los resultados generados por la inteligencia artificial. Esas decisiones pueden generar riesgos que van mucho más allá del empleado que utilizó inicialmente la tecnología.

Una política formal de gobernanza de la IA puede establecer unas expectativas comunes en torno a los usos aceptables y prohibidos, la privacidad y la seguridad de los datos, la revisión humana, la formación de los empleados, los controles de los proveedores, la conservación de registros y la notificación de incidentes. 

En el caso de los distritos escolares, la gobernanza también puede incluir acuerdos sobre el uso de la IA por parte de alumnos y padres, así como expectativas claras para los empleados que manejan información de los alumnos. Las políticas escritas pueden servir de base para la formación, la rendición de cuentas y la toma de decisiones coherente, al tiempo que demuestran que la organización ha adoptado medidas proactivas para gestionar los riesgos emergentes. 

Dado que las capacidades de inteligencia artificial están cada vez más integradas en los teléfonos, las plataformas de software, las herramientas de búsqueda y otras tecnologías que los empleados utilizan a diario, las entidades públicas deberían establecer parámetros claros sobre cómo se pueden utilizar esas herramientas, a qué información pueden acceder y en qué casos se requiere supervisión humana.

Sigue los datos

Las entidades públicas manejan habitualmente información que no debe introducirse de forma indiscriminada en un entorno de inteligencia artificial no autorizado, como expedientes de empleados, información de ciudadanos, datos protegidos de alumnos y otro material confidencial o sensible.

Los responsables de riesgos deben colaborar con los equipos de TI, seguridad de la información, jurídico y operativo para comprender adónde va a parar la información cuando se utiliza una aplicación de IA, si se conserva, quién puede tener acceso a ella y si la organización puede recuperarla cuando sea necesario.

Los requisitos relativos a los registros públicos añaden otra consideración. Si los empleados utilizan la IA para crear o modificar contenidos relacionados con asuntos públicos, es posible que las organizaciones tengan que determinar si dichos contenidos están sujetos a los requisitos aplicables en materia de conservación o divulgación y si, de hecho, pueden localizarse y presentarse. 

Un ejercicio útil para el control de pérdidas consiste en seguir el recorrido de los datos de principio a fin:¿Qué información se introduce en la herramienta? ¿Adónde va? ¿Qué ocurre con ella allí? ¿Quién puede acceder a ella? ¿Cómo la recuperaríamos si fuera necesario?

Cuando no se puede responder a esas preguntas con seguridad, el caso de uso requiere un análisis más detallado.

Haz que las personas se hagan responsables de los resultados

La IA puede generar información con una rapidez notable y una aparente seguridad, incluida información incompleta, sesgada o incorrecta. Esto cobra especial importancia cuando la IA influye en decisiones relacionadas con la contratación, los ascensos, las adaptaciones, la concesión de licencias, las reclamaciones, las comunicaciones públicas u otras actividades de gran trascendencia.

Para que la revisión humana sea eficaz, es necesario contar con una persona que tenga los conocimientos y la autoridad suficientes para cuestionar los resultados, validar la información subyacente y rechazar una recomendación cuando sea necesario.

Las organizaciones también deberían tener en cuentaquiénes pueden verse afectados cuando la IA comete un error. Los estudiantes pueden enfrentarse a problemas relacionados con la privacidad, la accesibilidad y la seguridad; los empleados pueden verse afectados por decisiones relacionadas con la contratación, las adaptaciones o la promoción; y los ciudadanos pueden encontrarse con cuestiones relacionadas con la igualdad de acceso, la transparencia y el debido proceso. 

Las posibles consecuencias deberían servir para determinar el nivel adecuado de supervisión. Las aplicaciones de IA que puedan afectar de manera significativa a una persona pueden requerir pruebas adicionales, una revisión por parte de personas y procedimientos de escalado claramente definidos.

La experiencia es otro factor a tener en cuenta. Un profesional con amplia experiencia puede detectar rápidamente cuándo una recomendación generada por IA no tiene sentido, mientras que alguien con menos experiencia puede mostrarse más propenso a aceptar el resultado tal cual. Las organizaciones deberían valorar en qué casos puede ser necesario un apoyo o una revisión adicionales en función de los distintos niveles de experiencia y funciones. 

La formación en IA debería incluir orientaciones sobre cómo reconocer resultados dudosos, validar la información y saber cuándo es necesario realizar una revisión adicional.

Prepárate para cuando algo salga mal

Los principios tradicionales de control de pérdidas siguen siendo muy relevantes en un entorno basado en la inteligencia artificial.

La información crítica debe contar con copias de seguridad adecuadas y ser recuperable. Los contratos con los proveedores deben abordar claramente la responsabilidad, la protección de datos y otras garantías pertinentes, incluidas las cláusulas de indemnización y la confirmación de una cobertura de seguro adecuada para los riesgos relacionados con la IA. A medida que las aseguradoras introduzcan exclusiones relacionadas con la IA generativa, las organizaciones deben colaborar con sus corredores de seguros para revisar minuciosamente la redacción de las pólizas e identificar posibles lagunas en la cobertura. Estas exclusiones pueden afectar a la responsabilidad derivada de contenidos, recomendaciones o decisiones generados por la IA, incluidas determinadas reclamaciones por lesiones corporales, daños a la « Daños » y a la «intellectual Daños ». Las organizaciones también deben comprender cómo utilizan los proveedores la IA en los servicios que prestan, ya que el riesgo de una entidad puede extenderse más allá de la tecnología que adquiere o implementa directamente.

Las aplicaciones de mayor riesgo pueden requerir medidas de seguridad adicionales. Por ejemplo, si se espera que la tecnología identifique lenguaje relacionado con autolesiones, amenazas de daño a terceros, acoso escolar u otros problemas graves de seguridad, los responsables de la gestión de riesgos deben saber si se han implantado sistemas de supervisión y alertas automatizadas, qué factores desencadenan dichas alertas y si estas llegan al personal adecuado para una intervención oportuna. En el caso concreto de los distritos escolares, estas medidas de seguridad pueden resultar importantes cuando la tecnología desempeña un papel en la identificación de posibles amenazas para el bienestar de los alumnos.

Las organizaciones también deberían plantearse cómo recuperarían el control si un proceso basado en la inteligencia artificial comenzara a comportarse de forma inesperada. ¿Es posible aislar o desactivar inmediatamente la tecnología mediante un mecanismo de apagado de emergencia, lo que a veces se denomina «interruptor de emergencia»? ¿Se puede recuperar la información crítica? ¿Quién tiene la autoridad para intervenir?

Se trata de cuestiones habituales en materia de gestión de riesgos aplicadas a una nueva generación de tecnología.

Hagamos que la gobernanza de la IA sea una responsabilidad compartida

Una gobernanza eficaz de la IA requiere la participación de toda la organización. Los consejos de administración y los directivos pueden establecer la tolerancia al riesgo y las políticas; el departamento de Recursos Humanos puede ocuparse de la formación de la plantilla y del uso aceptable; los departamentos de TI y seguridad pueden gestionar la tecnología y la protección de datos; los equipos jurídicos y de cumplimiento normativo pueden ocuparse de los requisitos normativos y de privacidad; los responsables de departamento pueden supervisar las aplicaciones operativas; y los directivos y empleados siguen siendo responsables del uso que se hace de la IA en el trabajo diario. 

Los responsables de riesgos pueden desempeñar un papel importante a la hora de conectar estas funciones, identificar dónde se solapan los riesgos y contribuir a garantizar que existan líneas claras de responsabilidad a medida que se introducen nuevas aplicaciones de IA.

Siete preguntas para los responsables de gestión de riesgos del sector público

Las entidades públicas pueden empezar a reforzar sus controles planteándose siete preguntas prácticas:

1. ¿En qué ámbitos están utilizando ya los empleados la inteligencia artificial, incluidas aquellas herramientas que no han sido aprobadas oficialmente?
2. ¿Qué información se está introduciendo? ¿Podría alguna de ella ser confidencial, estar protegida o estar sujeta a requisitos de conservación de registros?
3. ¿Qué actividades asistidas por IA podrían afectar de manera significativa a un empleado, un estudiante, un ciudadano o un elector?
4. ¿En qué casos es necesaria la revisión humana? ¿Están los revisores preparados para cuestionar y validar los resultados de la IA?
5. ¿En qué situaciones se debe recurrir inmediatamente a una persona superior?
6. ¿Podríamos detener un proceso basado en inteligencia artificial y recuperar información crítica si algo saliera mal?
7. ¿Cuándo fue la última vez que revisamos nuestras políticas, nuestra formación, los contratos con los proveedores y nuestra cobertura de seguros a la luz de la tecnología de IA que realmente se utiliza hoy en día?

Estas cuestiones deben revisarse periódicamente, ya que las nuevas normativas, las tecnologías emergentes, los riesgos relacionados con la privacidad y la seguridad, la experiencia operativa y los cambios en el grado de adopción por parte de los empleados modifican el perfil de riesgo de una organización.

Fomentar la resiliencia a medida que evoluciona la IA

La inteligencia artificial se está desarrollando a un ritmo más rápido del que pueden seguir muchos de los procesos tradicionales de elaboración de políticas y aprobación del sector público. En algunas organizaciones, las políticas deben someterse a la aprobación de los consejos de administración y a otros procesos de revisión formales, lo que puede dificultar que la gobernanza se mantenga al día con los rápidos cambios tecnológicos. 

Las prácticas consolidadas de gestión de riesgos constituyen una base útil: expectativas claras, controles bien diseñados, protección de la información sensible, supervisión humana eficaz, formación, procedimientos de escalado y reevaluación periódica. Dichas prácticas también pueden aportar a las entidades públicas una mayor confianza a la hora de evaluar nuevas aplicaciones de IA y decidir en qué casos puede ser conveniente aplicar medidas de protección adicionales.

Las organizaciones que establezcan hoy en día unas expectativas claras, una supervisión rigurosa y medidas de protección prácticas estarán mejor preparadas para adaptarse a medida que la IA siga evolucionando.