Shadow AI: cuando la inteligencia artificial avanza más rápido que el gobierno corporativo
Shadow AI: cuando la inteligencia artificial avanza más rápido que el gobierno corporativo
La inteligencia artificial ya está dentro de las organizaciones. El problema es que, en muchos casos, la organización todavía no lo sabe.
Mientras los directorios analizan estrategias de adopción de IA, las áreas de Tecnología evalúan plataformas y los responsables de Ciberseguridad, Riesgos, Compliance y Privacidad intentan definir políticas, cientos de empleados ya utilizan herramientas de inteligencia artificial generativa para resolver problemas cotidianos: redactar documentos, resumir contratos, analizar información, programar, traducir textos, preparar presentaciones o responder consultas de clientes.
Esta utilización puede generar importantes mejoras de productividad. Pero también está dando lugar a un fenómeno que comienza a preocupar a las organizaciones: Shadow AI.
El término recuerda inevitablemente al conocido Shadow IT. Sin embargo, el desafío es diferente. Porque cuando un empleado utiliza una aplicación tecnológica no autorizada, la organización incorpora principalmente un riesgo tecnológico. Cuando utiliza una herramienta de IA no gobernada, puede estar incorporando simultáneamente riesgos de ciberseguridad, privacidad, propiedad intelectual, confidencialidad, cumplimiento regulatorio, sesgos, calidad de información y reputación.
Por eso, probablemente estemos frente a uno de los desafíos de gobierno corporativo más relevantes de la adopción masiva de inteligencia artificial.
Podemos definir Shadow AI como el uso de sistemas, aplicaciones, modelos o servicios de inteligencia artificial dentro de una organización sin conocimiento, autorización, evaluación o supervisión adecuada por parte de las funciones responsables de su gobierno.
El concepto no necesariamente implica una conducta maliciosa.
Un empleado puede utilizar una herramienta pública de IA para resumir un documento de veinte páginas simplemente porque necesita ganar tiempo. Un desarrollador puede recurrir a un asistente de programación para generar código. Un ejecutivo puede cargar información financiera para obtener rápidamente un análisis. Un área comercial puede utilizar una plataforma para preparar una propuesta para un cliente.
En todos estos casos existe una motivación perfectamente comprensible: ser más eficiente.
El problema aparece cuando para conseguir esa eficiencia se utilizan datos, documentos o procesos corporativos fuera de los mecanismos de control establecidos por la organización.
Y aquí surge una primera reflexión: El verdadero riesgo del Shadow AI no es que los empleados utilicen inteligencia artificial. Es que la empresa desconozca qué inteligencia artificial utilizan, para qué la utilizan y con qué información la alimentan.
Durante muchos años construimos la ciberseguridad alrededor del concepto de perímetro. Protegimos redes, servidores, dispositivos, aplicaciones, identidades y posteriormente servicios en la nube. Con la transformación digital aprendimos que ese perímetro era cada vez más difuso.
La IA generativa introduce una dificultad adicional: parte del nuevo perímetro está formado por prompts.
Un empleado puede copiar información desde una aplicación corporativa y pegarla en una plataforma externa de IA en cuestión de segundos.
Desde el punto de vista tradicional de gestión de tecnología, prácticamente nada ocurrió. Desde el punto de vista de riesgo, posiblemente ocurrió mucho.
Ese prompt podría contener datos personales, información financiera, estrategias comerciales, código fuente, documentación técnica, contratos, propiedad intelectual o información confidencial de clientes.
Uno de los errores más frecuentes es analizar el Shadow AI exclusivamente desde Ciberseguridad. El problema es considerablemente más amplio.
Supongamos que un profesional carga en una herramienta de IA información confidencial perteneciente a un cliente. Técnicamente podríamos analizar el incidente como una potencial pérdida de confidencialidad.
Pero para la organización las consecuencias podrían traducirse en incumplimientos contractuales, reclamos legales, sanciones regulatorias, pérdida de confianza del cliente, costos de investigación y respuesta al incidente e incluso pérdida de futuros ingresos.
Es decir, un aparentemente inocente copy & paste puede transformar un riesgo tecnológico en riesgo financiero.
Esta relación es particularmente importante para el Directorio y la Alta Dirección.
La pregunta no debería ser solamente “¿Estamos utilizando herramientas de IA seguras?”, debería complementarse con otra mucho más relevante: “¿Qué valor económico de la organización estamos exponiendo mediante el uso no controlado de inteligencia artificial?”
Cuando la conversación cambia de herramientas a impacto económico, la IA deja de ser exclusivamente un tema tecnológico y pasa a formar parte de la agenda de gestión de riesgos empresariales.
Los modelos de inteligencia artificial funcionan gracias a los datos, y justamente allí se encuentra uno de los principales riesgos. Las personas tienden a relacionarse con las herramientas de IA mediante conversaciones y esa interfaz genera una percepción de informalidad que puede reducir inconscientemente las barreras que normalmente utilizamos para proteger información corporativa.
Probablemente ningún empleado enviaría voluntariamente un archivo confidencial a una empresa desconocida.
Sin embargo, ese mismo empleado podría copiar fragmentos de ese documento dentro de un prompt sin percibir ambas acciones como equivalentes desde el punto de vista del riesgo.
El desafío, por lo tanto, no es solamente tecnológico, también es cultural y conductual.
Las organizaciones necesitan comenzar a considerar los prompts como un nuevo canal potencial de salida de información.
Existe además otra dimensión que suele pasar inadvertida; una organización puede tener perfectamente identificados y evaluados sus proveedores tecnológicos. Puede incluso contar con programas maduros de Third Party Risk Management. Pero ¿qué sucede cuando los empleados comienzan a utilizar decenas de plataformas de IA que nunca fueron evaluadas?
De repente aparecen nuevos terceros que procesan información corporativa sin haber atravesado procesos de due diligence. La organización podría desconocer dónde se procesan los datos, durante cuánto tiempo se conservan, si son utilizados para mejorar modelos, qué subprocesadores intervienen, qué mecanismos de seguridad existen o bajo qué jurisdicciones opera el proveedor.
En términos de gestión de riesgos, Shadow AI también puede convertirse en Shadow Third-Party Risk.
Frente a este escenario aparece una reacción bastante natural: “Bloqueemos las herramientas de inteligencia artificial”. Puede parecer una solución sencilla, pero probablemente sea insuficiente.
La IA está convirtiéndose progresivamente en una herramienta cotidiana de productividad. Intentar eliminar completamente su utilización podría generar mecanismos alternativos todavía menos visibles: dispositivos personales, cuentas particulares, aplicaciones móviles o servicios externos.
Por eso, el desafío no debería plantearse como una elección entre permitir o prohibir.
La discusión debería ser ¿Cómo permitimos utilizar IA dentro de niveles de riesgo aceptables para la organización? Esto implica pasar de una estrategia basada exclusivamente en restricciones hacia un modelo de gobierno de IA.
Una estrategia efectiva debería comenzar por conocer la situación actual. Antes de diseñar controles sofisticados, la organización necesita responder algunas preguntas básicas:
A partir de allí puede construirse un inventario de sistemas y casos de uso de inteligencia artificial. Ese inventario debería complementarse con una clasificación basada en riesgo.
No representa el mismo nivel de exposición utilizar IA para generar una imagen de marketing que utilizarla para analizar historias clínicas, información financiera, decisiones crediticias, código fuente o información estratégica. El control debe ser proporcional al riesgo.
Gobernar Shadow AI no significa depender exclusivamente de políticas; las organizaciones pueden combinar medidas de gobierno con controles tecnológicos: gestión de identidades, monitoreo de aplicaciones SaaS, controles de navegación, Data Loss Prevention, clasificación de información, monitoreo de endpoints, CASB/SSE, registros de actividad y herramientas específicas de seguridad para IA.
Pero probablemente el control tecnológico más importante continúe siendo comprender qué información estamos intentando proteger.
No podemos controlar adecuadamente la utilización de datos en IA si previamente no conocemos dónde están nuestros datos críticos, quién puede acceder a ellos y cómo están clasificados.
En ese sentido, la llegada de la IA vuelve a poner sobre la mesa problemas de gobierno de información que muchas organizaciones arrastran desde hace años.
Marcos como ISO/IEC 42001, orientada a sistemas de gestión de inteligencia artificial, ayudan a estructurar esta discusión. El valor de estos modelos no debería interpretarse solamente desde la perspectiva de una eventual certificación.
Su verdadero aporte consiste en incorporar la inteligencia artificial dentro de un sistema formal de gestión: políticas, responsabilidades, evaluación de riesgos, análisis de impactos, gestión de proveedores, controles, monitoreo y mejora continua.
En otras palabras, permiten transformar la IA de una colección de iniciativas aisladas en una capacidad gobernada de la organización. Esto es especialmente relevante porque la velocidad de adopción probablemente continuará aumentando.
Cada vez más aplicaciones empresariales incorporarán funcionalidades de inteligencia artificial de manera nativa. En consecuencia, en algunos casos ya no será necesario que el empleado busque una herramienta externa: la IA aparecerá integrada dentro del software que utiliza todos los días.
El inventario de IA, por lo tanto, nunca debería considerarse terminado.
Shadow AI puede comenzar con un empleado utilizando una aplicación gratuita, pero sus consecuencias pueden terminar llegando al Directorio. Por eso la Alta Dirección debería tener visibilidad, al menos, sobre cuatro dimensiones: adopción, exposición, control e impacto.
No necesita conocer cada prompt utilizado dentro de la compañía, pero sí debería poder comprender cuánto depende la organización de sistemas de IA, cuáles son los casos de uso críticos, qué información está involucrada, qué riesgos significativos fueron identificados, qué controles existen y cuál podría ser el impacto económico ante determinados escenarios.
Ese cambio de perspectiva es fundamental porque gobernar IA no significa gobernar algoritmos. Significa gobernar decisiones, información, riesgos y responsabilidades alrededor de esos algoritmos.
El Shadow AI es, en definitiva, una señal
Existe una última perspectiva que resulta interesante. Una elevada utilización de herramientas no autorizadas de IA no solamente representa un riesgo, también puede estar enviándonos información; puede indicar que los empleados encontraron formas más eficientes de realizar determinadas tareas que los procesos corporativos actuales.
En ese sentido, Shadow AI también puede funcionar como un indicador de demanda interna de innovación.
La respuesta inteligente no consiste simplemente en eliminar esa demanda.
Consiste en comprenderla.
Las organizaciones que logren responder estas preguntas tendrán una ventaja importante. Porque probablemente el objetivo final no sea eliminar completamente el Shadow AI.
El objetivo debería ser convertir la innovación invisible en innovación gobernada.
Durante los próximos años las empresas tendrán que encontrar un equilibrio complejo: Innovación + Productividad + Gobierno + Seguridad + Cumplimiento.
Si priorizan únicamente el control, pueden frenar la innovación; si priorizan únicamente la velocidad, pueden acumular riesgos que todavía no alcanzan a visualizar. La madurez estará en encontrar el punto de equilibrio.
Por eso, frente al crecimiento del Shadow AI, quizás la primera pregunta que debería hacerse una organización no sea: “¿Cómo evitamos que nuestros empleados utilicen inteligencia artificial?”, sino: “¿Cómo conseguimos que puedan utilizarla sin exponer innecesariamente el valor de la empresa?”
Porque la inteligencia artificial seguirá entrando en las organizaciones, y la diferencia estará entre aquellas empresas en las que entre por la puerta del gobierno corporativo y aquellas en las que continúe entrando por la sombra.
Mientras los directorios analizan estrategias de adopción de IA, las áreas de Tecnología evalúan plataformas y los responsables de Ciberseguridad, Riesgos, Compliance y Privacidad intentan definir políticas, cientos de empleados ya utilizan herramientas de inteligencia artificial generativa para resolver problemas cotidianos: redactar documentos, resumir contratos, analizar información, programar, traducir textos, preparar presentaciones o responder consultas de clientes.
Esta utilización puede generar importantes mejoras de productividad. Pero también está dando lugar a un fenómeno que comienza a preocupar a las organizaciones: Shadow AI.
El término recuerda inevitablemente al conocido Shadow IT. Sin embargo, el desafío es diferente. Porque cuando un empleado utiliza una aplicación tecnológica no autorizada, la organización incorpora principalmente un riesgo tecnológico. Cuando utiliza una herramienta de IA no gobernada, puede estar incorporando simultáneamente riesgos de ciberseguridad, privacidad, propiedad intelectual, confidencialidad, cumplimiento regulatorio, sesgos, calidad de información y reputación.
Por eso, probablemente estemos frente a uno de los desafíos de gobierno corporativo más relevantes de la adopción masiva de inteligencia artificial.
¿Qué entendemos por Shadow AI?
Podemos definir Shadow AI como el uso de sistemas, aplicaciones, modelos o servicios de inteligencia artificial dentro de una organización sin conocimiento, autorización, evaluación o supervisión adecuada por parte de las funciones responsables de su gobierno.
El concepto no necesariamente implica una conducta maliciosa.
Un empleado puede utilizar una herramienta pública de IA para resumir un documento de veinte páginas simplemente porque necesita ganar tiempo. Un desarrollador puede recurrir a un asistente de programación para generar código. Un ejecutivo puede cargar información financiera para obtener rápidamente un análisis. Un área comercial puede utilizar una plataforma para preparar una propuesta para un cliente.
En todos estos casos existe una motivación perfectamente comprensible: ser más eficiente.
El problema aparece cuando para conseguir esa eficiencia se utilizan datos, documentos o procesos corporativos fuera de los mecanismos de control establecidos por la organización.
Y aquí surge una primera reflexión: El verdadero riesgo del Shadow AI no es que los empleados utilicen inteligencia artificial. Es que la empresa desconozca qué inteligencia artificial utilizan, para qué la utilizan y con qué información la alimentan.
Un nuevo perímetro invisible
Durante muchos años construimos la ciberseguridad alrededor del concepto de perímetro. Protegimos redes, servidores, dispositivos, aplicaciones, identidades y posteriormente servicios en la nube. Con la transformación digital aprendimos que ese perímetro era cada vez más difuso.
La IA generativa introduce una dificultad adicional: parte del nuevo perímetro está formado por prompts.
Un empleado puede copiar información desde una aplicación corporativa y pegarla en una plataforma externa de IA en cuestión de segundos.
- No necesita instalar software.
- No necesita solicitar infraestructura.
- No necesita abrir un proyecto tecnológico.
- Probablemente tampoco necesite presupuesto.
Desde el punto de vista tradicional de gestión de tecnología, prácticamente nada ocurrió. Desde el punto de vista de riesgo, posiblemente ocurrió mucho.
Ese prompt podría contener datos personales, información financiera, estrategias comerciales, código fuente, documentación técnica, contratos, propiedad intelectual o información confidencial de clientes.
“¿Sabemos realmente dónde terminan nuestros datos cuando nuestros empleados interactúan con sistemas de inteligencia artificial?
Del riesgo tecnológico al riesgo económico
Uno de los errores más frecuentes es analizar el Shadow AI exclusivamente desde Ciberseguridad. El problema es considerablemente más amplio.
Supongamos que un profesional carga en una herramienta de IA información confidencial perteneciente a un cliente. Técnicamente podríamos analizar el incidente como una potencial pérdida de confidencialidad.
Pero para la organización las consecuencias podrían traducirse en incumplimientos contractuales, reclamos legales, sanciones regulatorias, pérdida de confianza del cliente, costos de investigación y respuesta al incidente e incluso pérdida de futuros ingresos.
Es decir, un aparentemente inocente copy & paste puede transformar un riesgo tecnológico en riesgo financiero.
Esta relación es particularmente importante para el Directorio y la Alta Dirección.
La pregunta no debería ser solamente “¿Estamos utilizando herramientas de IA seguras?”, debería complementarse con otra mucho más relevante: “¿Qué valor económico de la organización estamos exponiendo mediante el uso no controlado de inteligencia artificial?”
Cuando la conversación cambia de herramientas a impacto económico, la IA deja de ser exclusivamente un tema tecnológico y pasa a formar parte de la agenda de gestión de riesgos empresariales.
El problema de los datos
Los modelos de inteligencia artificial funcionan gracias a los datos, y justamente allí se encuentra uno de los principales riesgos. Las personas tienden a relacionarse con las herramientas de IA mediante conversaciones y esa interfaz genera una percepción de informalidad que puede reducir inconscientemente las barreras que normalmente utilizamos para proteger información corporativa.
Probablemente ningún empleado enviaría voluntariamente un archivo confidencial a una empresa desconocida.
Sin embargo, ese mismo empleado podría copiar fragmentos de ese documento dentro de un prompt sin percibir ambas acciones como equivalentes desde el punto de vista del riesgo.
El desafío, por lo tanto, no es solamente tecnológico, también es cultural y conductual.
Las organizaciones necesitan comenzar a considerar los prompts como un nuevo canal potencial de salida de información.
Shadow AI y terceros: un riesgo dentro de otro riesgo
Existe además otra dimensión que suele pasar inadvertida; una organización puede tener perfectamente identificados y evaluados sus proveedores tecnológicos. Puede incluso contar con programas maduros de Third Party Risk Management. Pero ¿qué sucede cuando los empleados comienzan a utilizar decenas de plataformas de IA que nunca fueron evaluadas?
De repente aparecen nuevos terceros que procesan información corporativa sin haber atravesado procesos de due diligence. La organización podría desconocer dónde se procesan los datos, durante cuánto tiempo se conservan, si son utilizados para mejorar modelos, qué subprocesadores intervienen, qué mecanismos de seguridad existen o bajo qué jurisdicciones opera el proveedor.
En términos de gestión de riesgos, Shadow AI también puede convertirse en Shadow Third-Party Risk.
El dilema de bloquear o gobernar
Frente a este escenario aparece una reacción bastante natural: “Bloqueemos las herramientas de inteligencia artificial”. Puede parecer una solución sencilla, pero probablemente sea insuficiente.
La IA está convirtiéndose progresivamente en una herramienta cotidiana de productividad. Intentar eliminar completamente su utilización podría generar mecanismos alternativos todavía menos visibles: dispositivos personales, cuentas particulares, aplicaciones móviles o servicios externos.
Por eso, el desafío no debería plantearse como una elección entre permitir o prohibir.
La discusión debería ser ¿Cómo permitimos utilizar IA dentro de niveles de riesgo aceptables para la organización? Esto implica pasar de una estrategia basada exclusivamente en restricciones hacia un modelo de gobierno de IA.
De Shadow AI a Trusted AI
Una estrategia efectiva debería comenzar por conocer la situación actual. Antes de diseñar controles sofisticados, la organización necesita responder algunas preguntas básicas:
- ¿Qué herramientas de IA están utilizando nuestros empleados?
- ¿Para qué procesos las utilizan?
- ¿Qué información comparten con ellas?
- ¿Qué sistemas corporativos incorporan funcionalidades de IA?
- ¿Qué proveedores procesan esa información?
- ¿Qué decisiones están siendo asistidas o automatizadas mediante IA?
- ¿Qué nivel de riesgo representa cada caso de uso?
A partir de allí puede construirse un inventario de sistemas y casos de uso de inteligencia artificial. Ese inventario debería complementarse con una clasificación basada en riesgo.
No representa el mismo nivel de exposición utilizar IA para generar una imagen de marketing que utilizarla para analizar historias clínicas, información financiera, decisiones crediticias, código fuente o información estratégica. El control debe ser proporcional al riesgo.
La tecnología también tiene un papel
Gobernar Shadow AI no significa depender exclusivamente de políticas; las organizaciones pueden combinar medidas de gobierno con controles tecnológicos: gestión de identidades, monitoreo de aplicaciones SaaS, controles de navegación, Data Loss Prevention, clasificación de información, monitoreo de endpoints, CASB/SSE, registros de actividad y herramientas específicas de seguridad para IA.
Pero probablemente el control tecnológico más importante continúe siendo comprender qué información estamos intentando proteger.
No podemos controlar adecuadamente la utilización de datos en IA si previamente no conocemos dónde están nuestros datos críticos, quién puede acceder a ellos y cómo están clasificados.
En ese sentido, la llegada de la IA vuelve a poner sobre la mesa problemas de gobierno de información que muchas organizaciones arrastran desde hace años.
ISO/IEC 42001 y la necesidad de institucionalizar el gobierno
Marcos como ISO/IEC 42001, orientada a sistemas de gestión de inteligencia artificial, ayudan a estructurar esta discusión. El valor de estos modelos no debería interpretarse solamente desde la perspectiva de una eventual certificación.
Su verdadero aporte consiste en incorporar la inteligencia artificial dentro de un sistema formal de gestión: políticas, responsabilidades, evaluación de riesgos, análisis de impactos, gestión de proveedores, controles, monitoreo y mejora continua.
En otras palabras, permiten transformar la IA de una colección de iniciativas aisladas en una capacidad gobernada de la organización. Esto es especialmente relevante porque la velocidad de adopción probablemente continuará aumentando.
Cada vez más aplicaciones empresariales incorporarán funcionalidades de inteligencia artificial de manera nativa. En consecuencia, en algunos casos ya no será necesario que el empleado busque una herramienta externa: la IA aparecerá integrada dentro del software que utiliza todos los días.
El inventario de IA, por lo tanto, nunca debería considerarse terminado.
Un problema que también llega al Directorio
Shadow AI puede comenzar con un empleado utilizando una aplicación gratuita, pero sus consecuencias pueden terminar llegando al Directorio. Por eso la Alta Dirección debería tener visibilidad, al menos, sobre cuatro dimensiones: adopción, exposición, control e impacto.
No necesita conocer cada prompt utilizado dentro de la compañía, pero sí debería poder comprender cuánto depende la organización de sistemas de IA, cuáles son los casos de uso críticos, qué información está involucrada, qué riesgos significativos fueron identificados, qué controles existen y cuál podría ser el impacto económico ante determinados escenarios.
Ese cambio de perspectiva es fundamental porque gobernar IA no significa gobernar algoritmos. Significa gobernar decisiones, información, riesgos y responsabilidades alrededor de esos algoritmos.
El Shadow AI es, en definitiva, una señal
Existe una última perspectiva que resulta interesante. Una elevada utilización de herramientas no autorizadas de IA no solamente representa un riesgo, también puede estar enviándonos información; puede indicar que los empleados encontraron formas más eficientes de realizar determinadas tareas que los procesos corporativos actuales.
En ese sentido, Shadow AI también puede funcionar como un indicador de demanda interna de innovación.
La respuesta inteligente no consiste simplemente en eliminar esa demanda.
Consiste en comprenderla.
- ¿Qué problema intentaba resolver el empleado?
- ¿Por qué la herramienta corporativa no era suficiente?
- ¿Qué productividad obtuvo utilizando IA?
- ¿Podemos ofrecer una alternativa segura que mantenga ese beneficio?
Las organizaciones que logren responder estas preguntas tendrán una ventaja importante. Porque probablemente el objetivo final no sea eliminar completamente el Shadow AI.
El objetivo debería ser convertir la innovación invisible en innovación gobernada.
Una nueva ecuación para la organización
Durante los próximos años las empresas tendrán que encontrar un equilibrio complejo: Innovación + Productividad + Gobierno + Seguridad + Cumplimiento.
Si priorizan únicamente el control, pueden frenar la innovación; si priorizan únicamente la velocidad, pueden acumular riesgos que todavía no alcanzan a visualizar. La madurez estará en encontrar el punto de equilibrio.
Por eso, frente al crecimiento del Shadow AI, quizás la primera pregunta que debería hacerse una organización no sea: “¿Cómo evitamos que nuestros empleados utilicen inteligencia artificial?”, sino: “¿Cómo conseguimos que puedan utilizarla sin exponer innecesariamente el valor de la empresa?”
Porque la inteligencia artificial seguirá entrando en las organizaciones, y la diferencia estará entre aquellas empresas en las que entre por la puerta del gobierno corporativo y aquellas en las que continúe entrando por la sombra.