De la caja negra a la caja blanca: por qué los agentes de IA no deben ser un misterio para las compañías
Por Sebastian Arriada, Chief Information Officer en Globant
La inteligencia artificial —en particular, los agentes de IA— ya no es un experimento marginal: se ha convertido en un nuevo plano operativo que conecta datos y herramientas para ejecutar tareas de negocio de principio a fin. La pregunta ya no es si debemos adoptarlos, sino cómo hacerlo de forma confiable, auditable y segura.
Las cifras ayudan a dimensionar el reto y la oportunidad. Estimaciones de McKinsey apuntan a mejoras sustanciales en productividad —del orden del 14% por hora en resolución de problemas— cuando se integran estas capacidades en los flujos de trabajo. Al mismo tiempo, análisis del MIT sugieren que cerca del 95% de los pilotos de IA no llegan a producción. Es decir, el potencial es real, pero el costo del ensayo y error sin método también lo es. Evitar la "caja negra" exige tres fundamentos: viabilidad, seguridad y responsabilidad por diseño, y trazabilidad de extremo a extremo.
Viabilidad antes que hype
Un error es pensar que todos los problemas se resuelven con agentes de IA. Todo proyecto debe comenzar con un caso específico de uso, métricas de éxito acordadas y un dueño de negocio responsable. Los agentes son especialmente valiosos en automatización de procesos repetitivos, asistencias a decisiones basadas en contexto y análisis de tendencias.
Podemos pensar en la asistencia a un analista financiero que busca oportunidades de negocio en la base de datos de sus clientes; a un responsable de logística que necesita resolver los cuellos de botella en un centro de almacenamiento; o un equipo de ciberseguridad de bancos para identificar rápidamente movimientos sospechosos.
La premisa de empezar por problemas acotados y medibles, con restricciones operativas claras y un seguimiento frecuente, es clave para ganar experiencia y confianza antes de abordar los desafíos más complejos de la organización.
Supervisión y responsabilidad humana
El valor de un agente depende de los datos y de las herramientas a las que accede; por tanto, la superficie de riesgo crece con su utilidad. La respuesta no es aislarlos, sino gobernarlos con el mismo rigor que cualquier sistema crítico.
Los procesos de autenticación y autorización son ineludibles, y el tratamiento de datos debe alinearse con las políticas de la compañía. También es esencial aplicar el principio de mínimo privilegio, es decir, el acceso estrictamente necesario, así como controles de cifrado y supervisión acordes al nivel de riesgo.
Asimismo, es fundamental exigir acuerdos empresariales robustos con proveedores de modelos y plataformas que incluyan: la prohibición de entrenar con nuestros datos, controles de retención y residencia, cláusulas de auditoría, anexos de protección de datos y certificaciones de seguridad. El sustento legal, como las bases y condiciones, son una obligación para los acuerdos transparentes. En el falso dilema entre máquinas contra personas, es la supervisión humana la firma de garantía de la tecnología.
Trazabilidad que merezca auditoría
Sin embargo, la principal manera de disipar la idea de "caja negra" es la transparencia operativa. Un agente debe dejar un rastro verificable de lo que vio, lo que decidió y lo que hizo, al igual que se exige a las personas.
El registro puede incluir los prompts, las herramientas utilizadas y los datos consultados, las interacciones con modelos, y las identidades y permisos empleados. Básicamente, toda actividad que permita reproducir el comportamiento del agente. Esta información permite entender cómo llegó a un resultado, sugerir correcciones y reportar fallas.
Los temores de seguridad ya aparecieron en transformaciones previas como la digital. La pregunta que surge es: ¿cómo puedo confiar en que un agente de IA funcionará y no compartirá los datos con la competencia? Viabilidad, seguridad, responsabilidad y trazabilidad son los puntos de partida. A partir de ahí, cada empresa decidirá cómo continúa su propia historia.