FBI Sentinel: 25 años de innovación tras el 11-S ================================================ Antes del 11-S, el FBI no pasó por alto el peligro por falta de indicios, sino porque no pudo conectar la información dispersa. El posterior fracaso de VCF y la recuperación de Sentinel dejaron una lección: antes de implantar IA, hay que cambiar los flujos de trabajo, la estructura del conocimiento y los ciclos de validación. - Antes del 11-S, varias oficinas del FBI habían recibido señales anómalas relacionadas con el entrenamiento de vuelo. - Según se informó, se invirtieron aproximadamente 170 millones de dólares en VCF, pero no llegó a desplegarse para la gestión real de casos. - Tras reorganizar el proyecto Sentinel en 2010, el FBI amplió los ciclos cortos de desarrollo y la retroalimentación sobre el terreno. - Antes de implantar IA, hay que definir los permisos de acceso a los datos, los responsables del trabajo, los criterios de evaluación y los procedimientos para gestionar excepciones. - Los resultados de una herramienta pueden depender más de cómo la organización conecta y verifica la información que del rendimiento del modelo. La lección fundamental que el FBI extrajo tras el 11-S fue que debía cambiar primero la estructura de trabajo, antes que las herramientas. La información dispersa y la verificación tardía condujeron al fracaso de VCF, mientras que Sentinel se desplegó por completo en 2012 después de introducir ciclos de desarrollo cortos y comentarios del personal de campo. Las cifras y la cronología de este artículo se basan en el informe de la comisión de 2004 y en los registros de supervisión de Sentinel de 2012 a 2014. Las señales que el FBI pasó por alto antes del 11-S Antes del ataque, el FBI disponía de indicios que merecían ser examinados. El problema era que estaban dispersos entre distintas organizaciones y sistemas. También era débil el cauce que permitía que la información de campo llegara a las decisiones de la sede central. El ataque de 2001, en el que murieron alrededor de 3.000 personas, puso de manifiesto esta desconexión. Los casos más representativos fueron el memorando de Phoenix y la investigación de Minneapolis. Un agente de Phoenix informó en julio de 2001 sobre las actividades en escuelas de aviación. Los agentes de Minneapolis trataron de registrar las pertenencias de Zacarias Moussaoui. Ninguna de las dos informaciones llegó a convertirse en una alerta integrada que mostrara el plan del ataque. La Comisión del 11-S no culpó únicamente al intercambio de información. También señaló deficiencias en la capacidad de análisis y en el sistema de gestión. La siguiente frase es una formulación en español del pasaje correspondiente del informe. «El FBI ni siquiera conocía adecuadamente la información que ya poseía». — Informe de la Comisión del 11-S Interpretar este caso como una simple falta de datos supone perder de vista lo esencial. Aunque exista información, no puede utilizarse si no es localizable. Si no hay una persona responsable, también resulta difícil conectar distintos indicios. Cuando los cauces para plantear opiniones contrarias son débiles, las advertencias desaparecen con mayor facilidad. Cronología del desarrollo de VCF y Sentinel La transición del FBI hacia la gestión electrónica de casos se llevó a cabo mediante dos proyectos. VCF se canceló en 2005 sin llegar a desplegarse para el trabajo real. Sentinel también sufrió dificultades iniciales en la gestión del calendario y los costes. Sin embargo, tras su reorganización en 2010, alcanzó el despliegue completo en 2012. Momento Acontecimiento Significado para el funcionamiento de la organización Septiembre de 2001 Se producen los ataques del 11-S Quedan expuestas las deficiencias en la conexión de información y el sistema de análisis 2004 Se publica el Informe de la Comisión del 11-S Se recomienda mejorar el intercambio de información y la capacidad de gestión 2005 Se interrumpe el desarrollo de VCF Se materializa el riesgo del desarrollo masivo en un único bloque 2006 Comienza el proyecto Sentinel Se retoma el impulso de un sistema web de gestión electrónica de casos 2010 Se reorganizan el método de desarrollo y la estructura de gestión Se amplían los ciclos cortos y la capacidad interna de desarrollo Julio de 2012 Despliegue completo de Sentinel Se convierte en la base de la gestión de casos de todo el FBI 2014 Se publica el informe de la inspección del Departamento de Justicia de Estados Unidos Se revisan los resultados de la implementación y los retos operativos pendientes Se sabe que se invirtieron alrededor de 170 millones de dólares en VCF. Sin embargo, el alcance de los costes contractuales y de los proyectos relacionados varía según cada documento de auditoría. Por tanto, esta cifra no debe interpretarse como el coste total de modernización del FBI. Lo que está claro es que VCF no llegó a funcionar como sistema de gestión de casos. La escala inicial del proyecto Sentinel fue de 425 millones de dólares. El proyecto se dividió en varias fases, pero los retrasos del calendario se acumularon. En 2010 se concluyó que sería difícil completarlo conforme al plan existente. El FBI volvió a dividir el alcance y asumió internamente el control del desarrollo. Comparación entre VCF y el Sentinel reorganizado La diferencia entre ambos proyectos no residía tanto en el nombre del software como en el método de verificación. En VCF, uno de los principales problemas era que los resultados terminados se comprobaban demasiado tarde. El Sentinel reorganizado presentaba con frecuencia unidades funcionales. Los comentarios de los usuarios de campo también se incorporaban al siguiente ciclo de desarrollo. Criterio de comparación Enfoque centrado en VCF Enfoque del Sentinel reorganizado Tamaño del resultado Integración simultánea de un alcance amplio División de las funciones en unidades pequeñas Momento de la verificación Concentración en la fase final de integración Comprobación del funcionamiento en cada ciclo corto Participación de los usuarios Posibilidad de detectar problemas en la fase final Comentarios reiterados de los agentes de campo Cambios en los requisitos Gran carga de modificaciones sobre el diseño completo Incorporación de prioridades en el siguiente ciclo de desarrollo Estructura de responsabilidades Alta dependencia de los contratistas Ampliación del control interno y la capacidad de desarrollo del FBI Alcance de los fallos Los defectos se extienden a todo el sistema Los defectos se detectan y corrigen en unidades pequeñas No basta con considerar esto únicamente como el triunfo de una metodología ágil. El FBI también revisó el alcance del proyecto y la estructura de mando. Asimismo, amplió el papel del personal técnico interno. Los ciclos cortos de desarrollo fueron el medio que permitió que estos cambios funcionaran. Resumen por situación de adopción de IA El trabajo que debe corregirse primero varía según dónde se aplique la IA. La búsqueda de documentos requiere metadatos y permisos de acceso. El apoyo a la toma de decisiones requiere fundamentos y procedimientos de aprobación. La automatización necesita una persona responsable de gestionar las excepciones. Situación de aplicación de IA Condiciones organizativas que deben comprobarse primero Objeto de la verificación inicial Búsqueda de documentos internos Propietario del documento, criterios de conservación y permisos de acceso Localización de los documentos más recientes e indicación de las fuentes Redacción de borradores de informes Responsable de aprobación y de verificación de los hechos Errores numéricos y omisión de fundamentos Clasificación de consultas de clientes Criterios de clasificación y responsable de derivación Tasa de clasificación errónea y omisión de consultas urgentes Asistencia al desarrollo Revisor del código y política de seguridad Vulnerabilidades, licencias y superación de pruebas Apoyo a la toma de decisiones Responsable de la decisión final y procedimiento de objeción Sesgos, información omitida y explicabilidad Primero debe representarse un proceso de trabajo completo, desde el inicio hasta el final. Después deben señalarse los tiempos de espera y las entradas duplicadas. La IA debe aplicarse de forma limitada en los puntos donde se hayan identificado cuellos de botella. Los resultados deben medirse no solo por su precisión, sino también por el coste de las correcciones. Nuevos problemas en la estructura del conocimiento en la era de la IA La IA generativa puede conectar de manera convincente información dispersa. Sin embargo, no puede conectar documentos a los que no tiene acceso. Si hay muchos documentos obsoletos, puede generar respuestas desactualizadas. Tampoco puede asumir por sí sola la responsabilidad ante normativas contradictorias. Por este motivo, en la era de la IA resulta difícil evaluar la gestión del conocimiento por el volumen almacenado. Cada documento debe indicar su autor y periodo de aplicación. También deben distinguirse su estado de aprobación y si ha sido descartado. Las respuestas deben permitir volver a localizar la fuente original. Los siguientes elementos pueden revisarse antes de seleccionar un modelo. ¿Las normas sobre un mismo tema están duplicadas en varios repositorios? ¿Es posible distinguir entre documentos actualizados y descartados? ¿Se aplican permisos de acceso por función a la información sensible? ¿Es posible comprobar los documentos de referencia y las versiones de las respuestas de la IA? ¿Hay una persona responsable de recibir informes sobre respuestas incorrectas y corregirlas? ¿Están definidas las tareas que requieren necesariamente la aprobación de una persona? Esta perspectiva también muestra un nuevo riesgo que no existía en el antiguo caso del FBI. En el pasado, el principal problema era que la información no podía localizarse. Ahora, la información conectada incorrectamente puede difundirse con rapidez. La capacidad de búsqueda y la capacidad de verificación deben diseñarse conjuntamente. Errores y malentendidos frecuentes En primer lugar, el 11-S no debe explicarse como un simple caso de falta de información. Existían varios indicios, pero no fueron analizados en conjunto. La estructura organizativa y los procedimientos de decisión también influyeron en el resultado. Limitarse a aumentar el volumen de datos recopilados difícilmente evitará que se repita el mismo problema. En segundo lugar, el fracaso de VCF no debe reducirse únicamente al método en cascada. También hubo problemas en la gestión de requisitos y la supervisión contractual. La participación de los usuarios y el control técnico tampoco fueron suficientes. El método de desarrollo fue solo una de las diversas causas. En tercer lugar, no debe suponerse que Sentinel tuvo éxito automáticamente al adoptar métodos ágiles. La reestructuración del alcance del proyecto se llevó a cabo junto con cambios de liderazgo. El personal interno también asumió una mayor responsabilidad. La metodología no sustituye a la estructura de responsabilidades. En cuarto lugar, puede ser inexacto describir el derrumbe del World Trade Center con una única cifra definitiva de «14 segundos». Las dos torres tuvieron momentos distintos de impacto y derrumbe. La forma de expresar la duración del derrumbe también varía según los criterios de medición. Las cifras aisladas que no guardan relación con la lección principal deben tratarse con cautela. Secuencia de ejecución para aplicarlo a una organización Resulta más seguro verificar la adopción de IA en unidades de trabajo pequeñas. El objetivo debe definirse en términos de resultados laborales, no de tasa de uso de la herramienta. También se necesitan criterios de interrupción que permitan detectar pronto los fallos. La siguiente secuencia puede utilizarse al probar una tarea. Seleccione una tarea repetitiva o que sufra retrasos frecuentes. Registre la información de entrada y a la persona responsable de la aprobación final. Mida el tiempo de procesamiento actual y los tipos de errores. Divida el alcance que asumirá la IA y el que asumirán las personas. Despliéguela primero para un grupo reducido de usuarios. Incorpore los errores y el tiempo de corrección al siguiente ciclo. Amplíe el alcance de aplicación solo cuando se cumplan los criterios. No defina los indicadores de rendimiento únicamente por la frecuencia de uso. Examine conjuntamente el tiempo de procesamiento y el volumen de retrabajo. Compruebe también con qué rapidez se detectaron los errores graves. Asimismo, debe registrar si los comentarios del personal de campo condujeron a cambios reales. Las preguntas organizativas que dejó el caso del FBI Este caso muestra que la IA puede amplificar los hábitos existentes de una organización. En una organización donde la información está aislada, la IA también recibe un contexto incompleto. Si las fases de aprobación no están claras, la generación rápida aumenta el retrabajo. Si se pospone la verificación, los errores también se acumulan a gran escala. La organización puede empezar por responder tres preguntas. ¿Quién posee la información necesaria? ¿Quién es responsable de conectar señales diferentes? ¿Cuándo puede detectarse y detenerse un fallo pequeño? La esencia del caso de FBI Sentinel no consiste en reproducir un método de desarrollo específico. Reside en el principio operativo de dividir la incertidumbre en partes pequeñas y comprobarla con frecuencia. Las herramientas de IA también deben someterse al mismo control. La velocidad de aprendizaje de la organización debe adelantarse a la velocidad de adopción. FAQ Q. ¿El FBI no tenía ninguna información relacionada con el 11-S? A. No. En varias organizaciones había indicios que debían examinarse, como la actividad de las escuelas de aviación y la investigación de Moussaoui. Sin embargo, la información no llegó a traducirse en un análisis integrado ni en una toma de decisiones oportuna. Q. ¿Por qué no pudo utilizarse VCF para la gestión de casos reales? A. Se acumularon cambios en los requisitos y problemas de gestión contractual. Al revelarse fallos de integración en la etapa final, también aumentaron los costes de corrección, y el FBI canceló VCF en 2005. Q. ¿Sentinel se recuperó únicamente gracias al enfoque ágil? A. El enfoque ágil fue uno de los elementos del proceso de recuperación. El FBI volvió a dividir el alcance del desarrollo, reforzó los controles internos e incorporó con mayor frecuencia los comentarios de los usuarios sobre el terreno. Q. ¿Cuándo se desplegó Sentinel por completo? A. Sentinel se desplegó en toda la organización del FBI en julio de 2012. Esto ocurrió aproximadamente 2 años después de la reestructuración del proyecto en 2010. Q. ¿Cómo puede aplicarse este caso a la adopción de la AI? A. Primero deben aclararse la ubicación de la información y la responsabilidad de aprobación. Es adecuado aplicar la AI primero a tareas pequeñas, medir los errores, el tiempo de repetición del trabajo y los comentarios sobre el terreno, y después ampliar el alcance. Q. ¿Se pueden evaluar los resultados de la adopción de la AI mediante el volumen de uso? A. Es difícil determinar la mejora del trabajo únicamente por el volumen de uso. También deben evaluarse el tiempo de procesamiento, la tasa de errores, el volumen de trabajo repetido, el tiempo que se tarda en detectar errores graves y si se han producido mejoras reales. Sources - El informe de la Comisión del 11-S: https://www.9-11commission.gov/report/911Report.pdf - Informe de la GAO de EE. UU. sobre la modernización de las tecnologías de la información del FBI: https://www.gao.gov/products/gao-05-1014t - Revisión de la GAO de EE. UU. del sistema de gestión de casos Sentinel del FBI: https://www.gao.gov/products/gao-11-299 Images - Mujer señala un diagrama de flujo en la pared mientras informa a sus colegas: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTg3NzcsInB1ciI6ImJsb2JfaWQifX0=--0fa7bf74a186a29f21fe7ca40777febf64089034/ai-6e354670.webp - Dos analistas revisan tarjetas de flujo de trabajo en una gran mesa táctil ante paneles de datos: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTg3ODMsInB1ciI6ImJsb2JfaWQifX0=--2d24d519574a4f544a83c2a0148d155cf306e82f/ai-cc3a6a11.webp --- Category: Caso de estudio Source: https://injoys.com/es/articles/fbi-sentinel-911-25-years-organizational-innovation License: cc_by Translation-Status: reviewed