Sea como Pixar, no como la NASA

Comenzó a las 4:00 de la mañana del 28 de marzo de 1979 en Three Mile Island, Pensilvania. El reactor nuclear estaba funcionando casi a plena potencia cuando un circuito de refrigeración secundario falló y afectó la temperatura del refrigerante primario. Este fuerte aumento de temperatura hizo que el reactor se apagara automáticamente. En el segundo que tomó desactivar el sistema del reactor, una válvula de alivio no logró cerrar. El núcleo nuclear sufrió graves daños, pero los operadores no pudieron diagnosticar ni afrontar el apagado inesperado del reactor en el calor del momento.

El sociólogo Charles Perrow analizó más tarde por qué había ocurrido el accidente de Three Mile Island, con la esperanza de anticipar otros desastres por venir. El resultado fue su libro fundamental Accidentes normales. Su objetivo, afirmó, era "proponer un marco para caracterizar sistemas tecnológicos complejos como el tráfico aéreo, el tráfico marítimo, las plantas químicas, las represas y, especialmente, las centrales nucleares, según su riesgo".

Un factor fue la complejidad: cuantos más componentes e interacciones haya en un sistema, más desafiante será cuando algo salga mal. La escala conlleva complejidad, ya sea que estemos pensando en la tecnología o en la organización que la respalda. Imagine que dirige una nueva empresa en la que todos se sientan en el mismo espacio tipo loft. Desde donde te sientas, puedes ver fácilmente lo que están haciendo todos. En una organización grande, esa visibilidad se pierde. En el momento en que un líder no puede ver el funcionamiento interno del sistema mismo (en este caso, las actividades del personal), la complejidad aumenta.

Perrow asoció este tipo de complejidad con fallas tecnológicas. En Three Mile Island, los operadores no podían simplemente caminar hasta su núcleo y medir la temperatura manualmente o echar un vistazo al interior para descubrir que no había suficiente refrigerante. De manera similar, los ejecutivos de una gran empresa no pueden monitorear a todos los empleados todo el tiempo sin generar resentimiento. Tienen que basarse en indicadores indirectos, como evaluaciones de desempeño y resultados de ventas. Las grandes empresas también dependen de tecnologías de la información complejas y cadenas de suministro complejas.

Otro factor, escribió Perrow, era el acoplamiento de un sistema: el nivel de interdependencia entre sus componentes. Cuando los sistemas son complejos y están estrechamente acoplados, es más probable que produzcan consecuencias negativas inesperadas y se salgan de control.

Perrow no incluyó la inteligencia artificial (IA) ni siquiera el software entre las tecnologías cuyas interacciones trazó. Pero utilizando los criterios que estableció en relación con el riesgo tecnológico, los sistemas de IA encajan en el marco de Perrow junto a las plantas de energía nuclear, las misiones espaciales y la secuenciación de ADN. Si algún elemento no funciona según lo planeado, puede haber efectos en cascada imprevistos que afecten a un sistema de maneras totalmente inesperadas.

Los sistemas estrechamente acoplados tienen arquitecturas (tecnológicas y sociales) que promueven la interdependencia entre sus componentes y, a menudo, el aislamiento de las conexiones externas. Esto los hace eficientes y autoprotectores pero menos robustos.

Los sistemas débilmente acoplados, por el contrario, tienen arquitecturas más abiertas y diversas. Los cambios en un módulo, sección o componente apenas afectan a los demás componentes. Cada uno opera de alguna manera independientemente de los demás. Una arquitectura débilmente acoplada es fácil de mantener y escalar. También es robusto, ya que los problemas no se propagan fácilmente a otras partes del sistema.

Los ejecutivos que dirigen grandes organizaciones tienden a favorecer un sistema estrechamente acoplado. Es lo que saben. Crecieron en sus industrias viendo a un pequeño número de personas tomando decisiones que afectan a millones de personas. Pero los sistemas estrechamente acoplados pueden ser más difíciles de controlar. Piensa en un suelo cubierto de fichas de dominó alineadas. Cuando vuelcas una, derribará, en secuencia, toda la serie de fichas de dominó, un ejemplo simple de un sistema estrechamente acoplado. Ahora intenta detenerlo una vez que el efecto dominó esté en movimiento. Es mucho más difícil de lo que piensas.

Una gran empresa también es generalmente un sistema estrechamente acoplado, especialmente en comparación con las pequeñas empresas y los minoristas familiares locales. Si tienes una queja sobre el producto de una tienda de la esquina, puedes retirarla y te la tomarán con calma, tratándola de forma diferente para cada cliente. Tienen control sobre sus acciones. Si trabajan en una gran empresa o como franquicia, están estrechamente vinculados a la marca de la empresa y a los procedimientos ampliados, y entre sí. Aquellos que quieran operar de manera diferente a los procedimientos estándar deben oponerse a la red estrechamente acoplada.

Durante la pandemia, nos dimos cuenta de cuán estrechamente acopladas e interconectadas están nuestras cadenas de suministro: cómo un buque portacontenedores atrapado en el Canal de Suez puede retrasar los envíos globales durante meses. Muchas organizaciones han estado buscando crear despidos más sólidos, aflojando efectivamente el acoplamiento en sus cadenas de suministro al encontrar proveedores alternativos e invertir en fuentes locales.

La socióloga organizacional Diane Vaughan es experta en las formas en que los sistemas pueden engendrar catástrofes repetidamente. Comenzó a estudiar el tema después del desastre del Challenger de 1986, cuando el transbordador espacial explotó poco después del lanzamiento. La "causa técnica", escribió más tarde, fue "un fallo de las juntas tóricas de goma para sellar las uniones sólidas del propulsor del cohete del transbordador. Pero la organización de la NASA también falló".

La NASA lanzaba transbordadores espaciales con juntas tóricas dañadas desde 1981. Presionados por el calendario de lanzamiento, los responsables de la agencia ignoraron las advertencias de los ingenieros hasta el día del lanzamiento. De hecho, dentro de las reglas establecidas, la agencia había calificado el daño de la junta tórica como "riesgo aceptable".

Vaughan pasó los siguientes cinco años investigando y escribiendo The Challenger Launch Decision, un libro en profundidad sobre los problemas organizacionales que llevaron al desastre tecnológico. Al igual que Perrow, concluyó que este tipo de organización produciría repetidamente errores catastróficos. Después de la publicación del libro, señaló más tarde: "Escuché a ingenieros y personas de muchos tipos diferentes de organizaciones que reconocieron las analogías entre lo que sucedió en la NASA y las situaciones en sus organizaciones. 'La NASA somos nosotros', escribieron algunos".

El 1 de febrero de 2003 se produjo otro accidente, esta vez del transbordador espacial Columbia. Murieron otros siete astronautas. Una revisión técnica encontró que un trozo de espuma se había desprendido y había golpeado un ala. Una vez más, los ingenieros advirtieron a la agencia y las advertencias fueron ignoradas. Una vez más, Vaughan se involucró estrechamente en la investigación de las causas y finalmente se unió a la Junta de Investigación de Accidentes de Columbia del gobierno. Ella declaró ante la junta que había encontrado las mismas causas organizativas en ambos accidentes.

En sus escritos sobre los desastres, Vaughan cita a Perrow, señalando que la naturaleza compleja y estrechamente acoplada de la NASA la hacía sistemáticamente propensa a cometer errores importantes ocasionales. Quienes tomaban las decisiones clave habían sido víctimas de una "normalización de la desviación", en la que la peligrosa complacencia se convirtió gradualmente en la forma ordinaria de hacer las cosas. "Nunca podremos resolver totalmente el problema de la complejidad, pero tenemos que ser sensibles a nuestras organizaciones y a cómo funcionan", escribió. "Si bien muchos de nosotros trabajamos en organizaciones complejas, no nos damos cuenta de hasta qué punto las organizaciones en las que habitamos nos habitan por completo. Esto es tan cierto para los actores poderosos en la cima de la organización responsables de crear cultura como para las personas. en los niveles inferiores que llevan a cabo sus directivas y hacen el trabajo diario".

En estos desastres, testificó ante la junta, "el fracaso tecnológico fue el resultado del fracaso organizativo de la NASA".

El diseñador de software Alan Chan sostiene que algunos aspectos innatos de la inteligencia artificial tienden a hacer que todo lo que toca sea más complejo y esté más estrechamente acoplado. Incluso cuando se supone que un proyecto es "IA responsable", trabajar con un algoritmo automatizado puede anular las mejores intenciones de los ingenieros de software".

Aunque los diseñadores pueden intentar incluir todas las características relevantes en la medida de lo posible, es posible que sólo lleguen a conocer la relevancia de algunas características después de que un accidente les informe a tal efecto", dice Chan. "Además, mientras que un observador humano está limitado por la Debido a las formas en que sus sentidos interactúan con los instrumentos de medición, un subsistema de IA está limitado no solo por las mismas condiciones que el observador humano, sino también por el hecho de que los observadores humanos seleccionan las características para su consideración. Los propios instrumentos de medición pueden estar defectuosos, lo que fue un factor crucial en el accidente de Three Mile Island."

En el lenguaje de Perrow, se puede esperar que los "accidentes normales" aumenten con el tiempo en tales sistemas. Esto es particularmente cierto cuando no sólo el sistema de IA en sí, sino también el ecosistema organizacional que lo rodea, son complejos y están estrechamente vinculados.

En el ámbito tecnológico, el proceso de optimización en sí exacerba el estrecho acoplamiento. Crea fuertes dependencias y, por tanto, efectos dominó. Imagine un sistema de inteligencia artificial encargado de asignar recursos de producción en una cadena de suministro. El sistema podría tener como único objetivo maximizar la producción. Este enfoque único influiría en todo el sistema para que se acoplara más estrechamente.

El algoritmo resolvería cualquier equilibrio entre flexibilidad y optimización a favor de la optimización. Por ejemplo, no mantendría existencias de reserva porque eso arrastraría el inventario. El sistema está codificado para alinearse con la estrategia de la empresa al hacer esto, pero de una manera tan estrechamente acoplada que el sistema fallaría bajo estrés, como lo hicieron muchas cadenas de suministro al comienzo de la pandemia de COVID-19. En varios momentos de la historia reciente, esta dinámica provocó escasez de elementos como equipos de protección, chips semiconductores, pañales y fórmulas infantiles.

Otro caso de un sistema de IA estrechamente acoplado es el uso fallido por parte de Zillow de un algoritmo automatizado de toma de decisiones para comprar viviendas. Como mercado inmobiliario en línea, Zillow se diseñó originalmente para ayudar a vendedores y compradores a tomar decisiones más informadas. En 2018 abrió una nueva división con un modelo de negocio basado en la compra y reventa de viviendas, utilizando un algoritmo de aprendizaje automático llamado Zillow Offers. A medida que los precios de las viviendas aumentaron rápidamente durante la pandemia de COVID-19, los algoritmos iBuying de Zillow utilizaron datos como la edad, el estado y el código postal de la vivienda para predecir qué viviendas aumentarían en valor. Pero el sistema no tuvo en cuenta la incertidumbre radical causada por el virus y subestimó por completo los rápidos cambios en el mercado inmobiliario. Además, hubo una reacción violenta contra Zillow cuando un agente de bienes raíces, Sean Gotcher, creó un video viral denunciando la supuesta manipulación del mercado inmobiliario por parte de la compañía. En noviembre de 2021, la firma vendió sólo 17.000 viviendas de las 27.000 que había comprado.

Desvincular el negocio de compra de viviendas de Zillow de su mercado en línea puede haber salvado a la empresa o al menos parte de su reputación. Al final, Zillow cerró su división de compra de viviendas, recortó el 25 por ciento de la fuerza laboral de la empresa (unos 2.000 empleados) y canceló una pérdida de 304 millones de dólares en inventario de viviendas.

Para John Sviokla, doctor en Harvard en sistemas de información gerencial, el acoplamiento estrecho está directamente relacionado con la naturaleza opaca de los sistemas algorítmicos: el efecto de caja cerrada. "Si no puedo mirar dentro del sistema y ver los pesos dados a los diferentes factores", dice, "entonces está estrechamente acoplado de facto. Desde un punto de vista semántico, no puedo comunicarme con él. Sólo puedo gestionarlo. "Trato de descubrir cómo funciona, en función de los comportamientos que produce. No tengo acceso a las suposiciones ni a cómo funciona. Tengo que rechazarlo o usarlo; esas son mis dos únicas opciones".

Chan sostiene que el mayor riesgo reside en los sistemas de IA que están estrechamente acoplados y son complejos dentro de organizaciones que también están estrechamente acopladas y son complejas. Es especialmente probable que ocurran accidentes cuando las condiciones organizacionales son las adecuadas. Dado que las condiciones exactas no se pueden predecir ni prevenir en detalle y la estructura organizacional impide que sean resilientes, los sistemas algorítmicos, autónomos y automatizados representan un desafío continuo. Incluso cuando los sistemas funcionan bien, es imposible hacerlos absolutamente a salvo de un "accidente normal".

Si desea que el sistema sea más seguro y menos dañino, debe relajarlo.

Pixar Animation Studios, los creadores de las películas Toy Story y Buscando a Nemo, tiene un ritual bien conocido que aprovecha la naturaleza poco acoplada del estudio. Siempre que una película en desarrollo llega a un punto difícil, el director puede convocar al "grupo de expertos" de la compañía para una crítica en profundidad. Tras la sesión, el director y su equipo deciden qué hacer con el consejo. Se necesita mucha piel para revisar un trabajo, pero el resultado es una mejora inmensa y tangible".

No hay notas obligatorias y el grupo de expertos no tiene autoridad", explicó el cofundador de Pixar, Ed Catmull, en Harvard Business Review. "Esta dinámica es crucial. Libera a los miembros del fideicomiso, para que puedan dar sus opiniones expertas sin adornos, y libera al director para buscar ayuda y considerar plenamente el consejo".

A Pixar le tomó un tiempo entender por qué este sistema ayudaba tanto. "Cuando intentamos exportar el modelo de confianza de cerebros a nuestra área técnica, al principio descubrimos que no funcionaba", escribió Catmull. "Tan pronto como dijimos: 'Se trata puramente de pares dándose retroalimentación entre sí', la dinámica cambió y la efectividad de las sesiones de revisión mejoró dramáticamente".

Tenga en cuenta que el diseño organizativo de Pixar es deliberadamente flexible. Las reacciones del grupo de expertos no se tratan como demandas sino como oportunidades creativas. Estas oportunidades permiten la simplicidad al otro lado de la complejidad.

Charles Perrow dedicó gran parte de Accidentes normales a un estudio de operaciones sociotécnicas complejas que no habían terminado en crisis o catástrofe. Descubrió que una opción era simplificar la toma de decisiones centrándose en sólo una o dos actividades: centralizar la toma de decisiones en torno a este conjunto relativamente simple de objetivos para que haya una dirección clara para canalizar todas las complejidades involucradas. Otra opción era implementar algunos diseños organizativos básicos. Un grupo de auditoría y supervisión de riesgos puede parecer otra función burocrática aburrida, pero si está dirigido por alguien que entiende los acoplamientos flexibles, contará con un grupo diverso de personas que juntas dan sentido a cuestiones complejas.

Y existe otra alternativa: flexibilizar el sistema. Llevar la toma de decisiones al nivel más bajo posible en la jerarquía y garantizar que cada parte de la organización pueda operar de forma autónoma. Alentar a las personas a comunicarse libremente, de modo que ningún grupo pequeño sea visto como la única fuente de conocimiento sobre un tema clave. Aproximar la toma de decisiones lo más posible al punto de acción y reunir a las personas periódicamente para aprender unos de otros y evitar competir con otros silos.

Los chatbots de IA pueden reforzar los acoplamientos en sistemas complejos, intensificando las comunicaciones dentro de ellos y automatizando las formas en que las empresas controlan el comportamiento. Eso podría conducir a más desastres y pasos en falso. Pero también podrían relajar sistemas complejos al proporcionar vínculos alternativos y facilitar la búsqueda de puntos de vista alternativos. El éxito a menudo depende de encontrar a alguien con sensibilidad externa que respete las prioridades internas. Los sistemas de IA generativa pueden hacer que sea más fácil encontrar a esas personas y presentarlas entre sí.

Hay mucho que aprender sobre la interrelación entre el comportamiento de las máquinas, el comportamiento humano y el comportamiento de sistemas sociotécnicos más amplios, como las corporaciones y los gobiernos. Al final, no importa si pensamos que nuestros sistemas de IA son inteligentes. Lo que más importa es lo que hacen y cómo crecen, y cómo crecemos nosotros con ellos.

La publicación Sé como Pixar, no como la NASA apareció por primera vez en Reason.com.