Patrón ② · lo que nadie dijo
El Therac-25
1985 — 1987
- Qué falló
- Un acelerador lineal de radioterapia. Si el operador cambiaba el modo de tratamiento y corregía la pantalla muy rápido —en menos de ocho segundos—, la máquina movía el haz pero se quedaba con la configuración anterior: disparaba el haz concentrado sin la placa metálica que debía repartirlo
- Cuánto costó
- Seis sobredosis masivas conocidas y al menos tres muertes. Los pacientes recibieron en torno a cien veces la dosis prescrita
- La causa de verdad
- Los modelos anteriores tenían enclavamientos mecánicos: barras físicas que impedían disparar en la posición equivocada. En el Therac-25 se quitaron y se confió esa seguridad al software, escrito por una sola persona y nunca revisado por nadie de fuera
Por qué importa. El fallo de programación es real —una condición de carrera, dos partes del programa pisándose—, pero no es lo que mató a nadie. Lo que mató fue la cadena: quitar un freno físico y sustituirlo por una promesa; un mensaje de error que decía MALFUNCTION 54 y nada más; y un aparato que daba tantos avisos falsos que el personal había aprendido, razonablemente, a pulsar «continuar». Cuando una máquina cría a sus usuarios para que ignoren sus avisos, los avisos ya no existen.
Lo que se aprendióDe aquí sale, casi entera, la ingeniería del software crítico moderna: el informe de Nancy Leveson y Clark Turner es lectura obligatoria en medio mundo, y la norma que hoy regula el software médico existe porque existió esta máquina. La lección concreta es antipática: si algo no puede fallar, no lo dejes solo en manos del software.
¿Sabías que…?
El fabricante tardó dos años y varios accidentes en aceptar que el problema podía ser suyo: en los primeros informes contestó por escrito que una sobredosis era imposible. Quien encontró de verdad el fallo fue un físico del hospital de Tyler (Texas), Fritz Hager, que se puso a reproducirlo tecleando él mismo hasta dar con la secuencia exacta. No hizo falta un superordenador: hizo falta alguien dispuesto a creer al operador que decía «yo no he hecho nada raro».
Cruza conSignos · el código de HammingMáquinas · el ordenador del Apollo