Patró ② · el que ningú no va dir
El Therac-25
1985 — 1987
- Què va fallar
- Un accelerador lineal de radioteràpia. Si l'operador canviava el mode de tractament i corregia la pantalla molt de pressa —en menys de vuit segons—, la màquina movia el feix però es quedava amb la configuració anterior: disparava el feix concentrat sense la placa metàl·lica que l'havia de repartir
- Què va costar
- Sis sobredosis massives conegudes i almenys tres morts. Els pacients van rebre al voltant de cent vegades la dosi prescrita
- La causa de veritat
- Els models anteriors tenien enclavaments mecànics: barres físiques que impedien disparar en la posició equivocada. Al Therac-25 es van treure i aquesta seguretat es va confiar al programari, escrit per una sola persona i mai revisat per ningú de fora
Per què importa. La fallada de programació és real —una condició de cursa, dues parts del programa trepitjant-se—, però no és el que va matar ningú. El que va matar va ser la cadena: treure un fre físic i substituir-lo per una promesa; un missatge d'error que deia MALFUNCTION 54 i res més; i un aparell que donava tants avisos falsos que el personal havia après, raonablement, a prémer «continuar». Quan una màquina cria els seus usuaris per tal que ignorin els seus avisos, els avisos ja no existeixen.
El que se'n va aprendreD'aquí surt, gairebé sencera, l'enginyeria del programari crític moderna: l'informe de Nancy Leveson i Clark Turner és lectura obligatòria a mig món, i la norma que avui regula el programari mèdic existeix perquè va existir aquesta màquina. La lliçó concreta és antipàtica: si alguna cosa no pot fallar, no la deixis només en mans del programari.
Sabies que…?
El fabricant va tardar dos anys i uns quants accidents a acceptar que el problema podia ser seu: en els primers informes va contestar per escrit que una sobredosi era impossible. Qui va trobar de veritat la fallada va ser un físic de l'hospital de Tyler (Texas), Fritz Hager, que es va posar a reproduir-la teclejant ell mateix fins a donar amb la seqüència exacta. No va caldre cap superordinador: va caldre algú disposat a creure l'operador que deia «jo no he fet res estrany».
Es creua ambSignes · el codi de HammingMàquines · l'ordinador de l'Apollo