Museu digital · sala transversal

Les màquines que s'equivoquen

Vuit fallades informàtiques reals, de l'accelerador que va matar tres persones a l'apagada que va deixar a terra mig món. Cap no va ser un misteri tècnic: totes s'expliquen en un paràgraf i de gairebé totes s'havia avisat abans.

1985 ───────── 2024  ·  8 fallades  ·  3 patrons

El que no hi capenter de 16 bits amb signe

demanes32.767

hi cap fins a32.767

la màquina guarda32.767

Hi cap just: és el número més gran que cap en un enter de 16 bits amb signe.

Prova d'escriure 32768, un més. El número positiu més petit que no hi cap es converteix en el negatiu més gran possible. Això, exactament això, és el que va llegir l'Ariane 5 als 37 segons de vol.

Baixa per veure les vuit

Un museu que només explica els encerts menteix. Els setanta-vuit objectes de les altres tres ales funcionen: per això hi són. Aquesta sala reuneix vuit vegades en què no no va funcionar, i no hi és per espantar ningú. Hi és perquè en informàtica la fallada és l'únic lloc on es veu el disseny: mentre tot va bé, una decisió bona i una de dolenta s'assemblen molt.

Tres patrons es repeteixen en les vuit. Fixa-t'hi:

  1. Patró ① · el que no hi capUn número més gran que el forat on es guarda. És la fallada més antiga i la més nova d'aquesta sala: entre l'una i l'altra passen vint-i-vuit anys i continua sent la mateixa.
  2. Patró ② · el que ningú no va dirLa màquina s'adona que alguna cosa va malament i no sap dir què, o ho diu d'una manera que ensenya la gent a ignorar-ho.
  3. Patró ③ · el que ningú no va auditarUn sistema que fa exactament el que se li va demanar, sense que ningú comprovés mai si el que se li demanava estava bé.

I una regla que aquesta sala no trenca ni una sola vegada: la causa mai no és «un programador es va equivocar». Un programador s'equivoca cada dia; per això existeixen les revisions, les proves, els límits, els frens i la gent que diu «espera». Quan un error arriba fins al final és perquè va fallar la cadena, i en els vuit casos es pot assenyalar quina anella.

De gairebé totes aquestes fallades algú havia avisat abans que passessin. Algú ho va dir per escrit i algú va decidir que no era prioritari. Aquesta part és la que menys s'estudia i la que més es repeteix.

L'expedient

Vuit fallades

1985 — 2024

Cadascuna amb la seva data, la seva factura i la seva causa de veritat.

Què tenen en comú un accelerador de partícules i un full de càlcul de l'atur?

PLACA MODE X · AMB PLACA MODE E · SENSE PLACA 200 rad 20.000 rad MALFUNCTION 54 SENSE MÉS EXPLICACIÓ · PREMEU P PER CONTINUAR FIG. 01 · THERAC-25 · 1985

Patró ② · el que ningú no va dir

El Therac-25

1985 — 1987

Què va fallar
Un accelerador lineal de radioteràpia. Si l'operador canviava el mode de tractament i corregia la pantalla molt de pressa —en menys de vuit segons—, la màquina movia el feix però es quedava amb la configuració anterior: disparava el feix concentrat sense la placa metàl·lica que l'havia de repartir
Què va costar
Sis sobredosis massives conegudes i almenys tres morts. Els pacients van rebre al voltant de cent vegades la dosi prescrita
La causa de veritat
Els models anteriors tenien enclavaments mecànics: barres físiques que impedien disparar en la posició equivocada. Al Therac-25 es van treure i aquesta seguretat es va confiar al programari, escrit per una sola persona i mai revisat per ningú de fora

Per què importa. La fallada de programació és real —una condició de cursa, dues parts del programa trepitjant-se—, però no és el que va matar ningú. El que va matar va ser la cadena: treure un fre físic i substituir-lo per una promesa; un missatge d'error que deia MALFUNCTION 54 i res més; i un aparell que donava tants avisos falsos que el personal havia après, raonablement, a prémer «continuar». Quan una màquina cria els seus usuaris per tal que ignorin els seus avisos, els avisos ja no existeixen.

El que se'n va aprendreD'aquí surt, gairebé sencera, l'enginyeria del programari crític moderna: l'informe de Nancy Leveson i Clark Turner és lectura obligatòria a mig món, i la norma que avui regula el programari mèdic existeix perquè va existir aquesta màquina. La lliçó concreta és antipàtica: si alguna cosa no pot fallar, no la deixis només en mans del programari.

Sabies que…?

El fabricant va tardar dos anys i uns quants accidents a acceptar que el problema podia ser seu: en els primers informes va contestar per escrit que una sobredosi era impossible. Qui va trobar de veritat la fallada va ser un físic de l'hospital de Tyler (Texas), Fritz Hager, que es va posar a reproduir-la teclejant ell mateix fins a donar amb la seqüència exacta. No va caldre cap superordinador: va caldre algú disposat a creure l'operador que deia «jo no he fet res estrany».

Es creua ambSignes · el codi de HammingMàquines · l'ordinador de l'Apollo

64 BITS · COMA FLOTANT 16 BITS NO HI CAP 37 s CODI HERETAT DE L'ARIANE 4 QUE JA NO SERVIA EN VOL 4 SATÈL·LITS CLUSTER FIG. 02 · ARIANE 5 · 1996

Patró ① · el que no hi cap

El vol 501 de l'Ariane 5

4 de juny de 1996

Què va fallar
Als 37 segons de l'enlairament, el sistema de referència inercial va intentar guardar la velocitat horitzontal —un número en coma flotant de 64 bits— en un enter de 16 bits. No hi cabia. El programa es va aturar i va enviar un codi de diagnòstic que l'ordinador de vol va interpretar com a dades de vol: va girar les toveres a tope i el coet es va autodestruir
Què va costar
El coet i els seus quatre satèl·lits científics Cluster: uns 370 milions de dòlars en 39 segons, i un any de retard per al programa europeu
La causa de veritat
El codi venia de l'Ariane 4, on aquell número mai no era tan gran. A més, només servia abans de l'enlairament —alineava els giroscopis a la rampa— i es va deixar funcionant en vol «per si de cas». Ningú no el va tornar a provar amb les trajectòries del coet nou, que accelera molt més

Per què importa. És l'exemple perfecte que reutilitzar codi és heretar-ne els supòsits. La rutina no tenia cap error: feia exactament el que se li va demanar el 1988, en un coet més lent. L'error va ser mudar-la a una altra casa sense preguntar-li si li servia. I hi ha un detall que fa venir esgarrifances: els dos ordinadors de referència inercial eren redundants, però idèntics, de manera que el segon va fallar 0,05 segons després que el primer per la mateixa raó. Duplicar no és protegir si dupliques també el supòsit equivocat.

El que se'n va aprendreL'informe de la comissió Lions es va publicar sencer en cinc setmanes i avui és un clàssic: d'aquí ve el costum de definir per escrit el rang esperat de cada magnitud, i el de no donar per bo cap component heretat sense tornar-lo a provar en el seu entorn nou. L'Ariane 5 va acabar sent un dels llançadors més fiables de la història; li va costar aquest vol aprendre-ho.

Sabies que…?

Quatre de les set variables semblants del mateix programa estaven protegides contra el desbordament. Les altres tres es van deixar sense protegir a propòsit, per no gastar temps de processador, després d'una anàlisi que va concloure que «no es podien desbordar». L'anàlisi era correcta… per a l'Ariane 4. A l'interactiu de dalt pots escriure 32768 i veure el mateix que va veure el coet.

Es creua ambMàquines · el System/360Signes · el zero i les xifres

LLIURA-FORÇA · SEGON NEWTON · SEGON × 4,45 EL MATEIX NÚMERO, QUATRE VEGADES I MITJA MÉS D'EMPENTA 226 km PREVISTOS 57 km REALS FIG. 03 · MARS CLIMATE ORBITER · 1999

Patró ③ · el que ningú no va auditar

El Mars Climate Orbiter

23 de setembre de 1999

Què va fallar
Durant nou mesos de viatge, l'equip de Lockheed Martin va enviar les dades d'empenta dels motors en lliures-força per segon i el programa de navegació del JPL les va llegir com a newtons per segon. Un newton és 4,45 vegades més petit que una lliura-força, així que cada correcció de rumb es va comptabilitzar amb una empenta quatre vegades i mitja més gran que la real
Què va costar
La sonda va arribar a Mart 170 km més baixa del previst: va entrar a l'atmosfera a 57 km d'altura en lloc de 226 i es va desintegrar. Missió perduda: 327,6 milions de dòlars
La causa de veritat
L'especificació deia clarament que les unitats eren del sistema mètric. Ningú no va comprovar que es complís. I sí que hi va haver avisos: els navegants feia setmanes que veien que la trajectòria no quadrava, ho van apuntar, i no existia cap procediment formal perquè aquell «això em fa mala espina» aturés res

Per què importa. És la fallada més barata d'evitar de tota la sala: un número amb la seva unitat al costat. Tota l'ala dels signes tracta d'això —que una dada sense l'acord que diu com llegir-la no és una dada, és una taca—, i aquí es veu què costa oblidar-ho. Fixa't també que no hi va haver ni un sol error de programació: els dos programes eren correctes. L'error era entre els dos, al lloc on ningú no mira perquè no és de ningú.

El que se'n va aprendreQue les interfícies entre equips són la part perillosa del sistema, i que cal provar-les de punta a punta amb dades reals, no revisar cada meitat per separat. D'aquí venen l'obligació de marcar les unitats en cada camp intercanviat i la figura del canal pel qual un tècnic pot aturar una missió sense demanar permís al seu cap.

Sabies que…?

Tres mesos després es va perdre també el Mars Polar Lander, per una altra fallada diferent: unes potes que al desplegar-se van fer un cop que el programa va interpretar com «ja he tocat terra» i va apagar els motors a 40 metres d'altura. Dues sondes en un any van fer que la NASA revisés de dalt a baix el seu lema d'aleshores, «millor, més ràpid, més barat». La conclusió va ser que se'n poden triar dos dels tres.

Es creua ambSignes · l'ASCIISignes · la pedra de Rosetta

ANY 9 9 80 COLUMNES: NI UNA MÉS DUES COLUMNES ESTALVIADES × MIL MILIONS DE FITXES = ANYS DE LLOGUER DE MEMÒRIA QUE NO ES PAGUEN 1900 1999 00 EL SEGLE QUE FALTAVA FIG. 04 · L'EFECTE 2000 · 1999

Patró ① · el que no hi cap

L'efecte 2000

1999 — 2000

Què va fallar
Dècades de programes guardaven l'any amb dues xifres: 68 volia dir 1968. En arribar el 00, un ordinador que restés dates podia concloure que un préstec de 1999 venia noranta-nou anys abans de signar-se, que un pacient tenia menys noranta-nou anys o que un comptador d'interessos havia de tornar un segle de diners
Què va costar
Entre 300.000 i 600.000 milions de dòlars a revisar i arreglar programes a tot el món, segons les estimacions de l'època. La nit del 31 de desembre de 1999 gairebé no va passar res
La causa de veritat
No va ser descuit, va ser economia. Als anys seixanta la memòria costava una fortuna i la targeta perforada tenia 80 columnes comptades: estalviar-ne dues per cada data era una decisió d'enginyeria assenyada. El problema és que a ningú no se li va demanar mai escriure fins quan valia aquell atall

Per què importa. L'efecte 2000 es recorda malament, i de les dues maneres. Uns creuen que va ser una histèria perquè no va passar res; altres, que es va evitar un apocalipsi. L'interessant és al mig: va ser l'única fallada informàtica de la història amb data d'avís. Se'n sabia el dia exacte, s'hi van dedicar anys i centenars de milers de persones, i va funcionar. Que una feina ben feta sembli innecessària just després de fer-la és el drama professional de tot el manteniment del món.

El que se'n va aprendreQue un atall sense data de caducitat és un deute amb interessos. I que hi ha més terminis esperant: el 19 de gener de 2038, els sistemes que compten els segons des de 1970 en un enter de 32 bits es desbordaran exactament igual que l'Ariane. Aquesta vegada hi ha trenta anys d'avís, la solució es coneix —comptar en 64 bits— i tot i així queda moltíssim aparell vell per revisar. És el mateix patró ① una altra vegada.

Sabies que…?

Sí que van passar coses, petites i molt eloqüents: a Sheffield, un programa de cribratge va calcular malament l'edat de 154 embarassades i els va donar un resultat de risc equivocat; en diversos llocs els tiquets van marcar 1900; i en una central nuclear japonesa va fallar un sistema de vigilància (sense conseqüències). La llista és curta perquè s'hi va treballar, no perquè no hi hagués res a arreglar.

Es creua ambMàquines · la targeta de HollerithSignes · el zero i les xifres

SET SERVIDORS ACTUALITZATS EL VUITÈ, NO 09:30 45 MINUTS −440.000.000 $ 4 MILIONS D'ORDRES · 397 MILIONS D'ACCIONS FIG. 05 · KNIGHT CAPITAL · 2012

Patró ② · el que ningú no va dir

Knight Capital

1 d'agost de 2012

Què va fallar
La intermediària de borsa més gran dels Estats Units va actualitzar el seu programa d'ordres automàtiques en vuit servidors. En set va entrar bé; en el vuitè, no. En obrir el mercat, aquell servidor va executar una rutina antiga que feia vuit anys que estava apagada i va començar a comprar car i vendre barat sense parar, a raó de milers d'operacions per segon
Què va costar
440 milions de dòlars en 45 minuts: quatre milions d'operacions sobre 397 milions d'accions. L'empresa valia menys que això; va ser absorbida quatre mesos després i va desaparèixer
La causa de veritat
Un desplegament manual sense comprovació automàtica que els vuit equips tenien la versió nova, i una bandera reutilitzada: l'interruptor que abans activava la rutina vella es va fer servir per a una altra cosa, sense esborrar la rutina. Durant els 45 minuts van arribar 97 correus d'alerta automàtica, però cap no estava classificat com a urgent i ningú no els va llegir a temps

Per què importa. És la fallada més domèstica de la sala: no hi ha física, ni espai, ni vides; hi ha un desplegament mal fet, exactament el que pot fer qualsevol un dilluns al matí. I conté la lliçó que més costa aprendre: el codi mort no està mort mentre continuï allà. També mostra el patró ② en la seva forma més cruel: el sistema sí que va avisar, noranta-set vegades, amb un canal que havia ensenyat tothom a no mirar-lo.

El que se'n va aprendreLa SEC va publicar l'expedient sencer i avui és material de classe: d'aquí surten tres costums que ara semblen òbvies —desplegaments automàtics i verificats, un interruptor d'aturada d'emergència que qualsevol pugui prémer, i esborrar el codi que ja no es fa servir en lloc de deixar-lo adormit—. Quaranta-cinc minuts sense poder apagar la màquina és el que va convertir un error en una fallida.

Sabies que…?

La rutina zombi es deia Power Peg i la seva feina original era, literalment, comprar i vendre contra ella mateixa per provar el sistema. El 2003 tenia sentit: era un simulador. El 2012 el simulador va sortir a la borsa de veritat amb els diners de l'empresa. Quan algú et digui que un programa de proves no pot fer mal perquè «només és de proves», recorda't del Power Peg.

Es creua ambSignes · l'empremta digitalConsulta · el teorema CAP

CLIENT SERVIDOR DEMANA: «hola» … I DIU QUE FA 64.000 REBOT: hola + 63.996 LLETRES DEL COSTAT LA MEMÒRIA DEL SERVIDOR hola CLAU PRIVADA · CONTRASENYES 64 KB PER BATEC, SENSE DEIXAR RASTRE FIG. 06 · HEARTBLEED · 2014

Patró ① · el que no hi cap

Heartbleed

2012 — 2014

Què va fallar
OpenSSL, la biblioteca que xifra bona part d'internet, tenia un «batec» per mantenir les connexions vives: el client envia un text i diu quant fa, i el servidor el torna. Ningú no comprovava que la mida declarada fos la real. Si demanaves «hola, fa 64.000», el servidor tornava les teves quatre lletres i 63.996 caràcters de la memòria del costat
Què va costar
Va estar obert dos anys, del 31 de desembre de 2011 al 7 d'abril de 2014. En el moment de l'anunci afectava al voltant del 17 % dels servidors segurs d'internet: mig milió de màquines. Es van robar claus privades, contrasenyes i contingut de sessions, i no hi ha manera de saber quantes, perquè l'atac no deixava cap empremta en els registres
La causa de veritat
El codi el va escriure un voluntari i el va revisar un altre; va entrar sense que ningú mirés aquell detall. I aquí hi ha el gruix: mig internet depenia d'un projecte mantingut per un grapat de persones, amb un pressupost anual d'uns 2.000 dòlars en donacions

Per què importa. És el patró ① una altra vegada —un número que no es comprova— però al revés que a l'Ariane: aquí el problema no és que la dada no hi cabés, és que es va creure qui deia quant feia. Tota la seguretat informàtica es resumeix bastant bé en aquesta frase: no et creguis la mida que et diuen, mesura-la. I hi ha una lliçó de diners: el xifratge més utilitzat del món era voluntariat. Un xifratge impecable sobre un manteniment impossible no és seguretat, és sort.

El que se'n va aprendreHeartbleed va ser la primera fallada amb logotip, nom i web propis, i aquella idea —fer que un problema tècnic es pugui explicar— va canviar la comunicació de la seguretat per sempre. Després va arribar diner de veritat: les grans tecnològiques van muntar la Core Infrastructure Initiative per pagar el manteniment de les peces de les quals tots depenem. La pregunta de fons continua oberta, i dona per a una classe sencera: qui paga el que fa servir tothom i no és de ningú?

Sabies que…?

El dia de l'anunci, el 8 % dels servidors més visitats del món va canviar el seu certificat. I hi va haver una conseqüència rara i bonica: com que cada batec tornava un tros de memòria diferent, algú va muntar un servidor deliberadament vulnerable i el va publicar com a peça d'art, perquè es veiés què surt per aquell forat. Surt de tot: fragments de correus, sessions obertes, contrasenyes a mitges. La memòria d'un ordinador és un calaix desendreçat.

Es creua ambSignes · el cadenat del navegadorSignes · l'RSA

SOL·LICITUDS D'AJUT PER A LA LLAR D'INFANTS NACIONALITAT? TRÀMIT NORMAL SOSPITA DE FRAU TORNAR-HO TOT · SENSE AVÍS DESENES DE MILERS DE FAMÍLIES FIG. 07 · ELS AJUTS · 2021

Patró ③ · el que ningú no va auditar

L'algorisme dels ajuts

2004 — 2021 · Països Baixos

Què va fallar
L'agència tributària neerlandesa feia servir un sistema automàtic de detecció de frau per als ajuts de llar d'infants. Entre els seus indicadors de risc hi havia tenir una segona nacionalitat. A les famílies marcades se'ls exigia tornar anys d'ajuts de cop, sense explicació i sense recurs efectiu
Què va costar
Desenes de milers de famílies arruïnades: deutes de milers d'euros, desnonaments, divorcis, més de mil menors separats dels seus pares. El govern de Rutte va dimitir en ple el gener de 2021 i l'autoritat de protecció de dades va declarar il·legal el tractament. Les indemnitzacions i la reparació continuen en marxa
La causa de veritat
Cap error de programació: el sistema va fer exactament el que se li va demanar. La nacionalitat era a les dades perquè era al registre, es va fer servir com a indicador perquè «millorava la detecció», i ningú —ni de dins ni de fora— tenia l'obligació d'auditar quins criteris feia servir ni a qui assenyalava

Per què importa. És la fallada més greu d'aquesta sala i l'única que no s'assembla a una fallada: no hi va haver explosió, ni pantalla blava, ni pèrdua de connexió. El sistema va funcionar perfectament durant quinze anys. I aquí hi ha la lliçó incòmoda: un programa que funciona pot fer més mal que un que es trenca, perquè quan es trenca tothom ho veu. L'ala de la consulta insisteix que cap ordre no és neutral —classificar és decidir què importa—; aquí es veu què passa quan aquesta decisió la pren un model estadístic i, a sobre, es presenta com a objectiva, que és la paraula més perillosa de la informàtica.

El que se'n va aprendreS'està aprenent ara mateix, i en part gràcies a aquest cas: el reglament europeu d'intel·ligència artificial classifica com «d'alt risc» els sistemes que decideixen sobre ajuts i serveis públics, i exigeix documentació, supervisió humana i dret a explicació. Els Països Baixos van publicar un registre dels algorismes que fa servir la seva administració. La pregunta útil per a classe no és «l'algorisme era racista?», sinó qui ho havia de comprovar, i per què no era la feina de ningú?

Sabies que…?

Ho va destapar una periodista, Jesse Frederik, estirant el fil de casos concrets, i ho van confirmar després dues parlamentàries que es van negar a acceptar la resposta oficial que eren «casos aïllats». La informàtica no ho va detectar: ho va detectar gent escoltant les víctimes una per una. I quan l'autoritat de protecció de dades va revisar a fons l'agència, va trobar que desenes dels seus algorismes no complien la llei. Aquest era el que havia sortit als diaris, no l'únic.

Es creua ambConsulta · la Classificació DecimalConsulta · el recomanadorMàquines · la IA

EL PROGRAMA ESPERA 20 CAMPS L'ACTUALITZACIÓ EN PORTA 21 LLEGEIX FORA DEL SEU LLOC AL NUCLI DEL SISTEMA: SI CAU, CAU TOT 8,5 MILIONS D'EQUIPS · 78 MINUTS PER RETIRAR-LA FIG. 08 · CROWDSTRIKE · 2024

Patró ① · el que no hi cap

L'apagada de CrowdStrike

19 de juliol de 2024

Què va fallar
Una actualització rutinària de regles de l'antivirus Falcon. El programa que les llegeix esperava 20 camps i el fitxer nou en portava 21: en anar a buscar el camp que no existia, va llegir memòria que no era seva. Com que aquell programa viu dins del nucli de Windows, no es va tancar tot sol: es va endur per davant tot el sistema, i en reiniciar tornava a llegir el mateix fitxer
Què va costar
8,5 milions d'equips amb Windows en pantalla blava i bucle de reinici. Vols cancel·lats a tot el món, urgències hospitalàries amb paper i bolígraf, bancs, televisions i cadenes de botigues aturades. Les estimacions de pèrdues per a les empreses més grans afectades ronden els 5.000 milions de dòlars
La causa de veritat
El fitxer defectuós es va retirar en 78 minuts, però ja estava repartit. La reparació exigia tocar cada màquina a mà, arrencar-la en mode segur i esborrar un fitxer. La causa no és la manca de comprovació —això és el símptoma—: és que aquestes actualitzacions s'enviaven a tothom alhora, sense desplegar-les per fases i sense que el client pogués decidir quan rebre-les

Per què importa. És la mateixa fallada que l'Ariane 5, vint-i-vuit anys després: una dada que no encaixa en el forat previst i un programa que no ho comprova. El que ha canviat no és l'error, és l' escala: el 1996 es va perdre un coet; el 2024, mig dia de vida quotidiana en diversos continents. I apareix un patró nou que les altres ales encara no expliquen: l'actualització automàtica, que és la millor idea de la seguretat informàtica moderna —arreglar tothom de seguida—, és també el camí més ràpid per trencar-ho tot alhora. La mateixa canonada, en els dos sentits.

El que se'n va aprendreQue la signatura digital garanteix de qui ve un fitxer, no que sigui correcte: l'actualització estava signada, era autèntica i era dolenta. Des d'aleshores s'ha imposat —molt a poc a poc— el desplegament per anells: primer uns centenars d'equips, després uns milers, després la resta, amb la possibilitat d'aturar-se en cada escaló. I una pregunta que convé fer-se a classe: quantes empreses diferents calen perquè una fallada no aturi quatre continents?

Sabies que…?

Moltes de les màquines afectades no es van poder arreglar en remot perquè el disc estava xifrat i la clau de recuperació… estava guardada en un sistema que també havia caigut. Aquest és el tipus de dependència circular que només es descobreix el dia de l'incident. En alguns aeroports el personal va haver d'escriure a mà les targetes d'embarcament; en diversos hospitals van tornar als comunicats en paper, i van funcionar, perquè algú havia mantingut el procediment per escrit. De vegades el pla B d'un sistema informàtic és un armari amb formularis.

Es creua ambSignes · la signatura digitalMàquines · el web

El que diuen les vuit juntes

Posades en filera, les vuit fallades no expliquen vuit històries: expliquen quatre vegades la mateixa i quatre variacions. Val la pena mirar-les de cop abans de tancar la sala.

Cap no va ser un misteriLes vuit s'expliquen en un paràgraf, i aquest paràgraf l'entén qualsevol que hagi arribat fins aquí. No calen matemàtiques avançades per entendre per què va caure mig món el 2024: calen vint caselles i una que sobra.
De gairebé totes s'havia avisatEls navegants del Mars Climate Orbiter ho van dir. Al Therac-25 ho van dir els físics de l'hospital. A Knight Capital ho van dir 97 correus automàtics. L'avís va arribar; el que no hi havia era un lloc on l'avís pesés més que el calendari.
L'escala no perdonaL'error de 1996 va costar un coet. El mateix error, el 2024, va costar quatre continents. Cap dels dos programes no era pitjor que l'altre: el que ha crescut és el nombre de coses connectades a la mateixa canonada.
La pitjor no es va trencarDe les vuit, la que més vides va destrossar no va donar ni un error: l'algorisme dels ajuts va funcionar exactament com se li havia demanat, durant quinze anys, i per això ningú no el va aturar. Els sistemes que fallen fan soroll; els que estan mal dissenyats, no.

I una cosa més, que és la raó que aquesta sala existeixi dins d'un museu i no en un llibre de terror: cap d'aquestes vuit fallades no va fer que deixéssim de fer servir la tecnologia que la va causar. Continuem irradiant tumors amb acceleradors lineals —i salven moltíssimes vides—, continuem llançant coets europeus, continuem xifrant amb OpenSSL i continuem actualitzant els antivirus automàticament. La informàtica no avança evitant els errors: avança cobrant-los. Tot allò que a les altres tres ales sembla obvi —comprovar els límits, marcar les unitats, poder apagar la màquina, auditar qui decideix— hi és perquè algú va pagar la factura primer.

Cinc preguntes · t'endús el patró?

Sense nota. Aquí interessa més reconèixer la forma de l'error que recordar la data.

Encerts a la primera: 0 / 5

Pregunta 1

Què tenen en comú l'Ariane 5 (1996) i CrowdStrike (2024)?

Pregunta 2

Al Therac-25, què va convertir un error de programació en tres morts?

Pregunta 3

L'efecte 2000 se sol explicar com una exageració. Per què aquesta lectura és tramposa?

Pregunta 4

D'aquests quatre, quin no va produir cap missatge d'error?

Pregunta 5

Heartbleed va deixar oberta mig internet durant dos anys. Quina és la seva lliçó menys tècnica?

I la novena?

Aquesta sala té un buit reservat, i no cal ser endeví: serà un sistema que decideix alguna cosa important sobre persones, entrenat amb dades que ningú no va auditar, i la fallada no es veurà com una fallada sinó com una estadística. Ja està passant en petit —notes d'exàmens, currículums descartats, ajuts denegats—. La diferència entre que acabi en aquesta sala o no la marquen coses molt poc espectaculars: que algú pugui demanar explicacions, que algú tingui l'obligació de comprovar, i que existeixi un botó per aturar-ho.

Per al professorat

Com fer servir aquesta sala. Funciona sola en una sessió de 50 minuts, i funciona millor després d'haver visitat qualsevol de les altres tres ales: els xips «Es creua amb» tornen a la peça del museu que va fallar. Cada fallada té la seva àncora (#therac, #y2k, #crowdstrike…) per projectar-ne una de sola.

L'interactiu de la portada és la fallada de l'Ariane 5 en tres clics: escriure 32768 en un forat de 16 bits amb signe i veure aparèixer −32768. Serveix igualment per explicar per què existeixen els tipus de dades, per què hi ha un 19 de gener de 2038 esperant i què significa «desbordament».

Debat que sol sortir bé: repartir els vuit casos per parelles i demanar una sola frase per cas que comenci per «això no hauria passat si…». Gairebé cap frase no acaba en «si el programador hagués sigut millor», i aquesta és tota la lliçó de la sala.

Avís de mètode: aquí no hi ha cap cas inventat ni cap xifra rodona d'adorn. On l'estimació és discutida —el cost de l'efecte 2000, les pèrdues de CrowdStrike— el text diu que és una estimació. El nombre de morts del Therac-25 es dona com «almenys tres» perquè les fonts no coincideixen.

Les tres ales: Màquines que compten, Signes que guarden y Preguntes que troben. Aquesta sala les travessa a propòsit.