Ancora una volta un software mal funzionante ha provocato danni su scala internazionale.
È il caso del recentissimo difetto di un prodotto di Crowdstrike, una nota azienda di cybersecurity, che fra il 18 e il 19 luglio 2024, ha paralizzato le macchine dove era in uso il sistema operativo Microsoft Windows. Fortunatamente, non sembrano esserci state conseguenze tragiche quanto quelle del Boeing 737Max precipitato per un difetto software o del caso Royal Mail, dove persone accusate ingiustamente da un software di avere commesso reati arrivarono a suicidarsi, ma l’impatto di questo errore di programmazione ha tenuto a terra aerei e fermato treni, oltre che ospedali, metropolitane, redazioni giornalistiche e televisive in diverse parti del mondo. Il tutto, senza che sia stata colpa di “intelligenze artificiali ad alto rischio” o altre “sofisticatissime piattaforme basate sul deep learning”. Si è trattato, semplicemente, del solito, caro, vecchio bug che ronza nei programmi di tutto il mondo da quando esistono i computer e che spunta fuori a bloccarne il funzionamento quando meno ci se lo aspetta.
Questo incidente, e il fatto che eventi del genere continuano a ripetersi con allarmante frequenza, dovrebbero far riflettere su alcune questioni fondamentali per la sopravvivenza di una società fortemente digitalizzata che sempre di più somiglia a un colosso dai piedi d’argilla.
Nessun diritto al buon funzionamento del software
La prima questione, e più importante, è la diffusa convinzione (strumentalmente sostenuta dall’industria del software) che i programmi per computer non devono funzionare ma solo “funzionicchiare” —come scriveva Alan Cooper in The Inmates are Running the Asylum (che tradussi in Italiano per Apogeo con il titolo “Il disagio tecnologico”). Dunque se pure qualcosa non va, è un fatto del tutto fisiologico e, pur pagando la licenza, non abbiamo diritto a particolari aspettative di buon funzionamento.
La seconda questione, direttamente collegata alla precedente, è quella di avere consentito il diffondersi della convinzione che le software house non sono responsabili dei danni che provocano. Anche nel caso di Crowdstrike, infatti, la macchina della gestione delle crisi sta funzionando a pieno regime e il “wording” della comunicazione è tutto basato sull’impegno a cooperare con le strutture colpite, a fornire tempestive informazioni e via discorrendo. Nemmeno una parola, però, appunto, su una questione fondamentale: chi paga i danni?
Già, chi paga?
La irresponsabilità delle grandi software house
Teoricamente, la risposta è semplice: anche le software house hanno l’obbligo giuridico di non provocare danni con i loro prodotti, ma negli annali della giurisprudenza, in quella italiana sicuramente, non si ricordano condanne di grandi multinazionali per danni causati da blocchi, malfunzionamenti ed errori di programmazione.
Sarebbe lungo entrare nel merito del perché le cose vanno così, ma semplificando si può dire che molto dipende dall’impossibilità, per la “vittima” di accedere al modo in cui è fatto il software per verificare l’esistenza del difetto, dalla difficoltà di dimostrare che il difetto è stato causa unica o principale del danno e, last but not least, dai costi di una causa del genere.
L’insipienza della UE
La terza questione è la disarmante inerzia da un lato e la coazione a ripetere dall’altro del legislatore (questa volta comunitario).
Invece di applicare norme esistenti e principi giuridici consolidati, Bruxelles si ostina a emanare direttive e regolamenti (come quello sull’AI) basati sull’approccio della “pezza a colore” (peraltro, nel caso specifico, peggiore del buco) invece di affrontare il tema presupposto, quello, appunto della catena delle responsabilità nella commercializzazione di prodotti e servizi digitali.
Alcune proposte concrete
Eppure, non ci vorrebbe molto ad emanare una direttiva di armonizzazione dei criteri per l’attribuzione della responsabilità nel settore IT, adottando una serie di principi a tutela dei soggetti deboli (cioè chiunque di noi).
Uno, per esempio, potrebbe essere l’obbligo per il venditore/produttore di dimostrare di avere fatto tutto il possibile per evitare il danno invece di costringere la “vittima” a fornire una prova che difficilmente potrebbe trovare.
Un altro potrebbe essere l’obbligo di rendere disponibili i codici sorgenti incriminati alle parti della causa e al giudice. Certo, quando un software è fatto da milioni e milioni di linee di codice questa sarebbe una norma inapplicabile, ma rappresenterebbe in ogni caso un deterrente perché un produttore si troverebbe di fronte alla perdita di segretezza del funzionamento dei propri prodotti.
Un altro ancora potrebbe essere l’obbligo di assicurazione per i produttori/venditori di software analoga a quella della responsabilità per la circolazione delle auto, con obbligo della compagnia di risarcire il danneggiato e possibilità di rivalersi sulla software house. La natura deterrente di una norma del genere è abbastanza chiara e non richiede ulteriori spiegazioni.
Il software (AI compresa) è un semplice strumento di lavoro e come tale andrebbe trattato
Queste non sono certo le uniche soluzioni o necessariamente le più efficaci ma rappresentano un esempio di quello che si potrebbe fare se ci fosse la volontà politica di affrontare il problema in termini strutturali, ma, soprattutto, la consapevolezza che pure a proposito del software (AI compresa) non stiamo parlando di fantascienza ma di semplici, banali e ordinari strumenti da lavoro che devono, semplicemente, essere ben costruiti per non fare danno.
Altro che “analisi del rischio per i diritti umani”…
