Sicurezza nei trasporti - la tecnologia ICT può eliminare i rischi dovuti alla follia? di Roberto Vacca.
Forse il disastro dell’aereo German Wings è stato causato dalla follia del co-pilota. Una intelligenza artificiale sovrapposta al pilota automatico avrebbe potuto evitarlo?
L’ingegneria dei sistemi detta la regola "Don’t cater for extremely low probability events” = Non dotare il sistema di funzioni mirate a gestire eventi di probabilità estremamente bassa".
La follia di un pilota ha probabilità evanescente. Può manifestarsi in tempi minimi - nei quali un sistema sofisticato potrebbe essere inadeguato a reagire. In alcuni anni in tutta Europa è accaduto che non vi sia stato nemmeno un incidente mortale in TUTTI i voli di linea. Un sistema di supervisione e sicurezza contro evento improbabilissimo come la follia suicida di un pilota, possiamo immaginarlo - ma se tentiamo di dotarlo di funzioni di giudizio sui comandi, le intenzioni, o le reazioni a emergenze poco prevedibili, rendiamoci conto che tenteremmo di costruire un sistema di controllo di una complicazione tale da impedire di capire, giudicare, “override” in tempo le decisioni che il sistema prende in frazioni di secondo. Avere buone intenzioni non basta, occorre capire che la complessità molto spinta è già in se una fonte di rischio. Queste considerazioni si applicano anche ai treni ad alta velocità e alle auto self drive di cui si parla tanto. Sono argomenti seri di cui non si può parlare in un articolo e tanto meno in un chat improvvisato o in un tweet.
Calma e riflessione, facciamo discutere gli esperti e critichiamoli col tempo necessario.
Taluno sostiene che andrebbe azzerato ogni rischio. È questo un sintomo grave dell'ignoranza diffusa sui rischi e sui modi per difendersene. Così proponendo un fine impossibile, si disinforma il pubblico, mentre, invece, la sicurezza sta aumentando di continuo in quasi ogni settore. È certo bene istituire anche bilanci rischi/benefici. I benefici si quantificano in termini di assorbimento di overhead e utile prodotto. I rischi si valutano come prodotto del danno per la probabilità che si verifichi. Il danno è definito come l'onere che un'azienda sopporta per risarcire clienti o terzi che hanno subito traumi, menomazioni o danni alle cose a causa di malfunzione di prodotti dell' azienda. Certo la malfunzione deve essere almeno colposa. Si deve dimostrare, cioè, che non è stata resa impossibile, mentre avrebbe potuto esserlo. L'entità massima del danno si può prevedere in casi semplici, ad esempio in base all'energia totale che può essere rilasciata in tempi brevi: dalla conflagrazione di combustibili immagazzinati o trasportati, dalla fuoriuscita di acqua contenuta in un bacino, dall'energia cinetica di masse in moto (veicoli) in caso di collisioni.
Però l'energia (meccanica o elettrica) che basta a uccidere un uomo è di minime frazioni di Wattora: dunque i meccanismi di rischio sono più importanti delle quantità in gioco.
Una regola empirica suggerisce di non considerare rischi di morte nella popolazione di un paese che siano inferiori a una morte/anno per ogni milione di abitanti, né rischi occupazionali inferiore a una morte/anno per ogni 100.000 lavoratori. Per l'Italia queste cifre sono rispettivamente 57 e 200. Per confronto ricordiamo che in Italia (2009) ogni anno muoiono circa 5.000 persone in incidenti di traffico, circa 12.000 per cadute, 200 di AIDS e 165.000 di cancro. Per accumulare una probabilità di morte di uno su un milione è necessario, quindi, un tempo di 4 giorni per incidenti di traffico e 1,7 per cadute. Questo tempo cresce a 2 mesi per l'elettrocuzione, a 2 anni per la morte causata dal fulmine e 4 anni per la morte causata dalla puntura o dal morso di un animale.
Il pubblico capisce poco i rischi. Esempio: i viaggi in auto sono più pericolosi di quelli in aereo. In Italia dal 1972 al 2008 il numero di morti in incidenti di traffico è calato del 65% (nel '72 i morti erano 14.000). Anche i decisori aziendali e pubblici capiscono poco i rischi. Pochi sanno calcolare la probabilità di morire volando 100.000 volte e supponendo che in ogni volo la probabilità sia 1 su 100.000.
(È solo il 63,2% = 1 - 0,99999 alla centomillesima potenza).
La percezione soggettiva dei rischi rispecchia realtà distorte. Si investono cifre enormi per ridurre rischi già bassi, come quello delle radiazioni nucleari in centrali e centri di ricerca. Si investono cifre alte per ridurre le morti in incidenti stradali. Si investe poco contro il cancro e nulla per evitare le morti dovute a cadute. I rischi industriali calano rapidamente, ma non lo si nota proprio perché sono bassi e continuano a ridursi.
I rischi sistemici più complessi (blocchi dei sistemi di trasporto, energia, comunicazioni) sono difficili da valutare e neutralizzare.
La complessità enorme e crescente rende difficile progettare la sicurezza nei sistemi prevedendo ogni condizione futura di funzionamento. La sfida tecnica e teorica è appassionante. Sarebbe vitale accettarla e vincerla, ma non abbiamo soluzioni da manuale: occorre inventarle.
Vanno integrati i progetti dei vari sistemi valutando i rischi di ciascuno e la loro trasmissione tra aree fisiche e settori. Vanno addestrati utenti e operatori a riconoscere emergenze impreviste e a reagire adeguatamente. Vanno ottimizzate le comunicazioni per ottenere monitoraggio e controllo intersistemico e va reso trasparente il software di controllo onde distinguere se i guasti hanno origine nello hardware, nei canali di comunicazione o nel software. A tal fine va analizzata la storia di tutti i blackout, le crisi sistemiche, le emergenze dovute ad atti terroristici e vandalici.
Su questa base vanno formulati scenari quantitativi dettagliati. Vanno sviluppati, analizzati criticamente e validati modelli matematici dell’interdipendenza fra sistemi e della proliferazione di guasti, emergenze e interruzioni dei servizi. E’ compito arduo e critico: alcune variabili non sono note o si presentano in modo casuale. I meccanismi possono essere arguiti, non calcolati.
L’ingegneria dei sistemi detta la regola "Don’t cater for extremely low probability events” = Non dotare il sistema di funzioni mirate a gestire eventi di probabilità estremamente bassa".
La follia di un pilota ha probabilità evanescente. Può manifestarsi in tempi minimi - nei quali un sistema sofisticato potrebbe essere inadeguato a reagire. In alcuni anni in tutta Europa è accaduto che non vi sia stato nemmeno un incidente mortale in TUTTI i voli di linea. Un sistema di supervisione e sicurezza contro evento improbabilissimo come la follia suicida di un pilota, possiamo immaginarlo - ma se tentiamo di dotarlo di funzioni di giudizio sui comandi, le intenzioni, o le reazioni a emergenze poco prevedibili, rendiamoci conto che tenteremmo di costruire un sistema di controllo di una complicazione tale da impedire di capire, giudicare, “override” in tempo le decisioni che il sistema prende in frazioni di secondo. Avere buone intenzioni non basta, occorre capire che la complessità molto spinta è già in se una fonte di rischio. Queste considerazioni si applicano anche ai treni ad alta velocità e alle auto self drive di cui si parla tanto. Sono argomenti seri di cui non si può parlare in un articolo e tanto meno in un chat improvvisato o in un tweet.
Calma e riflessione, facciamo discutere gli esperti e critichiamoli col tempo necessario.
Taluno sostiene che andrebbe azzerato ogni rischio. È questo un sintomo grave dell'ignoranza diffusa sui rischi e sui modi per difendersene. Così proponendo un fine impossibile, si disinforma il pubblico, mentre, invece, la sicurezza sta aumentando di continuo in quasi ogni settore. È certo bene istituire anche bilanci rischi/benefici. I benefici si quantificano in termini di assorbimento di overhead e utile prodotto. I rischi si valutano come prodotto del danno per la probabilità che si verifichi. Il danno è definito come l'onere che un'azienda sopporta per risarcire clienti o terzi che hanno subito traumi, menomazioni o danni alle cose a causa di malfunzione di prodotti dell' azienda. Certo la malfunzione deve essere almeno colposa. Si deve dimostrare, cioè, che non è stata resa impossibile, mentre avrebbe potuto esserlo. L'entità massima del danno si può prevedere in casi semplici, ad esempio in base all'energia totale che può essere rilasciata in tempi brevi: dalla conflagrazione di combustibili immagazzinati o trasportati, dalla fuoriuscita di acqua contenuta in un bacino, dall'energia cinetica di masse in moto (veicoli) in caso di collisioni.
Però l'energia (meccanica o elettrica) che basta a uccidere un uomo è di minime frazioni di Wattora: dunque i meccanismi di rischio sono più importanti delle quantità in gioco.
Una regola empirica suggerisce di non considerare rischi di morte nella popolazione di un paese che siano inferiori a una morte/anno per ogni milione di abitanti, né rischi occupazionali inferiore a una morte/anno per ogni 100.000 lavoratori. Per l'Italia queste cifre sono rispettivamente 57 e 200. Per confronto ricordiamo che in Italia (2009) ogni anno muoiono circa 5.000 persone in incidenti di traffico, circa 12.000 per cadute, 200 di AIDS e 165.000 di cancro. Per accumulare una probabilità di morte di uno su un milione è necessario, quindi, un tempo di 4 giorni per incidenti di traffico e 1,7 per cadute. Questo tempo cresce a 2 mesi per l'elettrocuzione, a 2 anni per la morte causata dal fulmine e 4 anni per la morte causata dalla puntura o dal morso di un animale.
Il pubblico capisce poco i rischi. Esempio: i viaggi in auto sono più pericolosi di quelli in aereo. In Italia dal 1972 al 2008 il numero di morti in incidenti di traffico è calato del 65% (nel '72 i morti erano 14.000). Anche i decisori aziendali e pubblici capiscono poco i rischi. Pochi sanno calcolare la probabilità di morire volando 100.000 volte e supponendo che in ogni volo la probabilità sia 1 su 100.000.
(È solo il 63,2% = 1 - 0,99999 alla centomillesima potenza).
La percezione soggettiva dei rischi rispecchia realtà distorte. Si investono cifre enormi per ridurre rischi già bassi, come quello delle radiazioni nucleari in centrali e centri di ricerca. Si investono cifre alte per ridurre le morti in incidenti stradali. Si investe poco contro il cancro e nulla per evitare le morti dovute a cadute. I rischi industriali calano rapidamente, ma non lo si nota proprio perché sono bassi e continuano a ridursi.
I rischi sistemici più complessi (blocchi dei sistemi di trasporto, energia, comunicazioni) sono difficili da valutare e neutralizzare.
La complessità enorme e crescente rende difficile progettare la sicurezza nei sistemi prevedendo ogni condizione futura di funzionamento. La sfida tecnica e teorica è appassionante. Sarebbe vitale accettarla e vincerla, ma non abbiamo soluzioni da manuale: occorre inventarle.
Vanno integrati i progetti dei vari sistemi valutando i rischi di ciascuno e la loro trasmissione tra aree fisiche e settori. Vanno addestrati utenti e operatori a riconoscere emergenze impreviste e a reagire adeguatamente. Vanno ottimizzate le comunicazioni per ottenere monitoraggio e controllo intersistemico e va reso trasparente il software di controllo onde distinguere se i guasti hanno origine nello hardware, nei canali di comunicazione o nel software. A tal fine va analizzata la storia di tutti i blackout, le crisi sistemiche, le emergenze dovute ad atti terroristici e vandalici.
Su questa base vanno formulati scenari quantitativi dettagliati. Vanno sviluppati, analizzati criticamente e validati modelli matematici dell’interdipendenza fra sistemi e della proliferazione di guasti, emergenze e interruzioni dei servizi. E’ compito arduo e critico: alcune variabili non sono note o si presentano in modo casuale. I meccanismi possono essere arguiti, non calcolati.