Gentile direttore,
l’intelligenza artificiale in medicina difficilmente si impone con la drammaticità di un evento acuto. Non somiglia a un’epidemia improvvisa né a un errore terapeutico clamoroso. Tende piuttosto a insinuarsi silenziosamente nelle pieghe della pratica clinica quotidiana, ridefinendo passo dopo passo ciò che conta, ciò che viene misurato, ciò che può essere trascurato, senza che la maggior parte degli operatori sanitari ne abbia piena consapevolezza. In questo senso, l’Enciclica Magnifica Humanitas di Papa Leone XIV rappresenta un documento utile non perché offra indicazioni tecniche dirette, non è un manuale di bioingegneria né una linea guida per la validazione di algoritmi, ma perché mette in evidenza tre rischi sistemici che la medicina contemporanea, immersa nell’entusiasmo per l’innovazione algoritmica, rischia di sottovalutare: la riduzione del paziente a profilo statistico, l’opacità della responsabilità clinica e la nuova disuguaglianza nell’accesso alle cure potenziate dall’IA. Tre rischi che non sono indipendenti l’uno dall’altro, ma si alimentano reciprocamente, costruendo una cornice entro cui la relazione di cura rischia di trasformarsi silenziosamente in un processo amministrativo governato da scatole nere.
Primo rischio: il paziente come profilo, non come persona
Il primo rischio, forse il più insidioso perché opera silenziosamente all’interno di promesse di precisione e personalizzazione, è la graduale riduzione del paziente a un insieme di dati elaborabili. L’Enciclica dedica ampio spazio alla dignità della persona umana (nn. 48-53), ricordando che essa non dipende dalle performance, dall’utilità sociale o dalla “produttività” in termini di salute. La dignità è un dono che precede ogni valutazione funzionale: “nessun peccato, nessun fallimento, nessuna umiliazione, nessuna esclusione può intaccare il valore profondo di una vita umana che Dio ha voluto e chiamato all’essere” (n. 52). Ma è esattamente il modello opposto, la valutazione funzionale come criterio di accesso alle cure, che molti sistemi di IA tendono a incorporare, non per malvagità esplicita ma per inerzia progettuale.
Nella pratica clinica, ciò si traduce in una forma di razionamento implicito che non passa attraverso una deliberazione trasparente, ma attraverso la soglia opaca di un modello predittivo. Prendiamo il caso degli algoritmi di triage nei pronto soccorso. Sempre più ospedali adottano sistemi di supporto decisionale che, sulla base di parametri vitali, parametri laboratoristici e dati anamnestici, assegnano un punteggio di priorità. In linea di principio, è un vantaggio: standardizza l’urgenza, riduce i tempi di attesa, migliora l’allocazione delle risorse. Ma cosa succede quando l’algoritmo è stato addestrato su dati storici che riflettono pregiudizi preesistenti? È stato documentato che alcuni sistemi di triage sottostimano la gravità delle condizioni in pazienti di etnie minoritarie o in donne con sintomi di infarto, semplicemente perché i dati di addestramento contenevano meno casi di quella popolazione o perché la presentazione atipica dei sintomi non era stata adeguatamente codificata. Il risultato è che un paziente riceve un codice di priorità più basso non perché qualcuno abbia deciso che la sua vita vale meno, ma perché l’algoritmo, addestrato su dati storici che riflettono disuguaglianze preesistenti, ha imparato che “storicamente” quei pazienti hanno esiti peggiori e quindi, in una logica di ottimizzazione statistica, investire risorse su di loro è meno “efficiente”. L’ingiustizia non è il frutto di una scelta esplicita, ma l’esito di una catena di mediazioni opache: dalla raccolta dei dati alla loro etichettatura, dalla scelta delle variabili alla definizione della funzione obiettivo, dalla validazione del modello al suo dispiegamento clinico.
L’Enciclica è netta: “Se un sistema viene concepito o impiegato in modo da trattare alcune vite come meno degne, o da escluderle senza possibilità di appello, esso non è un semplice strumento ‘da usare bene’: introduce già un criterio che contraddice la dignità inalienabile della persona” (n. 104). Il riferimento alla “possibilità di appello” è cruciale in medicina. Quando un paziente viene ricoverato o dimesso, quando una terapia viene avviata o sospesa, quando una priorità viene assegnata sulla base di un punteggio algoritmico, il diritto a contestare quella decisione, a chiedere a un medico di rivedere il caso, a spiegare le circostanze che l’algoritmo non può cogliere, a essere ascoltato come persona e non come profilo, è il presidio fondamentale contro l’arbitrio tecnocratico. In un sistema sanitario sempre più automatizzato, questo diritto rischia di diventare puramente nominale, perché il tempo per la contestazione è scarso, la trasparenza dell’algoritmo è limitata, e la responsabilità è diffusa al punto da non essere più attribuibile a nessuno in particolare.
Secondo rischio: l’opacità e la dissoluzione della responsabilità clinica
Il secondo rischio riguarda la catena della responsabilità. In medicina, tradizionalmente, il medico risponde delle proprie decisioni. Può essere chiamato a spiegare perché ha scelto una terapia piuttosto che un’altra, perché ha interpretato un esame in un certo modo, perché ha deciso di non seguire un protocollo. La responsabilità non è un optional: è il fondamento della fiducia nella relazione terapeutica. Il paziente si affida al medico non solo perché il medico sa più di lui, ma perché il medico è disposto a rispondere delle proprie scelte. Questa responsabilità è personale, non solo formale: implica coscienza, giudizio, capacità di riconoscere l’errore e di ripararlo.
L’IA, però, complica radicalmente questo quadro. Un sistema di deep learning che fornisce una raccomandazione diagnostica, ad esempio, l’identificazione di un nodulo polmonare sospetto in una TC toracica, o la segmentazione automatica di una lesione cerebrale in una risonanza magnetica, opera spesso in modalità “scatola nera”. Produce un output, ma non è in grado di spiegare i passaggi che hanno portato a quella conclusione. Le reti neurali profonde, soprattutto nei modelli di grandi dimensioni, sono caratterizzate da ciò che gli esperti chiamano “opacità epistemica”: non solo l’utente finale non comprende il ragionamento, ma spesso nemmeno gli sviluppatori possono ricostruire in modo deterministico perché un determinato input ha prodotto un determinato output. Il medico si trova così in una posizione paradossale: se segue la raccomandazione, non può veramente spiegare perché; se la rifiuta, deve avere argomenti per farlo, ma spesso non dispone di informazioni sufficienti sull’affidabilità del modello in quel specifico contesto, su quella particolare macchina, su quella popolazione di pazienti, con quella prevalenza di malattia.
L’Enciclica affronta questo problema con chiarezza. “In molti casi, i processi interni che conducono a un risultato possono essere poco trasparenti, e ciò rende più difficile attribuire responsabilità e correggere gli errori. È qui che diventa decisivo ciò che chiamiamo accountability: la possibilità di identificare chi deve ‘rendere conto’ delle decisioni, motivarle, controllarle e, quando necessario, contestarle e rimediare ai danni che ne derivano” (n. 105). Il punto non è solo tecnico, ma istituzionale. Anche disponendo di tecniche di explainable AI (XAI), metodi che tentano di rendere interpretabili i modelli di deep learning – la loro integrazione nei flussi decisionali clinici è ancora embrionale. In molti ospedali, gli algoritmi vengono adottati senza che i clinici siano formati a interpretarne i limiti, senza che esistano protocolli per la contestazione delle raccomandazioni algoritmiche, senza che sia chiaro chi sia responsabile quando un errore dell’algoritmo causa un danno. Lo sviluppatore del software? Il medico che ha seguito la raccomandazione? L’ospedale che ha acquistato il sistema senza adeguata validazione? Il responsabile della data governance che ha fornito i dati di addestramento? In assenza di un quadro normativo chiaro, la responsabilità si dissolve, e con essa la possibilità per il paziente di ottenere giustizia.
L’Enciclica richiama un principio che dovrebbe essere ovvio ma non lo è: “La scelta di impiegare decisioni che incidono sulla vita delle persone non può essere delegata a processi opachi o automatizzati, ma deve restare sotto un controllo umano effettivo, consapevole e responsabile” (n. 200). In medicina, questo significa che il medico non può diventare un semplice esecutore di output algoritmici. Deve rimanere il garante ultimo della decisione, con tutto il peso della responsabilità che questo comporta – e con tutto il diritto di accedere alle informazioni necessarie per esercitare questa responsabilità. Significa anche che gli algoritmi utilizzati in contesti clinici devono essere sottoposti a requisiti di trasparenza e verificabilità che vanno oltre la semplice certificazione di sicurezza. Un algoritmo che non può essere auditato da terze parti indipendenti, che non rende accessibili i propri dati di addestramento e i propri criteri di ottimizzazione, che non fornisce spiegazioni comprensibili per le proprie raccomandazioni, non dovrebbe essere impiegato in medicina, indipendentemente dalla sua accuratezza tecnica.
Terzo rischio: la nuova disuguaglianza terapeutica
Il terzo rischio, sistemico e in gran parte inesplorato, riguarda l’equità. L’IA in medicina non è neutrale nemmeno dal punto di vista distributivo. I modelli più avanzati richiedono grandi quantità di dati di addestramento, infrastrutture di calcolo costose (spesso basate su unità di elaborazione grafica di ultima generazione), competenze specialistiche che sono concentrate quasi esclusivamente nei paesi ad alto reddito e in pochi centri di eccellenza accademica o industriale. Il risultato è un divario che rischia di ampliarsi anziché ridursi. Chi ha accesso a sistemi sanitari ricchi, tipicamente nei paesi del Nord globale e nelle aree urbane dei paesi emergenti, beneficerà di diagnosi più precoci grazie a algoritmi di screening, di terapie più personalizzate grazie a sistemi di supporto decisionale, di gestione più efficiente delle cronicità grazie a dispositivi di monitoraggio continuo. Chi vive in contesti poveri, come aree rurali, paesi a basso reddito, periferie urbane degradate, rimarrà escluso, o peggio, sarà oggetto di algoritmi sviluppati altrove che non tengono conto delle specificità locali, delle differenze epidemiologiche, delle diverse disponibilità di risorse diagnostiche e terapeutiche.
L’Enciclica denuncia questa dinamica con parole che sembrano scritte per la sanità globale. “Interi territori, soprattutto quelli con minore rilevanza geopolitica e maggiore fragilità strutturale, vengono al presente attraversati da una nuova logica di estrazione: quella di flussi sanitari, profili epidemiologici, mappe genetiche e dati demografici. Sono queste le nuove ‘terre rare’ del potere: informazioni vitali che, una volta correlate, possono essere usate per addestrare modelli predittivi, guidare strategie di investimento, anticipare le crisi e soprattutto selezionare chi e che cosa conta” (n. 178). È esattamente ciò che accade quando una grande azienda tecnologica raccoglie dati sanitari in Africa o in Asia, attraverso app gratuite, dispositivi indossabili, partnership con enti di ricerca locali, per addestrare i propri modelli, per poi vendere i servizi derivanti a prezzi inaccessibili per le popolazioni che quei dati hanno fornito. I dati vengono estratti, elaborati altrove, trasformati in algoritmi proprietari, e infine commercializzati. Le popolazioni che hanno contribuito alla conoscenza rimangono escluse dai benefici, o vi accedono in condizioni di dipendenza tecnologica e finanziaria.
L’Enciclica è chiara sulla direzione da prendere: “Trasformare la conoscenza condivisa in bene comune, non in leva di dominio; restituire ai popoli non solo i dati che li descrivono, ma anche la possibilità di decidere come verranno usati, da chi e per chi. Altrimenti, l’era digitale non sarà post-coloniale, ma coloniale sotto altra forma” (n. 178). In termini concreti, per la sanità globale ciò implica almeno tre ordini di intervento. Il primo è la creazione di infrastrutture di dati pubbliche e trasparenti, in cui i dati sanitari vengano gestiti come beni comuni e non come merci da privatizzare. Il secondo è il trasferimento di competenze e capacità computazionale verso i paesi a basso reddito, perché possano sviluppare i propri modelli a partire dai propri dati, senza dipendere da fornitori esterni. Il terzo è la definizione di meccanismi di licenza equi per i software e gli algoritmi di utilità sanitaria essenziale, sul modello di quanto già avviene per i farmaci essenziali o per i vaccini in situazioni pandemiche. Non si tratta di ostacolare l’innovazione, ma di garantirne una distribuzione più giusta.
La risposta dell’Enciclica: il principio di destinazione universale applicato alla sanità digitale
La risposta dell’Enciclica a questi tre rischi, riduzione del paziente a profilo, opacità della responsabilità, nuova disuguaglianza, non è un generico appello etico, ma un principio operativo preciso: la destinazione universale dei beni (nn. 65-67). Tradizionalmente applicato ai beni materiali, cioè la terra, l’acqua, le risorse naturali, Leone XIV lo estende esplicitamente ai beni immateriali della società digitale: algoritmi, piattaforme, infrastrutture tecnologiche, dati. In medicina, ciò ha conseguenze radicali che andrebbero discusse apertamente nelle sedi appropriate, dalla Conferenza Stato-Regioni alle società scientifiche fino agli ordini professionali.
Un algoritmo diagnostico addestrato su dati raccolti da milioni di pazienti, spesso attraverso il sistema sanitario pubblico, spesso con finanziamenti pubblici, spesso sulla base di consensi informati che i pazienti hanno fornito senza comprendere appieno l’uso commerciale che sarebbe stato fatto dei loro dati, non dovrebbe essere proprietà esclusiva di chi ha finanziato lo sviluppo, né dovrebbe essere accessibile solo a chi può pagare licenze costose. I dati sanitari, per loro natura, hanno una forte componente di bene comune. Vengono prodotti dall’interazione tra pazienti, medici, istituzioni pubbliche. La loro raccolta è spesso resa possibile da investimenti pubblici in infrastrutture sanitarie e di ricerca. Che poi vengano privatizzati e trasformati in merce è una scelta politica, non una necessità tecnica. E come tutte le scelte politiche, può essere discussa, modificata, rovesciata.
L’Enciclica non propone soluzioni astratte, ma indica una direzione: modelli di governance dei dati alternativi a quelli proprietari. Dati come beni comuni, infrastrutture aperte e verificabili, forme di proprietà collettiva o cooperativa, sistemi di data trust che restituiscano agli utenti il controllo sulle proprie informazioni. In sanità, ciò significa sostenere la creazione di data cooperatives in cui i pazienti mantengono il controllo sui propri dati clinici e decidono collettivamente come utilizzarli. Significa promuovere piattaforme open source per lo sviluppo di algoritmi diagnostici, in modo che il codice sia trasparente, verificabile e riutilizzabile. Significa definire meccanismi di licenza obbligatoria per gli algoritmi di utilità sanitaria essenziale, sul modello di quanto già previsto per i brevetti farmaceutici in situazioni di emergenza sanitaria. Significa, infine, investire nella creazione di infrastrutture pubbliche di calcolo e formazione, perché i paesi a basso e medio reddito possano sviluppare le proprie capacità senza dipendere dai fornitori del Nord globale.
Prepararsi, non subire: verso una governance consapevole dell’IA in medicina
La lezione dell’Enciclica per la medicina italiana ed europea è che non possiamo limitarci a subire l’innovazione algoritmica, come se fosse un destino ineluttabile davanti al quale siamo impotenti. Dobbiamo prepararci a governarla. Così come la sorveglianza epidemiologica non può limitarsi a inseguire i casi clinici ma deve anticipare i rischi attraverso il monitoraggio ambientale e l’analisi dei determinanti sociali, così la regolamentazione dell’IA in medicina non può limitarsi a valutare la sicurezza tecnica dei dispositivi, i cosiddetti “rischi di primo livello”, come l’accuratezza diagnostica o la sicurezza elettrica, ma deve affrontare i rischi sistemici: la riduzione del paziente a profilo statistico, l’opacità della responsabilità clinica, la nuova disuguaglianza nell’accesso alle cure.
Questo richiede un cambiamento culturale profondo, che coinvolge tutti gli attori del sistema sanitario. Richiede che i clinici vengano formati non solo all’uso tecnico degli strumenti di IA, ma al discernimento critico, alla consapevolezza dei limiti e dei rischi, alla capacità di contestare una raccomandazione algoritmica quando la situazione clinica lo richiede. Richiede che i direttori sanitari e i responsabili dell’innovazione adottino criteri di acquisto che includano esplicitamente requisiti di trasparenza, spiegabilità, auditabilità, non solo di performance tecnica. Richiede che i regolatori, dall’Agenzia Italiana del Farmaco (AIFA) all’Agenzia per l’Innovazione nel Settore Sanitario (AISS) fino all’European Medicines Agency (EMA) e alla Food and Drug Administration (FDA), sviluppino quadri normativi specifici per l’IA in medicina, che vadano oltre i tradizionali processi di certificazione dei dispositivi medici e tengano conto delle specificità degli algoritmi di apprendimento automatico. Richiede, infine, che i pazienti e le loro associazioni vengano coinvolti nei processi decisionali che riguardano l’adozione dell’IA in sanità, perché nessuna innovazione tecnologica può essere considerata eticamente accettabile se non tiene conto del punto di vista di chi la subisce.
L’Enciclica Magnifica Humanitas ci ricorda che la tecnologia non è mai moralmente neutra, e che in medicina questa non-neutralità tocca il cuore stesso della relazione di cura. Non si tratta di rifiutare l’innovazione, sarebbe irrealistico e dannoso, oltre che contrario allo spirito del documento che più volte ribadisce il valore della tecnica come “fatto profondamente umano” (n. 5), ma di smettere di trattare l’IA come se fosse semplicemente uno strumento più efficiente per fare le stesse cose. L’IA cambia ciò che significa fare diagnosi, ciò che significa curare, ciò che significa essere responsabili di una decisione clinica. Cambia la relazione tra medico e paziente, tra paziente e i propri dati, tra sistema sanitario e territorio. Cambia, in ultima istanza, ciò che intendiamo per “cura”. E se non lo riconosciamo esplicitamente, se non costruiamo sistemi di governance adeguati, se non formiamo i clinici a un uso critico e consapevole, se non coinvolgiamo i pazienti nelle decisioni che li riguardano, allora il rischio non è che l’IA sbagli, il rischio è che dimentichiamo che tipo di atto sia la medicina. Un atto che, prima ancora di essere tecnico, è profondamente umano.
Francesco Branda
Unità di Statistica Medica ed Epidemiologia Molecolare, Università Campus Bio-Medico di Roma
