Chatbot-IA al paziente, con voce del medico, e senza consenso informato ?

 

Care colleghe e cari colleghi

vi scrivo sotto prima la sintesi di un notizia pubblicata mesi fa sul NYT in merito ad un esperimento avanzato di uso di chatbot LLM collegati alla Intelligenza Artificiale in medicina ed in fine un mio breve commento

I) "Quel messaggio del tuo medico? Potrebbe essere stato redatto da un'Intelligenza Artificiale (IA)"

Fonte da cui ho ricavato una sintesi : That Message From Your Doctor? It May Have Been Drafted by A.I. - The New York Times

di Teddy Rosenbluth

MyChart (della Epic system Corporation), il software e portale per pazienti ampiamente utilizzato, ora dispone di uno strumento basato sull'intelligenza artificiale che i medici possono utilizzare per scrivere messaggi ai propri pazienti. Ogni giorno, i pazienti inviano migliaia di messaggi ai propri medici tramite MyChart. I pazienti descrivono il loro sintomi  confidando che vi sia il loro medico dall'altra parte e che egli dia loro consigli. Ma i pazienti in genere non sanno che la risposta viene pre-confezionata da un sistema di di IA.

Come funziona MyChart?  Invece di iniziare la relazione con il paziente via chat  con una schermata vuota, il medico vede una risposta generata automaticamente in merito alla  domanda del paziente. La risposta deriva  da  una versione di GPT-4 (la tecnologia alla base di ChatGPT)

Vi e' da aggiungere che il tool MyChart, prima di fornire la risposta, preleva dalla cartella computerizzata del medico precedenti informazioni mediche e la lista dei farmaci registrata sulla cartella computerizzata.

Insomma sempre più spesso le risposte a questi messaggi non vengono scritte dal medico, almeno non del tutto. Circa 15.000 medici e assistenti in oltre 150 sistemi sanitari USA utilizzano la nuova funzionalità di intelligenza artificiale di MyChart per elaborare le risposte a tali messaggi.

In alcuni centri, oltre agli ospedalieri, MyChart può essere usato da MMG, farmacisti, infermieri.

In alcune interviste, i funzionari di diversi sistemi sanitari che utilizzano lo strumento MyChart hanno ammesso di non rivelare ai pazienti che i messaggi contengono contenuti generati dall'intelligenza artificiale. Quindi molti pazienti che ricevono queste risposte non hanno idea che siano state scritte con l'ausilio dell'intelligenza artificiale; ne' ovviamente hanno dato un consenso informato

Altri sistemi appongono un avviso  in fondo al messaggio, in cui chiariscono che la risposta e' confezionata dal sistema di IA e quindi poi supervisionata dai medici. “Non vedo personalmente nessuna contro-indicazione ad essere trasparenti ” ha dichiarato il Dr. Christopher Longhurst, il direttore sanitario dell'UC San Diego Health"

Ma , secondo altri decisori e manager,  dichiarare ai pazienti che il messaggio ha un contenuto di I.A.  potrebbe far sottovalutare la consulenza clinica, anche se è stata approvata dai loro medici.

Inoltre altri sistemi — ad es gli Stanford Health Care, U.W. Health, U.N.C. Health and N.Y.U. Langone Health — hanno deciso che l'essere trasparenti e chiedere il consenso informato avrebbero prodotto nei pazienti più danni che benefici. Questi amministratori sono preoccupati per due elementi: a) che l'inserimento dell'avviso possa divenire una scusa per inviare , da parte del medico, messaggi senza un'approfondita valutazione; b) che, dopo questo avviso esplicito ai pazienti, i messaggi di ritorno, sebbene supervisionati dal medico, possano sminuire il consiglio medico

Vi è un'  assenza di rigide regole governative e di direttive etiche:  ciò permette ad  ogni diverso sistema sanitario di decidere come valutare  la sicurezza dello strumento e se informare o meno  i pazienti sul suo utilizzo.

La tendenza verso l'uso di MyChart preoccupa alcuni esperti che temono che i medici potrebbero non essere abbastanza vigili da individuare errori potenzialmente pericolosi nei messaggi di rilevanza medica redatti dall’intelligenza artificiale.

Ed in effetti MyChart non è immune da errori e dalle tipiche "allucinazioni" di questi chatbot  LLM .

Il Dr. Vinay Reddy, un medico di famiglia della organizzazione UNC health,  ha citato un caso in cui in cui il paziente chiedeva se aveva bisogno di vaccino per la B. Il sistema di IA  ha con sicurezza risposto che il paziente aveva ricevuto il vaccino e aveva fornito le date delle dosi del vaccino e dei richiami. Ciò era completamente falso e l'errore dipendeva dal fatto che il sistema di IA non aveva accesso alla parte di database riguardante i vaccini.

I medici che hanno rivisto sistematicamente le risposte di MyChart hanno riscontrato errori nel 7% dei casi.

E ciò che è più allarmante è il riscontro che circa un terzo delle risposte sono arrivate ai pazienti senza alcuna correzione , nemmeno formale, da parte dei medici. Cresce un sospetto: magari per mancanza di tempo alcuni medici non hanno supervisionato le risposte automatiche e le hanno fatte fluire, intatte, verso i pazienti

Ciò che è ulteriormente preoccupante è che vi è stato un progetto avanzato per far in modo che lo strumento possa essere configurato per far dettare la risposta scritta dal chatbot  con la voce, clonata, del singolo medico; ma il progetto ha incontrato resistenze da parte degli stessi medici

Al di là delle questioni di sicurezza e mancata trasparenza , alcuni bioeticisti hanno manifestato una importante preoccupazione : " è proprio questa la IA che vogliamo usare in medicina?

Daniel Schiff, co-direttore del Governance and Responsabile dell'IA Lab presso la Purdue University è preoccupato. Questo tipo di Intelligenza Artificiale sembra intrufolarsi nei sempre meno frequenti momenti in cui pazienti e medici potrebbero effettivamente comunicare tra loro direttamente, in prossimità. "Anche se fosse impeccabile, vorresti automatizzare uno dei pochi modi in cui interagiamo ancora tra di noi? "

II) Miei brevi Commenti ( di Francesco Del Zotti)

La comunicazione elettronica ed i suoi prodotti più avanzati (la IA) lasciati senza briglia possono rovinare per sempre la Medicina Ippocratica , praticata da noi medici da 2400 anni.

Rileggendo quanto sopra descritto la cosa più incredibile è notare come i manager e gli ingegneri che architettano tale stravolgente sistema sembrano vedere come un ostacolo il dire la verità al paziente ( si sta usando un chatbot al posto del medico; e non lo si dice al paziente) . Si sminuisce così il peso del Consenso Informato, che,invece, a mio parere, dovrebbe diventare sempre più centrale in medicina, visti questi straordinari stravolgimenti. Nello stesso tempo i responsabili dei cambiamenti, consci della continua importanza di un rapporto personalizzato, non si stanno facendo scrupolo nel provare a trasformare il testo automatizzato in voce clonata del medico, magari non avvertito di ciò.

Grave mi sembra poi il fatto che alcuni medici, presi negli ingranaggi degli automatismi e del risparmiare tempo ( una riproposizione per medici di "Tempi Moderni" di Chaplin) potrebbero inviare un terzo dei messaggi senza nemmeno visionarli.

Quanto poi alle allucinazioni ed errori dei chatbot LLM, si ribadisce una notizia ben nota.

Qualcuno potrebbe obbiettare: ma anche i medici commettono errori. Qui ci sovviene l'ultima frase illuminante dell'articolo: "Anche se fosse impeccabile, vorresti automatizzare uno dei pochi modi in cui interagiamo ancora tra di noi? " .

Sono convinto che, anche dopo la IA, i pazienti ed i medici vogliano essere loro ad assumersi la responsabilità della verità errori e della responsabilità interpersonale e gestionale degli atti medici. Aristotele insegna: gli uomini sono per scelta animali sociali e nessuna macchina potrà sostituire questo anelito.