I dati mancanti: riflessione dopo lettura del Libro di David Hand sui Dark data

 In questi giorni stiamo terminando un Netaudit su una patologia con piccoli numeri. 

Vi sono colleghi che hanno aderito all'audit ma poi non hanno riempito il form sui totali.

Questi colleghi non hanno avuto tempo o hanno ZERO casi? 

Capite che la differenza tra le due situazioni e' grande e decisiva.  Ed a fagiolo è giunta negli stessi giorni la lettura dell'ultimo libro dello statistico britannico Prof David Hand (Il tradimento dei numeri. I dark data e l'arte di nascondere la verità - Rizzoli 2019) in cui si cita l'esempio di un Audit sui traumi con più di di 160 mila casi, di cui 19 mila con esito sconosciuto. Secondo Hand in questo "Big Data" l' 11% di esiti sconosciuti può inficiare del tutto le conclusioni sulla gestione dei traumi (leggete sotto, nel Post-scritpum, alcuni suoi illuminanti passaggi)  e in genere sulla utilità dei tanto decantati Big Data.

Vi e' un messaggio nell'ultima frase che sembra diretto a noi cultori di Netaudit che in genere coinvolgono  poche decine di MMG:  "i problemi dei dark data non riguardano esclusivamente i big data, ma possono emergere anche con piccoli dataset (« collezioni di dati»)"

Nel nostro caso, abbiamo da valutare un Audit con una decina di MMG aderenti. La piccolezza e' limitante, ma quantomeno da' la possibilità di telefonare ai pochi MMG che non hanno inviato dati per sapere se il non-invio equivale o no a "zero casi"

saluti, Francesco  Del Zotti - Direttore di Netaudit

********************************

PS

alcuni passaggi tratti da libro del Prof David Hand (Il tradimento dei numeri. I dark data e l'arte di nascondere la verità ) 

Il database della Rete per la ricerca e la valutazione dei traumi (o TARN, dall’inglese Trauma Audit and Research Network) è la più grande banca dati europea sui traumi medici... 

......Il dottor Evgeny Mirkes e i suoi colleghi dell’Università di Leicester, nel Regno Unito, hanno analizzato alcuni dati di questo database.  Tra i 165.559 casi di trauma da loro esaminati, ne hanno trovati 19.289 con esiti sconosciuti. 

Nella ricerca traumatologica, conoscere l’« esito» significa sapere se il paziente è sopravvissuto o no per almeno trenta giorni dopo aver subito il trauma; pertanto, per oltre l’11 per cento dei pazienti, la sopravvivenza a trenta giorni dall’evento era un dato sconosciuto. 

...Questo esempio illustra una forma comune di dark data, i nostri DD-Tipo 1: Dati di cui conosciamo la mancanza. 

...Sappiamo che questi pazienti devono aver avuto un qualche esito, solo che non sappiamo quale. «E che problema c’è?» starete forse pensando: accontentiamoci di analizzare i 146.270 pazienti per i quali conosciamo l’esito, e basiamo la nostra comprensione e le nostre prognosi su quelli. In fin dei conti, 146.270 è un gran numero (nel campo della medicina, può essere considerato come big data) e possiamo quindi essere sicuri che le conclusioni basate su questi dati saranno corrette. Ma possiamo esserlo davvero? Forse i 19.289 casi mancanti sono profondamente diversi dagli altri. Dopotutto, sono senza dubbio diversi per il fatto di aver avuto esiti sconosciuti, e non è quindi irragionevole sospettare che potrebbero differire anche sotto altri aspetti. Di conseguenza, ogni analisi dei 146.370 pazienti con esiti noti potrebbe risultare fuorviante in rapporto alla popolazione generale di chi ha subito un trauma. Pertanto, le azioni prese sulla base di tale analisi potrebbero rivelarsi sbagliate, conducendo magari a prognosi erronee, prescrizioni scorrette e regimi di trattamento inadeguati, con conseguenze negative –se non addirittura fatali –per i pazienti....

..... Intanto, l’insegnamento di questa storia –che di fatto, con una buona approssimazione, può essere quello dell’intero libro –è che le cose potrebbero non essere come sembrano: anche se avere a disposizione un sacco di dati, i cosiddetti big data, è certamente utile, le dimensioni non sono tutto, e quello che non sappiamo, ovvero i dati che non abbiamo, potrebbe essere ancora più importante, per comprendere la situazione, di quanto non lo siano i dati in nostro possesso. 

In ogni caso, come vedremo, i problemi dei dark data non riguardano esclusivamente i big data, ma possono emergere anche con piccoli dataset (« collezioni di dati»): in altre parole, sono onnipresenti. 

Oltre gli Audit del MMG singolo attore: verso i Netaudit arcobaleno

 Nel condurre i Netaudit  ci accorgiamo varie volte che per l'identificazione dei casi (case finding), in valutazione retrospettiva,  dobbiamo appoggiarci alle nostre cartelle computerizzate ed in particolare a loro sistemi di classificazione (in genere l'ICD9)   che mancano di alcune voci. Così è successo nel nostro netaudit sull'ematuria macroscopica. Nei vari soft di cartella computerizzate vige una versione dell'icd9 che prevede una unica voce per l'ematuria, sia essa la comune ematuria microscopica per la più seria ematuria macroscopica

Ecco che i nostro Audit in MG indirettamente  stimolano un Audit *esterno* sulla qualità dei sistemi di classificazione nei vari soft di cartella;  e possono dare suggerimenti agli informatici ed ingegneri delle softwarehouse.

In un altro Netaudit, indagando sulla gestione della crisi di gotta, ci siamo resi conto che e' raro che nei Pronto soccorso e nelle visite reumatologiche  sia praticato l'analisi dell'aspirato del liquido sinoviale, ove e' possibile trovare i patognomonici cristalli. Questo nostro riscontro potrebbe  stimolare un *audit esterno* sul modo di gestire la richiesta questo  esame da parte dei colleghi ospedalieri. 

Insomma sempre più andremo verso una catena di netaudit ( interni ed esterni alla MG). Vari attori possono e devono effettuare audit, sia per decisione interna, sia per sollecitazione da parte di gruppi di medici che pratichino i loro Netaudit  .

E la MG può essere protagonista di questo nuovo scenario di audit nei diversi gruppi medici  e inter-professionali. Insomma proponiamo una United Colours dei Netaudit

Francesco  Del Zotti

©  www.netaudit.org ( si può re-indirizzare il pezzo purché lo si citi integralmente e si riferisca la fonte)

P4P: farsi pagare o no per i Patti di ULS ? Quanto sono *audit* i patti?

a cura di Francesco Del Zotti - direttore di Netaudit

(con il contributo dei seguenti membri di Netaudit: Mario Baruchello, Marcello Mangione, Diego Sabbi, Lidia Tondi, Renato Tulino, Alberto Vaona)

6 maggio 2012

Leggiamo dal sito del principale sindacato una mozione del 14 aprile in cui si dichiara

 **
Il Consiglio Nazionale della FIMMG

RIBADISCE

la posizione già assunta nel Consiglio Nazionale del 12 e 13 Dicembre 2008 in materia di accordi che prevedano incentivi economici per il contenimento della spesa farmaceutica. Tali accordi devono essere finalizzati al miglioramento dell’assistenza basato sull’appropriatezza d’uso dei farmaci, con l’obiettivo di raggiungere più elevati standard di qualità, ritenendo lesivi accordi che prevedano incentivi economici su base individuale.**



Questa dichiarazione nasce da una giusta preoccupazione: evitare che i Patti prevedano dietro al paravento della parola d'ordine della *razionalizzazione* la criticabile realtà del razionamento.

Se ad esempio un Patto ULS prevedesse una riduzione di uso delle statine sic et simpliciter (e ahime qui e lì questo è successo, soprattuto nell'epoca precedente alle statine generiche) ci troveremmo in una situazione di pericolo per la collettività e di grave conflitto deonotologico per i medici di medicina generale incentivati.

Però, cosa si potrebbe dire di Patti in cui il singolo MMG sia premiato per la CONTINUITA' dell'uso delle statine generiche ( e quindi per l'aumento di uso di statine)? In alcune USL italiane il patto prevede proprio questo incentivo. E ,tra l'altro, la presenza della Nota delle statine garantisce che questa continuità di cura riguardi solo pazienti con medio-alto rischio, e non cittadini a basso rischio. Che differenze vi sarebbero tra questi incentivi in qualche modo legati all'appropriatezza e il sistema del P4P (Pay for Performance) che si sta affermando in vari sistemi del nord-europa? Certo, il sistema P4P non è immune da critiche, ma è una realtà della medicina generale internazionale che Non si può liquidare velocemente (si veda a questo proposito l'articolo del prof Maciocco su saluteinternazionale:

Quanto poi alla discutibilità deontologica di dare un incentivo individuale al MMG che segue indicatori misti di appropriatezza-risparmio, bisogna ricordare che in qualche modo cio avviene già nella MG italiana: il MMg viene ad esempio pagato per ogni *visita domiciliare* per pazienti non-ambulabili, proprio perche le usl ed i sindacati della MG condividono un obiettivo in qualche modo riconducibile al risparmio: più il MMG segue a casa il paziente fragile piu ricoveri inappropriati (molto piu costosi di quanto costa alla USl l'incentivo per le visite) si evitano. E,d'altra parte, ai rischi etici di un Patto bisogna anche contrapporre il rischio etico di OMETTERE patti. Questa omissione potrebbe far sopravvivere sacche di inefficienze, di sprechi e di dominio quasi ideologico del mercato cosi come e' , con MMG a rischio di complicita.

Qualcuno potrebbe a questo punto dire che non e' etico fornire incentivi ai singoli MG, per obiettivi tutto sommato *facili*. Qui possiamo controbattere che ogni obiettivo comporta lavoro supplementare.
Se ad esempio si decide di premiare il passaggio da IPP di ultima generazione a quelli precedenti,genericati (spesso di uguale efficacia) , allora dovremo sapere che il MMG dovra passare dalla comoda continuita di cura garantita dall'ultimo farmaco griffato alle difficolta e al tempo da perdere per gestire la stessa continuita attraverso una lettura e rilettura della lista di trasparenza; della messa in atto di un'educazione sanitaria sui farmaci e sui generici ai pazienti e ai loro care-giver; dall'impiego di self-audit e statistiche per vedere il prima-dopo dell'indicatore.

In Italia in questi anni abbiamo assistito a svariati *patti*, piu o meno evoluti, con qualche punta in basso di patti orientati al mero risparmio e con qualche esempio positivo in cui le risorse risparmiate non servivano solo a dare contributi individuali ai MMG o fondi da destinare ad altri comparti della sanita, ma venivano almeno in parte destinati a progetti professionalizzati utili al potenziamento della MG nel suo complesso.
Giunti a questo punto, ci chiediamo quali possono essere dei criteri per distingure sistemi di Patti e P4P corretti, rispetto a quelli orientati al semplice risparmio? Eccone una serie:

A) I patti tra USL e MMG sull'appropriatezza devono coinvolgere non tanto e non solo i singoli MMG in contratti esclusivamente individuali, ma l'intero gruppo in un' operazione il piu vicino possibile all'Audit. La mera distribuzione di benefici individuali ai singoli MMg non deve mai costruirsi separata dal potenziamento del personale, strumenti strutture e funzioni della Medicina generale, secondo un'ottica riconosciuta internazionalmente (OMS; Wonca).

B) la struttura informatica dei Patti deve superare il cartaceo e fondarsi su un'architettura di Basi di dati informatici in cui non via sia un forte dislivello tra i concentratori di dati pubblici ( con i conseguenti rischi per la concentrazione del poteri e per la privacy) e forti vincoli informatici ai singoli MMG, visti magari come servi dei server pubblici. Bisognerebbe incoraggiare i team dei MMg e gruppi di MMG ancora piu vasti a gestire in proprio database orizzontali, che poi dialoghino in maniera paritaria con i server delle ULS, Regioni, Cineca.

C) i patti non devono basarsi su voci orientate al solo risparmio, separato o addirittura in contrasto con lo sviluppo della MG o con la salute della gente. I Patti devono promuovere Indicatori, soprattutto i processo, in cui si coniughi, sempre, all'eventuale risparmio l'appropriatezza.
I finanziamenti alla MG non devono essere vincolati solo a quelli che sono i risultati quantitativi dei patti locali; il non pieno raggiungimento degli obeittivi di patto non puo essere un alibi per regioni e usl rispetto al loro dovere di fornire finalmente alla MG e alla medicina extra-ospedaliera le risorse di cui ormai gode gran parte dei Paesi della vecchia e nuova Europa. I patti sono solo una modalita supplementare di trovare risorse per la MG.

D) i Patti devono prendere in considerazione non solo Indicatori legati ad emergenti costi, ma anche se non soprattutto Indicatori legati a importanti questioni sanitarie emergenti.

E) il Patto con i MMG deve contenere una proporzione significativa di Indicatori di Appropriatezza la cui implementazione richiede maggiori risorse (ad es l'uso CONTINUO delle statine, nei pazienti a rischio)

F) il sistema Non deve basarsi su un solo comparto ( i farmaci, ad es), ma contenere Indicatori che vadano a coprire l'intera estensione dell'appropriatezza . Facciamo l'esempio dell'asma: si puo anche incoraggiare un uso appropriato dei farmaci (ad esempio evitare le ultime associazioni fisse, negli stadi di asma più lievi), ma sarebbe opportuno abbinare alcuni importanti indicatori di processo ( fumo in cartella; fev1 e Vems con valori numerici e relative percentuali rispetto a valori di riferimento; stadio di malattia; ecc , ecc)

G) i Patti devono ricavare risorse per Indicatori non strettamnte quantiativi, ma di grande importanza: ad esempio quelli legati all'educazione sanitaria o quelli legati al tempo da dedicare alla Comunicazione con i pazienti e loro caregiver (si veda ad esempio: il disagio psicosociale; i pazienti fragili; lo spazio da dedicare a colloqui dedicati prima di decisioni riguardanti strategie terapuetiche oncologiche o eventuali interventi chirurgici<). H) il monte-incentivi deve prevedere sia una parte ai singoli MMG, basato sulla singola prestazione appropriata, sino ad un tetto; ma anche, dall'altra parte, un'importante base per il potenziamento della MG tutta, in un'Italia piuttosto sottofinanziata, rispetto al resto di europa: un incremento di risorse per il GRUPPO dei MMG ( ad es. piu personale o strumenti, magari da condividere in gruppo o in Team), da dedicare tra l'altro a componenti del patto professionalizzanti ( facciamo due esempi: I) gestione integrale nella MG , graduale e controllata, della TAO con dicumarolici o con nuove terapie anticoagualanti; II) gestione integrale nella MG , graduale e controllata, del diabete di tipo II, sia per il suo monitoraggio educativo e clinico-laboratoristico, sia di vecchi e nuovi faramci orali).

I) i PATTI, pur non essendo sperimentazioni simili a quelle con farmaci, contengono sia una componente innovativa sia una componente etico-relazionale, che meritano il vaglio di Commissioni etiche o gia esistenti o ad Hoc, commissioni in cui sia presente anche la rappresentanza dei cittadini. Ma al di la di cio, il punto piu importante e' un altro: quanto risulta alla luce del
sole il patto tra medici e autorita pubbliche. In effetti, se i Patti sono costruiti in una zona d'ombra, con i cittadini ignari, allora sia i MMG sia i medici funzionari delle USL e regioni scivolerebbero velocemente verso gravi rischi etici e conflitti di interesse. Se invece il Patto si basa realmente su tre protagonisti (MMG, ULS; cittadini singolo o in grupppo), si fonda sull'appropriatezza e se infine distribuisce risorse anche per nuovi e utili servizi per la cittadinanza, allora diventerà un volano virtuoso di una medicina generale ed extra-ospedaliera di qualità


Insomma, gli incentivi del Pay per Performance e dei Patti non sono l'unica panacea, ma nello stesso tempo il loro uso controllato ed accorto non puo essere sottovalutato: essi possono essere tra i mezzi piu importanti per incoraggiare la qualità delle cure e le risorse professionali della MG italiana


Francesco Del Zotti
Direttore di Netaudit - 6 maggio 2012

Farmaci generici: Mappa mentale al servizio di Net-focus group

Iniziamo dal Marzo 2012 un nuovo servizio per i membri di Netaudit e per i medici di medicina generale italiani: una prima Mappa mentale, utile ai fini dello sviluppo di Focus-Netaudit sia nazionali sia locali.

Questa I mappa approfondisce in maniera *qualitativa* un argomento di grande impatto: analizziamo la prescrizione di qualità dei farmaci generici, sopratutto per pazienti fragili o cronici. Vedete sotto a questo post una mia mappa mentale sul tema (cliccateci su per vederla in dimensione allargata). Potete, inoltre, dare un'occhiata ad un servizio giornalistico sulla tematica, comparso due domeniche fa sul Corriere della Sera - salute , dal titolo *i dubbi dei farmaci generici al vaglio degli esperti*. . Vedete sia alcune interviste al Prof Caputi, al Prof Garattini e alla drssa Font, sia un 'untervista al sottoscritto: http://tinyurl.com/7egymnf

saluti, Francesco Del Zotti
Direttore di Netaudit

dall'Ebm alla NBM.. Medicina Basata sul Nascondiglio...

Oggi mi telefona un paziente moderno: ha eseguito le analisi e, godendo di un accesso online, ha scaricato il file elettronico dal sito del laboratorio. Mi telefona e mi comunica allarmato una PCR di 34.. Dopo mia ripetuta insistenza e dopo aver indossato delle lenti il paziente si accorge che sul monitor tra il 3 ed il 4 vi e' una piccola virgola... Si moltiplicano pazienti con file immateriali,poco capaci pero di *girare* un file al medico o non organizzati alla stampa cartacea e ai pochi passi per mostrarla al medico... Speriamo ormai nella trasmissione telepatica dei risultati...

Ieri invece giunge in studio un paziente con l'ormai vincente CD, invece della *desueta* lastra radiografica... Mi accorgo di avere un fastidio crescente... Ad ogni Cd vi e' sempre qualche problema: o il CD si avvia dopo molti secondi o non si avvia per nulla o alla fine non vuole uscire dal suo nascondiglio... Negli ospedali le lastre su file elettronico stanno soppiantando totalmente le lastre...Peccato che pero durante il *giro* questi file del server ospedaliero magari non siano accessibili,visto che in corsia e nelle stanze non si è pensato di attrezzare i medici con PC portatili collegati alla rete... I carrelli erano scomodi, ma almeno avevano scomparti accessibili per le lastre; oggi invece bisogna solo sperare che i fantasmi nascosti nei CD o nei server appaiano,ben distinti e per miracolo, sui muri.... Ma i file della nuova medicina amano i nascondigli....

Francesco Del Zotti

Flop dell' FBI.. Immaginate cosa accadrà al Patient summary in Italia...

Vengo a sapere da colleghi della SIT ( Società Italiana di Telemedicina) che nemmeno l'FBI riesce a mettere a punto l'informatizzazione e messa Online di tutte le informazioni riservate riguardanti gli USA:

..Ben gli sta'... Quando uno stato vuole controllare *tutto* non puo non
sottoporsi al forte rischio del fallimento e del ridicolo... anche se lo Stato
si chiama USA.

Una cosa e' usare l'informatica per inviare piccole fotografie ( vedi ad es l'uso positivo del sito Istat per il censimento), un'altra e' voler registrare, in maniera sicura, istante per istante un film, lungo anni, dei dati di tutti i cittadini di uno Stato. La complessità della vita e' ben più al di la ' della forza di qualsiasi tecnologia.... Viene in mente la legge di indeterminazione di Heisenberg o l'assioma di Godel: o hai un crash o se riesci ad essere okey sulla completezza stai sicuro che ti sfuggira un'altra decisiva dimensione (l'accuratezza o sicurezza)...

In campo sanitario, l'eventuale successo con megacomputer e megasoftware nella completezza nella gestione di tutti i flussi ( cosa che vedo poco realistica, soprattutto in italia in recessione) la pagheremo non solo con la compromissione
della privacy ma anche e soprattutto con lo sconvolgimento di antiche professioni mediche.

Meglio avere un progetto 10 volte piu piccolo che massimalismi sconvolgenti, i quali rischiano di premiare alcuni furbi capaci di trasformare irrealistiche parole d'ordine in realisticissimi lauti guadagni a vantaggio di un esiguo gruppo di persone.


francesco del zotti

il sale ed ... il sapore tra i numeri

In questi giorni si discute di uno studio che ha fatto scalpore: da una metanalisi non emerge alcun consisternte dato a favore della riduzione del sale nell'alimentazione. Anzi, secondo questo lavoro,in alcuni casi (lo scompenso cardiaco) una riduzione drastica del sale potrebbe essere più nociva che benefica. Ciò è in disarmonia con seriose ed imponenti campagne statali e di società culturali mediche contro il sale nei cibi.

Come medici della persona e delle famiglie, sta a noi porre la massima attenzione affinchè i nostri messaggi, sull'onda di dati statistici ben..conditi ma mal fondati, causino un sicuro peggioramento della qualità della vita, con i suoi colori ..e sapori, a fronte di un suo allungamento-stiramento assai risicato o nullo.

Francesco Del Zotti

FONTE:
-American Journal of Hypertension advance online publication page (Free)
-Physician's First Watch coverage of a recent study questioning wisdom of dietary salt restriction (Free)- Published in Physician's First Watch July 6, 2011