1)E' vero che il calo delle assenze era gia' in atto da anni.

Brunetta e il metodo scientifico
di giulio zanella, 12 Settembre 2009 permalink stampa

L'Espresso ha pubblicato un'inchiesta sull'effetto Brunetta per la quale sono stato intervistato assieme ad altri ricercatori. Oggi il Ministro ha convocato una conferenza stampa (che si puo' riascoltare qui, ringrazio un gentilissimo lettore di nFA che me l'ha segnalata) nella quale tra le altre cose mi accusa di averlo criticato senza metodo scientifico. Replico brevemente su quello che mi riguarda direttamente.

    La loro [dell'Espresso, ndr] fonte per le critiche e' un giovane professore [che sarei io, ndr] che vive negli Stati Uniti e che e' l'unica voce critica. Dal mondo accademico italiano o dagli altri centri studi non e' venuta mai una critica né al questionario né al campione né all'espansione né ai dati statistici. Esiste un signore (legittimo) che fa il ricercatore negli Stati Uniti che non e' d'accordo. Ma, vedete, non e' d'accordo pero' non spiega perché non e' d'accordo.

Innanzitutto, signor Ministro, io vivo in Italia e scrivo dall'Italia. E questo c'e' scritto chiaramente nell'articolo dell'Espresso. Si tratta di un dettaglio, naturalmente, ma non vorrei che chi l'ascolta avesse l'impressione che certe critiche sono irrilevanti perché provengono da tanto lontano (gli Stati Uniti, addirittura) e da gente che non sa come vanno le cose in Italia e nella pubblica amministrazione. Io lo so benissimo. E sono pure dipendente pubblico.

Ma veniamo alla sostanza. La prima parte la prendo come un complimento troppo generoso: non credo proprio di essere l'unica voce critica. Il perché non sono d'accordo l'ho gia' spiegato ma evidentemente devo rispiegarlo. Non c'e problema. Sintetizzo (e non c'e' nulla di nuovo rispetto a quanto scritto su nFA quasi un anno fa http://www.noisefromamerika.org/index.php/articoli/1238 ).

IL PERCHe' e' QUESTO: le indagini mensili del Ministero per la pubblica amministrazione e l'innovazione non hanno valore scientifico (nel senso che non permettono di fare inferenza sul fenomeno di interesse, ossia la riduzione delle assenze nella Pubblica Amministrazione) perché si basano su un campione autoselezionato di amministrazioni che per quanto numeroso (50% dei dipendenti pubblici) e "corretto" dall'Istat in base ad alcune caratteristiche osservabili resta essenzialmente non casuale rispetto alla distribuzione delle assenze per malattia, che sara' osservabile solo dopo la pubblicazione del Conto Annuale della Ragioneria Generale. Punto.

Questo implica che Brunetta stia facendo il bluff? No. Implica che non si puo' inferire che le assenze si siano ridotte del 40% come reclamato dal Ministro. Questo ho detto. Chi ha orecchie aveva gia' inteso un anno fa. Come replica il Ministro? In conferenza stampa difende le proprie indagini affermando che

    La rilevazione statistica e' serissima e fatta insieme all'Istat. Riguarda la meta' di tutte le amministrazioni pubbliche. Quindi un campione che non e' piu' un campione perché quando un campione riguarda la meta' dell'universo non e' piu' neanche un campione. Il riporto all'universo e' stato fatto insieme all'Istat, la campionatura e' stata fatta insieme all'Istat, e il questionario e' stato fatto insieme all'Istat.

E precisa per iscritto http://www.innovazione.gov.it/ministro/pdf_home/relazione_critica.pdf(grassetto mio)

    Si tratterebbe del fenomeno che in termini tecnici viene definito “autoselezione del campione”. Dell’autoselezione soffrono per definizione tutte le rilevazioni statistiche campionarie senza esclusione alcuna, ma esistono tecniche consolidate di correzione di questo effetto che garantiscono la qualita' dei risultati e noi le usiamo. Un campione che comprende un numero di amministrazioni rispondenti pari a poco meno della meta' del totale delle amministrazioni pubbliche (e' questo il caso del monitoraggio delle assenze) e' un campione decisamente ampio e di gran lunga piu' numeroso rispetto a quanto la teoria statistica e la prassi consolidata ritiene sufficiente per condurre un’indagine campionaria. In aggiunta, lavoriamo costantemente affinché tutte le Amministrazioni importanti per dimensione, tipologia e localizzazione siano tra i rispondenti, sollecitandole telefonicamente per spingerle alla risposta; soprattutto abbiamo affidato l’indagine all’Istat che ne garantisce la robustezza tecnica. e' del tutto falso che l’Istat si limiti a “pulire i dati”, come affermato nell’articolo, dato che conduce su incarico del Ministero un’indagine con il rigore del pieno rispetto dei criteri metodologici propri della statistica ufficiale.

Primo, l'affermazione per cui dell’autoselezione soffrono per definizione tutte le rilevazioni statistiche campionarie senza esclusione alcuna non sta né in cielo né in terra. Esistono indagini statistiche a campione chiamate "randomized evaluations" che non soffrono del problema di autoselezione. Ed e' questo lo strumento appropriato, quando utilizzabile, per valutare le politiche pubbliche -- incluse le politiche per la riduzione dell'assenteismo nella Pubblica Amministrazione.

Secondo, il fatto che il campione sommi alla meta' dei dipendenti pubblici non vuol dire niente in presenza di autoselezione. Supponiamo che la meta' osservata riporti una riduzione delle assenze del 40% e la meta' non osservata sia caratterizzata da assenze stabili. Quant'e' la riduzione effettiva? 20%. Osservare una meta' non casuale non aiuta in questo caso.

Terzo, il Ministro puo' fare quello che vuole insieme all'Istat, ma rendere un campione autoselezionato un po' piu' rappresentativo in termini di tipologia istituzionale, numero di dipendenti e area geografica (cioé, appunto, pulire i dati) non vuol dire affatto renderlo rappresentativo rispetto alla riduzione delle assenze. Quali sarebbero gli altri criteri metodologici della "statistica ufficiale" (non credevo che i teoremi di identificazione dovessero essere approvati da qualche ufficio) che garantirebbero questo risultato? Sollecitare telefonicamente le amministrazioni?

Poi il Ministro mi accusa di dare i numeri:

    Secondo questo ricercatore non e' vero che la rilevazione sia del 40% ma solo del 10%. Solo che il ricercatore non spiega da dove trae questo 10%.

Di nuovo, l'ho spiegato nell'articolo di cui sopra ma lo rispiego. Le indagini del Ministro indicano una riduzione media delle assenze del 40% circa tra maggio e dicembre 2008. Assumendo che le assenze fossero costanti nei primi sei mesi del 2008, secondo il Ministro dovremmo ossevare una riduzione del 20% circa nei dati della Ragioneria Generale (che dovrebbero essere pubblicati nel giro di un mese o due). Questa conclusione pero' si basa sul campione autoselezionato. La mia presunzione (e qui siamo nella sfera delle opinioni motivate) e' che la riduzione delle assenze nell'altra meta' della popolazione sia pressoché zero in media e che proprio per questo restano nell'ombra. Facendo media tra 0% e 20% otteniamo 10%.

Naturalmente io posso sbagliarmi, cosi' come puo' sbagliarsi il Ministro. Noto soltanto che lo studio di Gatto e Spizzichino (Istat) citato nella risposta scritta del Ministro indicata sopra e basato su dati rappresentativi dalla rilevazione trimestrale sulle forze di lavoro indica per il 2008 un numero piu' vicino al mio 10% che al 20% di Brunetta. Stiamo in campana: diamoci appuntamento al giorno della pubblicazione del Conto Annuale. Se poi mi saro' sbagliato non avro' problemi a riconoscerlo e avro' imparato qualcosa.

La conferenza stampa, avrete notato, finisce cosi': Il Ministro chiede,

    domande?

e si risponde da solo dopo due secondi e mezzo (li ho cronometrati) a tutte le domande non fatte:

    nella cartellina trovate tutto [...]. Trovate anche il sito di questo signore, di questo economista americano che scrive dall'America. Ma liberamente, evviva, non ho nulla in contrario. Che se pero' fosse un mio studente, visto che e' un giovane professore gli direi: eh no, mio caro qui ci vuole metodo scientifico per criticare. Se no non vale.

Signor Ministro, se stavolta ha letto attentamente si sara' reso conto che la mia critica e' puramente scientifica. Non se la prenda a male, ma dev'essere per questo che da studente ho scelto altri maestri. Quelli si, in Amerika.

P.S. C'e' un'affermazione nella conferenza stampa che non mi riguarda direttamente ma che non posso fare a meno di commentare.

    Pensate, sta diminuendo l'assenteismo persino nel settore privato. Grazie anche alla crisi, ma sta cambiando l'assenteismo anche nel settore privato. Per cui, e' una rivoluzione in atto. La rilevazione statistica spiega cosa sta succedendo.

Mi chiedo (a meno che non si sia spiegato male) se il Ministro creda davvero o voglia far credere (la cosa e' grave in entrambi i casi) che la riduzione delle assenze nel settore privato possa essere in qualche modo causata dalla sua azione per la riduzione delle assenze nella Pubblica Amministrazione. A me la simultanea riduzione nel settore privato e nel settore pubblico suggerisce la presenza di fattori comuni che non hanno nulla a che vedere con la legge 133 (che non si applica al settore privato). Chiedo al Ministro: ha mai valutato seriamente questa possibilita'? Oppure la "statistica ufficiale" non include diff-in-diff http://en.wikipedia.org/wiki/Difference_in_differences ?