Uno dei principali interrogativi che accompagnano l’implementazione di una politica pubblica riguarda l’efficacia dell’intervento; pensando alla politica come a una terapia, il cui scopo è quello di “curare” una patologia (nel caso della politica pubblica, un problema collettivo), ci si chiede se la cura abbia avuto effetto, cioè se abbia contribuito in una qualche misura a risolvere il problema.

“La terapia ha prodotto un miglioramento nelle condizioni di chi vi è stato sottoposto? (e, eventualmente, ha avuto effetti collaterali?)”

“L’intervento di politica pubblica ha modificato le condizioni su cui intendeva incidere? (e, eventualmente, ha prodotto altri cambiamenti?)”

Scopo della valutazione d’impatto è produrre evidenza, in linea di massima di tipo quantitativo, che dica chiaramente se e in che misura la politica abbia prodotto dei cambiamenti.

L’obiettivo di una politica è spesso formulato in termini generali. Nel momento in cui si voglia stimare l’impatto della politica su una certa condizione è perciò necessario procedere a una maggiore circoscrizione del fenomeno, identificando una o più di grandezze osservabili e misurabili che ne siano il più possibile rappresentative. Queste variabili sono note come variabili risultato (e sono spesso indicate con Y), e indicano ciò su cui la politica potrebbe avere avuto un effetto.

Una domanda a cui rispondere nella fase preliminare è di cosa si vuole stimare l’effetto; ciò corrisponde a trovare una regola per identificare i beneficiari della politica, potendo perciò fare una netta distinzione tra le condizioni di esposizione e non esposizione ad essa. La scelta non è sempre scontata, perché

1. Una politica può essere composta da una serie di “trattamenti”, magari attuati in tempi diversi e su soggetti diversi;

2. La stessa politica può essere analizzata da differenti punti di vista, formulando domande più o meno differenti, e identificando volta per volta i trattati in modo diverso.

La risposta a questa domanda porta all’identificazione della variabile trattamento (spesso indicata con T, o con I), che serve a distinguere tra la condizione di esposizione e non esposizione all’intervento. La variabile T è spesso dicotomica: T=0 nel caso di non esposizione al trattamento (cioè se non si viene “trattati”), T=1 nel caso di esposizione (cioè se si viene “trattati”). T può anche essere non dicotomica, per esempio quando si voglia stimare l’effetto di trattamenti di intensità diversa.

L’effetto della politica è il cambiamento che essa ha prodotto.

Presa una variabile trattamento T, che rappresenta l’esposizione alla politica, e una variabile risultato Y, che rappresenta una dimensione su cui la politica potrebbe avere inciso, l’effetto della politica si misura come influenza di T su Y.

Se T è “ricevere i servizi di assistenza a domicilio” e Y è “rischio di riospedalizzazione”, la domanda sugli effetti sarà quindi “ricevere i servizi di assistenza a domicilio riduce la probabilità di essere nuovamente ricoverati?”

Questo effetto è definito in termini di confronto tra due situazioni:

• la situazione fattuale, cioè la condizione Y osservata dopo l’esposizione alla politica (T=1)
• la situazione controfattuale, cioè la condizione Y che si sarebbe osservata senza esposizione alla politica (T=0).

L’effetto dei servizi di assistenza a domicilio sulla probabilità di essere nuovamente ricoverati è la differenza tra la probabilità di ricovero se si ricevesse l’assistenza domiciliare e la probabilità di ricovero se non si ricevesse l’assistenza domiciliare.

Questo effetto viene ricercato, in media, rispetto alla popolazione degli esposti alla politica (o a un loro sottogruppo specifico): l’effetto medio del trattamento T su Y per una certa popolazione è la differenza tra il valore medio di Y osservato dopo il trattamento (fattuale) e il valore medio di Y che si sarebbe osservato in assenza di trattamento (controfattuale).

L’effetto medio di una politica è la differenza tra condizione fattuale e condizione controfattuale. Ma un soggetto può essere esposto alla politica oppure non esposto, non in entrambe le condizioni contemporaneamente. Di qui l’impossibilità di osservare direttamente una delle due condizioni.

Dal momento che l’effetto di interesse è in linea di massima quello sui trattati, la condizione controfattuale non osservabile è la condizione che avrebbero mostrato in assenza di trattamento. La valutazione degli effetti è quindi l’attività che mira a stimare l’effetto di una politica, osservando la condizione dei trattati (fattuale) e confrontandola con una credibile stima di quella in cui essi sarebbero stati senza trattamento (controfattuale).

Gli approcci di base alla stima del controfattuale (e quindi degli effetti della politica) sono due, e la scelta dell’approccio dipende dal tipo di politica, dalle condizioni di lavoro e dai dati disponibili:

Control group design: in questo approccio la condizione controfattuale (cioè il valore medio di Y in assenza della politica) è stimata a partire dal valore medio di Y osservato in un gruppo di controllo, cioè di soggetti non trattati. Una semplice differenza tra il valore di Y nei due gruppi raramente stima in modo credibile l’effetto su Y: tra i due gruppi potrebbero esserci delle differenze di partenza (cioè già prima del trattamento), tali per cui anche in assenza della politica avrebbero potuto mostrare due valori medi di Y diversi. In tal caso la stima dell’effetto potrebbe essere affetta da un errore, noto come distorsione da selezione (o selection bias).

L’idea del gruppo di controllo è alla base di una molteplicità di metodi più sofisticati che, a partire dalle informazioni su un gruppo di soggetti non esposti, cercano di produrre una stima credibile della situazione controfattuale. Tra questi:

• valutazione sperimentale (o studio controllato randomizzato);
• analisi cross-section con regressione multivariata;
• matching statistico;
• synthetic control method;
• regression discontinuity design;
• difference in differences;
• stima con variabili strumentali.

Pre-post design: in questo approccio la condizione controfattuale (cioè il valore medio di Y in assenza della politica) è stimata a partire dal valore medio di Y osservato sugli stessi trattati prima dell’implementazione della politica.

Una semplice differenza pre-post raramente stima in modo credibile l’effetto su Y: nella maggior parte dei casi Y potrebbe variare nel tempo anche spontaneamente, in modo indipendente dalla politica, quindi il suo valore medio precedente non rappresenta necessariamente una buona stima del controfattuale. L’intuizione del pre-post design è però alla base di una serie di metodi più sofisticati. Tra questi:

• serie storiche interrotte;
• difference in differences.

La valutazione sperimentale si basa sull’utilizzo di un gruppo di controllo costruito mediante sorteggio. Data una platea di soggetti coinvolgibili dall’intervento, un gruppo di questi, selezionati con una procedura casuale, ne viene escluso. In questo modo si costruiscono due gruppi, quello sperimentale (formato dai soggetti che saranno trattati) e quello di controllo (formato dagli esclusi), che avranno caratteristiche iniziali equivalenti. L’effetto medio della politica sulla condizione Y può essere stimato agevolmente confrontando il valore medio di Y dei due gruppi.

In caso di obbedienza imperfetta (partial compliance), cioè quando i soggetti non rispettano l’assegnazione ai gruppi, è necessario correggere la stima, tenendo conto di quanti soggetti hanno effettivamente obbedito all’assegnazione casuale. La correzione, riconducibile al metodo di stima delle c.d. variabili strumentali, consente di ottenere stime consistenti ma di interpretabilità più limitata.

La valutazione sperimentale è il metodo più solido in assoluto per stimare gli effetti di una politica. Il suo utilizzo è spesso costoso e impegnativo dal punto di vista della gestione, e non di rado il suo utilizzo è osteggiato per questioni di natura etica, politica, legale. Il suo utilizzo è più frequente nel caso degli interventi pilota (cioè sperimentazioni di interventi su scala ridotta).

L’analisi si basa sull’utilizzo di un gruppo di controllo, la cui condizione (valore medio di Y) è usata per stimare la condizione controfattuale dei soggetti esposti alla politica. Per tenere conto delle differenze iniziali tra i due gruppi, la stima dell’effetto è ottenuta ricorrendo a un modello di regressione: il modello stima la relazione tra la condizione finale Y di ogni soggetto e un insieme di fattori che comprendono T (l’esposizione o meno alla politica) e una serie di “variabili di controllo”, che rappresentano le caratteristiche iniziali dei soggetti nei due gruppi. Per sua costruzione, il modello può stimare la relazione ricercata tra Y e T al netto delle altre caratteristiche, o detto in altri termini, come se i due gruppi fossero equivalenti rispetto alle variabili di controllo.

Per sua costruzione, il modello può stimare la relazione ricercata tra Y e T al netto delle altre caratteristiche (cioè delle variabili di controllo), o detto in altri termini, come se i due gruppi fossero equivalenti rispetto ad esse.

La qualità delle stime dipende (oltre che da un uso corretto e consapevole del modello di regressione) dalla qualità delle variabili di controllo: più esse sono ricche e capaci di spiegare le differenze iniziali tra i gruppi, migliore la stima finale. Da un punto di vista teorico, la stima così ottenuta può essere corretta solo se le variabili di controllo utilizzate sono sufficienti a spiegare tutte le differenze iniziali tra i gruppi (ipotesi di selezione sulle osservabili).

Il metodo si basa sull’utilizzo di un gruppo di controllo, la cui condizione (valore medio di Y) è usata per stimare la condizione controfattuale dei trattati. Per tenere conto delle differenze iniziali tra i due gruppi si ricorre a una tecnica di abbinamento (matching), che consiste nel confrontare ogni soggetto trattato con uno o più soggetti di controllo che abbiano caratteristiche iniziali simili. In pratica, si costruisce, a partire dall’insieme complessivo dei non trattati, un gruppo di controllo che abbia la stessa composizione del gruppo trattato.

L’analisi consiste in primo luogo nel definire la somiglianza attraverso una misura di distanza tra soggetti rispetto alle caratteristiche iniziali, dopodiché si procede all’abbinamento, cioè alla ricostruzione del gruppo di controllo.

Da un punto di vista teorico, le stime matching possono essere corrette solo se le variabili di controllo (cioè le informazioni sulle caratteristiche iniziali) sono sufficienti a spiegare tutte le differenze iniziali tra i gruppi (ipotesi di selezione sulle osservabili).

Il metodo si basa sull’utilizzo di un gruppo di controllo, la cui condizione (valore medio di Y) è usata per stimare la condizione controfattuale dei soggetti esposti alla politica. Considerate le potenziali differenze iniziali tra i due gruppi, la condizione controfattuale di una unità trattata è stimata, secondo una logica simile a quella di alcune varianti del matching, come media pesata della condizione dei controlli (c.d. controllo sintetico). I pesi sono derivati in una fase preliminare dell’analisi, durante la quale si verifica l’adeguatezza del controllo sintetico nell’approssimare la condizione di una unità trattata rispetto a una serie di condizioni iniziali, che comprendono sia caratteristiche individuali che osservazioni passate della variabile risultato Y.

Il metodo si basa sull’utilizzo di un gruppo di controllo, la cui condizione (valore medio di Y) è usata per stimare la condizione controfattuale dei soggetti esposti alla politica. Questo metodo si applica quando, data una popolazione di potenziali beneficiari, la regola di selezione è nota e consiste in un processo assimilabile a quello della graduatoria. Nota la soglia che divide i soggetti “in graduatoria” tra trattati e non trattati, il regression discontinuity design consiste nello stimare l’effetto dell’intervento confrontando la condizione Y dei soggetti che gravitano intorno alla soglia.

Il metodo richiama da un lato l’idea del matching, nel senso che mira a confrontare i soggetti più simili nei due gruppi. Richiama dall’altro l’idea della valutazione sperimentale perché, per le unità in prossimità della soglia, il meccanismo che le pone immediatamente a destra o immediatamente a sinistra di essa è, sotto certe condizioni, quasi casuale.

L’effetto stimato con questo metodo vale per i soggetti con caratteristiche simili a quelli intorno alla soglia, mentre è generalizzabile ad altri soggetti solo sotto alcune condizioni.

Nel caso in cui l’assegnazione al trattamento sia veicolata dalla graduatoria, ma in modo imperfetto (vi siano cioè unità esposte, o unità non esposte, sia a destra che a sinistra) è necessario correggere la stima, tenendo conto di quanti soggetti hanno effettivamente “obbedito” alla regola di assegnazione. La correzione, riconducibile al metodo di stima delle c.d. variabili strumentali, consente di ottenere stime consistenti ma di interpretabilità più limitata.

L’uso delle variabili strumentali rappresenta, più che una strategia a sé stante, un metodo che in presenza delle condizioni necessarie consente di ottenere stime più solide. La condizione è la conoscenza di un qualsiasi meccanismo di assegnazione all’intervento che sia, anche solo in misura parziale, assimilabile al caso. Sono esempi di variabili strumentali:

• la stessa assegnazione casuale all’intervento, anche nel caso di partial compliance;
• il punteggio delle unità intorno alla soglia di una graduatoria, anche nel caso di assegnazione imperfetta;
• qualsiasi variabile che incida sulla probabilità di esposizione all’intervento, ma non incida direttamente su Y.

Il metodo delle variabili strumentali è di fatto una sofisticata tecnica econometrica, che a livello intuitivo si fonda su questa idea: in presenza di una variabile strumentale Z si stabilisce un confronto tra gruppi che, stando a Z, hanno una diversa propensione ad essere esposti all’intervento. Il confronto tiene contemporaneamente sotto controllo la capacità di Z di incidere su tale propensione.

Quando adottabile, il metodo consente di ottenere stime consistenti dell’effetto dell’intervento, se pure di interpretabilità spesso limitata.

Questo metodo è utilizzato per stimare la condizione controfattuale osservando, per lo stesso gruppo degli esposti, le condizioni precedenti all’intervento. Disponendo di una serie storica che illustri, per il passato, l’andamento di Y nel tempo, la si analizza per prevedere il controfattuale, cioè quale sarebbe stato l’andamento successivo di Y se non ci fosse stato l’intervento.

Il metodo combina control group design e pre-post design, stimando l’effetto dell’intervento attraverso il confronto dell’evoluzione nel tempo di un gruppo esposto e un gruppo non esposto. Nella sua formulazione di base, il metodo prevede l’osservazione del livello medio di Y nei due gruppi prima e dopo l’intervento. La condizione controfattuale degli esposti è stimata assumendo che, in assenza di intervento, le differenze tra i due gruppi sarebbero rimaste costanti.

Il metodo difference in differences può, in presenza delle condizioni necessarie, essere esteso o adottato a integrazione degli altri metodi descritti.