- La valutazione dell’attività scientifica nel Sistema Universitario
3 Febbraio 2009
A cura di Paolo Rossi membro del CUN
Indicatori di attività scientifica: premessa
• Il C.U.N. avverte l’esigenza e condivide l’importanza di giungere alladefinizione di indicatori di attività scientifica e all’individuazione di criteri condivisi e trasparenti di valutazione, ma ritiene opportuno premettere alcune considerazioni:
• La promozione della qualità non può prescindere da un’autonomia responsabile degli Atenei nella valorizzazione del merito.
• Altrettanto imprescindibile è la definizione di un quadro normativo certo e stabile entro il quale la valutazione concorra in modo importante all’attribuzione delle risorse e allo sviluppo delle carriere.
• Gli indicatori forniscono una rappresentazione inevitabilmente sommaria e quantitativa dell’attività scientifica, e la formulazione di un giudizio qualitativo, soprattutto se riferito a singoli, richiede comunque
la competenza di un collegio giudicante (referees, peer review)
• Gli indicatori devono essere semplici, distinti per Aree disciplinari e condivisi dalle rispettive Comunità Scientifiche.
Indicatori e valori minimi: la proposta
• Ai soli fini dell’effettuazione di valutazioni comparative per posti di professore ordinario, associato e ricercatore, il C.U.N. ha individuato, separatamente per ciascuna Area scientifica e ciascuna fascia, indicatori di attività e i relativi valori minimi normalmente accettabili.
• Tali indicatori (e soprattutto i loro valori minimi) non dovrebbero applicarsi a contesti differenti da quello per cui sono proposti, e in particolare alla valutazione dei proponenti di progetti scientifici e alle proposte di chiamata diretta di docenti.
• I valori minimi proposti non possono essere utilizzati per l’esclusione o l’ammissione automatica a una valutazione, ma sono comunque punti di riferimento qualificanti per la valutazione e l’autovalutazione.
• Il C.U.N. si riserva di riconsiderare e aggiornare periodicamente la propria proposta.
Indicatori e valori minimi: commento
• C’è sostanziale uniformità tra le Aree nell’attribuzione di un ruolo preponderante al numero delle pubblicazioni (e delle monografie nelle Aree delle Scienze umane), con valori minimi di Area quasi sempre vicini alla media generale (a seconda della fascia 5/10/15 pubblicazioni ovvero 1/2/3 monografie).
• Un importante indicatore è la continuità di produzione, misurata dalla richiesta (media) di 1 pubblicazione per anno negli ultimi 5/7/10 anni.
• Sono ancora sporadici i riferimenti all’impatto della produzione sulla comunità scientifica (nazionale e internazionale), misurati (quando presenti) dall’IF oppure dal numero delle citazioni.
• Per le Aree più internazionalizzate è fatto spesso riferimento alla richiesta che le pubblicazioni compaiano su riviste con referee e quando possibile su riviste ISI.
• Rimane comunque aperto il problema di individuare i criteri che identificano il carattere scientifico delle pubblicazioni (un compito recentemente attribuito al C.U.N. dalla legge 1/2009).
Gli indicatori bibliometrici e l’indice H
• E’ aperta la discussione sulla possibilità di utilizzare in modo più o meno sistematico gli indicatori bibliometrici come strumento di valutazione dell’attività scientifica individuale (e collettiva).
• In particolare il dibattito è spesso focalizzato sulla rilevanza e sul potere predittivo dell’indice H, introdotto da Hirsch nel 2005, che ha rapidamente trovato una notevole diffusione in diverse comunità scientifiche.
• L’indice H combina sinteticamente una misura di pura produttività (data dal numero delle pubblicazioni) con una di impatto scientifico (data dal numero delle citazioni) premiando in modo bilanciato entrambi gli aspetti dell’attività scientifica.
• Tuttavia il valore assoluto di H si dimostra dipendere in modo significativo dall’Area di ricerca, e anche dal settore particolare, a causa delle differenti dimensioni delle comunità scientifiche, delle modalità di organizzazione della ricerca, e anche dei differenti “stili” adottati nella compilazione delle bibliografie.
• Molte strategie sono state proposte per affrontare queste critiche.
• Si può ovviare alle differenti caratteristiche delle comunità di ricerca grazie all’osservazione (Radicchi et al. 2008) che la distribuzione delle citazioni, se rapportata al numero medio di citazioni tipico di ciascuna specifica disciplina (o sottodisciplina), segue un andamento universale descritto da una curva di tipo lognormale.
• E’ anche possibile tener conto delle (talvolta grandi) differenze nel numero dei collaboratori che caratterizzano le differenti modalità di produzione scientifica, anche se la pura divisione per il numero N dei
collaboratori appare impropria, e sarebbe invece necessario dividere per una potenza frazionaria di N, determinata empiricamente sulla base della dipendenza media da N dell’impatto delle pubblicazioni (misurabile attraverso la dipendenza da N del numero medio delle citazioni).
• Uno studio recente (Jensen et al. 2008) ha tuttavia mostrato (nel caso del CNRS francese), una significativa dipendenza dall’età dell’indice H normalizzato (ossia diviso per il numero di anni di carriera), che sfavorirebbe i giovani ricercatori, mentre la correlazione tra l’indice H e gli avanzamenti di carriera risulta non superiore al 50%.
• Malgrado ciò H resta l’indicatore con il maggior potere predittivo, seguito dal numero totale delle pubblicazioni, mentre il numero delle citazioni (sia totale che medio per articolo) ha scarsissimo potere predittivo.
• E’ bene ricordare anche un recente editoriale di Nature che esamina l’esperienza inglese del RAE (basato su peer review) e le proposte per il REF (successore del RAE), in cui gli indicatori bibliometrici dovrebbero giocare un ruolo importante. La conclusione ancora una volta sottolinea l’imprescindibilità del ruolo degli esperti valutatori.
L’ indice H dei fisici italiani
• Abbiamo avviato uno studio volto a esplorare in modo sistematico laproduzione scientifica della comunità dei fisici (universitari) italiani (circa 3000 individui) mediante gli indicatori bibliometrici.
• I risultati sono ancora molto preliminari, ma alcune dipendenze e alcune correlazioni risultano abbastanza significative.
• La distribuzione di H è molto ben rappresentata da una distribuzione di tipo Gamma, fortemente asimmetrica rispetto al valore medio (H medio 14, H più probabile 6,5), e caratterizzata da una decrescita esponenziale della probabilità per alti valori di H (con coefficiente di decrescita 0,14).
• La dipendenza dall’anno di nascita mostra una crescita costante per ordinari e associati (legata alla scarsa indicizzazione della produzione più remota e alla crescita nel tempo del numero medio di citazioni), mentre l’indice H dei ricercatori più giovani è decrescente, come d’altronde prevedibile a causa del limitato periodo di attività.
• La dipendenza dall’anno di reclutamento mostra una stabilità assoluta per gli ordinari (H medio prossimo a 20), una tendenza alla crescita per gli associati (riconducibile soprattutto al basso livello medio dei reclutati negli anni ’80 non promossi in seguito), e un’analoga tendenza per i ricercatori, tuttavia accompagnata in questo caso dalla già commentata riduzione dell’indice per i ricercatori reclutati più di recente.
• L’indice H medio al reclutamento dei ricercatori è prossimo a 10, mentre il valore medio al reclutamento degli associati è superiore a H=15, e quello degli ordinari è prossimo a H=20.
La valutazione delle istituzioni scientifiche
• Tutte le obiezioni che fondatamente vengono sollevate nei confronti degli indicatori bibliometrici acquistano un peso molto più ridotto quando si affronta il tema della valutazione aggregata e comparativa delle istituzioni di ricerca.
• Un’evidenza particolarmente significativa di tale affermazione è data dall’analisi effettuata da Cesareni (2007), che ha misurato l’indice H (collettivo) delle istituzioni di ricerca valutate dal CIVR per il periodo 2001-2003 e ha confrontato il risultato di tale misura con i punteggi attribuiti dal CIVR. La correlazione tra le due valutazioni è risultata essere 0,96.
• Ovviamente la rapidità e l’economicità delle valutazioni basate su indicatori bibliometrici sono incomparabilmente maggiori, e quindi la valutazione mediante indici è da raccomandarsi per un monitoraggio frequente e sistematico che non influisca sui giudizi individuali.
