Pubblico Ergo Sum

A cura di  Paolo Rossi membro del  CUN

Indicatori di attività scientifica: premessa
• Il C.U.N. avverte l’esigenza e condivide l’importanza di giungere alladefinizione di indicatori di attività scientifica e all’individuazione di criteri condivisi e trasparenti di valutazione, ma ritiene opportuno premettere alcune considerazioni:
• La promozione della qualità non può prescindere da un’autonomia responsabile degli Atenei nella valorizzazione del merito.
• Altrettanto imprescindibile è la definizione di un quadro normativo certo e stabile entro il quale la valutazione concorra in modo importante all’attribuzione delle risorse e allo sviluppo delle carriere.
• Gli indicatori forniscono una rappresentazione inevitabilmente sommaria e quantitativa dell’attività scientifica, e la formulazione di un giudizio qualitativo, soprattutto se riferito a singoli, richiede comunque
la competenza di un collegio giudicante (referees, peer review)
• Gli indicatori devono essere semplici, distinti per Aree disciplinari e condivisi dalle rispettive Comunità Scientifiche.

Indicatori e valori minimi: la proposta
• Ai soli fini dell’effettuazione di valutazioni comparative per posti di professore ordinario, associato e ricercatore, il C.U.N. ha individuato, separatamente per ciascuna Area scientifica e ciascuna fascia, indicatori di attività e i relativi valori minimi normalmente accettabili.
• Tali indicatori (e soprattutto i loro valori minimi) non dovrebbero applicarsi a contesti differenti da quello per cui sono proposti, e in particolare alla valutazione dei proponenti di progetti scientifici e alle proposte di chiamata diretta di docenti.
• I valori minimi proposti non possono essere utilizzati per l’esclusione o l’ammissione automatica a una valutazione, ma sono comunque punti di riferimento qualificanti per la valutazione e l’autovalutazione.
• Il C.U.N. si riserva di riconsiderare e aggiornare periodicamente la propria proposta.

Indicatori e valori minimi: commento
• C’è sostanziale uniformità tra le Aree nell’attribuzione di un ruolo preponderante al numero delle pubblicazioni (e delle monografie nelle Aree delle Scienze umane), con valori minimi di Area quasi sempre vicini alla media generale (a seconda della fascia 5/10/15 pubblicazioni ovvero 1/2/3 monografie).
• Un importante indicatore è la continuità di produzione, misurata dalla richiesta (media) di 1 pubblicazione per anno negli ultimi 5/7/10 anni.
• Sono ancora sporadici i riferimenti all’impatto della produzione sulla comunità scientifica (nazionale e internazionale), misurati (quando presenti) dall’IF oppure dal numero delle citazioni.
• Per le Aree più internazionalizzate è fatto spesso riferimento alla richiesta che le pubblicazioni compaiano su riviste con referee e quando possibile su riviste ISI.
• Rimane comunque aperto il problema di individuare i criteri che identificano il carattere scientifico delle pubblicazioni (un compito recentemente attribuito al C.U.N. dalla legge 1/2009).
Gli indicatori bibliometrici e l’indice H
• E’ aperta la discussione sulla possibilità di utilizzare in modo più o meno sistematico gli indicatori bibliometrici come strumento di valutazione dell’attività scientifica individuale (e collettiva).
• In particolare il dibattito è spesso focalizzato sulla rilevanza e sul potere predittivo dell’indice H, introdotto da Hirsch nel 2005, che ha rapidamente trovato una notevole diffusione in diverse comunità scientifiche.
• L’indice H combina sinteticamente una misura di pura produttività (data dal numero delle pubblicazioni) con una di impatto scientifico (data dal numero delle citazioni) premiando in modo bilanciato entrambi gli aspetti dell’attività scientifica.
• Tuttavia il valore assoluto di H si dimostra dipendere in modo significativo dall’Area di ricerca, e anche dal settore particolare, a causa delle differenti dimensioni delle comunità scientifiche, delle modalità di organizzazione della ricerca, e anche dei differenti “stili” adottati nella compilazione delle bibliografie.

• Molte strategie sono state proposte per affrontare queste critiche.
• Si può ovviare alle differenti caratteristiche delle comunità di ricerca grazie all’osservazione (Radicchi et al. 2008) che la distribuzione delle citazioni, se rapportata al numero medio di citazioni tipico di ciascuna specifica disciplina (o sottodisciplina), segue un andamento universale descritto da una curva di tipo lognormale.
• E’ anche possibile tener conto delle (talvolta grandi) differenze nel numero dei collaboratori che caratterizzano le differenti modalità di produzione scientifica, anche se la pura divisione per il numero N dei
collaboratori appare impropria, e sarebbe invece necessario dividere per una potenza frazionaria di N, determinata empiricamente sulla base della dipendenza media da N dell’impatto delle pubblicazioni (misurabile attraverso la dipendenza da N del numero medio delle citazioni).

• Uno studio recente (Jensen et al. 2008) ha tuttavia mostrato (nel caso del CNRS francese), una significativa dipendenza dall’età dell’indice H normalizzato (ossia diviso per il numero di anni di carriera), che sfavorirebbe i giovani ricercatori, mentre la correlazione tra l’indice H e gli avanzamenti di carriera risulta non superiore al 50%.
• Malgrado ciò H resta l’indicatore con il maggior potere predittivo, seguito dal numero totale delle pubblicazioni, mentre il numero delle citazioni (sia totale che medio per articolo) ha scarsissimo potere predittivo.
• E’ bene ricordare anche un recente editoriale di Nature che esamina l’esperienza inglese del RAE (basato su peer review) e le proposte per il REF (successore del RAE), in cui gli indicatori bibliometrici dovrebbero giocare un ruolo importante. La conclusione ancora una volta sottolinea l’imprescindibilità del ruolo degli esperti valutatori.

L’ indice H dei fisici italiani
• Abbiamo avviato uno studio volto a esplorare in modo sistematico laproduzione scientifica della comunità dei fisici (universitari) italiani (circa 3000 individui) mediante gli indicatori bibliometrici.
• I risultati sono ancora molto preliminari, ma alcune dipendenze e alcune correlazioni risultano abbastanza significative.
• La distribuzione di H è molto ben rappresentata da una distribuzione di tipo Gamma, fortemente asimmetrica rispetto al valore medio (H medio 14, H più probabile 6,5), e caratterizzata da una decrescita esponenziale della probabilità per alti valori di H (con coefficiente di decrescita 0,14).
• La dipendenza dall’anno di nascita mostra una crescita costante per ordinari e associati (legata alla scarsa indicizzazione della produzione più remota e alla crescita nel tempo del numero medio di citazioni), mentre l’indice H dei ricercatori più giovani è decrescente, come d’altronde prevedibile a causa del limitato periodo di attività.

• La dipendenza dall’anno di reclutamento mostra una stabilità assoluta per gli ordinari (H medio prossimo a 20), una tendenza alla crescita per gli associati (riconducibile soprattutto al basso livello medio dei reclutati negli anni ’80 non promossi in seguito), e un’analoga tendenza per i ricercatori, tuttavia accompagnata in questo caso dalla già commentata riduzione dell’indice per i ricercatori reclutati più di recente.

• L’indice H medio al reclutamento dei ricercatori è prossimo a 10, mentre il valore medio al reclutamento degli associati è superiore a H=15, e quello degli ordinari è prossimo a H=20.

La valutazione delle istituzioni scientifiche
• Tutte le obiezioni che fondatamente vengono sollevate nei confronti degli indicatori bibliometrici acquistano un peso molto più ridotto quando si affronta il tema della valutazione aggregata e comparativa delle istituzioni di ricerca.
• Un’evidenza particolarmente significativa di tale affermazione è data dall’analisi effettuata da Cesareni (2007), che ha misurato l’indice H (collettivo) delle istituzioni di ricerca valutate dal CIVR per il periodo 2001-2003 e ha confrontato il risultato di tale misura con i punteggi attribuiti dal CIVR. La correlazione tra le due valutazioni è risultata essere 0,96.
• Ovviamente la rapidità e l’economicità delle valutazioni basate su indicatori bibliometrici sono incomparabilmente maggiori, e quindi la valutazione mediante indici è da raccomandarsi per un monitoraggio frequente e sistematico che non influisca sui giudizi individuali.

Innovazione e qualità scientifica

L’Italia è piena di soloni che ci ammoniscono spesso con un noioso refrain: “L’Italia è molto avanti nella graduatorie delle pubblicazioni scientifiche ma molto indietro nella classifica dell’innovazione industriale”. Ritornello a cui segue la inevitabile e strumentale deduzione che “…bisogna quindi diminuire i finanziamenti che servono solo a fare delle belle pubblicazioni ed aumentare quelli che generano l’innovazione e la competitività del sistema produttivo”.

Il sito web di SJR (www.scimagojr.com), che organizza e rende disponibili i dati del database bibliografico di Scopus, rivela che considerando tutte le possibili discipline, l’Italia figura al settimo posto nella graduatoria delle pubblicazioni (1996-2007). Solo qualche click più lontano,  il sito web di Pro_Inno_Europe, fonte ufficiale dell’Unione Europea in materia di innovazione, rivela che considerando le stesse nazioni censite da SJR,  nel 2007 l’Italia è al ventesimo posto per quanto riguarda l’innovazione. La Svezia, prima nell’innovazione, è solo decima nelle pubblicazioni; la Svizzera che è seconda nell’innovazione è dodicesima nelle pubblicazioni.

Se ne potrebbe dedurre, ad una prima superficiale analisi, che la capacità di innovare non dipende affatto dalla capacità di fare buona ricerca. Ma guardate il grafico che mostra invece una bella e significativa correlazione fra la “qualità delle pubblicazioni” delle varie nazioni  [espressa come numero medio di citazioni ricevute da ogni articolo scientifico pubblicato] ed il corrispondente “indice di innovazione”.

Viene fuori che i paesi dove si pubblicano più articoli scientifici di qualità sono anche quelli dove è maggiore il grado di innovazione industriale.

Qualcuno potrebbe obiettare che la correlazione si può anche spiegare ammettendo che i paesi più “innovativi” hanno maggiori risorse da investire nella ricerca. Ma non è vero: il modello che qualcuno in Italia vorrebbe (meno pubblicazioni = più innovazione) non è verificabile con dei dati. Non esiste paese al mondo dove coesistano “elevata innovazione” e “bassa qualità scientifica della ricerca”. Non resta quindi che ammettere che la ricerca di qualità, per quanto auto-referenziale, correla fortemente con la capacità di fare innovazione: sic et simpliciter.

Franco Miglietta, IBIMET-CNR, Firenze

_________________________________________________________________________________________________________________

NOTA: Ugo Amaldi ha scritto recentemente una nota sulla ricerca italiana in cui sostiene una tesi che apparentemente va nella direzione contraria a quanto sostenuto da Miglietta, e cioè che se si prende l’1% degli articoli piu’ citati al mondo, l’ Italia, tenuto conto del numero di ricercatori attivi, è tra i primi paesi al mondo nel pubblicare articoli che sono molto citati.  Credo personalmente che l’osservazione di Amaldi sia vera, nel senso che abbiamo in Italia delle scuole eccellenti. Ma Miglietta dice una cosa altrettanto vera: la qualità media degli articoli prodotti dai ricercatori italiani ci ricaccia molto piu’ in basso nella classifica, cosi’ come la nostra capacità di innovazione.E’ con questo numero la qualità media e non le punte di eccellenza, che il nostro sistema deve fare i conti, economici e non.  E quindi è fuoriviante concentrarsi solo sulle nostre migliori scuole: la parte migliore del nostro sistema sta andando a fondo a causa della parte mediocre. Il fatto che stiano andando a fondo assieme non puo’ essere di conforto per nessuno.

Riporto nel seguito l’articolo di Amaldi.

RB

_________________________________________________________________________________________________________________

LA RICERCA ITALIANA DI PUNTA PRODUCE RISULTATI PIÙ CITATI INTERNAZIONALMENTE DI QUELLE AMERICANA, FRANCESE, TEDESCA E GIAPPONESE

In questo periodo la ricerca italiana è denigrata da (quasi) tutti senza tener alcun conto del fatto che i finanziamenti annuali e il numero di ricercatori sono in Italia molto inferiori a quelli degli altri paesi sviluppati. Sir David King, consigliere scientifico del premier Blair, ha pubblicato su Nature nel 2004 (Vol. 430, 311-316) un articolo intitolato “The scientific impact of Nations” da cui si deduce - con semplici operazioni di divisione - che questi (pre)giudizi non hanno alcun fondamento.
La Tabella 3 di questo articolo mostra che l’Italia ha la metà dei ricercatori della Francia e del Regno Unito, nonostante le popolazioni siano uguali. Il numero di dottorati di ricerca è addirittura tre volte inferiore.

La novità dell’articolo sta nella Tabella 1, che contiene il numero degli articoli scientifici che sono stati più citati negli anni 1997-2001. Il criterio scelto per definire i lavori “più citati” è molto restrittivo: si tratta della fascia che contiene soltanto l’1% degli articoli che hanno ricevuto citazioni in ogni campo sia di scienza che di ingegneria considerato separatamente. Non si privilegia cosí alcun settore della ricerca. Questa valutazione è stata fatta dal Thomson Institue for Scientific Information analizzando 8000 riviste pubblicate in 36 lingue. I risultati,riportati nella Tabella 1, mostrano che, per numero di articoli scientifici molto citati, l’Italia sta al settimo posto dopo gli Stati Uniti, il Regno Unito, la Germania, il Giappone, la Francia e il Canada.

Ma il confronto non è corretto, perché non soltanto l’Italia ha molti meno ricercatori per milione di abitanti; anche l’investimento per ricerca e sviluppo, come tutti sanno, è l’1% del Prodotto Nazionale Lordo, mentre la Francia e la Germania investono quasi tre volte di più. Bisogna invece dividere i numeri della Tabella 1 per quelli della Tabella 3. Cosí si vede che l’Italia della scienza e dell’ingegneria di punta supera, nell’ordine, gli Stati Uniti, la Francia, la Germania e il Giappone. In conclusione, i nostri pochi fondi sono bene investiti e i caposcuola esistono.

U.Amaldi                                                                                                                 Ginevra, 30 ottobre 2008

E’ noto che il settore umanistico ha caratteristiche tali da rendere  impegnativo l’ approccio  bibliometrico alla valutazione della ricerca:  inoltre risulta difficile confrontare la valutazione di  questi settori con i risultati ottenuti nell’ analisi di altri settori della ricerca. L’ European Science Foundation (ESF) ha iniziato a occuparsi seriamente del problema, lanciando il progamma ERIH (European Reference Index for the Humanities).

ERIH intende identificare le ricerche di eccellenza nel campo umanistico pubblicate sulle migliori  riviste accademiche, possibilmente in tutte le lingue europee. Si tratta di un processo basato su referaggi, in cui un pannello di 15 esperti riceve informazioni da un ampio numero  di istituzioni ed esprime valutazioni sulla qualità delle riviste.

Il progetto ERIH ha già prodotto una serie di  liste  “iniziali” accompagnate da istruzioni per l’uso. Al momento attuale non sono utilizzabili come indicatori bibliometrici per la valutazione individuale dei ricercatori, bensi’ per una categorizzazione  delle riviste europee nei vari settori umanistici che vengono in questo modo raggruppate in tre categorie: A, B e C.  Si tratta di una sorta di impact factor.

ERIH rappresenta  quindi un primo passo importante verso una valutazione pobbiettiva dei prodotti della ricerca nei campi umanistici.

A questo proposito lo Steering Committee  ed il Pannel di Esperti di ERIH raccomandano di NON utilizzare le liste “iniziali” come base per la valutazione individuale di candidati per assunzioni, promozioni, bandi di ricerca etc.

R.B.

Il Gruppo di Genetica Molecolare del Dipartimento di Biologia dell’ Università di Roma “Tor Vergata” ha svolto una serie di studi relativi alla valutazione del sistema universitario.

Particolarmente interessanti risultano i risultati  in cui i risultati del CIVR sono confrontati con analoghe analisi effettuate usando Google Scholar, ottenendo una eccellente correlazione (ad un costo enormemente inferiore!)

Risultati interessanti riguardano anche i valori integrali delle citazioni

1) per milione di euro di investimento:

2) per numero di ricercatori (università grandi)

2) per numero di ricercatori (università piccole)