In Italia facciamo ricerca spesso bene, talvolta meno bene, ma siamo poco abituati alla valutazione dei risultati della ricerca.
La valutazione del valore di un ricercatore è (dovrebbe essere) una parte fondamentale della sua carriera all’ interno del mondo della ricerca o dell’ università. Nei concorsi universitari la valutazione del curriculum vitae e delle pubblicazioni dei candidati gioca (dovrebbe giocare) una parte importante della selezione dei vincitori.
Eppure gli esiti dei concorsi, universitari e non, sono sovente determinati da fattori meno oggettivi, fattori in cui il merito c’entra poco, come capita di leggere sui giornali. Chiunque viva all’ interno della realtà accademica sa bene quanto questi comportamenti siano diffusi.
E’ davvero cosi’ difficile valutare in modo oggettivo il lavoro di un ricercatore ?
Noi pensiamo di no.
Basta rispettare delle semplici regole, in particolare occorre :
- che la qualità del valutatore sia alta, altrimenti le sue valutazioni non sono attendibili
- una chiara terzietà del valutatore, vale a dire mancanza di conflitti di interessi che possano influenzarne il giudizio
Se queste regole vengono meno, come accade quando le commissioni dei concorsi universitari sono organizzate sulla base di accordi preventivi, difficilmente il merito potrà prevalere su altre considerazioni meno nobili
Il problema della valutazione della ricerca e di quali siano gli indicatori che maggiormente rappresentano il valore di un ricercatore sono questioni di cui si sono occupati in molti.
Nel 2004 Alex Verstak and Anurag Acharya, due ingegneri informatici di Google, hanno lanciato Google Scholar, un motore di ricerca che indicizza, con l’accordo degli editori, l’intero testo degli articoli scientifici di un vasto numero di pubblicazioni e discipline. Oggi Google Scholar è forse il motore di ricerca che in modo piu’ sistematico copre le risorse della ricerca del web. Google Scholar non fornisce la lista completa degli articoli pubblicati da parte di un singolo ricercatore, copre una frazione che puo’ oscillare tra il 60% ed il 90 %. Inoltre non rende disponibile la lista delle riviste indicizzate e la frequenza degli aggiornamenti. Ma è gratuito e beneficia del marchio di qualità legato agli algoritmi di Google. Inoltre, siccome applica gli stessi criteri per tutti, permette dei confronti significativi all’interno dello stesso settore scientifico.
Nel 2005, J. E. Hirsch ha proposto l’ indice h, che i combina la quantità degli articoli pubblicati con la loro qualità, determinando il numero N tra gli articoli pubblicati che hanno almeno N citazioni ciascuno. L’articolo originale di Hirsh merita di essere letto, chi lo vuole lo trova in questo sito in forma interattiva e qui il download in formato pdf. Questa variabile risulta essere particolarmente insensibile rispetto a tipiche distorsioni nella valutazione puramente quantitativa, ad esempio dovute alla durata della carriera oppure alla partecipazione a collaborazioni che producono articoli con moltissimi co-autori.
Nel 2006 è apparso in rete Publish or Perish (PoP) un programma free-ware sviluppato da Anne-Wil Harzing, Professore in management internazionale dell’ University of Melbourne, Australia (www.harzing.com) Basato su Google Scholar , questo programma fornisce in pochi secondi le principali variabili bibliometriche in tutti i principali campi di ricerca, dal management alle scienze sociali, passando per le scienze “dure”. Il confronto fra i risultati di PoP e quelli di altri data base, primo tra tutti ISI Thomson Web of Knowledge, quest’ultimo accessibile solo a pagamento, mostrano che mentre gli indici bibliometrici sono ben correlati, la sovrapposizione dei dati sui cui vengono calcolati è solo parziale, sia per il fatto che Google Scholar copre un insieme ben più vasto di pubblicazioni, sia per il fatto che la determinazione di questi fattori bibliometrici puo’ essere fatta, entro certi limiti, anche solo campionando le pubblicazioni di un singolo ricercatore.
Da pochi anni è quindi possibile in modo rapido e gratuito valutare il lavoro scientifico di qualsiasi ricercatore italiano e non. Questo blog ha come obbiettivo la diffusione, la discussione e l’ analisi di metodi di valutazione della ricerca il piu’ possibile oggettivi ed efficaci
Roberto Battiston
27 Ottobre 2008
__________________________________________________________________________________________
COMMENTI
Sono d’accordo su tutto quello che dite. Per valutare il lavoro di un ricercatore, pero’, aggiungerei che il valutatore, oltre che qualificato e disinteressato, debba anche essere anonimo. Nelle promozioni dei professori tenure track negli USA, in genere, il candidato sceglie N valutatori e l’universita’ ne sceglie M (nel CUNY, dove ho insegnato 15 anni, N=M=6). Le loro valutazioni restano anonime. La cosa piu’ buffa e’ che nei casi di cui sono stato testimone, cioe’ in cui sono stato membro della commissione di valutazione, le valutazioni degli “amici” del candidato erano in media piu’ negative di quelle dei valutatori scelti da noi.
Buon lavoro.
Roberto Mauri
Prof. Roberto Mauri
Department of Chemical Engineering, Industrial Chemistry and Material Science
University of Pisa, Italy
Tel 39-050 2217848
29 Ottobre 2008
La distribuzione di h per i Nobel per la fisica negli ultimi 20 anni. Il picco è tra 35 e 39. Nota: questa analisi non usa il data base di Google Scholar ma di ISI Citation Index
Nel suo articolo Hirsch analizza una popolazione particolare di scienziati, quella dei premi Nobel per la Fisica, usando come data base l’ ISI Citation Index. L’ indice h va da 22 a 79 e < h > vale 41, mentre l’indice m, che rappresenta i ritmo annuo di pubblicazioni molto citate, è compreso tra 0.47 e 2.19.
E’ interessante notare che i vincitori di un premio Nobel hanno valori dell’ indice h elevati (84% ha un indice h di almeno 30), a dimostrazione che un premio Nobel non deriva da un colpo di fortuna ma da un corposo lavoro scientifico. Inoltre i valori del ritmo annuo di pubblicazioni non sono spesso alti rispetto ad altri scienziati di successo ( il 49% ha l’indice m<1). Questo si puo’ spiegare considerando che spesso i Nobel sono ottenuti molto tempo dopo che uno scienziato ha passato il periodo di massima produttività scientifica.
Fare click sulla figura per ingrandire. Dati elaborati da Paolo Rossi
I tre grafici mostrano la distribuzione dell’ indice h calcolato nell’ ottobre 2008, per l’area della FISICA
Nel caso dei ricercatori si tratta dei ricercatori che hanno fatto il concorso dal 2002 al 2008
Nel caso degli associati o degli ordinari, si tratta di coloro che hanno avuto l’ idoneità dal 2002 al 2008
Le distribuzioni partono da valori di h molto bassi: i neo-ricercatori e i neo-associati partono da un indice h pari a 1, cioè 1 articolo citato almeno 1 volta, i neo-ordinari da un indice h pari a 2, cioe’ con 2 articoli citati almeno 2 volte.
Un po’ pochino, no ? Specie se confrontati ai valori medi delle rispettive distribuzioni.
Sarebbe interessante fare questi grafici anche per altre aree disciplinari e per altri periodi.
Partendo da questi dati ho estratto i grafici degli 8 settori della fisica (istogrammi seguenti) e alla fine ho riportato l’andamento del valore medio e dello scarto quadratico per i vari settori disciplinari. Risulta evidente una sistematica tendenza all’ abbassamento del valore dell’ indice-h dei settori 6 e 8. Rimane da capire se questo è dovuto ad un reale minore selettività nella selezione dei neoricercatori in questi settori o di un bias indotto dalle modalità di pubblicazione (es. riviste in lingua italiana piuttosto che in lingua inglese) tipiche di questi settori disciplinari.
R.B.
