- Introduzione: che cos’è l’ “indice h” ?
In Italia facciamo ricerca spesso bene, talvolta meno bene, ma siamo poco abituati alla valutazione dei risultati della ricerca.
La valutazione del valore di un ricercatore è (dovrebbe essere) una parte fondamentale della sua carriera all’ interno del mondo della ricerca o dell’ università. Nei concorsi universitari la valutazione del curriculum vitae e delle pubblicazioni dei candidati gioca (dovrebbe giocare) una parte importante della selezione dei vincitori.
Eppure gli esiti dei concorsi, universitari e non, sono sovente determinati da fattori meno oggettivi, fattori in cui il merito c’entra poco, come capita di leggere sui giornali. Chiunque viva all’ interno della realtà accademica sa bene quanto questi comportamenti siano diffusi.
E’ davvero cosi’ difficile valutare in modo oggettivo il lavoro di un ricercatore ?
Noi pensiamo di no.
Basta rispettare delle semplici regole, in particolare occorre :
- che la qualità del valutatore sia alta, altrimenti le sue valutazioni non sono attendibili
- una chiara terzietà del valutatore, vale a dire mancanza di conflitti di interessi che possano influenzarne il giudizio
Se queste regole vengono meno, come accade quando le commissioni dei concorsi universitari sono organizzate sulla base di accordi preventivi, difficilmente il merito potrà prevalere su altre considerazioni meno nobili
Il problema della valutazione della ricerca e di quali siano gli indicatori che maggiormente rappresentano il valore di un ricercatore sono questioni di cui si sono occupati in molti.
Nel 2004 Alex Verstak and Anurag Acharya, due ingegneri informatici di Google, hanno lanciato Google Scholar, un motore di ricerca che indicizza, con l’accordo degli editori, l’intero testo degli articoli scientifici di un vasto numero di pubblicazioni e discipline. Oggi Google Scholar è forse il motore di ricerca che in modo piu’ sistematico copre le risorse della ricerca del web. Google Scholar non fornisce la lista completa degli articoli pubblicati da parte di un singolo ricercatore, copre una frazione che puo’ oscillare tra il 60% ed il 90 %. Inoltre non rende disponibile la lista delle riviste indicizzate e la frequenza degli aggiornamenti. Ma è gratuito e beneficia del marchio di qualità legato agli algoritmi di Google. Inoltre, siccome applica gli stessi criteri per tutti, permette dei confronti significativi all’interno dello stesso settore scientifico.
Nel 2005, J. E. Hirsch ha proposto l’ indice h, che i combina la quantità degli articoli pubblicati con la loro qualità, determinando il numero N tra gli articoli pubblicati che hanno almeno N citazioni ciascuno. L’articolo originale di Hirsh merita di essere letto, chi lo vuole lo trova in questo sito in forma interattiva e qui il download in formato pdf. Questa variabile risulta essere particolarmente insensibile rispetto a tipiche distorsioni nella valutazione puramente quantitativa, ad esempio dovute alla durata della carriera oppure alla partecipazione a collaborazioni che producono articoli con moltissimi co-autori.
Nel 2006 è apparso in rete Publish or Perish (PoP) un programma free-ware sviluppato da Anne-Wil Harzing, Professore in management internazionale dell’ University of Melbourne, Australia (www.harzing.com) Basato su Google Scholar , questo programma fornisce in pochi secondi le principali variabili bibliometriche in tutti i principali campi di ricerca, dal management alle scienze sociali, passando per le scienze “dure”. Il confronto fra i risultati di PoP e quelli di altri data base, primo tra tutti ISI Thomson Web of Knowledge, quest’ultimo accessibile solo a pagamento, mostrano che mentre gli indici bibliometrici sono ben correlati, la sovrapposizione dei dati sui cui vengono calcolati è solo parziale, sia per il fatto che Google Scholar copre un insieme ben più vasto di pubblicazioni, sia per il fatto che la determinazione di questi fattori bibliometrici puo’ essere fatta, entro certi limiti, anche solo campionando le pubblicazioni di un singolo ricercatore.
Da pochi anni è quindi possibile in modo rapido e gratuito valutare il lavoro scientifico di qualsiasi ricercatore italiano e non. Questo blog ha come obbiettivo la diffusione, la discussione e l’ analisi di metodi di valutazione della ricerca il piu’ possibile oggettivi ed efficaci
Roberto Battiston
27 Ottobre 2008
__________________________________________________________________________________________
COMMENTI
Sono d’accordo su tutto quello che dite. Per valutare il lavoro di un ricercatore, pero’, aggiungerei che il valutatore, oltre che qualificato e disinteressato, debba anche essere anonimo. Nelle promozioni dei professori tenure track negli USA, in genere, il candidato sceglie N valutatori e l’universita’ ne sceglie M (nel CUNY, dove ho insegnato 15 anni, N=M=6). Le loro valutazioni restano anonime. La cosa piu’ buffa e’ che nei casi di cui sono stato testimone, cioe’ in cui sono stato membro della commissione di valutazione, le valutazioni degli “amici” del candidato erano in media piu’ negative di quelle dei valutatori scelti da noi.
Buon lavoro.
Roberto Mauri
Prof. Roberto Mauri
Department of Chemical Engineering, Industrial Chemistry and Material Science
University of Pisa, Italy
Tel 39-050 2217848