Pubblico Ergo Sum

In evidenza

- Indice h: istruzioni per l'uso
- Indice-h istruzioni per l'uso: (A) Limiti nel calcolo dell' indice-h
- Indice-h istruzioni per l’uso: (B) Programmi per il calcolo dell' indice-h
- Introduzione: che cos'è l' "indice h" ?
- L' indice-h dei Nobel
CALCOLO DELL'INDICE H
CHI SIAMO
CONTATTI

Articoli recenti

  • - La valutazione dell’attività scientifica nel Sistema Universitario
  • - L’indice H dei fisici italiani, di Paolo Rossi
  • -I criteri mimini del CUN: tabella comparativa
  • - Documento CUN sugli indicatori di attività scientifica: Introduzione
  • - Documento CUN sugli indicatori di attività scientifica: AREA 01 Matematica
  • - Documento CUN sugli indicatori di attività scientifica: AREA 02 Fisica
  • - Documento CUN sugli indicatori di attività scientifica: AREA 03 Chimica
  • - Documento CUN sugli indicatori di attività scientifica: AREA 04 Sc. della Terra
  • - Documento CUN sugli indicatori di attività scientifica: AREA 05 Sc. Biologiche
  • - Documento CUN sugli indicatori di attività scientifica: AREA 06 Sc. Mediche
  • Commentati di recente

  • admin: Caro Paolo, ti confermo che le statistiche di Paolo Rossi riguardano gli universitari. Per quanto riguarda il...
  • Paolo Laurelli: Ho dato un’occhiata al sito messo su da Roberto e company. Ovviamente sono subito andato a...
  • Luca S.: Sono sempre io. Dopo circa 4 mesi il mio h index e’ diventato 22. Date un’occhiata anche al Phys...
  • Luca S.: Sono un teorico della materia condensata (ed ex nucleare). Secondo ISI il mio h-index e’ 20, in 17...
  • Samuele Marcora: Admin dice che non vuole perdere tutti i bravi o bravissimi giovani che frequentano i nostri...
  • Documenti

    - Alberto Pagliarini: tabelle retribuzioni universitarie ed altro
    - Articolo di Hirsch sull' "indice h": versione PDF
    - Le leggi universitarie piu' recenti
    - Ufficio di Statistica del MIUR
    - Le leggi universitarie dal 1910 al 2004
    - Documento OCSE sulla valutazione "Education at a Glance 2008"
    - Home page CRUI
    - Home page CUN
    - Paolo Rossi: notiziari CUN
    - Paolo Rossi: documenti sull' Università
    - Paolo Rossi: statistiche sull' Università
    - Articolo di Hirsch sull' "indice h": versione interattiva
    - D'andrea, Quaranta, Quinti, MANUALE SUI PROCESSI DI SOCIALIZZAZIONE DELLA RICERCA SCIENTIFICA E TECNOLOGICA. CERFE, Roma 2005
    - Solimini, Alleva: Recensione al Manuale dei Processi di Socializzazione...(pag 4)
    - ISS: Base di Dati Specialistica sulla Valutazione della Ricerca Scientifica
    - CNSVU 2008: Nono Rapporto sullo Stato del Sistema Universitario

    In Italia facciamo ricerca spesso bene, talvolta meno bene, ma siamo poco abituati alla valutazione dei risultati della ricerca.

    La  valutazione del valore di un ricercatore è  (dovrebbe essere) una parte fondamentale della sua carriera all’ interno del mondo della ricerca o dell’ università.  Nei concorsi universitari la  valutazione del curriculum vitae e delle  pubblicazioni dei candidati gioca  (dovrebbe giocare) una parte importante della selezione dei vincitori.

    Eppure gli esiti dei concorsi,  universitari e non, sono sovente determinati da  fattori meno oggettivi, fattori in cui il merito c’entra poco, come capita di leggere sui giornali. Chiunque viva all’ interno della realtà accademica sa bene quanto questi comportamenti  siano diffusi.

    E’ davvero cosi’ difficile valutare in modo oggettivo il lavoro di un ricercatore ?

    Noi  pensiamo  di  no.

    Basta rispettare delle  semplici regole,  in particolare occorre :

    Se queste regole vengono meno, come accade  quando le  commissioni dei concorsi universitari  sono  organizzate sulla base di accordi  preventivi,  difficilmente il merito potrà prevalere su altre considerazioni meno nobili

    Il problema  della valutazione della ricerca e di quali siano gli indicatori che maggiormente rappresentano il valore di un ricercatore sono questioni di cui si sono occupati in molti.

    Nel 2004 Alex Verstak and Anurag Acharya, due ingegneri informatici  di  Google,  hanno lanciato Google Scholar, un motore di ricerca che indicizza, con l’accordo degli editori,  l’intero testo degli articoli scientifici di un vasto numero di pubblicazioni e discipline.  Oggi  Google Scholar è forse il motore di ricerca che in modo piu’ sistematico copre le risorse della ricerca del web.  Google Scholar non fornisce la lista completa degli articoli pubblicati da parte di un singolo ricercatore, copre una frazione che puo’ oscillare tra il 60% ed il 90 %.  Inoltre non rende disponibile la lista delle riviste indicizzate e la frequenza degli aggiornamenti. Ma è gratuito e beneficia del marchio di qualità  legato agli algoritmi di Google. Inoltre,  siccome  applica gli stessi criteri per tutti, permette  dei confronti significativi all’interno dello stesso settore scientifico.

    Nel 2005, J. E. Hirsch ha proposto  l’ indice h, che i combina la quantità degli articoli pubblicati con la loro qualità, determinando il numero N tra gli articoli pubblicati che  hanno almeno N citazioni ciascuno.  L’articolo originale di Hirsh merita di essere letto, chi lo vuole lo trova in questo sito in forma interattiva e  qui il download in formato pdf. Questa variabile risulta essere particolarmente insensibile rispetto a tipiche  distorsioni nella valutazione puramente quantitativa, ad esempio dovute alla durata della carriera oppure alla partecipazione a collaborazioni che producono articoli con moltissimi co-autori.

    Nel 2006 è apparso in rete Publish or Perish (PoP) un programma free-ware sviluppato da   Anne-Wil Harzing, Professore in management internazionale dell’ University of Melbourne, Australia (www.harzing.com)  Basato su Google Scholar , questo programma fornisce in pochi secondi le principali variabili bibliometriche in tutti i principali campi di ricerca, dal management alle scienze sociali, passando per le scienze “dure”.   Il confronto fra i risultati di PoP e quelli di altri data base, primo tra tutti ISI Thomson  Web of Knowledge, quest’ultimo accessibile solo a pagamento,  mostrano che mentre gli indici bibliometrici sono ben correlati, la sovrapposizione dei dati sui cui vengono calcolati è solo parziale, sia per il fatto che Google Scholar copre un insieme ben più vasto di pubblicazioni, sia per il fatto che la determinazione di questi fattori bibliometrici puo’ essere fatta, entro certi limiti, anche solo campionando le pubblicazioni di un singolo ricercatore.

    Da pochi anni è quindi possibile in modo rapido e gratuito valutare il lavoro scientifico di qualsiasi ricercatore italiano e non. Questo blog ha come obbiettivo la diffusione, la discussione e l’ analisi di metodi di valutazione della ricerca il piu’ possibile oggettivi ed efficaci

    Roberto Battiston

    27  Ottobre 2008

    __________________________________________________________________________________________

    COMMENTI

    Sono d’accordo su tutto quello che dite. Per valutare il lavoro di un ricercatore, pero’, aggiungerei che il valutatore, oltre che qualificato e disinteressato, debba anche essere anonimo. Nelle promozioni dei professori tenure track negli USA, in genere, il candidato sceglie N valutatori e l’universita’ ne sceglie M (nel CUNY, dove ho insegnato 15 anni, N=M=6). Le loro valutazioni restano anonime. La cosa piu’ buffa e’ che nei casi di cui sono stato testimone, cioe’ in cui sono stato membro della commissione di valutazione, le valutazioni degli “amici” del candidato erano in media piu’ negative di quelle dei valutatori scelti da noi.

    Buon lavoro.
    Roberto Mauri

    Prof. Roberto Mauri
    Department of Chemical Engineering, Industrial Chemistry and Material Science
    University of Pisa, Italy
    Tel 39-050 2217848

    -Buona quantità ma poca qualità: spiegato il mistero delle classifiche della ricerca italiana

    Archiviato in: Valutazione — admin @ 06:31

    28 Novembre 2008

    Innovazione e qualità scientifica

    L’Italia è piena di soloni che ci ammoniscono spesso con un noioso refrain: “L’Italia è molto avanti nella graduatorie delle pubblicazioni scientifiche ma molto indietro nella classifica dell’innovazione industriale”. Ritornello a cui segue la inevitabile e strumentale deduzione che “…bisogna quindi diminuire i finanziamenti che servono solo a fare delle belle pubblicazioni ed aumentare quelli che generano l’innovazione e la competitività del sistema produttivo”.

    Il sito web di SJR (www.scimagojr.com), che organizza e rende disponibili i dati del database bibliografico di Scopus, rivela che considerando tutte le possibili discipline, l’Italia figura al settimo posto nella graduatoria delle pubblicazioni (1996-2007). Solo qualche click più lontano,  il sito web di Pro_Inno_Europe, fonte ufficiale dell’Unione Europea in materia di innovazione, rivela che considerando le stesse nazioni censite da SJR,  nel 2007 l’Italia è al ventesimo posto per quanto riguarda l’innovazione. La Svezia, prima nell’innovazione, è solo decima nelle pubblicazioni; la Svizzera che è seconda nell’innovazione è dodicesima nelle pubblicazioni.

    Se ne potrebbe dedurre, ad una prima superficiale analisi, che la capacità di innovare non dipende affatto dalla capacità di fare buona ricerca. Ma guardate il grafico che mostra invece una bella e significativa correlazione fra la “qualità delle pubblicazioni” delle varie nazioni  [espressa come numero medio di citazioni ricevute da ogni articolo scientifico pubblicato] ed il corrispondenteindice di innovazione.

    Viene fuori che i paesi dove si pubblicano più articoli scientifici di qualità sono anche quelli dove è maggiore il grado di innovazione industriale.

    Qualcuno potrebbe obiettare che la correlazione si può anche spiegare ammettendo che i paesi più “innovativi” hanno maggiori risorse da investire nella ricerca. Ma non è vero: il modello che qualcuno in Italia vorrebbe (meno pubblicazioni = più innovazione) non è verificabile con dei dati. Non esiste paese al mondo dove coesistano “elevata innovazione” e “bassa qualità scientifica della ricerca”. Non resta quindi che ammettere che la ricerca di qualità, per quanto auto-referenziale, correla fortemente con la capacità di fare innovazione: sic et simpliciter.

    Franco Miglietta, IBIMET-CNR, Firenze

    _________________________________________________________________________________________________________________

    NOTA: Ugo Amaldi ha scritto recentemente una nota sulla ricerca italiana in cui sostiene una tesi che apparentemente va nella direzione contraria a quanto sostenuto da Miglietta, e cioè che se si prende l’1% degli articoli piu’ citati al mondo, l’ Italia, tenuto conto del numero di ricercatori attivi, è tra i primi paesi al mondo nel pubblicare articoli che sono molto citati.  Credo personalmente che l’osservazione di Amaldi sia vera, nel senso che abbiamo in Italia delle scuole eccellenti. Ma Miglietta dice una cosa altrettanto vera: la qualità media degli articoli prodotti dai ricercatori italiani ci ricaccia molto piu’ in basso nella classifica, cosi’ come la nostra capacità di innovazione.E’ con questo numero la qualità media e non le punte di eccellenza, che il nostro sistema deve fare i conti, economici e non.  E quindi è fuoriviante concentrarsi solo sulle nostre migliori scuole: la parte migliore del nostro sistema sta andando a fondo a causa della parte mediocre. Il fatto che stiano andando a fondo assieme non puo’ essere di conforto per nessuno.

    Riporto nel seguito l’articolo di Amaldi.

    RB

    _________________________________________________________________________________________________________________

    LA RICERCA ITALIANA DI PUNTA PRODUCE RISULTATI PIÙ CITATI INTERNAZIONALMENTE DI QUELLE AMERICANA, FRANCESE, TEDESCA E GIAPPONESE

    In questo periodo la ricerca italiana è denigrata da (quasi) tutti senza tener alcun conto del fatto che i finanziamenti annuali e il numero di ricercatori sono in Italia molto inferiori a quelli degli altri paesi sviluppati. Sir David King, consigliere scientifico del premier Blair, ha pubblicato su Nature nel 2004 (Vol. 430, 311-316) un articolo intitolato “The scientific impact of Nations” da cui si deduce - con semplici operazioni di divisione - che questi (pre)giudizi non hanno alcun fondamento.
    La Tabella 3 di questo articolo mostra che l’Italia ha la metà dei ricercatori della Francia e del Regno Unito, nonostante le popolazioni siano uguali. Il numero di dottorati di ricerca è addirittura tre volte inferiore.

    La novità dell’articolo sta nella Tabella 1, che contiene il numero degli articoli scientifici che sono stati più citati negli anni 1997-2001. Il criterio scelto per definire i lavori “più citati” è molto restrittivo: si tratta della fascia che contiene soltanto l’1% degli articoli che hanno ricevuto citazioni in ogni campo sia di scienza che di ingegneria considerato separatamente. Non si privilegia cosí alcun settore della ricerca. Questa valutazione è stata fatta dal Thomson Institue for Scientific Information analizzando 8000 riviste pubblicate in 36 lingue. I risultati,riportati nella Tabella 1, mostrano che, per numero di articoli scientifici molto citati, l’Italia sta al settimo posto dopo gli Stati Uniti, il Regno Unito, la Germania, il Giappone, la Francia e il Canada.

    Ma il confronto non è corretto, perché non soltanto l’Italia ha molti meno ricercatori per milione di abitanti; anche l’investimento per ricerca e sviluppo, come tutti sanno, è l’1% del Prodotto Nazionale Lordo, mentre la Francia e la Germania investono quasi tre volte di più. Bisogna invece dividere i numeri della Tabella 1 per quelli della Tabella 3. Cosí si vede che l’Italia della scienza e dell’ingegneria di punta supera, nell’ordine, gli Stati Uniti, la Francia, la Germania e il Giappone. In conclusione, i nostri pochi fondi sono bene investiti e i caposcuola esistono.

    U.Amaldi                                                                                                                 Ginevra, 30 ottobre 2008

    - Verso una valutazione bibliometrica per i settori umanistici ?

    Archiviato in: Valutazione — Tag: — admin @ 15:57

    20 Novembre 2008

    E’ noto che il settore umanistico ha caratteristiche tali da rendere  impegnativo l’ approccio  bibliometrico alla valutazione della ricerca:  inoltre risulta difficile confrontare la valutazione di  questi settori con i risultati ottenuti nell’ analisi di altri settori della ricerca. L’ European Science Foundation (ESF) ha iniziato a occuparsi seriamente del problema, lanciando il progamma ERIH (European Reference Index for the Humanities).

    ERIH intende identificare le ricerche di eccellenza nel campo umanistico pubblicate sulle migliori  riviste accademiche, possibilmente in tutte le lingue europee. Si tratta di un processo basato su referaggi, in cui un pannello di 15 esperti riceve informazioni da un ampio numero  di istituzioni ed esprime valutazioni sulla qualità delle riviste.

    Il progetto ERIH ha già prodotto una serie di  liste  “iniziali” accompagnate da istruzioni per l’uso. Al momento attuale non sono utilizzabili come indicatori bibliometrici per la valutazione individuale dei ricercatori, bensi’ per una categorizzazione  delle riviste europee nei vari settori umanistici che vengono in questo modo raggruppate in tre categorie: A, B e C.  Si tratta di una sorta di impact factor.

    ERIH rappresenta  quindi un primo passo importante verso una valutazione pobbiettiva dei prodotti della ricerca nei campi umanistici.

    A questo proposito lo Steering Committee  ed il Pannel di Esperti di ERIH raccomandano di NON utilizzare le liste “iniziali” come base per la valutazione individuale di candidati per assunzioni, promozioni, bandi di ricerca etc.

    R.B.

    - News

    Archiviato in: NEWS — admin @ 11:22

    18 Novembre 2008

    _______________________________________________________________________________________________________

    2 febbraio 2009

    Intervento di Paolo Rossi sulla valutazione dell’attività scientifica del sistema universitario.

    _______________________________________________________________________________________________________

    27 dicembre  2008

    Il CUN ha prodotto un documento di lavoro contenente i criteri minimi raccomandati per la partecipazioni alle selezioni comparative  per posizioni di ricercatore, associato ed ordinario.

    Discussione dei contenuti di questo documento su questa pagina.

    _______________________________________________________________________________________________________

    3 dicembre  2008

    Importante articolo di F. Radicchia, S. Fortunato e C. Castellani,  dal titolo: Universality of citation distributions: Toward an objective measure of scientific impact

    Discussione su questa pagina

    _______________________________________________________________________________________________________

    29 novembre 2008

    Vi suggeriamo di leggere il commento di Francesco Forte (n. 15) nella discussione dell’ utilizzo indice-h nel settore della fisica.

    http://www.pubblicoergosum.org/?p=68#comments

    Nel settore della fisica teorica, dove  la prassi consolidata è che vinca il candidato interno e l’idoneo invece si debba  confrontare  in modo competitivo,  il valore medio dell’ indice-h dei vincitori è 11 e degli idonei è 18 (sic!) evidenziando in modo oggettivo una caratteristica nota solo in modo qualitativo in precedenza.

    _______________________________________________________________________________________________________

    27 novembre 2008

    Vi suggeriamo di leggere la recente analisi sulla realazione tra ricerca scientifica e tasso di innovazione  del paese:

    http://www.pubblicoergosum.org/?p=399

    Si tratta di una interessante osservazione: l’ Italia è sempre stata qualificata a livello internazionale per il numero di pubblicazioni (relativamente alto) e per il tasso di innovazione (significativamente piu’ basso). Appare da questo articolo che questa strana mancanza di correlazione tra due parametri cosi’ strettamente collegati è dovuta al modo con cui sono contati gli articoli di ricerca: “quantitativamente” e non “qualitativamente”.

    Correggendo  per questo effetto i numeri tornano e purtroppo l’italia non si piazza bene ne nell’uno ne nell’ altro caso.

    - CIVR vs Google Scholar : correlazione 0,96 ad un costo irrisorio

    Archiviato in: Valutazione, indice h — Tag: — admin @ 00:23

    13 Novembre 2008

    Il Gruppo di Genetica Molecolare del Dipartimento di Biologia dell’ Università di Roma “Tor Vergata” ha svolto una serie di studi relativi alla valutazione del sistema universitario.

    Particolarmente interessanti risultano i risultati  in cui i risultati del CIVR sono confrontati con analoghe analisi effettuate usando Google Scholar, ottenendo una eccellente correlazione (ad un costo enormemente inferiore!)

    Risultati interessanti riguardano anche i valori integrali delle citazioni

    1) per milione di euro di investimento:

    2) per numero di ricercatori (università grandi)

    2) per numero di ricercatori (università piccole)

    - Valutazioni relative tramite l’uso dell’ indice-h

    Archiviato in: indice h — admin @ 23:44

    10 Novembre 2008

    Ecco un esempio più specifico, e con nessuna prestesa di rigorosità, di come si potrebbe procedere per capire se un ricercatore che ha un determinato valore di h è più produttivo e/o ha un maggiore impatto rispetto ad altri colleghi.  Egghe [05, 06], analizzando l’h-indice di molti ricercatori, è giunto alla conclusione che l’indice di Hirsch, come quasi tutti gli indici legati alla produzione scientifica, segue la distribuzione di frequenza di Pareto. Ossia la percentuale di ricercatori che hanno un h-indice superiore a H è proporzionale a  1/H^α, dove α è un indice sperimentale. Ciò permette per esempio di analizzare una determinata popolazione di ricercatori considerando, per ognuno di essi, il rapporto fra il numero delle pubblicazioni N e l’indice h personale.  Si dimostra che la curva teorica che interpola i punti è data dall’equazione h = N^(1/α) dove dove h è l’ h-indice medio della popolazione per ogni valore di N (numero complessivo delle pubblicazioni del singolo ricercatore) e α è il parametro di fit della curva. Un esempio di un esercizio di questo genere è quello che abbiamo fatto per prova con un sottoinsieme casuale di ricercatori dell’Istituto Nazionale di Geofisica e Vulcanologia che è illustrato nella successiva figura.

    Figura 1: analisi dei dati dell’Istituto Nazionale di Geofisica e Vulcanologia (INGV)

    E’ evidente che la distribuzione contiene già al suo interno una approssimativa stratificazione per età dei ricercatori. Fatte le debite eccezioni, infatti,  la regola è che i ricercatori più giovani si trovano inevitabilmente nella parte sinistra del grafico mentre i più anziani stanno a destra. Ma probabilmente i migliori, a prescindere dalla loro età, tenderanno a trovarsi nell’area posta al di sopra della curva, ove si concentrano quelli che a parità di numero di articoli pubblicati hanno avuto un maggior impatto sia in termini di numero di citazioni che di continuità della loro produzione scientifica: ovvero quelli che hanno molti articoli che sono stati molto citati. Così, se ad una prima analisi il ricercatore A ed il ricercatore B che hanno circa la stessa età e lo stesso numero di pubblicazioni possono sembrare allo stesso livello di qualità, l’h-indice discrimina o il loro posizionamento relativo nell’ambito di una comunità omogenea e la differenza di “qualità” complessiva della loro produzione scientifica. Cosa che il solo numero delle pubblicazioni o il loro Impact Factor medio, o anche solo il numero di citazioni totali non avrebbe mai discriminato.

    Ora, è abbastanza intuitivo come l’esempio possa essere esteso a diversi ambiti, a seconda delle necessità. Esisteranno infatti tanti valori di  di decadimento caratteristici della comunità dei geofisici o degli immunologi a livello mondiale, continentale, nazionale, di ente o di dipartimento. Ed ogni ricercatore del mondo che appartenga a quella determinata popolazione avrà un proprio posizionamento relativo rispetto ai diversi valori, e alle diverse scale di interesse.

    Franco Miglietta (IBIMET-CNR)
    Roberto Natalini (IAC-CNR).

    Referenze
    [Hi08] J. E. Hirsch, Does the h index have predictive power? PNAS, December 4, 2007; 104(49): 19193 - 19198.
    [Ce07] Gianni Cesareni, http://mint.bio.uniroma2.it/molecular-genetics/CIVR_Assessment.html
    [CiSt] International Mathematical Union, Citation Statistics report: Numbers with a number of problems, June 2008; http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
    [INRIA] INRIA Evaluation Committee, Analysis on the bibliometric indicators used to assess researchers and institutions, March 2008;
    http://www.inria.fr/inria/organigramme/documents/ce_indicateurs_en.pdf
    [Egghe06] L Egghe, R Rousseau, An informetric model for the Hirsch-index, Scientometrics, Volume 69, Number 1 / April, 2006, 121-129.
    [Egghe05] L. Egghe, Power Laws in the Information Production Process: Lotkaian Informetrics,
    2005, Academic Press.
    [Brody07] T. Brody, Institutions, repositories and research assessment, Intro to UK RAE 2008, Nancy 2007,  http://international.inist.fr/icsti/t_brody.pdf
    [ISI08] ISI, Highly Cited Papers Thresholds, http://sciencewatch.com/about/met/thres-highlyctd/ (updated nov 08).

    Funziona con WordPress