[Forum SIS] sulle liste ANVUR

[Lucio Bertoli Barsotti]

Cari colleghi, faccio seguito alla interessante discussione dei giorni
scorsi sulle liste ANVUR.

Il problema della nostra disciplina (faccio riferimento alla Statistica) è
che 1) è fortemente trasversale, rispetto ad altre aree scientifiche, e 2)
non è bibliometrica.

La lista ASN2015 delle riviste di classe A di (diciamo lista ASN) è basata
su precisi ranking citazionali. In particolare sullo SJR che normalizza il
consueto impact factor (IPP nel gergo di Scopus) in funzione del campo
disciplinare. IPP e SJR sono gli stessi indicatori (assieme ai 2
corrispettivi ISI) su cui si basano i ranking del VQR-GEV13 (diciamo lista
VQR). Quindi, se questi indicatori bibliometrico-meritocratici vengono
confutati o messi in dubbio per la lista ASN, a maggior ragione (vd sotto)
crollano anche i ranking e le determinazioni della lista VQR.

Nella attuale lista ASN si contano 794 riviste – faccio riferimento al
settore “statistico”, SC D1 (le differenze con D2 e D3 sono trascurabili).
Queste hanno impact factor medio (IPP2014) di 2.8, mediana 2.2. Inutile
sottolineare che si tratta di valori estremamente alti. Basti pensare che
solo il 10% di queste 794 riviste ha un impact factor inferiore a 1. Può
quindi risultar vano cercare nella lista riviste che non abbiano almeno,
come pre-condizione,… un alto impact factor. E’ la dura legge degli
indicatori citazionali.

Le riviste fanno capo a diverse categorie scientifiche. Non esiste la
categoria “Statistica”. Delle 27 categorie che prevede Scopus (ASJC), le
riviste nella ASN (SC D1) ne toccano ben 26. Le principali sono le seguenti:

AREA
%

Business, Management and Accounting                              16,50

Mathematics
12,29

Social Sciences
12,13

Economics, Econometrics and Finance                  12,08

Computer Science
7,96

Medicine
6,66

Decision Sciences
5,88

Environmental Science                                                5,47

altri
21,04

 

In prospettiva futura, tolte le riviste che usciranno dalla lista al
31/12/2016, ne resteranno 382 (non è chiaro se vi saranno new entry), con
impact factor medio che scende di poco (IPP medio 2.5; mediana 2.1) con una
evoluzione che sembra orientata verso una minor eterogeneità disciplinare:

AREA
%

Business, Management and Accounting                              22,8


Economics, Econometrics and Finance                  18,4


Social Sciences
12,8                       

Mathematics
12,4                       

Decision Sciences
9,8          

Computer Science                                                         9,3


altri
14,5

 

 

In ogni caso credo sia da apprezzare la trasparenza e l’accurata descrizione
della metodologia utilizzata fornita dal GdL nel documento di
accompagnamento. I valori di IPP, SNIP, SJR sono chiari e incontrovertibili,
perché pubblicati da Scopus. L’inclusione nella lista è frutto, oltre che
-mi pare-… di qualche “wild card”, della applicazione della griglia, forse
rigida, ma pre-programmata e riportata nel documento di accompagnamento.
Forse, come sottolineato da alcuni colleghi, la lista potrebbe essere più
aperta e comprensiva, pur sempre nel vincolo necessario del rispetto
dell’eccellenza bibliometrica.

Personalmente sono più perplesso sulla lista VQR, per diversi ordini di
motivi.

METODOLOGIA DI INCLUSIONE. Innanzi tutto, la metodologia di
inclusione/esclusione delle riviste nella lista VQR mi pare molto meno
trasparente.

CATEGORIE DISCIPLINARI. Al netto delle riviste in tutto o in parte non
indicizzate, quindi non monitorabili disciplinarmente (almeno nei termini di
un confronto diretto con le precedenti classificazioni), per quelle
censibili in Scopus per l’ Area “Statistics and Mathematical Methods” trovo:

AREA
%


Mathematics

38,30


Decision Sciences

12,66


Computer Science

10,10


Social Sciences

8,17


Engineering

7,21


Economics, Econometrics and Finance

5,93


altri

17,63

 

COMPLETEZZA. Come è già stato notato, le liste ASN e VQR (Area “Statistics
and Mathematical Methods”) si intersecano assai poco, disorientando i
ricercatori di area statistica. La lista VQR(St&Mat) conta solo 569 riviste.
Quelle in comune con le 794 della lista ASN sono 152. Ci sono quindi 642
riviste di “classe A” (SC D1) che non si trovano nella lista VQR(St&Mat).
Considerato che la lista VQR(St&Mat) vorrebbe censire tutte le riviste
(visto che annovera anche quelle che meritano punteggio 0), e non solo le
“top” (precisamente ne conta solo 93 che presentano almeno uno dei 4
indicatori monitorati in “fascia A”), personalmente trovo di gran lunga più
incompleta questa lista di quella ASN.

INDICIZZAZIONE. Le riviste presenti nell’elenco VQR sono in buona parte non
indicizzate. Precisamente, le riviste contemporaneamente indicizzate in
tutti e tre i database considerati, ISI Scopus e GS (cioè quelle per le
quali si possono reperire tutti gli indicatori di base IPP, SJR, IF5, AIS e
GS-h-index, monitorati ai fini VQR) sono meno della metà delle riviste
comprese in elenco.

INDICATORI MANCANTI. La conseguenza è che circa il 40% dei 4 indicatori
utilizzati per i ranking VQR (i suddetti IPP e SJR, nonché IF5 e AIS, tratti
da ISI) non esistono proprio, e vengono quindi “imputati”, dando luogo a uno
strano ranking ibrido, con un mix di valori reali & valori teorici.

IMPUTAZIONE POCO ATTENDIBILE. L’imputazione dei missing avviene tramite
l’h-index, reperito su GS o tratto da Publish-or-Perish, con una regressione
lineare semplice (su diagramma log-log). Purtroppo, il nesso matematico fra
h-index e impac factor è matematicamente molto lasco, per non dire
fantomatico, e non può certo essere catturato in modo adeguato da un legame
lineare, né risulta essere indipendente, come invece di fatto si assume,
dall’occasionale numero di pubblicazioni del journal – numero peraltro
fortemente variabile anche in vista delle diverse finalità editoriali.

INDEBITI SORPASSI NEL RANKING. Nonostante valori imputati espressi in lista
VQR con una precisione sbalorditiva (al milionesimo, per quel che ciò può
significare…), capita spesso che riviste con h-index anche più alto vengano
sopravanzate nel loro valore (effettivo!) di IPP e/o SJR e/o IF5 e/o AIS dal
corrispettivo teorico-imputato di altre riviste con h-index più basso. Ciò
crea clamorosi sopravanzamenti di “fascia” ai danni di riviste indicizzate,
che ovviamente hanno poco senso logico oltre ad essere stati espressamente
esclusi nel regolamento pubblicato a novembre 2015:

“L’algoritmo sarà tale da escludere la possibilità che una rivista
indicizzata ottenga una classificazione inferiore a quella di una rivista
non indicizzata associata a un indice h minore” (Criteri per la valutazione
dei prodotti di ricerca – GEV13. Novembre 2015, p.13) 

 

CONTROESEMPI. Ad esempio le riviste non indicizzate


 

IF5

AIS

IPP

SJR

h-index


INTERNATIONAL MATHEMATICAL FORUM

0,828

0,458

0,654

0,539

14


INTERNATIONAL JOURNAL OF CONTEMPORARY MATHEMATICAL SCIENCES

0,770

0,423

0,601

0,497

13


EUROPEAN ACTUARIAL JOURNAL

0,711

0,387

0,549

0,455

12


R NEWS

0,711

0,387

0,549

0,455

12

 

hanno valori (missing e) imputati dei 4 indicatori (e quindi di fascia)
superiori ai valori effettivi della seguente rivista, pur indicizzata e
dotata di h-index superiore:


 

IF5

AIS

IPP

SJR

h-index


COMMUNICATIONS IN STATISTICS. THEORY AND METHODS 

0,388

0,234

0,381

0,418

18

 

I controesempi sono numerosi, sia nella nostra Area (“Statistics and
Mathematical Methods”), che nelle altre Aree della lista GEV13.

 

In conclusione, la lista ASN (SC D1) cerca “semplicemente” di selezionare
riviste nella fascia della eccellenza bibliometrica (come certificata da
Scopus) in aree scientifiche connesse/riconducibili alla “sub-area
Statistica”. 

La lista VQR ha finalità ben più ambiziose, perché 1) vuole censire tutte le
riviste di area (“Statistics and Mathematical Methods”), 2) dar loro un
ranking coerente, e oltretutto 3) far corrispondere a tale ranking pesi
numerici, matematicamente manipolabili su scala additiva (sic).

Mentre l’Abilitazione non può totalmente prescindere dal coinvolgimento
nella valutazione di una commissione “umana”, che potrebbe/dovrebbe sempre
esprimere giudizi di merito (e non già puramente bibliometrici) sui singoli
prodotti di ricerca, la VQR-GEV13 sembra essere totalmente affidata a un
meccanismo di valutazione “automatico”. Per questo trovo molto più
preoccupanti i limiti metodologici e le incongruenze della lista VQR-GEV13,
in vista dei ranking delle Strutture che essa produrrà e di un loro
possibile futuro utilizzo spurio, nella valutazione ministeriale o interna
agli Atenei, di interi Dipartimenti o gruppi di ricercatori.

Cari saluti a tutti.

Lucio Bertoli-Barsotti

 

-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://www.stat.unipg.it/pipermail/sis/attachments/20160412/b49fa0a0/attachment-0001.html>