[Forum SIS] R: R: R: Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Sab 27 Giu 2020 18:25:56 CEST

Caro Gianluca, cari tutti
penso che  i Soci della SIS abbiano compreso che le tue posizioni e le mie in merito ad ANVUR etc. sono ortogonali.
Quindi direi di chiuderla qui, almeno sul forum della SIS.
Tuttavia, permettimi una richiesta (che faccio anche a Paolo): posso diffondere le vostre mail sull'argomento"fuori" da questo forum? Ad esempio su Roars?
Abbracci
Giorgio
________________________________
Da: Gianluca Cubadda <gianluca.cubadda a uniroma2.it>
Inviato: sabato 27 giugno 2020 14:42
A: 'Paolo Giudici' <paolo.giudici a unipv.it>; Giorgio Tassinari <giorgio.tassinari a unibo.it>
Cc: 'SIS List' <sis a stat.unipg.it>
Oggetto: R: [Forum SIS] R: R: Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Caro Paolo,

concordo pienamente.

Alcuni errori nel sistema di valutazione della ricerca in Italia non devono essere motivo per rimpiangere le pratiche del passato.

Tutti possono fare errori ma non esistono, ad oggi, alternative solide al sistema basato sul giudizio tra pari delle riviste, nel quale (idealmente) AE e referee sono qualificati esperti dello specifico campo di ricerca del lavoro sottomesso. Altrettanto importante è la questione della “esogeneità” che tu richiami.

Ovviamente, nulla osta a leggere i lavori ma ho l’impressione che i geni rinascimentali non abbondino e, comunque, il sapere è oggi esponenzialmente più complesso e parcellizzato rispetto al XV secolo. Senza le specifiche competenze in materia, leggere non è in alcun modo sinonimo di capire e saper valutare.

Cari saluti a tutti,

Gianluca

Da: sis-bounces a stat.unipg.it <sis-bounces a stat.unipg.it> Per conto di Paolo Giudici
Inviato: sabato 27 giugno 2020 12:44
A: Giorgio Tassinari <giorgio.tassinari a unibo.it>
Cc: SIS List <sis a stat.unipg.it>
Oggetto: Re: [Forum SIS] R: R: Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Caro Giorgio, concordo con quanto hai scritto

I referee, gli associate editors e gli editors,

anche delle riviste più prestigiose, possono sbagliare.

Ma non e’ sostituendo al giudizio fra pari delle riviste (comunque standardizzato ed “esogeno”) un giudizio “endogeno” della comunità o di alcuni suoi membri che si risolve il problema. Anzi, si rischia di diminuire la trasparenza che e’ per molti, e specie per i più giovani, aspetto molto importante.

Un caro saluto a tutti.

Paolo Giudici

Il giorno sab 27 giu 2020 alle 12:18 Giorgio Tassinari <giorgio.tassinari a unibo.it<mailto:giorgio.tassinari a unibo.it>> ha scritto:

Caro Corrado, car@ tutt@,

che sia necessaria una profonda revisione degli elenchi delle riviste apprestati dall'ANVUR ai fini dell'ASN è ormai sentimento comune. Occorre tener presente anche i cambiamenti nella prassi della ricerca scientifica e delle modalità di pubblicazione, rilievo sempre maggiore delle riviste open e delle necessità di tempestività nella diffusione dei risultati (come nel caso delle ricerche sul COVID-19).

Inoltre, sarebbe necessario a mio parere riflettere sulla radice concettuale dell'attuale sistema di valutazione e governo della ricerca. In pratica l'ANVUR esercita un potere dispotico sulla ricerca e gli aspetti sostanziali sono negletti. Tornare a leggere i lavori e poi emettere un giudizio sul lavoro stesso. Non riesco a vedere dove stia la difficoltà. Secondo me dovremmo discuterne. Anche su Lancet sono stati pubblicati lavori clamorosamente sbagliati (come quello sulla relazione tra vaccini e autismo)

________________________________

Da: sis-bounces a stat.unipg.it<mailto:sis-bounces a stat.unipg.it> <sis-bounces a stat.unipg.it<mailto:sis-bounces a stat.unipg.it>> per conto di Corrado Crocetta <c.crocetta a unifg.it<mailto:c.crocetta a unifg.it>>
Inviato: mercoledì 24 giugno 2020 12:12
A: Paola Zuccolotto <paola.zuccolotto a unibs.it<mailto:paola.zuccolotto a unibs.it>>
Cc: SIS List <sis a stat.unipg.it<mailto:sis a stat.unipg.it>>
Oggetto: Re: [Forum SIS] R: Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Cari SOCI SIS,

Gli interventi dei colleghi Paola Zuccolotto, Monica Pratesi, Clelia Di Serio, Giorgio Tassinari, Michele La Rocca, Paolo Giudici e Renata Rotondi in merito alla dichiarazione DORA, di dicembre 2012, inviataci da Giuseppe Arbia, evidenziano una esigenza ampiamente condivisa dalla nostra comunità. Il tema della revisione della lista delle riviste scientifiche dell’area 13 è stato spesso oggetto di discussione nei tanti incontri, organizzati in questi mesi, di campagna elettorale per il rinnovo delle cariche SIS. Le criticità delle liste erano state già evidenziate da uno studio del consigliere SIS Maurizio Carpita ed hanno trovato conferma nella sentenza del TAR Lazio del 30/10/2017 che trovate allegata all’articolo<https://www.roars.it/online/tar-lazio-difetti-di-istruttoria-travisamento-dei-fatti-e-carenza-di-motivazione-azzerano-la-vqr-di-area13/> dal titolo Tar Lazio: difetti di istruttoria, travisamento dei fatti e carenza di motivazione azzerano la VQR di area 13, pubblicato su Roars il 30/01/2019. La sentenza del TAR ha, di fatto, demolito il sistema di valutazione adottato.

D’altronde in un documento ANVUR del 2016 era già stata evidenziata la necessità di svolgere ricerche per “valutare la possibilità di utilizzo dei dati Google Scholar a fini valutativi”. Peccato che il GEV13 abbia usato proprio quell’indicatore per le sue valutazioni.

Di fatto la sentenza ha annullato l’intero lavoro di classificazione delle riviste di Area13 della VQR1 che con alcune modifiche è stato adottato anche per la VQR 2.

Non sorprende quindi che la nostra comunità non si riconosca in quelle liste lamentando profonde carenze.

A mio avviso è necessario che la SIS avvii una profonda riflessione su questo tema e che si impegni per valorizzare la interdisciplinarietà che caratterizza i nostri settori.

Come ho indicato nel mio programma, è importante tessere un’azione di concertazione con le altre società scientifiche dell’area 13, tentando di arrivare ad una posizione ampiamente condivisa da proporre all’ANVUR.

Cordiali saluti

Corrado Crocetta

Il giorno mer 24 giu 2020 alle ore 11:06 Paola Zuccolotto <paola.zuccolotto a unibs.it<mailto:paola.zuccolotto a unibs.it>> ha scritto:

Care/i Colleghe/i,
mi trovo in completo accordo con quanto sottolineato da Clelia.
La nostra materia è per sua natura interdisciplinare e sappiamo tutti come, anche a livello di possibilità di ottenere finanziamenti, siano spesso privilegiati progetti che non si limitino allo sviluppo di metodi e modelli statistici, ma li calino nelle più svariate realtà applicative. Per questo motivo dovrebbero poi essere riconosciuti i contributi degli statistici nelle riviste specialistiche delle realtà in cui i metodi sono stati applicati.

Oltre a questo punto di massimo rilievo, vorrei anche sottolineare l'esistenza di alcuni settori di nicchia della Statistica, piuttosto trascurati a livello di riconoscimento ufficiale delle riviste.
Cito, giusto perchè mi sta particolarmente a cuore, quello della Statistica nello Sport.
Si tratta di una tematica che sta riscuotendo un interesse in rapida crescita, al punto che l'ISI ha voluto in questi ultimi anni rivitalizzare lo Special Interest Group in Sport Statistics (faccio presente che i SIG dell'ISI sono soltanto 10).
Nonostante questo, quelle che Tim Swartz nel suo articolo "Where Should I Publish My Sports Paper?" pubbllicato nel 2020 su "The American Statistician" (74:2, 103-108) cita come i due più importanti "Sports Statistics Journals", non sono nemmeno nella lista delle riviste scientifiche per l'Area 13.
Si tratta del Journal of Quantitative Analysis in Sports e del Journal of Sports Analytics, due riviste che oltretutto sono molto selettive nel processo di peer review.
In questo caso è un'esclusione ancora più difficile da comprendere, in quanto non si tratta di riviste di altri settori che ospitano contributi di statistici, ma di vere e proprie riviste di Statistica.

Quindi concordo con la necessità, che state sollevando, di un ripensamento dei criteri, in modo da riconoscere i contributi scientifici - che hanno le nature più svariate - di tutti i membri della nostra comunità.

Un caro saluto a tutti,
Paola

____________________
Paola Zuccolotto
Full Professor of Statistics, University of Brescia
Director of the Big&Open Data Innovation Laboratory (BODaI-Lab) - bodai.unibs.it<http://bodai.unibs.it>
Scientific Coordinator of the project Big Data Analytics in Sports (BDsports) - bdsports.unibs.it<http://bdsports.unibs.it>
C.da S. Chiara, 50 - 25122 Brescia (ITALY<https://www.google.com/maps/search/C.da+S.+Chiara,+50+-+25122+Brescia+(ITALY?entry=gmail&source=g>)
Tel. ++39(0)30/2988634 - Fax. ++39(0)30/2400925

Il 24/06/2020 01:33, Di Serio Clelia ha scritto:

Care/i Colleghe/i,

ritengo che in questi anni tutto cio' che abbia riguardato "decisioni" sulla lista delle riviste di area 13 sia stato qualcosa di molto "esclusivo" nel senso che ha "escluso", in modo a mio avviso molto anacronistico, intere fasce disciplinari come la biostatistica applicata che ormai da molto tempo non è piu' appannaggio solo dei medici (anzi quasi per nulla come si vede dalla formazione dei nostri dottorandi).

Non devo certo evidenziare come in tutto il mondo la biostatistica rappresenti invece un ambito "inclusivo" di statistici, matematici, informatici, bioiformatici, fisici,  ed esperti di scienze computazionali che vivono e discutono giornalmente con clinici, ricercatori di base, virologi, infettivologi e sono con loro in prima linea a cercare di imparare ed insegnare non solo modelli ma un metodo di ricerca, il vero "statistical reasoning".

Chi, come me e tanti miei colleghi di grande valore, ha sempre lavorato per costruire delle realtà biostatistiche nel cuore di realtà altamente competitive come lo è la ricerca biomedica,  in Italia è stato messo gravemente in difficoltà da scelte incomprensibili su questa lista, in cui vedevamo misteriosamente escluse riviste di primaria importanza per la ricerca a livello mondiale (come molte davvero clamorose: Epidemiology, Cancer, Nature Biotechnology, Nature Medicine, Nature Communication, Cell, New England Journal of Medicine, Lancet, BMJ,  etc...) alcune delle quali non appaiono neppure sulla lista delle cosiddette riviste "scientifiche" per l'area 13! Non mi soffermo sull'inclusione  - per altri settori - di riviste altrettanto applicate ma a dir poco marginali.

A mio avviso sarebbe doveroso includere davvero le riviste scientifichi che compaiono nei primi percentili di tutti i settori scopus lasciando ad esperti e commissioni abilitate il compito di valutarne il contenuto dal punto di vista dell'originalità del contributo statistico.  Ho mandato negli anni passati, insieme anche ad alcuni colleghi italiani e stranieri che si occupano di biostastica all'estero e che ospitano spesso studenti italiani per periodi di ricerca nelle loro sedi, piu' volte delle segnalazioni all'ANVUR in merito alle riviste biomediche clamorosamente escluse , ma al momento non abbiamo avuto mai riscontri.

Non credo quindi sia solo una riflessione sull'impact factor si/no quella che deve essere fatta, ma piu' in generale su quello che i nostri giorni di COVID dovrebbero averci duramente insegnato, ovvero che in campo di salute la statistica non esiste senza la medicina e viceversa.  Sappiamo che ormai non è piu' tempo per permettersi di restare un settore di nicchia, altrimenti resteremo sempre molti passi indietro sia per visibilità che nella assegnazione delle risorse per la ricerca rispetto a chi affronta problemi complessi (biomedici e non) con strumenti ingegneristici magari piu' limitati nella metodologia statistica ma pubblicati su riviste che gli operatori, e i decisori in area health leggono davvero.

Di fronte al ritrovato entusiasmo per la biostatistica che ho visto riscoperto da tanti colleghi statistici ed espresso in questi mesi in lista SIS, ho voluto condividere con voi queste riflessioni penso anche ovvie, come socio SIS, SIB, SISMEC (insomma come statistica in medicina!) nella speranza che tutte le divisioni imposte dai settori disciplinari si trasformino presto da labirinti di Cnosso in sistema di  vasi comunicanti! Siamo una comunità con molte potenzialità ma ancora molto inespresse.

Un caro saluto e buonanotte,

Clelia.

Clelia Di Serio, PhD

Full Professor in Medical Statistics and Epidemiology

Director of University Centre for Statistics in the Biomedical Sciences ( CUSSB )

www.cussb.unisr.it<http://www.cussb.unisr.it>- 0039022643 4872 (3844)

Università Vita-Salute San Raffaele

Via Olgettina 58<https://www.google.com/maps/search/Via+Olgettina+58%0A20132+Milan%0AITALY?entry=gmail&source=g>

20132 Milan<https://www.google.com/maps/search/Via+Olgettina+58%0A20132+Milan%0AITALY?entry=gmail&source=g>

ITALY<https://www.google.com/maps/search/Via+Olgettina+58%0A20132+Milan%0AITALY?entry=gmail&source=g>

________________________________________

Da: sis-bounces a stat.unipg.it<mailto:sis-bounces a stat.unipg.it> <sis-bounces a stat.unipg.it><mailto:sis-bounces a stat.unipg.it> per conto di giuseppe Arbia <giuseppearbia13 a gmail.com><mailto:giuseppearbia13 a gmail.com>

Inviato: martedì 23 giugno 2020 15:19

A: Renata Rotondi

Cc: Paolo Giudici; SIS List

Oggetto: Re: [Forum SIS] Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

La novità è che molte riviste ed università stanno decidendo ora di firmare DORA. Tra queste appunto JSPE e con lei tutta Springer Nature che ha firmato il 20 maggio u. s.

Molte altre università vanno aggiungendosi (University of Cambridge, ad esempio, ha firmato nel 2019) a testimonianza che il problema è molto sentito.

Concordo con Paolo per quel che concerne le riviste dell'area 13. Quello che sottolinea la diffusione di DORA è che l'uso del IF sta diventando obsoleto e che i firmatari (sempre più numerosi) si impegnano ad abbandonare l’uso delle metriche delle riviste per giudicare i contenuti degli articoli. In tal senso la stessa distinzione di settore bibliometrico/non bibliometrico andrebbe ripensata. Cosa diventa un settore bibliometrico nel momento in cui non si usano più le metriche?

Renata ha ragione. L'elenco delle riviste di area 13 va riformato.

Giuseppe

Il giorno mar 23 giu 2020 alle ore 13:44 Renata Rotondi <reni a mi.imati.cnr.it<mailto:reni a mi.imati.cnr.it><mailto:reni a mi.imati.cnr.it><mailto:reni a mi.imati.cnr.it>> ha scritto:

Vorrei dare la mia esperienza su questo punto.

Proprio per valorizzare il ruolo importantissimo dei metodi statistici nello studio di problemi applicativi, ad esempio in campo ambientale, ho preferito spesso pubblicare su riviste di settore, e non strettamente statistiche dove avrei invece avuto un adience che avrebbe apprezzato maggiormente gli strumenti, magari innovati, utilizzati nell'analisi, ma meno interessata al problema e quindi al tentativo di dare un contributo alla soluzione di un problema applicativo di rilevanza internazionale.

Purtroppo però queste riviste, seppur molto quotate con rigoroso referaggio, non compaiono nell'elendo delle riviste dell'area 13, quindi la pubblicazione ha valore 0.

Non c'è poi da stupirsi se in alcuni settori troviamo geofisici ed altri esperti di settore che "fanno" il lavoro che dovrebbe essere fatto con la competenza degli statistici.

Renata Rotondi

________________________________

Da: "Paolo Giudici" <paolo.giudici a unipv.it<mailto:paolo.giudici a unipv.it><mailto:paolo.giudici a unipv.it><mailto:paolo.giudici a unipv.it>>

A: "giuseppe Arbia" <giuseppearbia13 a gmail.com<mailto:giuseppearbia13 a gmail.com><mailto:giuseppearbia13 a gmail.com><mailto:giuseppearbia13 a gmail.com>>

Cc: "SIS List" <sis a stat.unipg.it<mailto:sis a stat.unipg.it><mailto:sis a stat.unipg.it><mailto:sis a stat.unipg.it>>

Inviato: Martedì, 23 giugno 2020 12:42:27

Oggetto: Re: [Forum SIS] Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Grazie Giuseppe per il suggerimento, forse un po' datato, ma sempre attuale:

(Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. )

Credo anche io che il Journal Impact Factor abbia dei limiti. In particolare, occorrerebbe sempre considerare il contributo e l'impatto citazionale di ogni singola pubblicazione, oltre alla rivista nella quale è stata pubblicata.

Credo tuttavia che, per la maggior parte degli statistici,  il dibattito vada collocato nell'ambito dell'area scientifico-disciplinare 13 (Scienze economiche e statistiche) che NON è bibliometrica.

Personalmente, ritengo che le nostre discipline possano essere meglio valorizzate considerato il loro apporto multidisciplinare in riviste di alta qualità di vari ambiti applicativi: ambientali, economici, sociali, sanitari, ..

piuttosto che ridurre le riviste "qualificate" a quelle ritenute statistiche "pure" da un gruppo di esperti.

Mi piacerebbe, su questo punto, centrale nel dibattito sul futuro della statistica, sentire l'opinione di altri colleghi.

Buona giornata a tutti,

Tuttavia, ricordo che, per

Paolo Giudici

Professor of Statistics

University of Pavia

Research Profile:

https://www.scopus.com/authid/detail.uri?authorId=23491813000

Il giorno mar 23 giu 2020 alle ore 11:55 giuseppe Arbia <giuseppearbia13 a gmail.com<mailto:giuseppearbia13 a gmail.com><mailto:giuseppearbia13 a gmail.com><mailto:giuseppearbia13 a gmail.com>> ha scritto:

Segnalo l'iniziativa di un gruppo di curatori ed editori di riviste accademiche internazionali (tra le quali il "Journal of Spatial Econometrics" del quale sono Editor-in-Chief) che affronta la questione di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati dalle agenzie di finanziamento e dalle istituzioni accademiche, criticando l'uso di indicatori quali l'Impact Factor.

II gruppo ha stilato una serie di raccomandazioni denominate DORA (Declaration on Research Assessment) che trovate al link:

https://sfdora.org/read/it/

e che secondo me fornisce utili spunti per il dibattito in seno alla nostra Società su questi temi.

Giuseppe

Giuseppe Arbia, PhD Cantab

Ordinario di Statistica Economica

Università Cattolica del Sacro Cuore

ROMA

_______________________________________________

Sis mailing list

Sis a stat.unipg.it<mailto:Sis a stat.unipg.it><mailto:Sis a stat.unipg.it><mailto:Sis a stat.unipg.it>

http://www.stat.unipg.it/mailman/listinfo/sis

_______________________________________________

Sis mailing list

Sis a stat.unipg.it<mailto:Sis a stat.unipg.it><mailto:Sis a stat.unipg.it><mailto:Sis a stat.unipg.it>

http://www.stat.unipg.it/mailman/listinfo/sis

--

Renata ROTONDI

Consiglio Nazionale delle Ricerche (CNR)

Istituto di Matematica Applicata e Tecnologie Informatiche (IMATI)

via Bassini, 15<https://www.google.com/maps/search/via+Bassini,+15%0A20133+Milano,+ITALY?entry=gmail&source=g>

20133 Milano, ITALY<https://www.google.com/maps/search/via+Bassini,+15%0A20133+Milano,+ITALY?entry=gmail&source=g>

===========

Tel +39 02 23699 528

Fax +39 02 23699 538

Email: reni a mi.imati.cnr.it<mailto:reni a mi.imati.cnr.it><mailto:reni a mi.imati.cnr.it><mailto:reni a mi.imati.cnr.it>, renata.rotondi a mi.imati.cnr.it<mailto:renata.rotondi a mi.imati.cnr.it><mailto:renata.rotondi a mi.imati.cnr.it><mailto:renata.rotondi a mi.imati.cnr.it>

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Rispetta l’ambiente: non stampare questa mail se non è necessario.

Respect the environment: print this email only if necessary.

_______________________________________________

Sis mailing list

Sis a stat.unipg.it<mailto:Sis a stat.unipg.it>

http://www.stat.unipg.it/mailman/listinfo/sis

--

Informativa sulla Privacy: http://www.unibs.it/node/8155

_____________________________________________________________________________

_______________________________________________
Sis mailing list
Sis a stat.unipg.it<mailto:Sis a stat.unipg.it>
http://www.stat.unipg.it/mailman/listinfo/sis

_______________________________________________
Sis mailing list
Sis a stat.unipg.it<mailto:Sis a stat.unipg.it>
http://www.stat.unipg.it/mailman/listinfo/sis

--

Paolo Giudici
Professor of Statistics
University of Pavia
Research Profile:
https://www.scopus.com/authid/detail.uri?authorId=23491813000

-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://www.stat.unipg.it/pipermail/sis/attachments/20200627/a03e84bb/attachment.html>