[Forum SIS] R: R: Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA

Sab 27 Giu 2020 12:44:08 CEST

Caro Giorgio, concordo con quanto hai scritto
I referee, gli associate editors e gli editors,
anche delle riviste più prestigiose, possono sbagliare.

Ma non e’ sostituendo al giudizio fra pari delle riviste (comunque
standardizzato ed “esogeno”) un giudizio “endogeno” della comunità o di
alcuni suoi membri che si risolve il problema. Anzi, si rischia di
diminuire la trasparenza che e’ per molti, e specie per i più giovani,
aspetto molto importante.

Un caro saluto a tutti.

Paolo Giudici
Il giorno sab 27 giu 2020 alle 12:18 Giorgio Tassinari <
giorgio.tassinari a unibo.it> ha scritto:

> Caro Corrado, car@ tutt@,
> che sia necessaria una profonda revisione degli elenchi delle riviste
> apprestati dall'ANVUR ai fini dell'ASN è ormai sentimento comune. Occorre
> tener presente anche i cambiamenti nella prassi della ricerca scientifica e
> delle modalità di pubblicazione, rilievo sempre maggiore delle riviste open
> e delle necessità di tempestività nella diffusione dei risultati (come nel
> caso delle ricerche sul COVID-19).
> Inoltre, sarebbe necessario a mio parere riflettere sulla radice
> concettuale dell'attuale sistema di valutazione e governo della ricerca. In
> pratica l'ANVUR esercita un potere dispotico sulla ricerca e gli aspetti
> sostanziali sono negletti. Tornare a leggere i lavori e poi emettere un
> giudizio sul lavoro stesso. Non riesco a vedere dove stia la difficoltà.
> Secondo me dovremmo discuterne. Anche su Lancet sono stati pubblicati
> lavori clamorosamente sbagliati (come quello sulla relazione tra vaccini e
> autismo)
> ------------------------------
> *Da:* sis-bounces a stat.unipg.it <sis-bounces a stat.unipg.it> per conto di
> Corrado Crocetta <c.crocetta a unifg.it>
> *Inviato:* mercoledì 24 giugno 2020 12:12
> *A:* Paola Zuccolotto <paola.zuccolotto a unibs.it>
> *Cc:* SIS List <sis a stat.unipg.it>
> *Oggetto:* Re: [Forum SIS] R: Dichiarazione di San Francisco sulla
> Valutazione della Ricerca, DORA
>
>
> Cari SOCI SIS,
>
> Gli interventi dei colleghi Paola Zuccolotto, Monica Pratesi, Clelia Di
> Serio, Giorgio Tassinari, Michele La Rocca, Paolo Giudici e Renata Rotondi
> in merito alla dichiarazione DORA, di dicembre 2012, inviataci da
> Giuseppe Arbia, evidenziano una esigenza ampiamente condivisa dalla nostra
> comunità. Il tema della revisione della lista delle riviste scientifiche
> dell’area 13 è stato spesso oggetto di discussione nei tanti incontri,
> organizzati in questi mesi, di campagna elettorale per il rinnovo delle
> cariche SIS. Le criticità delle liste erano state già evidenziate da uno
> studio del consigliere SIS Maurizio Carpita ed hanno trovato conferma nella
> sentenza del TAR Lazio del 30/10/2017 che trovate allegata all’articolo
> <https://www.roars.it/online/tar-lazio-difetti-di-istruttoria-travisamento-dei-fatti-e-carenza-di-motivazione-azzerano-la-vqr-di-area13/>
> dal titolo *Tar Lazio: difetti di istruttoria, travisamento dei fatti e
> carenza di motivazione azzerano la VQR di area 13*, pubblicato su Roars
> il 30/01/2019. La sentenza del TAR ha, di fatto, demolito il sistema di
> valutazione adottato.
>
> D’altronde in un documento ANVUR del 2016 era già stata evidenziata la
> necessità di svolgere ricerche per “valutare la possibilità di utilizzo dei
> dati Google Scholar a fini valutativi”. Peccato che il GEV13 abbia usato
> proprio quell’indicatore per le sue valutazioni.
>
> Di fatto la sentenza ha annullato l’intero lavoro di classificazione delle
> riviste di Area13 della VQR1 che con alcune modifiche è stato adottato
> anche per la VQR 2.
>
> Non sorprende quindi che la nostra comunità non si riconosca in quelle
> liste lamentando profonde carenze.
>
> A mio avviso è necessario che la SIS avvii una profonda riflessione su
> questo tema e che si impegni per valorizzare la interdisciplinarietà che
> caratterizza i nostri settori.
>
> Come ho indicato nel mio programma, è importante tessere un’azione di
> concertazione con le altre società scientifiche dell’area 13, tentando di
> arrivare ad una posizione ampiamente condivisa da proporre all’ANVUR.
>
> Cordiali saluti
>
> Corrado Crocetta
>
> Il giorno mer 24 giu 2020 alle ore 11:06 Paola Zuccolotto <
> paola.zuccolotto a unibs.it> ha scritto:
>
> Care/i Colleghe/i,
> mi trovo in completo accordo con quanto sottolineato da Clelia.
> La nostra materia è per sua natura interdisciplinare e sappiamo tutti
> come, anche a livello di possibilità di ottenere finanziamenti, siano
> spesso privilegiati progetti che non si limitino allo sviluppo di metodi e
> modelli statistici, ma li calino nelle più svariate realtà applicative. Per
> questo motivo dovrebbero poi essere riconosciuti i contributi degli
> statistici nelle riviste specialistiche delle realtà in cui i metodi sono
> stati applicati.
>
> Oltre a questo punto di massimo rilievo, vorrei anche sottolineare
> l'esistenza di alcuni settori di nicchia della Statistica, piuttosto
> trascurati a livello di riconoscimento ufficiale delle riviste.
> Cito, giusto perchè mi sta particolarmente a cuore, quello della
> Statistica nello Sport.
> Si tratta di una tematica che sta riscuotendo un interesse in rapida
> crescita, al punto che l'ISI ha voluto in questi ultimi anni rivitalizzare
> lo Special Interest Group in Sport Statistics (faccio presente che i SIG
> dell'ISI sono soltanto 10).
> Nonostante questo, quelle che Tim Swartz nel suo articolo "Where Should I
> Publish My Sports Paper?" pubbllicato nel 2020 su "The American
> Statistician" (74:2, 103-108) cita come i due più importanti "Sports
> Statistics Journals", non sono nemmeno nella lista delle riviste
> scientifiche per l'Area 13.
> Si tratta del Journal of Quantitative Analysis in Sports e del Journal of
> Sports Analytics, due riviste che oltretutto sono molto selettive nel
> processo di peer review.
> In questo caso è un'esclusione ancora più difficile da comprendere, in
> quanto non si tratta di riviste di altri settori che ospitano contributi di
> statistici, ma di vere e proprie riviste di Statistica.
>
> Quindi concordo con la necessità, che state sollevando, di un ripensamento
> dei criteri, in modo da riconoscere i contributi scientifici - che hanno le
> nature più svariate - di tutti i membri della nostra comunità.
>
> Un caro saluto a tutti,
> Paola
>
>
>
> ____________________
> Paola Zuccolotto
> Full Professor of Statistics, University of Brescia
> Director of the Big&Open Data Innovation Laboratory (BODaI-Lab) -
> bodai.unibs.it
> Scientific Coordinator of the project Big Data Analytics in Sports
> (BDsports) - bdsports.unibs.it
> C.da S. Chiara, 50 - 25122 Brescia (ITALY
> <https://www.google.com/maps/search/C.da+S.+Chiara,+50+-+25122+Brescia+(ITALY?entry=gmail&source=g>
> )
> Tel. ++39(0)30/2988634 - Fax. ++39(0)30/2400925
>
>
>
> Il 24/06/2020 01:33, Di Serio Clelia ha scritto:
>
> Care/i Colleghe/i,
> ritengo che in questi anni tutto cio' che abbia riguardato "decisioni" sulla lista delle riviste di area 13 sia stato qualcosa di molto "esclusivo" nel senso che ha "escluso", in modo a mio avviso molto anacronistico, intere fasce disciplinari come la biostatistica applicata che ormai da molto tempo non è piu' appannaggio solo dei medici (anzi quasi per nulla come si vede dalla formazione dei nostri dottorandi).
> Non devo certo evidenziare come in tutto il mondo la biostatistica rappresenti invece un ambito "inclusivo" di statistici, matematici, informatici, bioiformatici, fisici,  ed esperti di scienze computazionali che vivono e discutono giornalmente con clinici, ricercatori di base, virologi, infettivologi e sono con loro in prima linea a cercare di imparare ed insegnare non solo modelli ma un metodo di ricerca, il vero "statistical reasoning".
> Chi, come me e tanti miei colleghi di grande valore, ha sempre lavorato per costruire delle realtà biostatistiche nel cuore di realtà altamente competitive come lo è la ricerca biomedica,  in Italia è stato messo gravemente in difficoltà da scelte incomprensibili su questa lista, in cui vedevamo misteriosamente escluse riviste di primaria importanza per la ricerca a livello mondiale (come molte davvero clamorose: Epidemiology, Cancer, Nature Biotechnology, Nature Medicine, Nature Communication, Cell, New England Journal of Medicine, Lancet, BMJ,  etc...) alcune delle quali non appaiono neppure sulla lista delle cosiddette riviste "scientifiche" per l'area 13! Non mi soffermo sull'inclusione  - per altri settori - di riviste altrettanto applicate ma a dir poco marginali.
> A mio avviso sarebbe doveroso includere davvero le riviste scientifichi che compaiono nei primi percentili di tutti i settori scopus lasciando ad esperti e commissioni abilitate il compito di valutarne il contenuto dal punto di vista dell'originalità del contributo statistico.  Ho mandato negli anni passati, insieme anche ad alcuni colleghi italiani e stranieri che si occupano di biostastica all'estero e che ospitano spesso studenti italiani per periodi di ricerca nelle loro sedi, piu' volte delle segnalazioni all'ANVUR in merito alle riviste biomediche clamorosamente escluse , ma al momento non abbiamo avuto mai riscontri.
> Non credo quindi sia solo una riflessione sull'impact factor si/no quella che deve essere fatta, ma piu' in generale su quello che i nostri giorni di COVID dovrebbero averci duramente insegnato, ovvero che in campo di salute la statistica non esiste senza la medicina e viceversa.  Sappiamo che ormai non è piu' tempo per permettersi di restare un settore di nicchia, altrimenti resteremo sempre molti passi indietro sia per visibilità che nella assegnazione delle risorse per la ricerca rispetto a chi affronta problemi complessi (biomedici e non) con strumenti ingegneristici magari piu' limitati nella metodologia statistica ma pubblicati su riviste che gli operatori, e i decisori in area health leggono davvero.
> Di fronte al ritrovato entusiasmo per la biostatistica che ho visto riscoperto da tanti colleghi statistici ed espresso in questi mesi in lista SIS, ho voluto condividere con voi queste riflessioni penso anche ovvie, come socio SIS, SIB, SISMEC (insomma come statistica in medicina!) nella speranza che tutte le divisioni imposte dai settori disciplinari si trasformino presto da labirinti di Cnosso in sistema di  vasi comunicanti! Siamo una comunità con molte potenzialità ma ancora molto inespresse.
>
> Un caro saluto e buonanotte,
> Clelia.
>
>
>
>
> Clelia Di Serio, PhD
> Full Professor in Medical Statistics and Epidemiology
> Director of University Centre for Statistics in the Biomedical Sciences ( CUSSB )www.cussb.unisr.it- 0039022643 4872 (3844)
> Università Vita-Salute San RaffaeleVia Olgettina 58
> 20132 Milan
> ITALY <https://www.google.com/maps/search/Via+Olgettina+58%0A20132+Milan%0AITALY?entry=gmail&source=g>
>
> ________________________________________
> Da: sis-bounces a stat.unipg.it <sis-bounces a stat.unipg.it> <sis-bounces a stat.unipg.it> per conto di giuseppe Arbia <giuseppearbia13 a gmail.com> <giuseppearbia13 a gmail.com>
> Inviato: martedì 23 giugno 2020 15:19
> A: Renata Rotondi
> Cc: Paolo Giudici; SIS List
> Oggetto: Re: [Forum SIS] Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA
>
> La novità è che molte riviste ed università stanno decidendo ora di firmare DORA. Tra queste appunto JSPE e con lei tutta Springer Nature che ha firmato il 20 maggio u. s.
> Molte altre università vanno aggiungendosi (University of Cambridge, ad esempio, ha firmato nel 2019) a testimonianza che il problema è molto sentito.
> Concordo con Paolo per quel che concerne le riviste dell'area 13. Quello che sottolinea la diffusione di DORA è che l'uso del IF sta diventando obsoleto e che i firmatari (sempre più numerosi) si impegnano ad abbandonare l’uso delle metriche delle riviste per giudicare i contenuti degli articoli. In tal senso la stessa distinzione di settore bibliometrico/non bibliometrico andrebbe ripensata. Cosa diventa un settore bibliometrico nel momento in cui non si usano più le metriche?
>
> Renata ha ragione. L'elenco delle riviste di area 13 va riformato.
>
> Giuseppe
>
>
>
> Il giorno mar 23 giu 2020 alle ore 13:44 Renata Rotondi <reni a mi.imati.cnr.it<mailto:reni a mi.imati.cnr.it> <reni a mi.imati.cnr.it>> ha scritto:
> Vorrei dare la mia esperienza su questo punto.
> Proprio per valorizzare il ruolo importantissimo dei metodi statistici nello studio di problemi applicativi, ad esempio in campo ambientale, ho preferito spesso pubblicare su riviste di settore, e non strettamente statistiche dove avrei invece avuto un adience che avrebbe apprezzato maggiormente gli strumenti, magari innovati, utilizzati nell'analisi, ma meno interessata al problema e quindi al tentativo di dare un contributo alla soluzione di un problema applicativo di rilevanza internazionale.
> Purtroppo però queste riviste, seppur molto quotate con rigoroso referaggio, non compaiono nell'elendo delle riviste dell'area 13, quindi la pubblicazione ha valore 0.
> Non c'è poi da stupirsi se in alcuni settori troviamo geofisici ed altri esperti di settore che "fanno" il lavoro che dovrebbe essere fatto con la competenza degli statistici.
>
> Renata Rotondi
> ________________________________
> Da: "Paolo Giudici" <paolo.giudici a unipv.it<mailto:paolo.giudici a unipv.it> <paolo.giudici a unipv.it>>
> A: "giuseppe Arbia" <giuseppearbia13 a gmail.com<mailto:giuseppearbia13 a gmail.com> <giuseppearbia13 a gmail.com>>
> Cc: "SIS List" <sis a stat.unipg.it<mailto:sis a stat.unipg.it> <sis a stat.unipg.it>>
> Inviato: Martedì, 23 giugno 2020 12:42:27
> Oggetto: Re: [Forum SIS] Dichiarazione di San Francisco sulla Valutazione della Ricerca, DORA
>
> Grazie Giuseppe per il suggerimento, forse un po' datato, ma sempre attuale:
> (Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. )
>
> Credo anche io che il Journal Impact Factor abbia dei limiti. In particolare, occorrerebbe sempre considerare il contributo e l'impatto citazionale di ogni singola pubblicazione, oltre alla rivista nella quale è stata pubblicata.
>
> Credo tuttavia che, per la maggior parte degli statistici,  il dibattito vada collocato nell'ambito dell'area scientifico-disciplinare 13 (Scienze economiche e statistiche) che NON è bibliometrica.
>
> Personalmente, ritengo che le nostre discipline possano essere meglio valorizzate considerato il loro apporto multidisciplinare in riviste di alta qualità di vari ambiti applicativi: ambientali, economici, sociali, sanitari, ..
> piuttosto che ridurre le riviste "qualificate" a quelle ritenute statistiche "pure" da un gruppo di esperti.
>
> Mi piacerebbe, su questo punto, centrale nel dibattito sul futuro della statistica, sentire l'opinione di altri colleghi.
>
> Buona giornata a tutti,
>
>
>
>
>
> Tuttavia, ricordo che, per
>
> Paolo Giudici
> Professor of Statistics
> University of Pavia
> Research Profile:https://www.scopus.com/authid/detail.uri?authorId=23491813000
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> Il giorno mar 23 giu 2020 alle ore 11:55 giuseppe Arbia <giuseppearbia13 a gmail.com<mailto:giuseppearbia13 a gmail.com> <giuseppearbia13 a gmail.com>> ha scritto:
> Segnalo l'iniziativa di un gruppo di curatori ed editori di riviste accademiche internazionali (tra le quali il "Journal of Spatial Econometrics" del quale sono Editor-in-Chief) che affronta la questione di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati dalle agenzie di finanziamento e dalle istituzioni accademiche, criticando l'uso di indicatori quali l'Impact Factor.
> II gruppo ha stilato una serie di raccomandazioni denominate DORA (Declaration on Research Assessment) che trovate al link:
> https://sfdora.org/read/it/
>
> e che secondo me fornisce utili spunti per il dibattito in seno alla nostra Società su questi temi.
>
> Giuseppe
>
>
> Giuseppe Arbia, PhD Cantab
> Ordinario di Statistica Economica
> Università Cattolica del Sacro Cuore
> ROMA
>
>
>
> _______________________________________________
> Sis mailing listSis a stat.unipg.it<mailto:Sis a stat.unipg.it> <Sis a stat.unipg.it>http://www.stat.unipg.it/mailman/listinfo/sis
>
> _______________________________________________
> Sis mailing listSis a stat.unipg.it<mailto:Sis a stat.unipg.it> <Sis a stat.unipg.it>http://www.stat.unipg.it/mailman/listinfo/sis
>
> --
> Renata ROTONDI
> Consiglio Nazionale delle Ricerche (CNR)
> Istituto di Matematica Applicata e Tecnologie Informatiche (IMATI)via Bassini, 15
> 20133 Milano, ITALY <https://www.google.com/maps/search/via+Bassini,+15%0A20133+Milano,+ITALY?entry=gmail&source=g>
> ===========
> Tel +39 02 23699 528
> Fax +39 02 23699 538
> Email: reni a mi.imati.cnr.it<mailto:reni a mi.imati.cnr.it> <reni a mi.imati.cnr.it>, renata.rotondi a mi.imati.cnr.it<mailto:renata.rotondi a mi.imati.cnr.it> <renata.rotondi a mi.imati.cnr.it>
> ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
>
>
>
>
>
> Rispetta l’ambiente: non stampare questa mail se non è necessario.
> Respect the environment: print this email only if necessary.
>
> _______________________________________________
> Sis mailing listSis a stat.unipg.ithttp://www.stat.unipg.it/mailman/listinfo/sis
>
>
> --
>
>
>
>
> Informativa sulla Privacy: http://www.unibs.it/node/8155
>
> ____________________________________________________________
> _________________
>
> _______________________________________________
> Sis mailing list
> Sis a stat.unipg.it
> http://www.stat.unipg.it/mailman/listinfo/sis
>
> _______________________________________________
> Sis mailing list
> Sis a stat.unipg.it
> http://www.stat.unipg.it/mailman/listinfo/sis
>
-- 

Paolo Giudici
Professor of Statistics
University of Pavia
Research Profile:
https://www.scopus.com/authid/detail.uri?authorId=23491813000
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://www.stat.unipg.it/pipermail/sis/attachments/20200627/93b81cd4/attachment.html>