[Forum SIS] “Requisiti minimi per l’accesso alle valutazioni comparative”

Frosini Benito Vittorio benito.frosini a unicatt.it
Mer 15 Lug 2009 16:36:18 CEST


 Al Presidente
della Società Italiana di Statistica
Prof. Maurizio Vichi
e a tutti i soci della Società Italiana di Statistica

Allego alla presente mail un messaggio rivolto al Presidente della Società Italiana di Statistica e a tutti i soci della stessa Società, che presenta un ampio commento critico alla relazione sui “Requisiti minimi per l’accesso alle valutazioni comparative”, che è stata pubblicata recentemente su SIS-Informazioni. Ho espresso un’opinione motivata, ma sono interessato a conoscere anche opinioni contrastanti, purchè sempre adeguatamente motivate.
Con i saluti più cordiali
Benito V. Frosini



Commento alla relazione sui
Requisiti minimi per l’accesso alle valutazioni comparative
dei settori scientifico disciplinari da SECS-S/01 a SECS-S/05
pubblicata sul N. 6/7, Anno XXI, di SIS Informazioni

            Ho letto sul recente numero di giugno-luglio 2009 di SIS Informazioni il documento intitolato “Requisiti minimi per l’accesso alle valutazioni comparative”, riferiti ai settori disciplinari di interesse della SIS, cioè da SECS-S/01 a SECS-S/05, e sono rimasto sbalordito. Dico subito che molte affermazioni contenute nel documento sono ampiamente condivisibili, e che vi è una notevole sovrapposizione con analoghe affermazioni contenute nella relazione da me scritta (citata in fondo a pag. 2) come sintesi finale del lavoro della Commissione SIS che ho avuto l’onore di presiedere pochi anni fa. Ad evitare equivoci, chiarisco che esporrò il mio personale punto di vista, non avendo consultato gli altri membri della Commissione (il cui compito, comunque, non era quello di stabilire requisiti minimi).
            Tutto quanto è scritto nella prima parte della relazione qui commentata, sotto “PREMESSO CHE”, è sostanzialmente condivisibile, e quindi non mi soffermerò su questioni di dettaglio. Osservo quindi che la seconda parte della relazione dipende esclusivamente dalla prima frase sotto “PREMESSO CHE”: “... il principale obiettivo [della Commissione] è quello di individuare un insieme di criteri che consentano di escludere concorrenti fortemente al di sotto dei livelli di “performance scientifica attesa””. Finora una tale esclusione era demandata alla responsabilità della Commissione di concorso; nella sua attività di valutazione e graduazione dei candidati, “la decisione finale e la graduatoria proposta ... devono rimanere esclusiva responsabilità della commissione”; pertanto la Commissione di concorso può graduare tutti i candidati, pur ammettendo che alcuni possano venire in ogni caso esclusi dalla rosa degli idonei (o dei vincitori) per manifesta “inidoneità”. Nella mia esperienza di concorsi nazionali, con molte decine di candidati (anche oltre un centinaio), è quello che veniva effettivamente fatto: nelle prime riunioni della Commissione, dopo avere verbalizzato i criteri generali da seguire nella valutazione, venivano individuati i candidati molto meritevoli, e quelli che erano in ogni caso da escludere (tipicamente perché non avevano svolto ricerche di qualche rilevanza nell’ambito oggetto del concorso); restava un insieme piuttosto ampio di candidati, da valutare in modo comparativo, con grande attenzione alla rispettiva produzione scientifica. Come ho detto, questa procedura è stata seguita finora in Italia, e praticamente in tutto il mondo. Si controllino ad esempio le ultime annate del Bollettino IMS (Institute of Mathematical Statistics); alcuni numeri dedicano molte pagine alle Employment Opportunities around the world; sulle pagine richiamate, e sui regolamenti consultabili sui siti internet delle istituzioni universitarie coinvolte, non vi è traccia di requisiti minimi (formali), quali quelli proposti dalla Commissione SIS.
            Dato che la Commissione SIS si è posta uno scopo in netto contrasto con quello che viene fatto praticamente in tutte le altre istituzioni universitarie fuori dall’Italia, uno straniero (o un marziano, come si diceva una volta) capitato qui per caso può chiedersi giustificatamente cosa può avere spinto una prestigiosa società scientifica, e una Commissione formata da illustri accademici, ad elaborare una serie di “requisiti minimi” per l’accesso ai concorsi universitari (nazionali o locali che siano). Credo che a questo individuo si dovrebbe spiegare che in anni recenti l’opinione pubblica italiana è stata investita da una vigorosa campagna di stampa, che partendo dalla giusta denuncia di alcuni fatti eclatanti (esiti di alcuni concorsi chiaramente in contrasto con le qualità dei candidati – sia pure in contesti lontani dalle discipline statistiche), ha convinto molti che si dovessero adottare provvedimenti atti a precludere esiti siffatti. Solo gli indotti possono pensare che siano facilmente disponibili metodi per ovviare alla possibilità di giudizi contrastanti con una corretta valutazione. Una strada, sia pure alquanto contorta, sembra tuttavia percorribile (diciamo subito: in un mondo ideale): se si ammette che esista un insieme A di riviste scientifiche che possano ufficialmente convalidare come “articolo scientifico di livello u ³ k” qualsiasi articolo pubblicato sulle stesse riviste, tale che per qualunque articolo pubblicato nell’insieme complementare Ac il livello scientifico sia v £ k, allora diventerebbe possibile assicurare (approssimativamente) un livello scientifico minimo per ogni candidato imponendo di valutare solo quei candidati che abbiano pubblicato almeno z lavori sulle riviste dell’insieme A. Naturalmente deve sussistere una ragionevole possibilità, per tutti i lavori di livello ³ k (scritti da ricercatori in tutto il mondo), di essere pubblicati in tempi ragionevoli sulle riviste del gruppo A; su questo punto torneremo in seguito.
            E’ questo il criterio elaborato dalla Commissione SIS. Ad esempio, a pag. 3 si legge che la soglia minima per partecipare a un concorso per professore associato contempla che almeno 3, fra articoli o monografie, “appartengano alle liste in A”, e che almeno 2 pubblicazioni debbano essere in una rivista della lista A. Nel caso dei professori ordinari, i suddetti numeri passano rispettivamente a 5 e 3. Chiunque capisce che non esiste alcuna possibilità di stabilire, con riferimento alle predette diseguaglianze, che u ³ k ³ v per livelli scientifici u (per riviste in A) e per livelli scientifici v (per riviste, o comunque comunicazioni scientifiche, in Ac), ammesso ovviamente che sia possibile conseguire un ordinamento completo dei livelli scientifici per qualunque insieme di articoli (cosa di realizzazione praticamente impossibile). Per fare subito un esempio-limite, in poche righe, basterà ricordare la straordinaria ricerca del matematico russo Grigory Perelman, che ha trovato la soluzione alla celebre “congettura di Poincaré” (forse la ricerca matematica più straordinaria degli ultimi cento anni), meritando per essa la Medaglia Fields (sostanzialmente equivalente al Premio Nobel). Ebbene, Perelman ha diffuso su internet la lunga traccia della soluzione (successivamente controllata e convalidata da numerosi matematici), che per sua volontà non ha potuto essere successivamente pubblicata da alcuna rivista. E’ pacifico che lo studio di Perelman, non pubblicato su rivista, ha un valore scientifico enormemente superiore a quasi tutti i lavori matematici pubblicati su rivista negli ultimi cento anni (che sono diverse decine di migliaia).
            Qualcuno dirà che l’esempio di Perelman è estremistico, e in effetti è così (ma cosa cambia?). Conviene perciò aggiungere qualche riga di ulteriore spiegazione. Gli ulteriori chiarimenti saranno limitati, per comprensibili ragioni di competenza, allo SSD (Settore Scientifico Disciplinare) SECS-S/01 Statistica, e alla categoria ISI (Institute for Scientific Information) Statistics & Probability. Comincio con l’osservare (anche se si tratta di un problema minore), che per i requisiti minimi di pubblicazione la Commissione SIS non fa riferimento alle sole riviste della categoria Statistics & Probability, ma anche alla categoria Mathematical Methods (in ambito Social Sciences), che comprende ricerche che nulla hanno a che fare con la Statistica, e soprattutto a una serie di ulteriori categorie di Scienze applicate (Astronomy & Astrophysics, Computer science etc.), che nulla hanno a che fare con il contenuto metodologico tipico (e caratterizzante) della Statistica. Per la Commissione SIS, ricercatori in questi campi di scienza applicata, che nulla hanno ricercato nei vari capitoli della Statistica, possiedono i requisiti minimi per un concorso universitario nel campo della Statistica (di cui non sanno nulla o quasi nulla). Per fortuna resta il vaglio della Commissione di concorso, che escluderebbe immediatamente concorrenti di questo tipo, se mai si presentassero.
            Ma passiamo alla questione più rilevante, e cioè se possiamo assumere pacificamente che, almeno al di fuori di casi del tutto eccezionali, un articolo pubblicato sulle riviste ISI abbia una qualità scientifica ragguardevole, e in ogni caso superiore alla qualità di articoli pubblicati altrove. Credo sia utile prendere lo spunto inziale dai lavori compresi nei tre volumi di “Breakthroughs in Statistics”, pubblicati dall’editore Springer nel 1992, a cura di S. Kotz e N.L. Johnson; a parte possibili disquisizioni su casi marginali (in entrata o in uscita), può esserci largo consenso che si tratta di lavori di grande o grandissimo rilievo scientifico per la nostra disciplina. Fra i 62 lavori complessivamente citati (e, salvo che per il volume, completamente riprodotti), 34 sono stati pubblicati su riviste che sarebbero state poi ricomprese nel gruppo ISI per la categoria Statistics & Probability (Annals of Mathematical Statistics + Annals of Statistics (13), Journal of the Royal Statistical Soc. – B (9), Biometrika (7), JASA (5)). I rimanenti 28 lavori si ripartiscono come segue: 17 articoli su riviste di altro tipo (di matematica, fisica, agricoltura, psicologia, assicurazioni, medicina, ingegneria, calcolo automatico) che salvo eccezione non accolgono articoli di Statistica o Probabilità), 6 articoli su Rendiconti di Accademie, 4 su Atti di convegni, 1 volume (il celeberrimo volume di R.A. Fisher “Statistical Methods for Research Workers).
            Seguono alcune osservazioni (da quelle meno importanti a quelle più importanti):
(I) Il volume di Fisher e i 4 Atti di convegni non sono stati pubblicati da editori di cui alla lista A a pag. 3 della relazione sopra richiamata; non sarebbero quindi conteggiabili fra i requisiti minimi più stringenti, nonostante abbiano un valore scientifico riconosciuto, maggiore di quello riferibile a varie decine di migliaia di articoli pubblicati sulle riviste ISI.
(II) Le “altre riviste” sono tipicamente dedicate ad argomenti chiaramente non-statistici e non probabilistici, e non avrebbe senso farle rientrare in toto fra le riviste del nostro settore (nemmeno quelle appartenenti al gruppo ISI) semplicemente perché molti anni fa hanno accolto un importante lavoro di Statistica.
(III) I Rendiconti di Accademie non vengono mai presi in considerazione dalla Commissione SIS per concorrere ai requisiti minimi, nemmeno al livello B. Per aggiungere uno fra i tanti possibili contro-esempi, un ricercatore eccezionale come Giuseppe Pompilj (che vinse il concorso a cattedra di Geometria nel 1948, e successivamente si dedicò in modo quasi esclusivo a ricerche di Statistica e Probabilità) non avrebbe mai potuto accedere, non dico al grado di professore ordinario, ma nemmeno a quello di professore associato nei settori della Statistica o della Probabilità, per la seguente ragione: dei 28 articoli di Statistica o Probabilità pubblicati fra il 1946 e il 1955, nessuno è pubblicato su riviste internazionali, mentre diversi importanti lavori sono pubblicati su Rendiconti di Accademie (soprattutto Accademia dei Lincei) e negli Atti delle Riunioni scientifiche SIS.
            Torniamo alle quattro riviste citate nei tre volumi dei “Breakthroughs”, che appartengono alla categoria ISI Statistics & Probability. E’ assolutamente pacifico per qualunque statistico che si tratta di riviste al vertice fra le riviste di settore. Però sono solo 4; la categoria ISI Statistics & Probability ne conta attualmente 92. Per la verità, un esame analitico dei contenuti ne fa escludere almeno 19, dato che il loro oggetto principale non è la Statistica, e nemmeno la Probabilità; ne restano comunque 73. E’ ragionevole pensare che le rimanenti 73 – 4 = 69 riviste ISI di settore siano di qualità comparabile? E’ ovvio che no, anche se una graduatoria abbastanza oggettiva è impossibile da costituire (il molto citato Impact Factor (IF) può effettivamente aiutare in questo senso solo se la differenza relativa fra riviste è veramente notevole – Cfr. Citation Statistics, A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), June 12, 2008; http://www.mathunion.org/Publications/Report/CitationStatistics).
            Le questioni da affrontare sono tuttavia più sottili e differenziate, e le risposte dipendono in modo essenziale dalle quattro seguenti osservazioni:
(1) Perché il “prodotto” degli indici bibliometrici elaborati da Thomson Reuters (proprietaria di ISI e Web of Science) sia funzionale e vendibile, è essenziale che le riviste coinvolte possiedano alcune caratteristiche obbligatorie, fra cui: (a) le annate e i numeri delle riviste devono uscire regolarmente nei tempi previsti, e (b) deve esserci un minimo di diffusione a livello mondiale (diffusione cui è naturalmente collegato il numero di citazioni). Basti pensare, a questo proposito, che le due riviste italiane più antiche e prestigiose, Metron e Statistica, sono introvabili in quasi tutte le biblioteche universitarie degli Stati Uniti. E’ perciò evidente che riviste anche molto qualificate possono non presentare i requisiti formali per l’inserimento nel gruppo ISI.
(2) E’ noto che il numero di citazioni, in sé e per sé, non è indice di qualità o impatto della particolare ricerca. Forse lo era un tempo, diciamo fino a trent’anni fa. Ma da quando il numero di citazioni ha assunto il peso ingiustificato e rilevante che ha da alcuni anni, gli autori (e le stesse riviste) ritengono loro dovere abbondare in citazioni (che sono cresciute in modo esponenziale); quasi tutte le citazioni sono neutrali, nel senso che non hanno alcun rilievo per la ricerca presentata: si dice semplicemente che – fra gli altri – anche Tizio si è occupato dell’argomento (e l’Autore non è andato di solito al di là della lettura del Summary). E’ questo il motivo principale che ha ulteriormente distanziato (in termini di citazioni) le riviste già più diffuse venti o trent’anni fa da quelle meno diffuse (indipendentemente dalla qualità intrinseca). Beninteso vi è connessione fra qualità e diffusione, ma assai più debole di quel che si pensi in generale; cfr. ad esempio, oltre alla relazione IMU-ICIAM-IMS citata più sopra, l’articolo “How do statisticians perceive statistical journals?”, di Theoharakis-Skordia, “The American Statistician”, N. 2, 2003, pp. 115-123).
(3) Come è bene argomentato nella citata relazione IMU-ICIAM-IMS, alcuni paradossali risultati che emergono da confronti di valori IF dipendono dalla distribuzione a L (quindi notevolmente asimmetrica) delle citazioni medesime: per molte riviste, anche con buona diffusione ed elevato IF, la frequenza maggiore delle citazioni (per gli articoli pubblicati in un certo periodo) è relativa al valore 0 (cioè nessuna citazione), segue la frequanza degli articoli con una sola citazione, poi quella degli articoli con due citazioni nel periodo, etc. Come insegnamo ai nostri studenti nei corsi statistici di base, il confronto di tali distribuzioni per mezzo della sola media aritmetica può condurre a risultati poco informativi (nel migliore dei casi), o addirittura a risultati paradossali, contrastanti con l’intuizione.
(4) Tutti coloro che, come me, hanno realizzato prove di selezione di candidati alla immatricolazione in una facoltà universitaria, hanno potuto sperimentare un tipo di esito di tali prove, che si presenta sostanzialmente come una “legge naturale” (simile alla legge, o distribuzione, di Zipf). Per fissare le idee, consideriamo un caso (effettivamente realizzato, salvo per le cifre tonde) con 1.000 candidati per 250 posti. Sono state presentate ai candidati 40 domande, fra quelle di natura logica o matematica, di interpretazione di tabelle o grafici, di comprensione di un testo, etc. I punteggi assegnati alle varie risposte sono stati via via aggregati (con formule di medie aritmetiche ponderate), e come risultato finale hanno prodotto un indice complessivo unidimensionale, che ha permesso di graduare i candidati dal primo all’ultimo. Se x1, x2, x3, …, sono i punteggi complessivi già ordinati dal più grande al più piccolo, l’esito finale delle prove ha sempre presentato la seguente struttura (esattamente per le prime decine di casi, poi in modo approssimato): x1 - x2 >  x2 - x3 > x3 – x4 etc. In concreto: il primo si stacca nettamente dal secondo; il secondo è ancora ben distinto dal terzo, ma con una distanza inferiore, etc. Quello che è sempre accaduto è che dopo 50 o 60 casi l’indice complessivo (per valori ordinati, come si è detto) variava di poco fra un valore e il successivo, e che il doloroso “taglio” che veniva applicato inesorabilmente fra il 250° e il 251° candidato era eseguito su due valori quasi identici.
            Consideriamo allora inizialmente, per semplicità, gli articoli pubblicati negli ultimi quaranta anni dalla sola rivista “Annals of Statistics (che ha proseguito le pubblicazioni degli Annals of Mathematical Statistics dal 1973). Questa rivista esce con sei numeri all’anno, comprendenti tipicamente più di 100 articoli per annata; in 40 anni fanno circa 4.000 articoli. A voler essere molto favorevoli (più dei curatori Kotz e Johnson, citati più sopra), gli articoli effettivamente importanti per lo sviluppo della scienza nel nostro settore, pubblicati dagli Annals in 40 anni, possono essere una ventina (Kotz e Johnson ne elencano 13 per tutta la storia degli Annals). Una cifra insignificante rispetto al totale di 4.000. Se fosse possibile ordinare, mediante un ragionevole indice qualitativo, tutti questi articoli, si scoprirebbe inevitabilmente che, al più dopo alcune centinaia di articoli, la qualità varierebbe di pochissimo fra articoli con posizione limitrofa: si tratta comunque di articoli controllati, formalmente accurati, che in genere risolvono particolari problemi, ma con impatto pressoché nullo riguardo allo sviluppo della scienza nel particolare settore.
            Consideriamo a questo punto cosa accade agli articoli marginali degli Annals (per quanto detto, la marginalità comincia ben prima di arrivare all’articolo 2000°; in altre parole, ben oltre la metà degli articoli pubblicati sono da giudicare come marginali, e praticamente equivalenti dal punto di vista qualitativo). Gli Annals accettano circa il 10% degli articoli sottoposti; per motivi di economicità e rapidità delle decisioni, circa il 50% dei lavori sono respinti immediatamente (con una lettura del Summary, o poco più: in questa fase possono esservi chiaramente non pochi errori di valutazione); un altro 40% viene respinto dopo il responso di uno o più revisori. E’ importante osservare che:
(a) la percentuale di articoli respinti non può scendere in modo significativo al di sotto del 90%, poiché manca la capienza nel numero di pagine complessivamente pubblicabili, e questo indipendentemente dalla qualità dei lavori ricevuti;
(b) anche se il “refereeing process” fosse più rigoroso di quello che è, lascerebbe passare un numero poco più elevato di lavori effettivamente meritevoli, ma non potrebbe fare nulla sulla scelta sostanzialmente casuale (o dettata da mera “simpatia” o personale interesse all’argomento del revisore) della grande maggioranza dei lavori accettati.
            Quello che accade per una rivista estremamente qualificata come gli Annals of Statistics, accade a fortiori per le altre riviste ISI, e anche per il loro complesso (per il suddetto periodo di 40 anni si potrebbe considerare un totale di articoli di circa 40.000).
            Per tutte le ragioni sopra esposte, e ad evitare ripetizioni, penso di poter tirare le somme: in modo addirittura ovvio e banale, non è vero che un articolo pubblicato da una rivista ISI (nemmeno dagli Annals) possiede automaticamente una validità scientifica superiore a un articolo con altra collocazione. Per questo motivo, ritengo che la raccomandazione fatta dalla Commissione SIS, concernente i numeri minimi di articoli pubblicati su riviste ISI o dagli editori selezionati, deve essere fermamente respinta.
            Tuttavia, a questo punto, penso sia utile aggiungere due ulteriori osservazioni di tipo pratico-operativo. La prima osservazione concerne il possibile (o inevitabile) esito della applicazione dei “requisiti minimi” proposti dalla Commissione SIS. Credo che almeno la grande maggioranza delle valutazioni comparative svolte negli ultimi vent’anni (tanto per circoscrivere il periodo di riferimento) abbiano premiato validi ricercatori. E’ vero che i criteri proposti dalla Commissione riguardano il futuro, ma non sarebbe male se una verifica fosse fatta rispetto a casi recenti, cioè a diverse decine di ricercatori che sono diventati professori associati o ordinari, o comunque sono stati giudicati idonei per queste posizioni. Posso sbagliarmi, ma credo che almeno la metà (ma penso assai di più) degli idonei non abbiano soddisfatto – al momento del concorso- i criteri giudicati minimi (e penso a una percentuale ben superiore per l’insieme dei candidati). Se questo è vero, anche la situazione prevedibile nei prossimi anni non dovrebbe cambiare molto: fare accettare un articolo scientificamente valido (e non parliamo di 3 o 5 articoli) da molte delle riviste ISI nel gruppo Statistics & Probability richiede mediamente tre-quattro anni, anche perché raramente (nel 10-20% dei casi, secondo le riviste) un articolo meritevole di pubblicazione viene accettato dalla prima rivista interpellata; come ricordato più sopra, queste riviste sono obbligate a respingere 9 articoli su 10, oppure 8 articoli su 10, semplicemente per ragioni di spazio. A parte il prevedibile lungo tempo di attesa (salvo casi fortunati, o articoli effettivamente di grande valore), esiste quindi una probabilità non trascurabile che l’articolo venga respinto (magari dopo richiesta di modifiche, puntualmente accettate dall’Autore) anche per tre o quattro volte di seguito; e si parla sempre di articoli meritevoli, almeno equivalenti al livello marginale della rivista. Vero è che si prospettano tempi lunghissimi per i prossimi concorsi, e forse questo fatto potrebbe permettere pubblicazioni che richiedono tempi molto lunghi.
            Ultima – e più pratica – osservazione. Siamo tutti d’accordo (anche la Commissione SIS) che una procedura totalmente automatica per formulare un giudizio di idoneità, o una valutazione comparativa, non è (purtroppo) possibile. La Commissione SIS propone qualcosa di meno, cioè una procedura automatica per stabilire “criteri minimi”, superati i quali si può procedere a una valutazione analitica. Spero di aver dimostrato che una tale procedura, totalmente automatica, è iniqua e non può essere giustificata. Però, l’automatismo ha un indubbio fascino (appare addirittura obiettivo, per gli indotti), e ha il vantaggio di evitare molto lavoro di controllo e valutazione. Respinto l’automatismo totale, dobbiamo fare i conti con una procedura quasi-automatica (o semi-automatica). Si tratta di una procedura che va incontro – anche al di là delle mie personali preferenze e inclinazioni – a una precisa richiesta formulata al Dipartimento di Scienze statistiche della mia Università dalla Facoltà di Economia (analoghe richieste sono state fatte agli altri dipartimenti). Questa procedura risponde allo scopo immediato (ma sarà valida anche in futuro per scopi analoghi) di valutare la possibilità di chiamata di una persona che abbia conseguito una idoneità a professore associato o a professore ordinario. Fra i “requisiti minimi” nel campo della ricerca abbiamo fissato alcuni riferimenti analoghi a quelli della Commissione SIS, escludendo però il riferimento obbligato alle pubblicazioni del gruppo A (riviste ISI, elenco di editori internazionali), che è fermamente da respingere per le ragioni sopra esposte. Già in questo modo si consegue un discreto ampliamento del raggio di azione, ma non basta. Cosa fare nei casi, ad esempio, di una comunicazione nei Rendiconti dell’Accademia dei Lincei (che fra l’altro ha accolto alcuni fra i più importanti contributi nel campo della statistica e della probabilità), o di un articolo di controllo statistico della qualità su una prestigiosa rivista ingegneristica, o una comunicazione invitata a un importante convegno internazionale? Sarebbe ridicolo e assurdo non ammettere questi lavori nell’ambito dei requisiti minimi. Qui subentra la procedura quasi-automatica, che richiede un intervento del Consiglio di Dipartimento, che attesta in modo motivato la classificazione – per analogia – di un lavoro di questo tipo in uno dei raggruppamenti previsti dalla Commissione SIS da me presieduta.


            Benito Vittorio Frosini
            Dipartimento di Scienze statistiche
            Università Cattolica del Sacro Cuore

            Milano, 15 luglio 2009




Maggiori informazioni sulla lista Sis