[ISSN 1825-0300]
N.
9 – 2010 – Valutazione
Criteri per la valutazione della ricerca nelle
scienze umane e sociali
*
Università di Brescia
Sommario: 1. Premessa. – 2. Una
breve storia. – 3. Prospettive.
– 4. Conclusione.
1. – Premessa
Il 25 febbraio 2010, il Consiglio Universitario Nazionale
inviava al Ministero dell’Istruzione, dell’Università e
della Ricerca la «Proposta»[1]
relativa ai «Criteri identificanti il carattere scientifico delle
pubblicazioni», cosí come previsto dal comma 2 dell’art. 3-ter
della legge
9 gennaio 2009, n. 1 [2].
Si tratta di un importante adempimento che riguarda la «valutazione
dell’attività di ricerca» dei professori universitari che
inciderà su alcuni rilevanti aspetti della vita universitaria italiana,
come ad esempio sulla partecipazione dei docenti stessi alle commissioni di
valutazione comparativa[3]
e sulla concessione degli scatti retributivi biennali dei docenti (commi 1, 3 e
4 dell’art. 3-ter l. 1/2009 cit.)[4].
La filosofia, sottesa alla «Proposta» del CUN,
sviluppa e articola maggiormente precedenti iniziative di quell’organismo
sull’argomento, come il parere sulla valutazione
dell’attività di ricerca «documentate da dati bibliometrici»[5]
e il documento di lavoro sugli «indicatori di attività scientifica
e di ricerca»[6].
È, infatti, indicativo e interessante che nella
«Proposta» si risolva il problema dei requisiti minimi delle pubblicazioni
scientifiche e delle pubblicazioni in forma elettronica, rinviando a Comitati
scientifici, Direzioni scientifiche e/o peer reviewing[7];
cosí come che per la predisposizione dell’elenco di riviste di
riconosciuto carattere scientifico venga richiesto il contributo delle
«associazioni scientifiche e comunità di ricerca di
riferimento»[8].
Si percepisce nel Documento una maggiore ponderazione nella
valutazione del sapere, riconoscendo finalmente le specifiche
peculiarità che sono proprie da un lato della ricerca tradizionalmente
denominata «scientifica » e dall’altro di quella umanistica.
Cosí, ai criteri di tipo quantitativo (quali: dati bibliometrici[9],
Impact Factor[10],
indice I.S.I.[11]),
si affianca, in alternativa, una griglia valutativa di natura ‘qualitativa’,
che consente di tenere in debito conto i caratteri specifici della produzione
del sapere nei settori umanistici e delle scienze sociali, all’interno
dei quali si colloca anche la ricerca in campo storico e giuridico.
L’acquisizione
non è irrilevante, né ovviamente definitiva: siamo solo
all’inizio di un nuovo percorso, di cui dobbiamo comprendere appieno il
senso per dare ad esso uno svolgimento coerente e utile a rappresentare in modo
veritiero le attività di ricerca anche nei nostri settori. In questa
prospettiva, credo sia opportuno conoscere la storia, che ha preceduto e
influenzato la «Proposta» 2010 del CUN, e tentare subito di
individuare le possibili prossime tappe.
Sono
questi i due punti su cui concentrerò la riflessione nelle pagine
successive.
2.
– Una breve storia
Punto
di partenza è una riunione dei direttori responsabili[12]
di tutte le riviste italiane cartacee e on-line, che si occupano di diritto
romano, tenutasi a Napoli il 19 maggio 2009, per iniziativa di Luigi Labruna,
nella sede del Consorzio Interuniversitario Gérard Boulvert. Il
Consorzio, infatti, nell’àmbito di una convenzione con il CNR,
sostiene un Progetto esplorativo sulla determinazione di strumenti di
valutazione della ricerca e accreditamento degli strumenti di diffusione della
stessa (in primo luogo delle riviste scientifiche), da offrire alla
comunità scientifica e agli organismi di valutazione, locali, nazionali,
internazionali.
Dopo
un’ampia discussione sul pressante problema della valutazione e sulle
discrasie provocate dalla prevalenza della cultura delle scienze esatte nei
metodi di giudizio delle attività di ricerca adottati a tutti i livelli
(da quelli europei alle realtà dei singoli Atenei), i presenti decidono
all’unanimità in quella sede di costituirsi in
«Gruppo» e, congiuntamente, di istituire un «Comitato di
autocertificazione delle riviste romanistiche italiane».
La
decisione è determinata dall’esigenza di un’organizzazione
omogenea dei criteri di valutazione della produzione scientifica pubblicata
nelle riviste stesse, secondo oggettività e trasparenza. Sono formulati
per iscritto pochi ma precisi criteri, fondati sulla qualità,
l’indipendenza e la terzietà dei valutatori. Tra questi, molto
significativo è il giudizio, strettamente riservato come pure
l’identità del valutatore, espresso da lettori specialisti (tutti
professori ordinari – o scienziati dal curriculum equivalente – del
Consiglio scientifico della rivista, che per le nostre discipline non
può non essere internazionale), in base al quale il Direttore della
rivista («garante della valutazione») ha la facoltà di
accogliere, respingere o rinviare per correzioni l’articolo da
pubblicare. Si stabilisce anche che altre riviste della disciplina (ad esempio
quelle di altri Paesi) possano nel frattempo aderire al Gruppo di
autocertificazione e si fissa l’obiettivo di stilare quanto prima un
ranking di fasce alle quali attribuire le singole riviste sulla base dei
requisiti acquisiti[13].
Il
passaggio successivo, che ha rappresentato un vero salto di qualità
nella riflessione sull’argomento, è stata la costituzione presso
il CNR di un gruppo di esperti, proveniente da diversi settori dell’area
umanistico-sociale e insieme dalle scienze esatte (per costruire cosí un
modello comprensibile e accettato anche dal di fuori dell’area di
riferimento)[14],
promossa da Luigi Labruna e Tullio Gregory, che, come componente del Consiglio
Scientifico Generale del CNR l’uno, e direttore del Dipartimento di
Identità Culturale del CNR l’altro, avevano rilevato, in
piú occasioni
istituzionali, problemi
derivanti dalla valutazione uniforme (e appiattita su criteri sviluppati
esclusivamente nell’àmbito delle scienze ‘dure’) nei
concorsi etc. riguardanti discipline diverse in ambito CNR.
Il
primo incontro, a carattere generale, del Gruppo di esperti si è avuto
il 6 ottobre 2009 a Roma nella sede del CNR; ad esso sono seguiti, con
produzione di materiali ordinati dai colleghi Cosimo Cascione e Andrea Bozzi,
altre riunioni nei mesi di ottobre e novembre, e, in conclusione, l’assise
del 15 dicembre 2009, dove è stato approvato all’unanimità
un documento finale sui «Criteri di valutazione della ricerca in campo
umanistico».
Il
documento si articola in tre parti[15]:
la prima introduttiva; la seconda relativa all’individuazione dei criteri
veri e propri; la terza di prospettiva, contenente un progetto sperimentale per
la verifica dei criteri proposti e l’individuazione di indicatori
piú consoni alle discipline umanistiche da proporre anche a livello di
spazio europeo per la ricerca (= ERA)[16].
a)La
premessa, da cui si dipana l’intera riflessione, è che la
‘spinta’ alla valutazione della ricerca
nell’Università, avanzata da piú parti (dal CUN agli
Osservatori della ricerca di ateneo), sia ormai da recepire per l’area
umanistica, tenendo però conto della peculiarità delle singole
discipline interessate.
Da ciò deriva l’impossibilità di applicare
tout-court i criteri bibliometrici, quali in particolare quelli fondati
sull’Impact Factor (= I.F.)[17]
e sui parametri dell’Institute for Scientific Information (=
I.S.I.)[18],
che da tempo sono sperimentati con un certo successo in alcuni settori
disciplinari delle scienze fisiche e biologico-mediche. Infatti, sia la
misurazione del tasso di citazione media di un articolo pubblicato su una
rivista nei due anni precedenti (cd. I.F.), sia l’elenco del pool di
riviste, da cui si traggono le suddette statistiche sul numero di citazioni,
stilato dall’I.S.I. dietro versamento di ca. 20.000 dollari, mal si
conciliano[19]
con la tradizione valutativa delle scienze umanistiche. In questo
àmbito, non ha pressoché alcun rilievo il successo immediato di
uno studio (due anni), quanto invece la sua durata nel tempo. Inoltre, la
‘monografia’ riveste ancora una posizione di preminenza rispetto
all’articolo su rivista. La ‘cultura’ della citazione
è profondamente differente entro le cosí dette scienze
umanistiche e sociali, incentrandosi piú spesso sulla critica che
sull’adesione. Le riviste ‘locali’ hanno talvolta un ruolo di
primo piano: si pensi ad esempio all’archeologia. Il valore aggiunto
consistente nella diffusione e nell’utilizzazione dei contributi
scientifici a livello internazionale non corrisponde necessariamente ad una
piú elevata qualità dello studio, stante la disomogeneità
dei sistemi nazionali studiati (come, per esempio, nei settori di diritto
positivo dell’area giuridica, ove possono essere oggetto di ricerca
assetti normativi o indirizzi giurisprudenziali propri di una esperienza
nazionale e storicamente individuati nel quadro di questa).
Pertanto, se da una parte – fin dalle prime riunioni del
gruppo di esperti – si è sottolineata l’importanza della
valutazione ai fini di un miglioramento anche per le «Humanities and
Social Sciences», dall’altra è stata messa in luce
l’autonomia qualitativa di queste scienze. Alla luce di tale convinzione
si sono formulati criteri orientativi per la valutazione delle pubblicazioni,
che tenessero conto della flessibilità, propria dei singoli settori
disciplinari, e mirassero a realizzare un’effettiva trasparenza dell’attività
di valutazione e quindi di promozione della ricerca (tra l’altro di una
valutazione davvero sostenibile economicamente).
b) Nell’individuazione dei criteri ‘veri e
propri’ non si entra nel merito dei singoli settori disciplinari
dell’area umanistica, indicando piuttosto i limiti minimi di ammissione
alla valutazione, con l’intento di favorire l’iniziativa autonoma
delle comunità scientifiche dei singoli settori (bottom-up).
Dopo l’individuazione delle «tipologie dei
prodotti» (contributi pubblicati in riviste; volumi monografici; articoli
e saggi in volumi miscellanei/Atti; altri generi letterari, quali ad esempio
relazioni e comunicazioni tenute a convegni, lezioni di dottorato; curatele),
sono indicati i relativi criteri.
Per la valutazione degli articoli nelle riviste (anche per
quelle online) si dovrà tener conto:
della tradizione, della diffusione nei rispettivi àmbiti
disciplinari e della puntualità d’uscita della rivista;
della riconosciuta autorevolezza del direttore;
del Comitato scientifico e/o editoriale autorevole e (quando non
in contrasto con lo statuto della disciplina) necessariamente internazionale;
dell’autorevolezza dell’organizzazione scientifica
che promuove/pubblica la rivista;
dell’esistenza di un sistema di peer reviewing,
attuato con procedure che garantiscano valutazioni motivate;
di abstract e indici in due lingue (quella del contributo
piú un’altra, preferibilmente l’inglese).
Per poter soddisfare in tempi celeri e forme omogenee tale
valutazione si rende necessario procedere al piú presto alla
certificazione scientifica delle riviste, che deve avvenire tramite il
riconoscimento delle comunità scientifiche oppure di Consorzi
espressione delle riviste di ciascun settore.
Per i volumi monografici, l’individuazione di criteri
specifici è resa piú complessa dalla natura stessa
dell’oggetto da valutare e dall’articolato sistema editoriale
stratificatosi nel tempo. Si è cosí delineata una distinzione.
Anzitutto si sono considerate le collane universitarie, di Enti
di ricerca e di Accademie scientifiche. Per queste è possibile replicare
(almeno in via sperimentale) il discorso fatto per le riviste, relativamente
alla Direzione, al Comitato scientifico e al reviewing, trasformando
l’abstract in un ampio sommario in lingua diversa, preferibilmente
l’inglese, fornito di indici.
In secondo luogo, a proposito di tutte le altre collane si
è ritenuto che il ruolo determinante svolto dalla Casa editrice possa
consentire, qualora questa si avvalga per le proprie scelte – anche con
la collaborazione dell’Università – di un organismo
scientifico, la replica dello strumentario valutativo approntato per le riviste[20].
Anche
per le ultime due tipologie di prodotti (volumi miscellanei e atti di convegni)
è possibile usare lo stesso schema, purché sia individuabile la
figura di un responsabile delle scelte ed egli possa giovarsi
dell’apporto di un organo collegiale formato da esperti di riconosciuto
valore (per gli Atti di convegni potrà essere ad esempio il Comitato
scientifico promotore).
c)La
parte del documento riservata alla sperimentazione è divisa in due fasi:
una iniziale di medio periodo (2 anni) ed una successiva della durata di circa
3 anni.
L’obiettivo
è duplice. Da una parte, testare i criteri proposti sopra illustrati;
dall’altra, individuarne eventualmente anche di nuovi. Il risultato
raggiunto costituirà la base di un sistema valutativo delle discipline
umanistiche da proporre a livello di spazio europeo per la ricerca (ERA).
Prima
della stesura definitiva, il documento si è arricchito
dell’analisi condotta dai delegati espressi dai direttivi delle
società scientifiche dei settori scientifici disciplinari del diritto
vigente appartenenti all’area 12 [21],
i quali a partire dal settembre 2009 si sono riuniti con cadenza bimestrale per
discutere dell’argomento.
Il
documento cosí redatto è stato poi illustrato, su invito del CUN,
alla assemblea plenaria di quel Consiglio il 13 gennaio 2010, e alla riunione
della Conferenza dei presidi di Giurisprudenza, tenutasi a Roma il 27 novembre
del 2009, per essere approvato con lievi modifiche nella riunione della Giunta
il 12 febbraio 2010, presente il rappresentante al CUN (la collega Fiorella
D’Angeli), e quindi inviato al collega Mario Morcellini per una
discussione nell’Interconferenza (Coordinamento Nazionale dei Presidi
delle Conferenze dei Presidi delle Facoltà italiane).
Si
è cosí giunti alla «Proposta» del CUN al Ministro del
25 febbraio 2010. Il cerchio si è chiuso.
Intanto,
in sede CNR, il testo licenziato dal gruppo di lavoro è stato fatto
proprio dal Consiglio Scientifico Generale e recepito nella delibera 128/2010
del Consiglio di Amministrazione (verb. 135).
3.
– Prospettive
Proverò
ora ad indicare alcuni obiettivi che ritengo debbano essere perseguiti per dare
corpo alla «Proposta» e creare le basi della
«sperimentazione».
Un
primo, urgente, passo è far conoscere negli atenei i contenuti del
documento e dibatterli coinvolgendo i colleghi dell’area scientifica.
Promuovere
un forum a livello nazionale per perfezionare gli indicatori soprattutto verso
quei generi letterari non riconducibili ad articoli di rivista o monografie.
Sollecitare
un confronto tra il CUN, il Ministero, la neo-costituita ANVUR, il CNR per
l’individuazione di un raccordo dei sistemi valutativi delle due aree,
umanistica e scientifica, nel rispetto delle reciproche specificità.
Infine,
avviare la costituzione del Consorzio per la certificazione delle riviste
romanistiche italiane, promuovendo nel contempo il coinvolgimento delle riviste
romanistiche europee.
4.
– Conclusione
La
posta in gioco è dunque di grande importanza, non soltanto per la
distribuzione dei fondi tra le aree di ricerca dei singoli atenei, quanto
piuttosto per la costituzione di un nuovo ‘peso’ del sapere
umanistico nel campo della ricerca. Il salto di qualità, determinato dal
percorso valutativo che ho provato a sunteggiare, se da una parte rende non
piú eludibile la ponderazione dei risultati della ricerca
umanistico-sociale, dall’altra ne pone le basi attraverso criteri
trasparenti e razionali, rivendicandone contestualmente una specifica
peculiarità.
Si
tratta – come già sottolineato – di un primo, importante,
passo. Infatti, i criteri di tipo ‘qualitativo’ indicati
rappresentano la soglia minima per assicurare una qualità della
produzione scientifica concordata collettivamente, che non può essere
confusa con la misurazione analitica dei valori. Molta strada c’è
ancora da percorrere per un affinamento della valutazione, come si deduce dalla
lettura di quella parte del documento del CNR riservata alla
‘sperimentazione’. Per fare ciò, però, si rende
necessario sperimentare e verificare, nei tempi piú brevi possibili, i
criteri proposti
per la valutazione.
Il
risultato raggiunto in questi mesi, sebbene risulti ancora parziale, deve
essere difeso e consolidato, persistendo nel lavoro collettivo che ne ha
consentito il conseguimento anche con l’impegno di tutta l’area
giuridica[22].