Kvalitetssikring av forskningsvirksomheten

Forfatter	Melding
Publiseringsutvalget	01. mars 2010 10:29:09 Kvalitetssikring av forskningsvirksomheten Vitenskapelige publikasjoner er en viktig del av et universitets ansikt utad, og er med å forme vårt renommé. Derfor opprettet universitetet allerede i 2007 et eget utvalg som skulle kvalitetssikre registreringen av vitenskapelige publikasjoner. Utvalget ble opprettet fordi det var stor grad av feilregistrering, og ut fra en vurdering av at dette ville være spesielt skadelig for renommeet til et ungt universitet dersom det ikke ble korrigert. Resultatet av utvalgets arbeid påvirker det nyinnførte resultatbaserte systemet for tildeling av forskningsressurser, men utvalget var altså etablert lenge før dette systemet ble innført. Erfaringene viser tydelig at det også i fremtida vil være behov for et slikt utvalg for å ivareta kvaliteten på registreringene. I 2008 omregistrerte publiseringsutvalget 32 av 312 arbeider. I 2009 vurderte publiseringsutvalget at 87 av 387 arbeider var feilregistrert. De fleste av disse arbeidene (55) ble omregistrert pga. formelle forhold (feil publiseringsår, manglende institusjonstilknytting etc.). Universitetsbiblioteket har solid kompetanse på å avdekke denne typen feil. Det er viktig å legge merke til at det er registreringen av publikasjonen som blir vurdert. Det er ikke slik man kan få inntrykk av fra noen av debattinnleggene at utvalget vurderer kvaliteten på forskningen. I sitt arbeid forholder publiseringsutvalget seg til nasjonale normer gitt av DBH og UHR. UiA står ikke fritt til å velge sine egne definisjoner. Disse normene har ligget fast siden 2004. Det er altså ikke slik at utvalget har funnet opp nye kriterier og gitt disse tilbakevirkende kraft slik det er blitt hevdet. Et viktig kriterium for å kunne klassifisere en publikasjon som vitenskapelig er at den er blitt fagfellevurdert av en eller flere uavhengige eksperter på temaet (avsnitt 3.3. i Vekt på forskning, http://www.uhr.no/documents/Vekt_p__forskning__sluttrapport.pdf). Dette er et system for kvalitetssikring av vitenskapelige arbeider som danner selve basisen for vår virksomhet, og som er grundig innarbeidet i alle disipliner. Kravet til uavhengighet er så sterkt at publiseringskanaler med lokal forfatterkrets (skriftserier etc.) ikke klassifiseres som vitenskapelige i det nasjonale registreringssystemet, uansett hvor merittert den lokale redaksjonen måtte være. Grunnen er at det kan reises tvil om en ordning med fagfellevurdering kan fungere i en kanal som i hovedsak representerer institusjonens egne ansatte. Et minimum nasjonalt nivå vil som oftest være påkrevd for at dette skal fungere i en vitenskapelig publiseringskanal (avsnitt 4.4 i Vekt på forskning). I de nasjonale retningslinjene framgår det klart at lærebøker eller bøker for allmennmarkedet ikke regnes som vitenskapelige monografier (avsnitt 6.2 i Vekt på forskning). Bøker som presenterer både forfatterens egen forskning og andres forskning på en pedagogisk måte for studenter eller for målgrupper utenfor forskningen vil være viktige for formidling av forskning, men vil vanligvis ikke tilfredsstille kravene til vitenskapelighet. Når forlaget eller forfatteren selv i sin omtale av publikasjonen presiserer at boka er skrevet for målgrupper utenfor forskningen har publiseringsutvalget derfor gått særlig grundig tilverks, og vurdert om alle de absolutte kravene man skal stille til en vitenskapelig bok er oppfylt (avsnitt 3.2. i Vekt på forskning): 1. presentere ny innsikt 2. være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning 3. være i et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den 4. være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering I noen tilfeller er utvalget kommet til en annen konklusjon enn forfatterens/redaktørens, og klassifisert boka som en fagbok, et læreverk eller en debattbok. Slike publikasjoner tilfredsstiller ikke kriteriene til ”vitenskapelig” slik fastsatt i Vekt på forskning. I tillegg til egen kompetanse har utvalget stått fritt til å innhente synspunkter fra andre relevante fagmiljø. Det har da vist seg at fagmiljøenes vurderinger ikke er så entydige som man kan få inntrykk av fra en del av de synspunktene som er fremkommet i debatten. Det er å håpe at denne saken vil medføre en grundig diskusjon i organisasjonen om hvilke krav man skal kunne stille til en vitenskapelig publikasjon, og at denne føres i bredere fora. Det har vært påpekt at dette systemet, og UiAs system for tildeling av forskningsressurser, vil kunne føre til en dreining av publiseringsmønsteret. Dersom denne dreiningen medfører at man velger å publisere sine forskningsresultater i vitenskapelige publiseringskanaler kan det være ønskelig. Samtidig er det slik at utvikling av fag- og lærebøker og bøker rettet mot allmennmarkedet er en naturlig del av et universitets oppgaver. Utvikling av slike bøker motiveres imidlertid som oftest av andre forhold enn det å bringe forskningsfronten videre, som er det helt sentrale med vitenskapelig publisering. Det nasjonale systemet for forskningsregistrering påvirker også forlagenes adferd. Noen forlag har blitt mer tydelige på at de er godkjent som vitenskapelig publiseringskanal når de markedsfører seg overfor forskere. Som et ledd i kvalitetssikringen bør det vurderes å innføre et system der forlagene innrapporterer hvilke uavhengige eksperter de har benyttet til å fagfellevurdere monografier og artikler i antologier til institusjonene der forfatterne er tilsatt. Dette vil øke institusjonenes sikkerhet for at de holder seg innenfor riksrevisjonens krav til kvalitetssikring av resultater som påvirker budsjettildelingen. Departementets krav til rapportering og kvalitetssikring har ført til en vesentlig byråkratisering av UoH-sektoren. Mye av kritikken i e-mailene retter seg også mot byråkratiseringen rundt forskning (rapportering, dokumentering av ressursbruk, kontrollering, etc.) og overdreven bruk av resultatbasert styring. Her kan det hevdes at UiA er gått lengre enn de fleste andre institusjonene i sektoren, og dette bør selvfølgelig debatteres. Men, denne diskusjonen må ikke ta fokus bort fra det viktige arbeidet med å kvalitetssikre forskningsvirksomheten. Publiseringsutvalget ved UiA Per Kristian Egeberg (leder) Anne Ryen Roy Tommy Eriksen.
Roy Eriksen	03. mars 2010 14:31:13 Om kvalitetssikring OM KVALITETSSIKRING Det har vært mye støy og mange innspill i denne saken. Den generelle misnøyen ved økende byråkratisering rundt forskning og publisering kan nesten alle si seg enig i, men det er ikke sakens kjerne. Det ser ut for at noen av innsenderne ikke har forstått at reglene som gjelder for vitenskaplighet er nasjonale og at disse ikke er endret av Kvalitetssikringsutvalget. Det eneste nye er at det praktiseres en mer konsekvent gjennomføring av dem. De mange følelsesladde protester og påstander har lite hold i regelverk og virkelighet. Regelverket er imidlertid klart nok; selv om institusjonene ikke alltid er like gode til å følge det: jfr Vekt på forskning; 3.3 og 3.4. Flere innsendere synes derimot å tro at regelverkets krav er noe som det lokale utvalget har funnet på og at utvalget har vurdert deres forskningspraksis, og dermed føler seg krenket. Men dette er faktisk nasjonale regler og en policy som angår vitenskaplighet i forhold til den enkelte publikasjon, og ikke noe som utvalget på UiA er alene om. At etterfølgelsen har vært for dårlig før, hverken rettferdiggjør en forlengelse av denne praksis eller gjør den mer korrekt. Slik praksis er og blir beklagelig og moden for endring i samsvar med de mål UiA har for å styrke sin vitenskapelig produksjon og bygge sitt omdømme som universitet. En styrket og kvalitetssikret forskning er av avgjørende betydning for å gi forskningsbasert undervisning til våre studenter og styrke deres faglig refleksjonskraft og innsikt i komplekse sammenhenger. Det er derfor viktig for UiAs merkevarebygging og renommé at vår oppfyllelse av kravene skjerpes og bringes i samsvar med gjeldende nasjonale krav. Der praksis er motstridende og inkonsekvent må den kalibreres og forbedres uansett vitenskapelig institusjon; det hersker det ikke tvil om. Slik det har vært til nå er mange gratispoeng blitt utdelt; det gjelder sikkert også undertegnede. Jeg mener derfor at en nasjonal inndeling av publikasjonskanaler i tre nivåer er en praktisk og akseptabel løsning, der nederste nivå er til formidling osv men med lavere uttelling (1/3 av nivået for laveste forskningsnivå). Det kan ikke være opp til den enkelte forsker å skape egne blandingskategorier– eller sjangre og siden kreve full uttelling. Det er mot denne bakgrunn at det blir særlig uheldig og korttenkt å stemme ned muligheten til etterprøving av Kvalitetssikringsutvalgets innstilling i regi av RHF. Jeg kan bare spekulere omkring motivasjonen bak flertallsvedtaket i SFU (5 – 2) om å unndra de omdiskutere arbeidene fra en slik nasjonal vurdering, men det tjener neppe til UiAs renommé at vedtaket setter til side gjeldende nasjonale regelverk for kvalitetsvurdering. Utfallet av en slik vurdering var tydeligvis fryktet. Det er ikke slik vi styrker vår status som vitenskapelig institusjon. Roy Eriksen, Fakultet for humaniora og pedagogikk
Jonas Persson	11. mars 2010 08:30:42 Kvalitetssikring av forskning! Som publiseringsutvalget skriver är vetenskapliga publikationer en viktig del av ett universitets verksamhet. Då dessa även har betydelse för finansieringen är det mycket viktig att man publiserar. Men en ensidig fokusering på finansiering medför olika faror, en är att kvaliteten på publikationerna går ner , en annan att kvaliteten på forskningen går ner. Man kan tro att detta är samma sak, men så är inte fallet. Kvaliteten på publikationer är ett känsligt ämne, och här är det formen av publisering som är problemet. Om publiseringen sker i en tidskrift med peer-review eller inte, vilket förlag eller organisation som publiserar, och ämnesområde, spelar stor roll. Nu skall man inte luras av att peer-review är en absolut kvalitetsstämpel, det är det bästa av system men långt ifrån ofelbart. Det finns personlig prestige och vänskapsband som gör att artiklar kan refuseras utan saklig grund likaväl som dom kan accepteras av samma skäl. I många forskningsfält så känner man eller känner till dom flesta, så att hitta en oberoende referee är inte lätt. Detta ställer då stora krav på integritet. Till detta kommar att tidskrifter har olika inriktning så man är hänvisad till speciella tidskrifter. Detta gör att många är utestängda från de mest prestigefulla tidskrifterna. Även förlagen har intresse av att hålla en viss kvalite på sina tidskrifter men många har samma problem med kvalitetessäkring. Detta blir ännu tydligare om det strikta redaktörskapet i en tidskrift blir lite mera upplöst i serier och antologier. Därmed inte sagt att kvaliteten blir sämre per automatik, utan det handlar om tradition och integritet. Här måste man vara noga och ha någon form av oberoende kvalitetssäkring. Kvaliteten på forskningen är det som på lång sikt är farligast och något som uppmärksammats genom ”publish or perish”. Nu kan man tro att kvaliteten borde öka om man har ett sådant publiseringskrav, men så är inte fallet. I stället för att satsa på banbrytande forskning, som då medför en ganska stor risk att man inte får resultat så satsar man på säkra projekt som inte är i forskningens framkant. Detta framställs tydligt i detta ovanliga abstrakt: Every serious scientist wants to discover fundamental results. However, due to outer circumstances expressed by the slogan 'publish or perish,' the reality looks quite different: too many mathematicians are led to deal only with problems that promise a quick and successful solution. This attitude is a decisive reason why every mature mathematical theory includes a comprehensive list of challenging problems that are open for a long time, say 25 years. It is the goal of this paper to provide such a list for the theory of Banach spaces. The enumeration of the problems does not indicate any ranking. Albrecht Pietsch, Quaestiones Mathematicae, Volume 32, Number 3, September 2009 , pp. 321-337(17) Detta är också något som speciellt drabbar den experimentella/datainsamlande vetenskapen, där insamlandet av data och analys kan ta mycket lång tid och där kraven på formuleringar och vetenskaplighet i publikationer är mycket hårda. Att genomföra ett projekt från start till publisering kan ta flera år.Man kan inte bara sätta sig ner och skriva. Detta gäller också de teoretiska naturvetenskaperna där bevisföringen är mycket hård. Men det går inte att jämföra olika vetenskapliga dicipliner rakt av utan det finns mycket som man måste ta hänsyn till. En del av detta sköts genom den allmänna tilldelningen av medel till universitet och högskolor där vissa områden får mer. Detta gäller speciellt tilldelning av resurser till stipendiater där naturvetenskap, medicin och teknologi av naturliga skäl behöver mer resurser bland annat till utrustning och kemikalier. På samma sätt så är ett kvalifieringssystem som baseras på DBH poäng blint, då arbetsinsatsen för en poäng kan skillja sig väldigt mycket. Att skriva på ett annat språk med mycket noggranna formuleringar tar tid oavsett hur bra man är på språket. Till detta kommer då att göra experimenten/programmering/simuleringar, skapa figurer och grafer et cetera. Det är inte ovanligt att en publikation (med runt 10 författare) i ex. experimentell kärnfysik har tagit mer än 3000 man-timmar att färdigställa, att jämfört med en publikation i fasta stoffers fysikk som kanske tar 200 man-timmar med en författare. Detta har dock berörts i tidigare debatter, men är viktig att påpeka igen. Tittar vi mer fundamentalt på vetenskap eller vetenskaperna ser vi att det råder stora olikheter i hur man arbeta och publiserar. Inom dom ”hårda” vetenskaperna sker i stort sett all publisering i internationella tidskrifter med peer-review, 2-3 oberoende anonyma referees. Det innebær dessutom att i stort sett alla seniora forskare samtidigt fungerar som referees, normalt 2-4 artiklar per år som man är referee för. Detta är grunden för publisering och ett hedersuppdrag som man inte får någon ersättning för. Om man ser på målgruppen, så är den alltid internationell, varför all publisering sker på engelska. Det man gör jämförs med arbeten runt hela världen. Med andra ord har all forskning som utförs ett mål att vara korrekt, om inte för all framtid så i alla fall inom det nuvarande paradigmet. Detta innebär att det krävs väldigt mycket för det skall ändra sig, något som inte alltid är fallet i mer ideologisk baserade vetenskaper. I naturvetenskaperna kan man kan inte bara sätta sig ned och skriva något när allting baseras på experimentella eller teoretiska bevis. Dessutom baseras forskningen i dag på samarbeten mellan flera personer och institutioner, detta innebär att det ofta kan bli ett stort antal medförfattare på en artikel, men inte nödvändigtvis flere artiklar. Här kan vi se experimentell partikelfysik där en artikel kan ha över 500 författare eller rättare sagt folk som bidragit till artikeln. Men det betyder inte att man kan skriva 500 artiklar. Är en sådan artikel inte värt något? I dag står många av dom stora vetenskapliga sammarbeten för banbrytande forskning, men samtidig har vi ett system som missgynnar den typen av forskning. Saknar man kunskap om hur forskning bedrivs inom ett speciellt fält är det svårt att fullt ut förstå svårigheter och de spelregler som gäller. Det behövs en kvalitetssäkring, men den måste ske på de olika ämnenas villkor och måste ske med vetenskaplighet som huvudmål. Annars blir det lätt en jämförelse av medaljer som tagits i olika mästerskap, en VM-medalj jämförs med en NM-medalj. I detta håller jag med publiseringsutvalget som framför mycket sunda åsikter. Men fokus i hela debatten är jag rädd har hamnat lite fel. Den stora frågan är hur UiA skall stärka sin forskningsprofil och vad det är man skall satsa på? Detta har, som jag ser det, inte kommit fram på ett bra sätt. För bra forskning behövs morötter, men här är det lite för mycket piskor. Vill man belöna forskning så gör man det ordentlig och ge reella och rättvisa förutsättningar för forskning.

Forfatter

Melding

Publiseringsutvalget

01. mars 2010 10:29:09

Kvalitetssikring av forskningsvirksomheten

Vitenskapelige publikasjoner er en viktig del av et universitets ansikt utad, og er med å forme vårt renommé. Derfor opprettet universitetet allerede i 2007 et eget utvalg som skulle kvalitetssikre registreringen av vitenskapelige publikasjoner. Utvalget ble opprettet fordi det var stor grad av feilregistrering, og ut fra en vurdering av at dette ville være spesielt skadelig for renommeet til et ungt universitet dersom det ikke ble korrigert.

Resultatet av utvalgets arbeid påvirker det nyinnførte resultatbaserte systemet for tildeling av forskningsressurser,
men utvalget var altså etablert lenge før dette systemet ble innført. Erfaringene viser tydelig at det også i fremtida vil være behov for et slikt utvalg for å ivareta kvaliteten på registreringene.

I 2008 omregistrerte publiseringsutvalget 32 av 312 arbeider. I 2009 vurderte publiseringsutvalget at 87 av 387 arbeider var feilregistrert. De fleste av disse arbeidene (55) ble omregistrert pga. formelle forhold (feil publiseringsår, manglende institusjonstilknytting etc.). Universitetsbiblioteket har solid kompetanse på å avdekke denne typen feil.

Det er viktig å legge merke til at det er registreringen av publikasjonen som blir vurdert. Det er ikke slik man kan få inntrykk av fra noen av debattinnleggene at utvalget vurderer kvaliteten på forskningen.

I sitt arbeid forholder publiseringsutvalget seg til nasjonale normer gitt av DBH og UHR. UiA står ikke fritt til å velge sine egne definisjoner. Disse normene har ligget fast siden 2004. Det er altså ikke slik at utvalget har funnet opp nye kriterier og gitt disse tilbakevirkende kraft slik det er blitt hevdet.

Et viktig kriterium for å kunne klassifisere en publikasjon som vitenskapelig er at den er blitt fagfellevurdert av en eller flere uavhengige eksperter på temaet (avsnitt 3.3. i Vekt på forskning, http://www.uhr.no/documents/Vekt_p__forskning__sluttrapport.pdf). Dette er et system for kvalitetssikring av vitenskapelige arbeider som danner selve basisen for vår virksomhet, og som er grundig innarbeidet i alle disipliner. Kravet til uavhengighet er så sterkt at publiseringskanaler med lokal forfatterkrets (skriftserier etc.) ikke klassifiseres som
vitenskapelige i det nasjonale registreringssystemet, uansett hvor merittert den lokale redaksjonen måtte være. Grunnen er at det kan reises tvil om en ordning med fagfellevurdering kan fungere i en kanal som i hovedsak representerer institusjonens egne ansatte. Et minimum nasjonalt nivå vil som oftest være påkrevd for at dette skal fungere i en vitenskapelig publiseringskanal (avsnitt 4.4 i Vekt på forskning).

I de nasjonale retningslinjene framgår det klart at lærebøker eller bøker for allmennmarkedet ikke regnes som vitenskapelige monografier (avsnitt 6.2 i Vekt på forskning). Bøker som presenterer både forfatterens egen forskning og andres forskning på en pedagogisk måte for studenter eller for målgrupper utenfor forskningen vil være viktige for formidling av forskning, men vil vanligvis ikke tilfredsstille kravene til vitenskapelighet.

Når forlaget eller forfatteren selv i sin omtale av publikasjonen presiserer at boka er skrevet for målgrupper utenfor forskningen har publiseringsutvalget derfor gått særlig grundig tilverks, og vurdert om alle de absolutte kravene man skal stille til en vitenskapelig bok er oppfylt (avsnitt 3.2. i Vekt på forskning):

1. presentere ny innsikt
2. være i en form som gjør resultatene etterprøvbare eller anvendelige i ny forskning
3. være i et språk og ha en distribusjon som gjør den tilgjengelig for de fleste forskere som kan ha interesse av den
4. være i en publiseringskanal (tidsskrift, serie, bokutgiver, nettsted) med rutiner for fagfellevurdering

I noen tilfeller er utvalget kommet til en annen konklusjon enn forfatterens/redaktørens, og klassifisert boka som en fagbok, et læreverk eller en debattbok. Slike publikasjoner tilfredsstiller ikke kriteriene til ”vitenskapelig” slik fastsatt i Vekt på forskning. I tillegg til egen kompetanse har utvalget stått fritt til å innhente synspunkter fra andre relevante fagmiljø. Det har da vist seg at fagmiljøenes vurderinger ikke er så entydige som man kan få inntrykk av fra en del av de synspunktene som er fremkommet i debatten.

Det er å håpe at denne saken vil medføre en grundig diskusjon i organisasjonen om hvilke krav man skal kunne stille til en vitenskapelig publikasjon, og at denne føres i bredere fora.

Det har vært påpekt at dette systemet, og UiAs system for tildeling av forskningsressurser, vil kunne føre til en dreining av publiseringsmønsteret. Dersom denne dreiningen medfører at man velger å publisere sine forskningsresultater i vitenskapelige publiseringskanaler kan det være ønskelig. Samtidig er det slik at utvikling av fag- og lærebøker og bøker rettet mot allmennmarkedet er en naturlig del av et universitets oppgaver. Utvikling av slike bøker motiveres imidlertid som oftest av andre forhold enn det å bringe forskningsfronten videre, som er det helt sentrale med vitenskapelig publisering.

Det nasjonale systemet for forskningsregistrering påvirker også forlagenes adferd. Noen forlag har blitt mer tydelige på at de er godkjent som vitenskapelig publiseringskanal når de markedsfører seg overfor forskere. Som et ledd i kvalitetssikringen bør det vurderes å innføre et system der forlagene innrapporterer hvilke uavhengige eksperter de har benyttet til å fagfellevurdere monografier og artikler i antologier til institusjonene der forfatterne er tilsatt. Dette vil øke institusjonenes sikkerhet for at de holder seg innenfor riksrevisjonens krav til kvalitetssikring av resultater som påvirker budsjettildelingen.

Departementets krav til rapportering og kvalitetssikring har ført til en vesentlig byråkratisering av UoH-sektoren. Mye av kritikken i e-mailene retter seg også mot byråkratiseringen rundt forskning (rapportering, dokumentering av ressursbruk, kontrollering, etc.) og overdreven bruk av resultatbasert styring. Her kan det hevdes at UiA er gått lengre enn de fleste andre institusjonene i sektoren, og dette bør selvfølgelig debatteres. Men, denne diskusjonen må ikke ta fokus bort fra det viktige arbeidet med å kvalitetssikre forskningsvirksomheten.

Publiseringsutvalget ved UiA

Per Kristian Egeberg (leder) Anne Ryen Roy Tommy Eriksen.

Roy Eriksen

03. mars 2010 14:31:13

Om kvalitetssikring

OM KVALITETSSIKRING

Det har vært mye støy og mange innspill i denne saken. Den generelle misnøyen ved økende byråkratisering rundt forskning og publisering kan nesten alle si seg enig i, men det er ikke sakens kjerne.
Det ser ut for at noen av innsenderne ikke har forstått at reglene som gjelder for vitenskaplighet er nasjonale og at disse ikke er endret av Kvalitetssikringsutvalget. Det eneste nye er at det praktiseres en mer konsekvent gjennomføring av dem. De mange følelsesladde protester og påstander har lite hold i regelverk og virkelighet. Regelverket er imidlertid klart nok; selv om institusjonene ikke alltid er like gode til å følge det: jfr Vekt på forskning; 3.3 og 3.4.

Flere innsendere synes derimot å tro at regelverkets krav er noe som det lokale utvalget har funnet på og at utvalget har vurdert deres forskningspraksis, og dermed føler seg krenket. Men dette er faktisk nasjonale regler og en policy som angår vitenskaplighet i forhold til den enkelte publikasjon, og ikke noe som utvalget på UiA er alene om. At etterfølgelsen har vært for dårlig før, hverken rettferdiggjør en forlengelse av denne praksis eller gjør den mer korrekt. Slik praksis er og blir beklagelig og moden for endring i samsvar med de mål UiA har for å styrke sin vitenskapelig produksjon og bygge sitt omdømme som universitet. En styrket og kvalitetssikret forskning er av avgjørende betydning for å gi forskningsbasert undervisning til våre studenter og styrke deres faglig refleksjonskraft og innsikt i komplekse sammenhenger.

Det er derfor viktig for UiAs merkevarebygging og renommé at vår oppfyllelse av kravene skjerpes og bringes i samsvar med gjeldende nasjonale krav. Der praksis er motstridende og inkonsekvent må den kalibreres og forbedres uansett vitenskapelig institusjon; det hersker det ikke tvil om. Slik det har vært til nå er mange gratispoeng blitt utdelt; det gjelder sikkert også undertegnede.
Jeg mener derfor at en nasjonal inndeling av publikasjonskanaler i tre nivåer er en praktisk og akseptabel løsning, der nederste nivå er til formidling osv men med lavere uttelling (1/3 av nivået for laveste forskningsnivå). Det kan ikke være opp til den enkelte forsker å skape egne blandingskategorier– eller sjangre og siden kreve full uttelling.

Det er mot denne bakgrunn at det blir særlig uheldig og korttenkt å stemme ned muligheten til etterprøving av Kvalitetssikringsutvalgets innstilling i regi av RHF. Jeg kan bare spekulere omkring motivasjonen bak flertallsvedtaket i SFU (5 – 2) om å unndra de omdiskutere arbeidene fra en slik nasjonal vurdering, men det tjener neppe til UiAs renommé at vedtaket setter til side gjeldende nasjonale regelverk for kvalitetsvurdering. Utfallet av en slik vurdering var tydeligvis fryktet. Det er ikke slik vi styrker vår status som vitenskapelig institusjon.

Roy Eriksen,
Fakultet for humaniora og pedagogikk

Jonas Persson

11. mars 2010 08:30:42

Kvalitetssikring av forskning!

Som publiseringsutvalget skriver är vetenskapliga publikationer en viktig del av ett universitets verksamhet. Då dessa även har betydelse för finansieringen är det mycket viktig att man publiserar. Men en ensidig fokusering på finansiering medför olika faror, en är att kvaliteten på publikationerna går ner , en annan att kvaliteten på forskningen går ner. Man kan tro att detta är samma sak, men så är inte fallet.

Kvaliteten på publikationer är ett känsligt ämne, och här är det formen av publisering som är problemet. Om publiseringen sker i en tidskrift med peer-review eller inte, vilket förlag eller organisation som publiserar, och ämnesområde, spelar stor roll. Nu skall man inte luras av att peer-review är en absolut kvalitetsstämpel, det är det bästa av system men långt ifrån ofelbart. Det finns personlig prestige och vänskapsband som gör att artiklar kan refuseras utan saklig grund likaväl som dom kan accepteras av samma skäl. I många forskningsfält så känner man eller känner till dom flesta, så att hitta en oberoende referee är inte lätt. Detta ställer då stora krav på integritet. Till detta kommar att tidskrifter har olika inriktning så man är hänvisad till speciella tidskrifter. Detta gör att många är utestängda från de mest prestigefulla tidskrifterna. Även förlagen har intresse av att hålla en viss kvalite på sina tidskrifter men många har samma problem med kvalitetessäkring. Detta blir ännu tydligare om det strikta redaktörskapet i en tidskrift blir lite mera upplöst i serier och antologier. Därmed inte sagt att kvaliteten blir sämre per automatik, utan det handlar om tradition och integritet. Här måste man vara noga och ha någon form av oberoende kvalitetssäkring.

Kvaliteten på forskningen är det som på lång sikt är farligast och något som uppmärksammats genom ”publish or perish”. Nu kan man tro att kvaliteten borde öka om man har ett sådant publiseringskrav, men så är inte fallet. I stället för att satsa på banbrytande forskning, som då medför en ganska stor risk att man inte får resultat så satsar man på säkra projekt som inte är i forskningens framkant. Detta framställs tydligt i detta ovanliga abstrakt:

Every serious scientist wants to discover fundamental results. However, due to outer circumstances expressed by the slogan 'publish or perish,' the reality looks quite different: too many mathematicians are led to deal only with problems that promise a quick and successful solution. This attitude is a decisive reason why every mature mathematical theory includes a comprehensive list of challenging problems that are open for a long time, say 25 years. It is the goal of this paper to provide such a list for the theory of Banach spaces. The enumeration of the problems does not indicate any ranking.
Albrecht Pietsch, Quaestiones Mathematicae, Volume 32, Number 3, September 2009 , pp. 321-337(17)

Detta är också något som speciellt drabbar den experimentella/datainsamlande vetenskapen, där insamlandet av data och analys kan ta mycket lång tid och där kraven på formuleringar och vetenskaplighet i publikationer är mycket hårda. Att genomföra ett projekt från start till publisering kan ta flera år.Man kan inte bara sätta sig ner och skriva. Detta gäller också de teoretiska naturvetenskaperna där bevisföringen är mycket hård.

Men det går inte att jämföra olika vetenskapliga dicipliner rakt av utan det finns mycket som man måste ta hänsyn till. En del av detta sköts genom den allmänna tilldelningen av medel till universitet och högskolor där vissa områden får mer. Detta gäller speciellt tilldelning av resurser till stipendiater där naturvetenskap, medicin och teknologi av naturliga skäl behöver mer resurser bland annat till utrustning och kemikalier. På samma sätt så är ett kvalifieringssystem som baseras på DBH poäng blint, då arbetsinsatsen för en poäng kan skillja sig väldigt mycket. Att skriva på ett annat språk med mycket noggranna formuleringar tar tid oavsett hur bra man är på språket. Till detta kommer då att göra experimenten/programmering/simuleringar, skapa figurer och grafer et cetera. Det är inte ovanligt att en publikation (med runt 10 författare) i ex. experimentell kärnfysik har tagit mer än 3000 man-timmar att färdigställa, att jämfört med en publikation i fasta stoffers fysikk som kanske tar 200 man-timmar med en författare. Detta har dock berörts i tidigare debatter, men är viktig att påpeka igen.

Tittar vi mer fundamentalt på vetenskap eller vetenskaperna ser vi att det råder stora olikheter i hur man arbeta och publiserar. Inom dom ”hårda” vetenskaperna sker i stort sett all publisering i internationella tidskrifter med peer-review, 2-3 oberoende anonyma referees. Det innebær dessutom att i stort sett alla seniora forskare samtidigt fungerar som referees, normalt 2-4 artiklar per år som man är referee för. Detta är grunden för publisering och ett hedersuppdrag som man inte får någon ersättning för. Om man ser på målgruppen, så är den alltid internationell, varför all publisering sker på engelska. Det man gör jämförs med arbeten runt hela världen. Med andra ord har all forskning som utförs ett mål att vara korrekt, om inte för all framtid så i alla fall inom det nuvarande paradigmet. Detta innebär att det krävs väldigt mycket för det skall ändra sig, något som inte alltid är fallet i mer ideologisk baserade vetenskaper. I naturvetenskaperna kan man kan inte bara sätta sig ned och skriva något när allting baseras på experimentella eller teoretiska bevis. Dessutom baseras forskningen i dag på samarbeten mellan flera personer och institutioner, detta innebär att det ofta kan bli ett stort antal medförfattare på en artikel, men inte nödvändigtvis flere artiklar. Här kan vi se experimentell partikelfysik där en artikel kan ha över 500 författare eller rättare sagt folk som bidragit till artikeln. Men det betyder inte att man kan skriva 500 artiklar. Är en sådan artikel inte värt något? I dag står många av dom stora vetenskapliga sammarbeten för banbrytande forskning, men samtidig har vi ett system som missgynnar den typen av forskning. Saknar man kunskap om hur forskning bedrivs inom ett speciellt fält är det svårt att fullt ut förstå svårigheter och de spelregler som gäller.

Det behövs en kvalitetssäkring, men den måste ske på de olika ämnenas villkor och måste ske med vetenskaplighet som huvudmål. Annars blir det lätt en jämförelse av medaljer som tagits i olika mästerskap, en VM-medalj jämförs med en NM-medalj. I detta håller jag med publiseringsutvalget som framför mycket sunda åsikter. Men fokus i hela debatten är jag rädd har hamnat lite fel. Den stora frågan är hur UiA skall stärka sin forskningsprofil och vad det är man skall satsa på? Detta har, som jag ser det, inte kommit fram på ett bra sätt. För bra forskning behövs morötter, men här är det lite för mycket piskor. Vill man belöna forskning så gör man det ordentlig och ge reella och rättvisa förutsättningar för forskning.