Al eerder heb ik verteld hoe wetenschap werkt: iemand verzint een experiment, voert dat uit en schrijft de resultaten op in een artikel. Het wordt gekeurd en gewogen, en als niet te licht bevonden bevonden wordt, wordt het artikel gepubliceerd in een tijdschrift. Dat artikel wordt door anderen gelezen en er wordt naar gerefereerd als het interessant is, zodat anderen de feiten kunnen controleren. Dit is de meest gangbare manier waarop kennis stroomt.
Nu is er zoiets als goeie en slechte wetenschap. De experimenten kunnen ongeschikt zijn om een hypothese te ontkrachten, resultaten kunnen onbruikbaar zijn of de conclusies die getrokken worden fout. Het is niet eenvoudig om slechte wetenschap van matige te onderscheiden; en matige van goede wetenschap.
Maar wanneer is iemand een goede wetenschapper? Ik vind dat als iemand, in z’n eentje, één enorme ontdekking in zijn leven doet (hèt geneesmiddel tegen het AIDS-virus), dat hij een fantastische wetenschapper is. Hij heeft de mensheid geholpen door zijn intelligentie te gebruiken om het leven van anderen te vergemakkelijken en hij was zo goed om zijn kennis te delen. Hij schreef een artikel over zijn onderzoek, publiceerde dat in een tijdschrift en andere wetenschappers verwijzen nog vaak naar zijn enige, doch fantastische werk.
Een tweede wetenschapper doet al decennia onderzoek naar het de verbetering van dataopslag. Hij werkt samen met veel andere onderzoekers en geleidelijk aan doen ze veel ontdekkingen. Elke ontdekking wordt netjes opgeschreven en gepubliceerd. Het onderzoeksgebied waar onze dataopslag-onderzoeker in werkt is eigenlijk maar klein: er werken niet veel mensen in dit gebied, laat staan dat er veel over geschreven wordt. Vorderingen zijn klein maar belangrijk.
Hoe goed zijn onze twee wetenschappers? De een heeft weinig (eenmaal) gepubliceerd, maar wordt veel geciteerd; de ander publiceert veel, maar wordt weinig geciteerd. Er zijn veel maten om wetenschappers mee te meten, maar productiviteit (het aantal publicaties van een wetenschapper) en impact (aantal citaties naar die wetenschapper) worden tegenwoordig het belangrijkst gevonden. Hoe goed hij is als docent, hoe netjes hij is in een lab of hoe goed hij om kan gaan met andere wetenschappers wordt buiten beschouwing gelaten.
De Amerikaanse wetenschapper Jorge E. Hirsch bedacht in 2005 een index om wetenschappers te ranken. Hij is wat ingewikkeld, dus houd je vast:
Een wetenschapper heeft een index als h van zijn/haar Na artikelen ten minste h maal geciteerd worden, en de andere (Na – h) artikelen minder dan h maal geciteerd worden.
In andere woorden, een wetenschapper met een Hirsch index van h, heeft blijkbaar h artikelen gepubliceerd die ten minste h keer zijn geciteerd. Hij kan dus best meer dan h artikelen gepubliceerd hebben, maar die zijn niet vaak genoeg geciteerd om mee te tellen.
Onze dataopslag-wetenschapper heeft een aantal keer gepubliceerd. Toen hij nog jong en onbezonnen was, heeft hij aan drie artikelen meegewerkt: de eerste is éénmaal geciteerd, de tweede twee keer en de derde vijf keer. Hij had toen een Hirsch index van twee. Tegenwoordig heeft hij een lange lijst met publicaties op zijn naam en een respectabele Hirsch index van dertig. Onze AIDS-wetenschapper heeft maar eenmaal gepubliceerd en dus een Hirsch index van één.
De moraal is duidelijk. Er is een duidelijke manier om wetenschappers te ranken. Je ziet ook direct waar dat fout gaat. Er zijn ook uitbreidingen op de manier van Jorge Hirsch, maar ook hele andere methodes. Allemaal rammelen ze een beetje en allemaal vergeten ze belangrijke zaken. Maar goed, getallen aan fenomenen plakken is altijd lastig en je kan er altijd over discussiëren. Wetenschap.
Is er ook een versie de rekening houdt met de impactfactor van het tijdschrift waar je in publiceerd?
Zit #citaties al niet in impactfactor? Een tijdschrift heeft een grote impact, als de artikelen erin veel bruikbaar zijn en dus veel geciteerd worden.
NB: “Self-fulfilling prophecy”