1. (except logo’s)
Impact – the game
Traditionele en alternatieve mogelijkheden
Ellen Fest & Bianca Kramer
Workshop VoginIP lezing, Amsterdam, 20170309
3.1
Macro-InvertebrateDeclineinSurfaceWater
PollutedwithImidacloprid
PloSOne8.5(2013):e62374.
24citationsin2015
@MsPhelps
@EllenFest
2. programma
• vraag aan deelnemers
• inleiding bibliometrics
• spel ronde 1
• inleiding altmetrics
• spel ronde 2
• zelf aan de slag
• vraag opnieuw
• afsluiting
3. Hoe zouden we we
wetenschappelijk
onderzoek moeten
beoordeelden?
8. Hoe vergelijken we citatie-aantallen?
• Onderzoekster Willemijn Wiskunde heeft een
publicatie uit 2007 met 22 citaties
• Onderzoekster Beatrix Biologie heeft eem
publicatie uit 2011 met 24 citaties
→ Welke onderzoekster heeft met haar publicatie
de meeste impact?
9. 0
10
20
30
40
50
60
70
80
0 2 4 6 8 10 12
cummulatiefaantalcitaties
aantal jaar na publicatie
baseline
TOP10%
TOP1%
Baseline vakgebied wiskunde
11. Journal Impact factor: DEFINITIE
Journal Impact factor in jaar t is gedefinieerd als de ratio tussen:
• het aantal citaties in jaar t naar publicaties in het tijdschrift
in de twee voorgaande jaren, en;
• het aantal publicaties in het tijdschrift in de twee
voorgaande jaren.
Voorbeeld:
• een tijdschrift heeft in 2013 en 2014 in totaal 100
publicaties
• in 2015 hebben deze publicaties samen 200 citaties
gekregen
• de impact factor is 200 / 100 = 2 11
12. 12
Impact factor: Weaknesses
• geen normalisatie naar vakgebied → gebruik de kwartielen
• citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews,
editorials, news articles) in de teller maar niet in de noemer
→ voordeel voor de tijdschriften met veel editorial material
• gevoelig voor "uitbijters"
• review journals zijn sterk in het voordeel
13. h-index
balans tussen productiviteit en
geciteerdheid
om het effect van een of twee
extreem geciteerde publicaties
uit te sluiten
niet alleen toepasbaar op auteurs
effect van vakgebied en leeftijd
niet gecorrigeerd
serieuze twijfel over robuustheid
*Waltman, L. & N. J. van Eck (2011). The inconsistency of the h-
index. Journal of the American Society for Information Science and
Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678
15. waar worden deze "metrics" gebruikt?
• beoordeling financieringsaanvragen (NWO,
ERC)
• sollicitatieprocedures (intern beleid, sterk
verschillend)
• tenure track procedures (intern beleid, sterk
verschillend)
• beoordeling onderzoeksgroepen / faculteiten
(SEP) → veel vrijheid voor eigen invulling
• university rankings (m.n. citatie-aantallen)
Meer lezen over NWO en gebruik van de Impact Factor?
https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/
16. waar het toe leidt:
Nature newsblog
http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html
17. waar het toe leidt:
Retraction Watch d.d. 17-02-2017
http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/
18. waar het toe leidt:
De Volkskrant, 6-3-2017
http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769
24. 2 trends in beoordeling van
wetenschappelijk onderzoek
Bewustzijn van onjuist gebruik van de IF voor de beoordeling van
individuele onderzoekers
• San Francisco Declaration on Research Assessment (DORA)
• Leiden Manifesto (Hicks et al., 2015)
• Metric Tide report (Wilsdon et al., 2015)
Meer aandacht voor maatschappelijke impact van wetenschappelijk
onderzoek en verschuiving naar meer "Open Science"
• Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU →
"Grotere en systematischere aandacht voor maatschappelijke
relevantie"
• NWO en EU beleid verschuift langzaam richting "Open Science"
• Nationaal Plan Open Science gepresenteerd op 9 februari jl.
25. Altmetrics Manifesto
• geen algemene definitie
• ‘metrics and qualitative data that are
complementary to traditional, citation-based
metrics’ (altmetric.com)
• verzameling van metrics
• gebaseerd op online gebruik / platforms
• alternatief voor bibliometrics
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto,
26 October 2010. http://altmetrics.org/manifesto
26. welke bronnen?
type
referentie managers, bookmarking Mendeley, CiteULike, Delicious
video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr,
DailyMotion
social netwerken Facebook, Google+
blogs Nature blogs, Scientific American blogs, PLOS blogs,
Research Blogging, Google blogs, Wordpress
microblogging Twitter, Sina Weibo,
peer review systemen Publons, PubPeer
recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews
online encyclopedie Wikipedia
repositories. PMC, Figshare, RePEc, SSRN
Source code Repositories GitHub, SourgeForge, Bitbucket
others beleidsdocumenten, nieuwsberichten
(Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)
36. verder lezen?
• Kramer, B. 2015. Altmetrics. Handboek
Informatiewetenschap 710.
doi:10.5281/zenodo.31899
• Konkiel et al. 2016. Altmetrics for Librarians: 100+
tips, tricks, and examples.
doi:10.6084/m9.figshare.3749838
• Glauch & Blümel. 2016. OPENing UP new
methods, indicators and tools for peer review,
impact measurement and dissemination of
research results. http://openup-
h2020.eu/2017/03/03/establishment-altmetrics-
term/
44. Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
45. Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
47. Wat is de context waarin onderzoekers kunnen
kiezen voor open & reproduceerbare workflows?
political support at (inter)national level •
pressure from funders •
public stance on Open Science by institution •
user-friendly and powerful tools •
interoperability •
role models •
attention for positive effects •
• assessment criteria
• institutional policies/culture
• PI demands
• learning curves
• agreements with collaborators
• uncertainty over effects & legitimacy
50. Open Science in de gehele onderzoekscyclus
preparation
analysis
writingpublication
outreach
assessment discovery
Rounds of grant writing
and application
Iterations of
search and reading
Drafting, receiving
comments,rewriting
Submit, peer review,
rejection, resubmitting
Rounds of experiments
and measurements