SlideShare ist ein Scribd-Unternehmen logo
1 von 52
Downloaden Sie, um offline zu lesen
(except logo’s)
Impact – the game
Traditionele en alternatieve mogelijkheden
Ellen Fest & Bianca Kramer
Workshop VoginIP lezing, Amsterdam, 20170309
3.1
Macro-InvertebrateDeclineinSurfaceWater
PollutedwithImidacloprid
PloSOne8.5(2013):e62374.
24citationsin2015
@MsPhelps
@EllenFest
programma
• vraag aan deelnemers
• inleiding bibliometrics
• spel ronde 1
• inleiding altmetrics
• spel ronde 2
• zelf aan de slag
• vraag opnieuw
• afsluiting
Hoe zouden we we
wetenschappelijk
onderzoek moeten
beoordeelden?
INLEIDING BIBLIOMETRICS
Eugene Garfield – 1925- 2017
By Chemical Heritage Foundation, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=39819056
Bekende bibliometrische indicatoren
1. Journal Impact Factor
2. h-index
3. aantal citaties / citaties per publicatie
Impact - the game
Hoe vergelijken we citatie-aantallen?
• Onderzoekster Willemijn Wiskunde heeft een
publicatie uit 2007 met 22 citaties
• Onderzoekster Beatrix Biologie heeft eem
publicatie uit 2011 met 24 citaties
→ Welke onderzoekster heeft met haar publicatie
de meeste impact?
0
10
20
30
40
50
60
70
80
0 2 4 6 8 10 12
cummulatiefaantalcitaties
aantal jaar na publicatie
baseline
TOP10%
TOP1%
Baseline vakgebied wiskunde
Baseline vakgebied moleculaire biologie
0
50
100
150
200
250
300
350
400
450
500
0 2 4 6 8 10 12
cummulatiefaantalcitaties
aantal jaar na publicatie
baseline
TOP10%
TOP1%
Journal Impact factor: DEFINITIE
Journal Impact factor in jaar t is gedefinieerd als de ratio tussen:
• het aantal citaties in jaar t naar publicaties in het tijdschrift
in de twee voorgaande jaren, en;
• het aantal publicaties in het tijdschrift in de twee
voorgaande jaren.
Voorbeeld:
• een tijdschrift heeft in 2013 en 2014 in totaal 100
publicaties
• in 2015 hebben deze publicaties samen 200 citaties
gekregen
• de impact factor is 200 / 100 = 2 11
12
Impact factor: Weaknesses
• geen normalisatie naar vakgebied → gebruik de kwartielen
• citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews,
editorials, news articles) in de teller maar niet in de noemer
→ voordeel voor de tijdschriften met veel editorial material
• gevoelig voor "uitbijters"
• review journals zijn sterk in het voordeel
h-index
balans tussen productiviteit en
geciteerdheid
om het effect van een of twee
extreem geciteerde publicaties
uit te sluiten
niet alleen toepasbaar op auteurs
effect van vakgebied en leeftijd
niet gecorrigeerd
serieuze twijfel over robuustheid
*Waltman, L. & N. J. van Eck (2011). The inconsistency of the h-
index. Journal of the American Society for Information Science and
Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678
maar de h-index is overal
waar worden deze "metrics" gebruikt?
• beoordeling financieringsaanvragen (NWO,
ERC)
• sollicitatieprocedures (intern beleid, sterk
verschillend)
• tenure track procedures (intern beleid, sterk
verschillend)
• beoordeling onderzoeksgroepen / faculteiten
(SEP) → veel vrijheid voor eigen invulling
• university rankings (m.n. citatie-aantallen)
Meer lezen over NWO en gebruik van de Impact Factor?
https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/
waar het toe leidt:
Nature newsblog
http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html
waar het toe leidt:
Retraction Watch d.d. 17-02-2017
http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/
waar het toe leidt:
De Volkskrant, 6-3-2017
http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769
Let’s play!
Let’s play!
Scheefheid citaties:
citaties in 2015 van papers uit 2013-2014
bron: Larivière et al. 2016
Scheefheid citaties:
citaties in 2015 van papers uit 2013-2014
bron: Larivière et al. 2016
INLEIDING ALTMETRICS
2 trends in beoordeling van
wetenschappelijk onderzoek
Bewustzijn van onjuist gebruik van de IF voor de beoordeling van
individuele onderzoekers
• San Francisco Declaration on Research Assessment (DORA)
• Leiden Manifesto (Hicks et al., 2015)
• Metric Tide report (Wilsdon et al., 2015)
Meer aandacht voor maatschappelijke impact van wetenschappelijk
onderzoek en verschuiving naar meer "Open Science"
• Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU →
"Grotere en systematischere aandacht voor maatschappelijke
relevantie"
• NWO en EU beleid verschuift langzaam richting "Open Science"
• Nationaal Plan Open Science gepresenteerd op 9 februari jl.
Altmetrics Manifesto
• geen algemene definitie
• ‘metrics and qualitative data that are
complementary to traditional, citation-based
metrics’ (altmetric.com)
• verzameling van metrics
• gebaseerd op online gebruik / platforms
• alternatief voor bibliometrics
J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto,
26 October 2010. http://altmetrics.org/manifesto
welke bronnen?
type
referentie managers, bookmarking Mendeley, CiteULike, Delicious
video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr,
DailyMotion
social netwerken Facebook, Google+
blogs Nature blogs, Scientific American blogs, PLOS blogs,
Research Blogging, Google blogs, Wordpress
microblogging Twitter, Sina Weibo,
peer review systemen Publons, PubPeer
recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews
online encyclopedie Wikipedia
repositories. PMC, Figshare, RePEc, SSRN
Source code Repositories GitHub, SourgeForge, Bitbucket
others beleidsdocumenten, nieuwsberichten
(Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)
altmetrics aggregators
a) Altmetric.com
b) Impactstory
c) Plum Analytics
d) PLOS ALM
e) Kudos
f) Mendeley
g) …
Altmetric.com
Impactstory
Plum Analytics
PLOS ALM
KUDOS
www.growkudos.com
Mendeley
beleidsdocumenten
ook overheid.nl
verder lezen?
• Kramer, B. 2015. Altmetrics. Handboek
Informatiewetenschap 710.
doi:10.5281/zenodo.31899
• Konkiel et al. 2016. Altmetrics for Librarians: 100+
tips, tricks, and examples.
doi:10.6084/m9.figshare.3749838
• Glauch & Blümel. 2016. OPENing UP new
methods, indicators and tools for peer review,
impact measurement and dissemination of
research results. http://openup-
h2020.eu/2017/03/03/establishment-altmetrics-
term/
LET'S PLAY – DE 2E HELFT
Altmetric voorbeeld
Altmetric voorbeeld
Impact - the game
Impact - the game
Relaties tussen citaties,
Altmetric score en
Mendeley readers
Who is using (alt)metrics tools ?
Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
Altmetrics – tools / applications
- Niet alle onderzoeksoutput kan getraceerd worden
- Niet alle gebruik kan getraceerd worden
- Hoe robuust zijn de data ?
- Niet het getal, maar het verhaal is belangrijk
Altmetrics – tools / applications
http://tinyurl.com/VoginIP2017-altmetrics
Wat is de context waarin onderzoekers kunnen
kiezen voor open & reproduceerbare workflows?
political support at (inter)national level •
pressure from funders •
public stance on Open Science by institution •
user-friendly and powerful tools •
interoperability •
role models •
attention for positive effects •
• assessment criteria
• institutional policies/culture
• PI demands
• learning curves
• agreements with collaborators
• uncertainty over effects & legitimacy
San Francisco
Declaration on Research Assessment
adaptedfrom:
MarinaNoordegraaf–OpenScience:opzoeknaardeschattenVogincursus2016
Open Science
articles
posters
presentations
blog posts
social media conversations
study
registrations
protocolsfunding proposals
data management
plans
lab notebooks
research data
peer review
Open Science in de gehele onderzoekscyclus
preparation
analysis
writingpublication
outreach
assessment discovery
Rounds of grant writing
and application
Iterations of
search and reading
Drafting, receiving
comments,rewriting
Submit, peer review,
rejection, resubmitting
Rounds of experiments
and measurements
Nationaal Plan Open Science
Hoe zouden we we
wetenschappelijk
onderzoek moeten
beoordeelden?
Met de kennis van nu:

Weitere ähnliche Inhalte

Andere mochten auch

How to be successful with search in your organisation
How to be successful with search in your organisationHow to be successful with search in your organisation
How to be successful with search in your organisationvoginip
 
Zoekupdate 2017
Zoekupdate 2017Zoekupdate 2017
Zoekupdate 2017voginip
 
Findability of organizational knowledge
Findability of organizational knowledgeFindability of organizational knowledge
Findability of organizational knowledgevoginip
 
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?voginip
 
Informatie en politiek: informatie, data en macht in de 21ste eeuw
Informatie en politiek: informatie, data en macht in de 21ste eeuwInformatie en politiek: informatie, data en macht in de 21ste eeuw
Informatie en politiek: informatie, data en macht in de 21ste eeuwvoginip
 
The changing landscape of search for business information
The changing landscape of search for business informationThe changing landscape of search for business information
The changing landscape of search for business informationvoginip
 

Andere mochten auch (6)

How to be successful with search in your organisation
How to be successful with search in your organisationHow to be successful with search in your organisation
How to be successful with search in your organisation
 
Zoekupdate 2017
Zoekupdate 2017Zoekupdate 2017
Zoekupdate 2017
 
Findability of organizational knowledge
Findability of organizational knowledgeFindability of organizational knowledge
Findability of organizational knowledge
 
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?
Gaat Artificial Intelligence helpen het zoeken verder te automatiseren?
 
Informatie en politiek: informatie, data en macht in de 21ste eeuw
Informatie en politiek: informatie, data en macht in de 21ste eeuwInformatie en politiek: informatie, data en macht in de 21ste eeuw
Informatie en politiek: informatie, data en macht in de 21ste eeuw
 
The changing landscape of search for business information
The changing landscape of search for business informationThe changing landscape of search for business information
The changing landscape of search for business information
 

Ähnlich wie Impact - the game

Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project Guus van den Brekel
 
Measuring behavior ah_20110428
Measuring behavior ah_20110428Measuring behavior ah_20110428
Measuring behavior ah_20110428Arjan Haring Inc
 
Kenta Informatievaardigheden 20070626
Kenta Informatievaardigheden 20070626Kenta Informatievaardigheden 20070626
Kenta Informatievaardigheden 20070626Alexander Stierman
 
Sociale Netwerken (Social Networks & Libraries)
Sociale Netwerken (Social Networks & Libraries)Sociale Netwerken (Social Networks & Libraries)
Sociale Netwerken (Social Networks & Libraries)Guus van den Brekel
 
Slides social software Fred Truyen
Slides social software Fred TruyenSlides social software Fred Truyen
Slides social software Fred TruyenFtruyen
 
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCG
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCGNieuwe Media & Science 2.0 Info Bijeenkomst UMCG
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCGGuus van den Brekel
 
Living Lab: Innovative Brussels Care - Scientific Consortium
Living Lab: Innovative Brussels Care - Scientific ConsortiumLiving Lab: Innovative Brussels Care - Scientific Consortium
Living Lab: Innovative Brussels Care - Scientific Consortiumlifetech.brussels
 
Zoekt U Iets 2009
Zoekt U Iets 2009Zoekt U Iets 2009
Zoekt U Iets 2009VIGeZ
 
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...SURF Events
 
Open onderwijs: doen of niet?
Open onderwijs: doen of niet?Open onderwijs: doen of niet?
Open onderwijs: doen of niet?Robert Schuwer
 
Getting Started with Citizen Science - Principles & Matrix.pdf
Getting Started with Citizen Science - Principles & Matrix.pdfGetting Started with Citizen Science - Principles & Matrix.pdf
Getting Started with Citizen Science - Principles & Matrix.pdfMargaret Gold
 
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter Raymaekers
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter RaymaekersInleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter Raymaekers
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter RaymaekersCVO-SSH
 
De structuratie van open online onderwijs in Nederland (SOONER)
De structuratie van open online onderwijs in Nederland (SOONER)De structuratie van open online onderwijs in Nederland (SOONER)
De structuratie van open online onderwijs in Nederland (SOONER)Marco Kalz
 
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018Netwerk Oorlogsbronnen
 
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)Ernst Thoutenhoofd
 
Trends, College 1 - Intro in trendwatching
Trends, College 1 - Intro in trendwatchingTrends, College 1 - Intro in trendwatching
Trends, College 1 - Intro in trendwatchingAeronAdvies
 

Ähnlich wie Impact - the game (20)

Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project
 
Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project Who is talking about your research? Altmetric UMCG project
Who is talking about your research? Altmetric UMCG project
 
Measuring behavior ah_20110428
Measuring behavior ah_20110428Measuring behavior ah_20110428
Measuring behavior ah_20110428
 
VOSviewer
VOSviewerVOSviewer
VOSviewer
 
Kenta Informatievaardigheden 20070626
Kenta Informatievaardigheden 20070626Kenta Informatievaardigheden 20070626
Kenta Informatievaardigheden 20070626
 
Sociale Netwerken (Social Networks & Libraries)
Sociale Netwerken (Social Networks & Libraries)Sociale Netwerken (Social Networks & Libraries)
Sociale Netwerken (Social Networks & Libraries)
 
Slides social software Fred Truyen
Slides social software Fred TruyenSlides social software Fred Truyen
Slides social software Fred Truyen
 
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCG
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCGNieuwe Media & Science 2.0 Info Bijeenkomst UMCG
Nieuwe Media & Science 2.0 Info Bijeenkomst UMCG
 
Living Lab: Innovative Brussels Care - Scientific Consortium
Living Lab: Innovative Brussels Care - Scientific ConsortiumLiving Lab: Innovative Brussels Care - Scientific Consortium
Living Lab: Innovative Brussels Care - Scientific Consortium
 
Zoekt U Iets 2009
Zoekt U Iets 2009Zoekt U Iets 2009
Zoekt U Iets 2009
 
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...
 
Open onderwijs: doen of niet?
Open onderwijs: doen of niet?Open onderwijs: doen of niet?
Open onderwijs: doen of niet?
 
Getting Started with Citizen Science - Principles & Matrix.pdf
Getting Started with Citizen Science - Principles & Matrix.pdfGetting Started with Citizen Science - Principles & Matrix.pdf
Getting Started with Citizen Science - Principles & Matrix.pdf
 
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter Raymaekers
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter RaymaekersInleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter Raymaekers
Inleiding Sociaal Wetenschappelijk Onderzoek Sociaal Werk Peter Raymaekers
 
De structuratie van open online onderwijs in Nederland (SOONER)
De structuratie van open online onderwijs in Nederland (SOONER)De structuratie van open online onderwijs in Nederland (SOONER)
De structuratie van open online onderwijs in Nederland (SOONER)
 
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018
Hoe zoeken mensen door historische kranten? | Netwerkdag Oorlogsbronnen 2018
 
ICURO Stefaan Van Roey op symposium "Communicatie troef"
ICURO Stefaan Van Roey op symposium "Communicatie troef"ICURO Stefaan Van Roey op symposium "Communicatie troef"
ICURO Stefaan Van Roey op symposium "Communicatie troef"
 
Research data
Research dataResearch data
Research data
 
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
 
Trends, College 1 - Intro in trendwatching
Trends, College 1 - Intro in trendwatchingTrends, College 1 - Intro in trendwatching
Trends, College 1 - Intro in trendwatching
 

Mehr von voginip

The Dark Side of Science: Misconduct in Biomedical Research
The Dark Side of Science: Misconduct in Biomedical ResearchThe Dark Side of Science: Misconduct in Biomedical Research
The Dark Side of Science: Misconduct in Biomedical Researchvoginip
 
Oude boeken, nieuwe vaardigheden en Wikipedia
Oude boeken, nieuwe vaardigheden en WikipediaOude boeken, nieuwe vaardigheden en Wikipedia
Oude boeken, nieuwe vaardigheden en Wikipediavoginip
 
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...voginip
 
Open yet everywhere in chains: Where next for open knowledge?
Open yet everywhere in chains: Where next for open knowledge?Open yet everywhere in chains: Where next for open knowledge?
Open yet everywhere in chains: Where next for open knowledge?voginip
 
The three layers of a knowledge graph and what it means for authoring, storag...
The three layers of a knowledge graph and what it means for authoring, storag...The three layers of a knowledge graph and what it means for authoring, storag...
The three layers of a knowledge graph and what it means for authoring, storag...voginip
 
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...voginip
 
Why one-size-fits all does not work in Explainable Artificial Intelligence!
Why one-size-fits all does not work in Explainable Artificial Intelligence!Why one-size-fits all does not work in Explainable Artificial Intelligence!
Why one-size-fits all does not work in Explainable Artificial Intelligence!voginip
 
Systematisch zoeken op het web
Systematisch zoeken op het webSystematisch zoeken op het web
Systematisch zoeken op het webvoginip
 
Grote hoeveelheden tekst analyseren als data
Grote hoeveelheden tekst analyseren als dataGrote hoeveelheden tekst analyseren als data
Grote hoeveelheden tekst analyseren als datavoginip
 
Werken met Wikidata
Werken met WikidataWerken met Wikidata
Werken met Wikidatavoginip
 
Een gereedschapskist voor digitale vaardigheden
Een gereedschapskist voor digitale vaardighedenEen gereedschapskist voor digitale vaardigheden
Een gereedschapskist voor digitale vaardighedenvoginip
 
Een startende éénpitter in informatieland: wat goed ging en wat niet
Een startende éénpitter in informatieland: wat goed ging en wat nietEen startende éénpitter in informatieland: wat goed ging en wat niet
Een startende éénpitter in informatieland: wat goed ging en wat nietvoginip
 
Van de droom van het Semantic Web naar de realiteit van Linked Open
Van de droom van het Semantic Web naar de realiteit van Linked Open Van de droom van het Semantic Web naar de realiteit van Linked Open
Van de droom van het Semantic Web naar de realiteit van Linked Open voginip
 
Minimal viable data reuse
Minimal viable data reuseMinimal viable data reuse
Minimal viable data reusevoginip
 
Records in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdam
Records in Contexts – nieuwe metadatastandaard Stadsarchief AmsterdamRecords in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdam
Records in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdamvoginip
 
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaalAls zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaalvoginip
 
Brecht Castel: OSINT voor factchecken
Brecht Castel: OSINT voor factcheckenBrecht Castel: OSINT voor factchecken
Brecht Castel: OSINT voor factcheckenvoginip
 
Improving search with neural ranking methods
Improving search with neural ranking methodsImproving search with neural ranking methods
Improving search with neural ranking methodsvoginip
 
NDE Termennetwerk
NDE TermennetwerkNDE Termennetwerk
NDE Termennetwerkvoginip
 
Amsterdam2013bradley.ppt
Amsterdam2013bradley.pptAmsterdam2013bradley.ppt
Amsterdam2013bradley.pptvoginip
 

Mehr von voginip (20)

The Dark Side of Science: Misconduct in Biomedical Research
The Dark Side of Science: Misconduct in Biomedical ResearchThe Dark Side of Science: Misconduct in Biomedical Research
The Dark Side of Science: Misconduct in Biomedical Research
 
Oude boeken, nieuwe vaardigheden en Wikipedia
Oude boeken, nieuwe vaardigheden en WikipediaOude boeken, nieuwe vaardigheden en Wikipedia
Oude boeken, nieuwe vaardigheden en Wikipedia
 
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...
De kracht van samenwerking: hoe de Universiteitsbibliotheek Gent open kennisc...
 
Open yet everywhere in chains: Where next for open knowledge?
Open yet everywhere in chains: Where next for open knowledge?Open yet everywhere in chains: Where next for open knowledge?
Open yet everywhere in chains: Where next for open knowledge?
 
The three layers of a knowledge graph and what it means for authoring, storag...
The three layers of a knowledge graph and what it means for authoring, storag...The three layers of a knowledge graph and what it means for authoring, storag...
The three layers of a knowledge graph and what it means for authoring, storag...
 
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...
Vijf vindbaarheidsproblemen waar een taxonomie de schuld van krijgt (maar nik...
 
Why one-size-fits all does not work in Explainable Artificial Intelligence!
Why one-size-fits all does not work in Explainable Artificial Intelligence!Why one-size-fits all does not work in Explainable Artificial Intelligence!
Why one-size-fits all does not work in Explainable Artificial Intelligence!
 
Systematisch zoeken op het web
Systematisch zoeken op het webSystematisch zoeken op het web
Systematisch zoeken op het web
 
Grote hoeveelheden tekst analyseren als data
Grote hoeveelheden tekst analyseren als dataGrote hoeveelheden tekst analyseren als data
Grote hoeveelheden tekst analyseren als data
 
Werken met Wikidata
Werken met WikidataWerken met Wikidata
Werken met Wikidata
 
Een gereedschapskist voor digitale vaardigheden
Een gereedschapskist voor digitale vaardighedenEen gereedschapskist voor digitale vaardigheden
Een gereedschapskist voor digitale vaardigheden
 
Een startende éénpitter in informatieland: wat goed ging en wat niet
Een startende éénpitter in informatieland: wat goed ging en wat nietEen startende éénpitter in informatieland: wat goed ging en wat niet
Een startende éénpitter in informatieland: wat goed ging en wat niet
 
Van de droom van het Semantic Web naar de realiteit van Linked Open
Van de droom van het Semantic Web naar de realiteit van Linked Open Van de droom van het Semantic Web naar de realiteit van Linked Open
Van de droom van het Semantic Web naar de realiteit van Linked Open
 
Minimal viable data reuse
Minimal viable data reuseMinimal viable data reuse
Minimal viable data reuse
 
Records in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdam
Records in Contexts – nieuwe metadatastandaard Stadsarchief AmsterdamRecords in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdam
Records in Contexts – nieuwe metadatastandaard Stadsarchief Amsterdam
 
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaalAls zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
Als zoeken te fanatiek wordt: een digitale analyse van het toeslagenschandaal
 
Brecht Castel: OSINT voor factchecken
Brecht Castel: OSINT voor factcheckenBrecht Castel: OSINT voor factchecken
Brecht Castel: OSINT voor factchecken
 
Improving search with neural ranking methods
Improving search with neural ranking methodsImproving search with neural ranking methods
Improving search with neural ranking methods
 
NDE Termennetwerk
NDE TermennetwerkNDE Termennetwerk
NDE Termennetwerk
 
Amsterdam2013bradley.ppt
Amsterdam2013bradley.pptAmsterdam2013bradley.ppt
Amsterdam2013bradley.ppt
 

Impact - the game

  • 1. (except logo’s) Impact – the game Traditionele en alternatieve mogelijkheden Ellen Fest & Bianca Kramer Workshop VoginIP lezing, Amsterdam, 20170309 3.1 Macro-InvertebrateDeclineinSurfaceWater PollutedwithImidacloprid PloSOne8.5(2013):e62374. 24citationsin2015 @MsPhelps @EllenFest
  • 2. programma • vraag aan deelnemers • inleiding bibliometrics • spel ronde 1 • inleiding altmetrics • spel ronde 2 • zelf aan de slag • vraag opnieuw • afsluiting
  • 3. Hoe zouden we we wetenschappelijk onderzoek moeten beoordeelden?
  • 5. Eugene Garfield – 1925- 2017 By Chemical Heritage Foundation, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=39819056
  • 6. Bekende bibliometrische indicatoren 1. Journal Impact Factor 2. h-index 3. aantal citaties / citaties per publicatie
  • 8. Hoe vergelijken we citatie-aantallen? • Onderzoekster Willemijn Wiskunde heeft een publicatie uit 2007 met 22 citaties • Onderzoekster Beatrix Biologie heeft eem publicatie uit 2011 met 24 citaties → Welke onderzoekster heeft met haar publicatie de meeste impact?
  • 9. 0 10 20 30 40 50 60 70 80 0 2 4 6 8 10 12 cummulatiefaantalcitaties aantal jaar na publicatie baseline TOP10% TOP1% Baseline vakgebied wiskunde
  • 10. Baseline vakgebied moleculaire biologie 0 50 100 150 200 250 300 350 400 450 500 0 2 4 6 8 10 12 cummulatiefaantalcitaties aantal jaar na publicatie baseline TOP10% TOP1%
  • 11. Journal Impact factor: DEFINITIE Journal Impact factor in jaar t is gedefinieerd als de ratio tussen: • het aantal citaties in jaar t naar publicaties in het tijdschrift in de twee voorgaande jaren, en; • het aantal publicaties in het tijdschrift in de twee voorgaande jaren. Voorbeeld: • een tijdschrift heeft in 2013 en 2014 in totaal 100 publicaties • in 2015 hebben deze publicaties samen 200 citaties gekregen • de impact factor is 200 / 100 = 2 11
  • 12. 12 Impact factor: Weaknesses • geen normalisatie naar vakgebied → gebruik de kwartielen • citaties naar ‘niet-citeerbare documenten’ (bijv. book reviews, editorials, news articles) in de teller maar niet in de noemer → voordeel voor de tijdschriften met veel editorial material • gevoelig voor "uitbijters" • review journals zijn sterk in het voordeel
  • 13. h-index balans tussen productiviteit en geciteerdheid om het effect van een of twee extreem geciteerde publicaties uit te sluiten niet alleen toepasbaar op auteurs effect van vakgebied en leeftijd niet gecorrigeerd serieuze twijfel over robuustheid *Waltman, L. & N. J. van Eck (2011). The inconsistency of the h- index. Journal of the American Society for Information Science and Technology 63(2):406-415 http://dx.doi.org/10.1002/asi.21678
  • 14. maar de h-index is overal
  • 15. waar worden deze "metrics" gebruikt? • beoordeling financieringsaanvragen (NWO, ERC) • sollicitatieprocedures (intern beleid, sterk verschillend) • tenure track procedures (intern beleid, sterk verschillend) • beoordeling onderzoeksgroepen / faculteiten (SEP) → veel vrijheid voor eigen invulling • university rankings (m.n. citatie-aantallen) Meer lezen over NWO en gebruik van de Impact Factor? https://im2punt0.wordpress.com/2017/01/09/nwo-the-impact-factor-paradox/
  • 16. waar het toe leidt: Nature newsblog http://blogs.nature.com/news/2013/06/new-record-66-journals-banned-for-boosting-impact-factor-with-self-citations.html
  • 17. waar het toe leidt: Retraction Watch d.d. 17-02-2017 http://retractionwatch.com/2017/02/17/editor-resigns-two-journals-considerable-citation-boosting-attempts/
  • 18. waar het toe leidt: De Volkskrant, 6-3-2017 http://www.volkskrant.nl/wetenschap/prominente-hoogleraar-voedingspsychologie-beschuldigd-van-zelfplagiaat~a4470769
  • 21. Scheefheid citaties: citaties in 2015 van papers uit 2013-2014 bron: Larivière et al. 2016
  • 22. Scheefheid citaties: citaties in 2015 van papers uit 2013-2014 bron: Larivière et al. 2016
  • 24. 2 trends in beoordeling van wetenschappelijk onderzoek Bewustzijn van onjuist gebruik van de IF voor de beoordeling van individuele onderzoekers • San Francisco Declaration on Research Assessment (DORA) • Leiden Manifesto (Hicks et al., 2015) • Metric Tide report (Wilsdon et al., 2015) Meer aandacht voor maatschappelijke impact van wetenschappelijk onderzoek en verschuiving naar meer "Open Science" • Standaard Evaluatie Protocol 2015 - 2021(SEP) van de VSNU → "Grotere en systematischere aandacht voor maatschappelijke relevantie" • NWO en EU beleid verschuift langzaam richting "Open Science" • Nationaal Plan Open Science gepresenteerd op 9 februari jl.
  • 25. Altmetrics Manifesto • geen algemene definitie • ‘metrics and qualitative data that are complementary to traditional, citation-based metrics’ (altmetric.com) • verzameling van metrics • gebaseerd op online gebruik / platforms • alternatief voor bibliometrics J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto
  • 26. welke bronnen? type referentie managers, bookmarking Mendeley, CiteULike, Delicious video, foto en presentatie platforms YouTube, Pinterest, Podcasts, Vimeo, SlideShare, Flickr, DailyMotion social netwerken Facebook, Google+ blogs Nature blogs, Scientific American blogs, PLOS blogs, Research Blogging, Google blogs, Wordpress microblogging Twitter, Sina Weibo, peer review systemen Publons, PubPeer recommendations / reviews F1000, Reddit, Goodreads, Amazon reviews online encyclopedie Wikipedia repositories. PMC, Figshare, RePEc, SSRN Source code Repositories GitHub, SourgeForge, Bitbucket others beleidsdocumenten, nieuwsberichten (Erdt et al., 2016; doi:10.1007/s11192-016-2077-0)
  • 27. altmetrics aggregators a) Altmetric.com b) Impactstory c) Plum Analytics d) PLOS ALM e) Kudos f) Mendeley g) …
  • 36. verder lezen? • Kramer, B. 2015. Altmetrics. Handboek Informatiewetenschap 710. doi:10.5281/zenodo.31899 • Konkiel et al. 2016. Altmetrics for Librarians: 100+ tips, tricks, and examples. doi:10.6084/m9.figshare.3749838 • Glauch & Blümel. 2016. OPENing UP new methods, indicators and tools for peer review, impact measurement and dissemination of research results. http://openup- h2020.eu/2017/03/03/establishment-altmetrics- term/
  • 37. LET'S PLAY – DE 2E HELFT
  • 42. Relaties tussen citaties, Altmetric score en Mendeley readers
  • 43. Who is using (alt)metrics tools ?
  • 44. Altmetrics – tools / applications - Niet alle onderzoeksoutput kan getraceerd worden - Niet alle gebruik kan getraceerd worden - Hoe robuust zijn de data ? - Niet het getal, maar het verhaal is belangrijk
  • 45. Altmetrics – tools / applications - Niet alle onderzoeksoutput kan getraceerd worden - Niet alle gebruik kan getraceerd worden - Hoe robuust zijn de data ? - Niet het getal, maar het verhaal is belangrijk
  • 46. Altmetrics – tools / applications http://tinyurl.com/VoginIP2017-altmetrics
  • 47. Wat is de context waarin onderzoekers kunnen kiezen voor open & reproduceerbare workflows? political support at (inter)national level • pressure from funders • public stance on Open Science by institution • user-friendly and powerful tools • interoperability • role models • attention for positive effects • • assessment criteria • institutional policies/culture • PI demands • learning curves • agreements with collaborators • uncertainty over effects & legitimacy
  • 48. San Francisco Declaration on Research Assessment
  • 49. adaptedfrom: MarinaNoordegraaf–OpenScience:opzoeknaardeschattenVogincursus2016 Open Science articles posters presentations blog posts social media conversations study registrations protocolsfunding proposals data management plans lab notebooks research data peer review
  • 50. Open Science in de gehele onderzoekscyclus preparation analysis writingpublication outreach assessment discovery Rounds of grant writing and application Iterations of search and reading Drafting, receiving comments,rewriting Submit, peer review, rejection, resubmitting Rounds of experiments and measurements
  • 52. Hoe zouden we we wetenschappelijk onderzoek moeten beoordeelden? Met de kennis van nu: