Das Thema: KPIs vs. UX. Man könnte auch sagen alte Welt trifft auf neue Welt. User Experience (UX) ist– zumindest in der Wahrnehmung – noch eine junge Disziplin. UX ist als Begriff mittlerweile natürlich etabliert, trotzdem existiert bei vielen Unternehmen noch eine große Unsicherheit gegenüber Tätigkeiten die im Sinne einer Nutzerzentrierung empfohlen und durchgeführt werden. Es stellt sich die Frage nach der Messbarkeit der Wirksamkeit der UX Methoden durch tradierte Messwerkzeuge wie KPIs. Autor: Matthias Feit - die firma . experience design GmbH

1. KPIs vs. UX
Ist User Experience messbar?
die firma . experience design / Matthias Feit

2. „Mit dem engl. Begriff key performance
indicators (KPI) werden in der
Betriebswirtschaftslehre allgemeine
Kennzahlen bezeichnet, die sich auf den
Erfolg, die Leistung oder Auslastung des
Betriebs, seiner einzelnen organisatorischen
Einheiten oder einer Maschine beziehen“
http://wirtschaftslexikon.gabler.de/Definition/key-performance-indicator-kpi.html

3. Taylorismus // Industriezeitalter
Weite Märkte
Wenig Konkurrenz
Lineare Systeme
Steuerung durch KPIs

4. Post-Taylorismus // Wissenszeitalter
Digitalisierung = Nicht-Lineare
Systeme = Komplexität
Enge globale Märkte
Viel Konkurrenz

5. Steuerung durch KPIs?

6. „User experience
encompasses all aspects of
the end-user's interaction
with the company, its
services, and its products.“
– Don Norman, Jakob Nielsen
https://www.nngroup.com/articles/definition-user-experience/

7. Äpfel und Birnen?
KPIs
Bilanz
UX
Nutzungserlebnis

8. KundeUnternehmen UX

9. Elemente der UX

10. Strategische Vorgaben
Unternehmensstrategie
Markenstrategie
Produktstrategie
UX Strategie

11. Quelle: www.agux.co/blog/ux-strategy-goals-and-getting-to-the-future-state

12. Quelle: www.experiencinginformation.com/2014/08/12/ux-strategy-blueprint/

13. Elemente des UX Strategy Blueprints
• Challenges (welche Probleme müssen wir lösen)
• Aspirations (welches Ergebnis streben wir an)
• Focus Areas (welche Kunden/Märkte/Kanäle sind im Fokus)
• Guiding Principles (auf welche Prinzipen achten wir)
• Activities (welche Tätigkeiten fallen voraussichtlich an)
• Measurements (wie messen wir den Erfolg unserer Maßnahmen)

14. Wie misst man UX?
UX Metrics

15. Klassische KPIs der Versicherungsbranche
. Revenue per Policyholder
. Average cost per claim
. Average time to settle a claim
. Return on surplus
. Loss ratio
. Frequency
. Severity
. Average policy size
. …
Quelle: https://guidingmetrics.com/content/insurance-industrys-18-most-critical-metrics/

17. Quelle: https://innovationenglish.sites.ku.dk/files/2016/07/lEAN-startup_RKO.png

18. Unser Anliegen: Messung
der Performance von
Interaktionen

19. Einige der wichtigsten (quantitativen) UX Metriken
Statistische Auswertungen
• Task Success Rate
• Time on Task
• Verwendung der Suche vs. Navigation
• Error (Occurence) Rate
Umfrage
• System Usability Scale (SUS)

20. Task Success Rate (Task Completion Rate)
• Prozentueller Anteil erfolgreich abgeschlossener
Aufgaben durch den Nutzer
• Nur möglich wenn es ein klares Ziel oder Endpunkt gibt
(z.B. Schadensmeldung, Einrichten eines Accounts)
Anzahl erfolgreich abgeschlossener Aufgaben
Anzahl Versuche (gesamt)

21. Time On Task
• Wie lange benötigt einer Nutzer – in Minuten und
Sekunden ausgedrückt – um eine Aufgabe zu erledigen
• Üblicherweise betrachtet man den durchschnittlichen
Wert (z.B. Neukundenregistrierung 2:45 Min)
• Nützlich um Verbesserungen zwischen
Versionen/Iterationen zu bewerten

22. Suche vs. Navigation
• Bewertungskriterium für die Effektivität der
Informationsarchitektur bzw. Navigation
Anzahl erfolgreich abgeschlossener Aufgaben durch
Verwendung der Suche (Navigation)
Anzahl abgeschlossener Aufgaben (gesamt)

23. User Error Rate
• Guter Indikator im Hinblick auf die generelle
Verwendbarkeit eines Systems
• Hilfreich beim Auffinden versteckter Usability Issues
• Unterschiedliche Varianten möglich z.B. Error Occurrence
Rate (s. Beispiel unten)
Anzahl aufgetretener Fehler für alle Nutzer (gesamt)
Anzahl möglicher Fehler für alle Nutzer (gesamt)

24. Error Occurrence Rate (Beispiel)
• Fünf Benutzer haben eine Kreditkartenzahlung
durchgeführt. Es gibt sieben Stellen im Prozess an
denen bei der Eingabe Fehler gemacht werden können.
• Folgende Fehler wurden pro User verursacht: 2,4,1,2, und
3
• Die durchschnittliche Error Occurence Rate berechnet
sich folgendermaßen:
(2+4+1+2+3) / 7 * 5 = 0.34 à 34%

25. System Usability Scale (SUS)
• Keine Auswertung statistischer Nutzungsdaten sondern
Nutzer-Umfrage
• Etabliertes Werkzeug um die Verwendbarkeit und
Nützlichkeit eines Systems durch Nutzer bewerten zu
lassen
• Zehn Statements zu denen die Zustimmungswerte der
Nutzer erfasst werden (0–4 Punkte)
• Der maximale Score liegt bei 100 (Summe * 2,5)

26. • Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen.
• Ich empfinde das System als unnötig komplex.
• Ich empfinde das System als einfach zu nutzen.
• Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen.
• Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind.
• Ich finde, dass es im System zu viele Inkonsistenzen gibt.
• Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen.
• Ich empfinde die Bedienung als sehr umständlich.
• Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt.
• Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte.

27. SUS-Score

28. Useful
Valuable
Credible
Desirable
Accessible
Usable
Findable
Quelle: http://semanticstudios.com/user_experience_design/

29. Wie messen wir Nützlichkeit, Attraktivitität und Glaubwürdigkeit
Metriken &
Customer
Lifecycles

30. Quelle: https://www.slideshare.net/brantcooper/customer-zoom-value-stream-discovery-and-market-segmentation

31. Acquisition
Activation
Retention
Referrals
Revenue
Pirate Metrics
Quelle: https://en.wikipedia.org/wiki/File:Piratey,_vector_version.svgQuelle: https://www.slideshare.net/dmc500hats/startup-metrics-for-pirates-long-version

33. Das wichtigste Werkzeug:
Empathie!

34. Zusammenfassung
• Gute UX schafft durch Verständigung zwischen
Nutzerbedürfnissen und Unternehmenszielen einen
Mehrwert für beide Seiten
• Um mittels UX Unternehmensziele befördern zu können
brauchen wir klare strategische Vorgaben und eine
genaue Vorstellung, was Erfolg für uns bedeutet

35. Zusammenfassung (2)
• Mit KPIs messen wir die betriebswirtschaftliche
Performance eines Unternehmens
• Mit UX Metriken messen wir die Performance von
Interaktionen (Usability)
• Statistische Auswertungen alleine reichen nicht aus
• Umfragen (z.B. SUS), Customer Lifecycles, User
Interviews vervollständigen das Bild im Hinblick auf
Kundenbedürfnisse

36. Ein Rat zum Schluss
Bevor wir mit
Verbesserungen
starten...

37. ...messen wir die UX im
bestehenden System

38. Wir verbessern nur eine
Metrik pro Iteration!

39. Mehr zum Thema

40. Viel Erfolg beim Messen!
Fragen?
@matthiasfeit

41. Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig
(vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte
(sowohl als Gesamtdokument wie auch in Auszügen).
Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für
Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das
Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der
zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne
Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie
eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen).
Schwalbacher Straße 78
D-65183 Wiesbaden
Tel +49 611 2385010
www.diefirma.de
@matthiasfeit
0611-2385012
m.feit@diefirma.de
Matthias Feit
Kontakt