Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.

1. 1© Cloudera, Inc. All rights reserved.
Wie man aus Daten durch maschinelles
Lernen Wert schafft
Daniel Tydecks, Systems Engineer DACH & CE, Cloudera
Dr. Marcel Rothering, IT Consultant, saracus consulting GmbH

2. 2© Cloudera, Inc. All rights reserved.
“Oil doesn’t
generate more oil
[…] the product of
data will generate
more data”
Piero Scaruffi

3. 3© Cloudera, Inc. All rights reserved.
The most valuable companies are data-driven
0
200
400
600
800
1,000
1,200
1,400
1,600
2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017
Market capitalization normalized growth ($B) 2007-2017
Apple Google Microsoft Facebook Amazon S&P 500
Normalized 2007 =100

4. 4© Cloudera, Inc. All rights reserved.
The age of “datafication”
Cost of compute
Data volume
Time
Machine
Learning
NO
Machine
Learning
1950s 1960s 1970s 1980s 1990s 2000s 2010s 2020s

5. 5© Cloudera, Inc. All rights reserved.
Key challenge: Extract true useful meaning from data
+ make it actionable
Open science & reproducible research!

6. 6© Cloudera, Inc. All rights reserved.
Open data science in the enterprise
IT
drive adoption while maintaining compliance
Data Scientist
explore, experiment, iterate

7. 7© Cloudera, Inc. All rights reserved.
Sample data science / machine learning workflow
From data to exploration to action
Data Engineering Data Science (Exploratory) Production (Operational)
Data Wrangling
Analysis and
Visualization
Model Training
& Testing
Production
Data Pipelines Batch Scoring
Online Scoring
Serving
Data GovernanceGovernance
Processing
Acquisition
Reports,
Dashboards
Shared: Data, Operations, Governance, Security, Metadata
Dev: Collaboration, Version Control Ops: Deployment, Scheduling, Orchestration, Monitor

8. 8© Cloudera, Inc. All rights reserved.
The good news
Data has never been
more plentiful
Open source data science and
machine learning libraries are
mature and continuously
evolving
Commodity (and on-demand) compute
makes scalable production machine
learning affordable

9. 9© Cloudera, Inc. All rights reserved.
The bad news
Most data science done at
small scale, individually,
and is difficult to replicate
Teams have different,
conflicting requests for
languages & libraries
Data needs to move
across multiple different
systems

10. 10© Cloudera, Inc. All rights reserved.
Access Scale Developer experience
Additional challenges

11. 11© Cloudera, Inc. All rights reserved.
Our goal: An open platform for data science at scale
Help more data scientists
use the power of Hadoop
Use a powerful, familiar
environment with direct access to
Hadoop data and compute
Data Scientist
Data Engineer
Make it easy and secure to
add new users, use cases
Offer secure self-service analytics
and a faster path to production on
common, affordable infrastructure
Enterprise Architect
Hadoop Admin

12. 12© Cloudera, Inc. All rights reserved.
Cloudera Enterprise
1
The modern platform for machine learning and analytics optimized for the cloud
EXTENSIBLE
SERVICES
CORE SERVICES
DATA
ENGINEERING
OPERATIONAL
DATABASE
ANALYTIC
DATABASE
DATA CATALOG
INGEST &
REPLICATION
SECURITY GOVERNANCE
WORKLOAD
MANAGEMENT
DATA
SCIENCE
S3 ADLS HDFS KUDU
STORAGE
SERVICES

13. 13© Cloudera, Inc. All rights reserved.
For data scientists
• Open data science, your way
Use R, Python, or Scala
• No need to sample
Directly access data in secure
clusters via Spark & Impala
• Reproducible, collaborative
research
Share with your whole team
Accelerate data science from exploration to production
For IT professionals
• Bring analysis to the data
Give data science team the
freedom to work how they want,
when they want
• Secure by default
Stay compliant with out-of-the-
box Hadoop security
• Flexible deployment
On-premises or in the cloud
EXTENSIBLE
SERVICES
CORE SERVICES
DATA
ENGINEERING
OPERATIONAL
DATABASE
ANALYTIC
DATABASE
DATA CATALOG
INGEST &
REPLICATION
SECURITY GOVERNANCE
WORKLOAD
MANAGEMENT
DATA
SCIENCE
S3 ADLS HDFS KUDU
STORAGE
SERVICES
DATA
SCIENCE

14. 14© Cloudera, Inc. All rights reserved.
Why is this relevant?
Focus!

15. 15© Cloudera, Inc. All rights reserved.
CDSW

16. 16© Cloudera, Inc. All rights reserved.
Call to action:
1) Talk to our partners or us – we
help to avoid common mistakes
2) Setup a lab with CDH & CDSW
3) Iterate & fail fast: load, transform
& analyze to show value quickly
4) Act business focused
5) Get used to keeping data
centralized
16© Cloudera, Inc. All rights reserved.

17. Titelmasterformat durch Klicken bearbeiten
Wie man aus Daten durch maschinelles
Lernen Wert schafft
Cloudera Webinar
Referent: Dr. Marcel Rothering
Datum: 24.10.2017

18. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
18saracus consulting – Cloudera Webinar

19. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
19saracus consulting - Cloudera Webinar

20. Titelmasterformat durch Klicken bearbeiten
Mit über 25 Jahren Erfahrung sind wir eines der führenden herstellerunabhängigen
Beratungsunternehmen und Systemintegratoren für BI und Big Data Projekten im deutschsprachigen
Raum.
Schwerpunkt-Branchen sind Versicherungen, Banken, Einzelhandel und Telekommunikation.
Gemeinsame Umsetzung von Projekten mit unserem Partner Cloudera.
saracus: Mission und Beratungsprodukte
20saracus consulting - Cloudera Webinar
DWH academy
Utilities
Consulting !
 Inhouse-Seminare
 Studien
 Zertifizierung
 DWtec©-Methodology
 DWH-Automation
 DWinsurance
 Strategie &
Architektur
 Analyse & Design
 Implementierung
 Testing
 Betrieb/Wartung
 Organisation

21. Titelmasterformat durch Klicken bearbeitensaracus Kompetenzfelder
21saracus consulting - Cloudera Webinar
Integrationsarchitektur
 Data Governance
 Architekturen für analytische Systeme
 Data Warehouse (ETL-Prozesse)
 Datenqualität
 Master Data Management
Analytische Systeme
 Berichtswesen & Analyse
 Cockpits & Scorecards
 Planungssysteme
 Datenmodellierung
 Mobile BI
 Predictive Analytics
 BI-Reviews
 Analytisches CRM
 Kampagnen-Managementnt
!
Neue Themen
 Big Data: Hadoop
 Analysen in der Cloud
 Agile DWH / Scrum
 Data Vault
 Maschinelles Lernen
 Data Virtualization
 DWH-Automation
 Social Media Monitoring

22. Titelmasterformat durch Klicken bearbeitensaracus Big Data Consulting
22saracus consulting - Cloudera Webinar
Roadmap Design
Use Case
Identifizierung/
(saracus BDUC)
Design–Lösungen
für Use Cases
Product & Technology
Evaluation
On-premise /Cloud
Consulting/Strategie Pilot Architektur & Design Build & Deploy
Maintenance /
Support / Training
Proof of Concept
(On-premise,
Cloud-Lösung)
Pilot Projekt
Assessment
Scope & Analyse
Architektur-Design
Infrastruktur
Kapazitätsplanung
Applikationen
Realtime Analytics
Advanced Analy.
Data Ingestion
Data Preparation
Data Governance
Performance Tuning
Services
24/7 Support
Hadoop as a Service
Administration
Support in der Cloud
Training
(Diverse Schulungen)
Experten Review
Advising
Produktion
Deployment

23. Titelmasterformat durch Klicken bearbeitenVielfältige Kundenprojekte
23saracus consulting - Cloudera Webinar
Banken &
Finanzdienstleister
Versicherungen Telko & Medien Industrie
Transport & Reise Handel Öffentliche Verwaltung
& Gesundheitswesen
Energie

24. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
24saracus consulting – Cloudera Webinar

25. Titelmasterformat durch Klicken bearbeitenWas ist maschinelles Lernen?
 Arthur Lee Samuel: "gives computers the ability to learn without being explicitly programmed"
 Konstruktion von Algorithmen welche von Daten lernen und Vorhersagen ermöglichen
 Use Cases: Spam-Filter, Kundensegmentierung, Next-Best-Offer, Kreditwürdigkeit, Predictive
Maintenance, Cyber-Security, …
25saracus consulting – Cloudera Webinar

26. Titelmasterformat durch Klicken bearbeitenVorgehensweise: CRISP DM
26saracus consulting – Cloudera Webinar

27. Titelmasterformat durch Klicken bearbeitenCloudera Distribution für Data Analytics
 Integration mit Python Anaconda (Parcels)
 Cloudera Data Science Workbench für Data Science Projekte
 Einfache Installation verschiedener Services mit dem Cloudera Manager
 HUE als open source Analytics Workbench
27saracus consulting – Cloudera Webinar

28. Titelmasterformat durch Klicken bearbeitenApache Spark ML & MLlib
 Große Auswahl von verschiedenen Machine Learning Algorithmen: Lineare Regression, naive Bayes, Tree-
Based Models, Alternate Least Square, k-means clustering, …
 Parallele und verteilte Implementation der Algorithmen
 Iterative Algorithmen profitieren von “in-memory datasets”
 Pipeline API zum Erstellen komplexer Datenströme für Data Preprocessing, Feature Extraction, Model
Evaluation, …
 Gute Integration ins Hadoop Ökosystem
28saracus consulting – Cloudera Webinar

29. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
29saracus consulting – Cloudera Webinar

30. Titelmasterformat durch Klicken bearbeitenMotivation & Ausgangslage
 Daten: Kassenbons (über 40 verschiedene Attribute), möglicherweise vorhandene Kundendaten
(Alter, Geschlecht, Wohnort, …)
 Ausgangslage: XML-Format, große Datenmengen, Advanced Analytics im klassischen DWH
oftmals nicht möglich
 Nutzen: gezielte Werbung z.B. in Prospekten, Personaloptimierung, Rabattaktionen,
Produktplazierung in Regalen, Optimierung des Produktsortiments
30saracus consulting – Cloudera Webinar

31. Titelmasterformat durch Klicken bearbeitenUmsetzung
 Anbindung der Kassensysteme an Kafka-Streaming
 Transformieren der XML Dateien zu JSON
 Ablegen der Daten aufs HDFS
 Mögliche Kundendaten mit Sqoop aufs HDFS laden
 Aufbereitung der Daten mit Spark SQL
 Kundensegmentierung mit Spark ML (k-Means)
31saracus consulting – Cloudera Webinar

32. Titelmasterformat durch Klicken bearbeitenk-Means Algorithmus
32saracus consulting – Cloudera Webinar
Quelle: Introduction to Statistical Learning – Hastie et al.

33. Titelmasterformat durch Klicken bearbeitenShowCase Demo
33saracus consulting – Cloudera Webinar
Retail Clustering

34. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
34saracus consulting – Cloudera Webinar

35. Titelmasterformat durch Klicken bearbeitenMotivation & Ausgangslage
• Challenge E-Commerce: „Kunden helfen
bei der großen Vielfalt an Produkten die
zu finden, welche am besten zu ihnen
passen“
• Zwei verschiedene Strategien:
 Content Based Approach
 Profiling der Benutzer und
Produkte, um deren
Beziehungen zu finden
 Umfangreiche Nutzerprofile
liegen oftmals nicht vor
 Collaborative Filtering
 Erfordert keine Erstellung
von expliziten Profilen
 Basiert allein auf bisherigem
Verhalten von Benutzern
 Co-Clustering: „like minded
users“ bzw.
ähnliche Produkte
35saracus consulting – Cloudera Webinar

36. Titelmasterformat durch Klicken bearbeitenCollaborative Filtering und ALS
36saracus consulting – Cloudera Webinar
• Basiert auf Matrix-Faktorisierung
„hidden Features“
• Minimiert RMSE mit alternierender
Vorgehensweise
• Theorie: „Large-scale Parallel
Collaborative Filtering for the Netflix
Prize – Zhou et. al.“
• Riesige Matrizen mit Millionen
Einträgen
• Schnelles Trainieren des Modells
erfordert verteiltes Rechnen
• CDH und Apache Spark sind dafür
bestens geeignet

37. Titelmasterformat durch Klicken bearbeiten
saracus consulting – Cloudera Webinar 37
Umsetzung in der AWS mit CDH
und Apache Spark
• 5-Node Cluster in der AWS mit CDH
• Frei zugänglicher Datensatz von MovieLens
(> 10 000 000 Ratings von >10 000 Filmen)
• Ziel: Eigene Bewertungen hinzufügen, Modell trainieren und Vorhersagen
für Empfehlungen machen

38. Titelmasterformat durch Klicken bearbeiten
saracus consulting – Cloudera Webinar 38
Erkunden des Datensatzes

39. Titelmasterformat durch Klicken bearbeiten
saracus consulting – Cloudera Webinar 39
Eigene Bewertungen abgeben

40. Titelmasterformat durch Klicken bearbeiten
saracus consulting – Cloudera Webinar 40
Modell trainieren und testen

41. Titelmasterformat durch Klicken bearbeiten
saracus consulting – Cloudera Webinar 41
Unsere Empfehlungen

42. Titelmasterformat durch Klicken bearbeitenZusammenfassung: Recommendation Engine
 Modell sollte bei neuen Bewertungen der Benutzer regelmäßig neu trainiert werden  Training sollte nicht
lange dauern
 Erstellung einer Recommendation Engine auf verteilten System gut umsetzbar mit CDH und Apache Spark
 Collborative Filtering auch mit implicit feedback möglich: Ableiten der Nutzervorlieben vom Browserverlauf,
Suchmustern, …
 Nutzen: Stärkung der Kundenbindung, Steigerung der Einnahmen, Ersparnis von Kosten, …
 Justin Basilico (Netlix Recommendation Research Engineer):
 „… system influences choice for about 80% of hours streamed“
 „…combined effect of personlizations and recommendations saves us more than 1 Billion per year“
42saracus consulting – Cloudera Webinar

43. Titelmasterformat durch Klicken bearbeitenAgenda
1. Vorstellung: saracus consulting
2. Machine Learning & Spark MLlib
3. ShowCase I: Retail-Clustering
4. ShowCase II: Movie Recommendation Engine
5. Zusammenfassung und Ausblick
43saracus consulting – Cloudera Webinar

44. Titelmasterformat durch Klicken bearbeitenZusammenfassung und Ausblick
 Maschinelles Lernen ist essentiell um wettbewerbsfähig zu bleiben
 CDH mit Spark ML ideal für Machine Learning Development
 Wir unterstützen Sie bei der Entwicklung übers Deployment bis zum Monitoring bei Ihren Use
Cases
 Erfahren Sie mehr über uns auf unserer Homepage www.saracus.com, in unseren White Papern
oder im saracus Big Data Blog
44saracus consulting – Cloudera Webinar

45. Titelmasterformat durch Klicken bearbeiten
Ihre Fragen?
Vielen Dank für ihre Aufmerksamkeit
45
Homepage: www.saracus.com
E-Mail: m.rothering@saracus.com

46. 46© Cloudera, Inc. All rights reserved.
Thank you