Curso de Advanced Data Analytics para alunos da extensão da PUC-CCE Rio de Janeiro. Assuntos cobertos: Big Data, IoT, Data Science, Machine Learning & Predictive Analytics, Aspectos Práticos de Projetos de Dados, R, AzureML.

1. Data Analytics 3.0
PUC CCE
Março, 2017
Dan Reznik, PhD
Principal Consultant, Microsoft Consulting Services
dareznik@Microsoft.com
dan@upperwestsolucoes.com
1(c) 2016 Upper West Soluções

2. 2(c) 2016 Upper West Soluções

3. Plano
• Big Data
• Internet of Things (IoT)
• Data Science / Machine Learning
• Lab
• Azure ML
• R
• Practical Aspects in Data Projects
(c) 2016 Upper West Soluções 3

4. Big Data
4(c) 2016 Upper West Soluções

5. 5(c) 2016 Upper West Soluções

6. 6(c) 2016 Upper West Soluções

7. (c) 2016 Upper West Soluções 7
SPARK!

8. Do DW para o BD
8
Multi-structured
(c) 2016 Upper West Soluções

9. 9(c) 2016 Upper West Soluções

10. (c) 2016 Upper West Soluções 10

11. 11(c) 2016 Upper West Soluções

12. 12(c) 2016 Upper West Soluções

13. 13(c) 2016 Upper West Soluções

14. 14(c) 2016 Upper West Soluções

15. 15(c) 2016 Upper West Soluções

16. 16
Data Storage, Access, Management
Analytics, Visualization, Machine Learning
Applications, BusinessesDATASTACK
(c) 2016 Upper West Soluções

17. 17(c) 2016 Upper West Soluções

18. 18(c) 2016 Upper West Soluções

19. 19(c) 2016 Upper West Soluções

20. 20(c) 2016 Upper West Soluções

21. 21(c) 2016 Upper West Soluções

22. 22(c) 2016 Upper West Soluções

23. Internet of Things (IoT)
23(c) 2016 Upper West Soluções

24. 24(c) 2016 Upper West Soluções

25. 25(c) 2016 Upper West Soluções

26. 26(c) 2016 Upper West Soluções

27. IoT: Business Drivers
• Increased efficiency (38.3%)
• Pursuit of a competitive market advantage (28.4%)
• Market share growth (15.9%)
• Cost savings (14.9%).
• Expertise areas:
• Hardware engineering (30.4%)
• Sensors development (57.7%)
• Systems design and integration (32.3%)
• Data analytics (28.9%)
• Machine learning (27.4%)
• Security (20.9%)
27(c) 2016 Upper West Soluções

28. 28(c) 2016 Upper West Soluções

29. 29(c) 2016 Upper West Soluções

30. 30(c) 2016 Upper West Soluções

31. 31(c) 2016 Upper West Soluções

32. 32(c) 2016 Upper West Soluções

33. Data Science
33(c) 2016 Upper West Soluções

34. 34(c) 2016 Upper West Soluções

35. 35(c) 2016 Upper West Soluções

36. 36(c) 2016 Upper West Soluções

37. 37(c) 2016 Upper West Soluções

38. 38(c) 2016 Upper West Soluções

39. CRISP-DM
(c) 2016 Upper West Soluções 39

40. (c) 2016 Upper West Soluções 40

41. Machine Learning
41(c) 2016 Upper West Soluções

42. Típos de Analítica
42(c) 2016 Upper West Soluções

43. 43(c) 2016 Upper West Soluções

44. 44(c) 2016 Upper West Soluções

45. 45(c) 2016 Upper West Soluções

46. 46(c) 2016 Upper West Soluções

47. Apache Spark’s Mllib
(9x faster than Mahout)
1) Descriptive: Summary statistics, correlations, stratified sampling,
hypothesis testing, random data generation
2) Classification: support vector machines, logistic regression, linear
regression, decision trees, naive Bayes classification
3) Collaborative filtering: alternating least squares (ALS)
4) Clustering: k-means, and Latent Dirichlet Allocation (LDA)
5) Dimensionality reduction: SVD and PCA
6) Feature extraction and transformation functions
7) Optimization: stochastic gradient descent, L-BFGS
47(c) 2016 Upper West Soluções

48. Azure ML
(c) 2016 Upper West Soluções 48

49. Data Project Planning
49(c) 2016 Upper West Soluções

50. 50(c) 2016 Upper West Soluções

51. 51(c) 2016 Upper West Soluções

52. 52(c) 2016 Upper West Soluções

53. 53(c) 2016 Upper West Soluções

54. Practical Aspects: Projects
54(c) 2016 Upper West Soluções

55. (c) 2016 Upper West Soluções 55

56. Sources of business value
•Reduce operational costs
•Increase revenues
•Reduce risk
(c) 2016 Upper West Soluções 56

57. 57(c) 2016 Upper West Soluções

58. Ecossistema de Dados
58(c) 2016 Upper West Soluções

59. Fluxo de Trabalho
59(c) 2016 Upper West Soluções

60. 60
Pirâmide de Maslow
- Qualidade
- Integração
- Governança
• 360 Cust. View
• Anti-Fraud
• Anti Churn
ESTRATÉGIA, ROI+
(c) 2016 Upper West Soluções

61. Maturidade
61
Ambiente Heterogêneo
Processos Informais
Dados Caóticos
Ambiente Integrado
Processos controlados
Dados Coerentes
Simplificação
Encurtar tempo de Entrega
Redução de Custos
(c) 2016 Upper West Soluções

62. Barreiras
62(c) 2016 Upper West Soluções

63. Dan S. Reznik
dareznik@microsoft.com
dan@upperwestsolucoes.com
63(c) 2016 Upper West Soluções

64. Diagrama de Dependencias R (2015)
(c) 2016 Upper West Soluções 64

65. Crescimento Pacotes R (2016)
(c) 2016 Upper West Soluções 65

66. Microsoft Data Science Virtual Machine
Ecosystem (DSVM)
(c) 2016 Upper West Soluções 66