SlideShare a Scribd company logo
1 of 74
Download to read offline
전문가 토크 릴레이 “웹과 플랫폼의 미래를 이야기 하다”




   빅데이터 그리고
   빅데이터 분석
            2012.12.20
         솔트룩스 이경일
전문가 토크 릴레이, 2012




                   Predicting the Future of Phones is Unpredictable




                          2005                       2012


                                                                      2
전문가 토크 릴레이, 2012



                   혁신 그리고 가까운 미래 The NEAR future ?
                         200년                                                 10년

                                                                     ????

                                                              Internet, Mobile

                                              Mobile
                                              Product Computer
                                              Life cycle
                                                 Car


                                   Railway
                                             2000      2005   2010     2015      2020

                         Textile




                                             Source: Joseph Schumpeter, Hunter Lovins
                                                                                        3
전문가 토크 릴레이, 2012


                         기술 혁신                  > 낭비 하도록 만들기




                                                                ≤
                   Nasa’s Supercomputer to send a man to moon
                                                                    4 4
전문가 토크 릴레이, 2012


                                웹   도대체 무슨 일이 있었지?

                   2000         2005                  2010       2015         2020



                     더    웹             웹 2.0                모바일 &
                                                                          사물 웹?
                    (The Web)          (Social Web)          데이터의 웹


                    정     보            사     람               빅 데이터        지 능 화?


                    검     색         소셜네트워크                   분   석        예     측?




                     데이터 수집                       세상의 이해                최적화


                                                                                     5
전문가 토크 릴레이, 2012




    큰 가치의 창출




6
전문가 토크 릴레이, 2012


                   빅 데이터는 미래사회의       가치창출 엔진??

                   미래 사회 특징         빅 데이터의 역할과 가치

                                    • 현실 세계 데이터 기반의 패턴 분석, 전망
                    불확실성      통찰력   • 다각적 상황 고려 큰 그림 이해, 통찰 확보
                                    • 사회 현상 이해와 시나리오 시뮬레이션


                                    • 환경, 소셜 데이터 분석과 이상 징후 감지
                     리스크      대응력   • 이슈 사전 인지와 실시간 의사 결정 지원
                                    • 국가, 기업 경영 투명성 제고와 비용 절감


                                    • 평판, 트랜드 분석 통한 기업 경쟁력 확보
                     스마트      경쟁력   • 상황 인지, 인공지능 기반 대국민 서비스
                                    • 개인화, 지능화 기반 차세대 사업 모델


                                    • 이질적 지식의 융합 분석과 신 가치 창출
                     융합       창조력   • 상관 관계 이해를 통한 시행착오 최소화
                                    • 컨버전스 패턴 분석을 통한 융합 시장 창출

                                                source : NIA, 2011.12.30   7
전문가 토크 릴레이, 2012


                   3 + 1 Big Values                       take two!


                                          품질


                   • 서비스 개인화                               • 신 사업, 정책 발굴
                   • VOC, 고객 이해         지속가능               • 경쟁 전략 최적화
                   • 의료, 헬스케어           sustainability     • 도시관제, 재난대응


                                    •   기업 위험 관리
                                    •   e-Discovery
                                    •   국가 보안, 국방
                                    •   환경 관리, 유지
                    비용                                        속도
                                  • 실시간 마케팅 최적화
                                  • 실시간 생산, 유통 최적화
                                  • 금융 부정 사용 감지
                                                                           8
전문가 토크 릴레이, 2012

                           빅 데이터     5단계 사업 모델

                                            5단계
                                      4단계
                               3단계
                         2단계
                   1단계




                                                  9
전문가 토크 릴레이, 2012




                     Understanding
                   Big Data Analytics




                                        10
전문가 토크 릴레이, 2012


                      빅 데이터 분석               기술

                                     Visual-
                                     ization
                       Semantics               Statistics
                                                  (R)
                                                      In-memory
                                                       Analytics
                    Text          Machine
                   Mining         Learning         Cloud,
                                                   NoSQL

                            NLP         IR    Crawling
                                     (Search)


                                                                   11
전문가 토크 릴레이, 2012

                                 어떤 종류의    데이터가    있는가?
                   King of Data :
                   Linking Open Data


                                       공개된 공공/학술 데이터


                                       + 소셜 미디어 데이터


                                       + 민간/기업 보유 데이터


                                       + 비공개 정부 데이터



                                                          12
전문가 토크 릴레이, 2012


                           그 중의 대부분은                 비정형 빅 데이터

                                                       80~90%가 비정형 빅 데이터




                   Enterprise Strategy Group, 2010



                                그럼에도 불구하고 비정형 데이터
                                 기반한 분석과 의사 결정에 취약

                                    결국, 빅 데이터 분석의 진정한 성공은 비정형 데이터와
                                         정형 데이터의 의미적으로 통합 분석에 달림
                                                                           13
전문가 토크 릴레이, 2012


                   경험해 보지 못한   스트림 데이터        세상




                   센서 네트워크, 소셜 네트워크, 데이터 웹, M2M…

                                                   14
전문가 토크 릴레이, 2012

                                비정형 빅데이터 분석 프로세스
                   Crawling             Data model            Wrapping             NLP, ML                Taxonomy

                           Open API              Cloud tech              Parsing         Lang re-src             ML(SVM..)



                                                               Meta-data            Keyword
                      Content              Content                                                          Content
                                                               Extraction/           & Topic
                     Collection            Archiving                                                      Classification
                                                               Annotation           Extraction


                   Idx model            Federation              Models             Algorithm              User Model

                          Cloud tech             Ranking                   Rules             Statistics           Algo/Stat.



                     Content &            Searching                                  Network                  User
                                                                Induction
                     Meta-data            & Querying                                 & Trend                Profiling
                                                               & Deduction
                      Indexing            (Selection)                                Analysis             (behav. prof.)

                   S/F-Model             UX Model

                          Algo./Stat.            Algorithm

                                                                                   It’s so complicate and
                      Sensing &           Visualization                             sophisticate process
                     Forecasting          & Interaction

                                                                                                                               15
전문가 토크 릴레이, 2012


                       데이터             수집과 관리                                   - 소셜 데이터 사례

                                                            논문                           인터넷
                       수집방법           휴대전화       이메일                  뉴스       블로그                 트위터      패이스북         포스퀘어
                                                            특허                           카페

                   Legacy DB           ○           ○         ○         △         Ⅹ         Ⅹ         Ⅹ            Ⅹ       Ⅹ


                   Crawling            Ⅹ           Ⅹ         △         ○         ○         △         △            △       △


                   Feeding (RSS)       Ⅹ           Ⅹ         Ⅹ         ○         ○         △         Ⅹ            Ⅹ       Ⅹ


                   Push (Streaming)    Ⅹ           Ⅹ         Ⅹ         △         Ⅹ         Ⅹ         △            Ⅹ       Ⅹ


                   Open API            Ⅹ           Ⅹ         ○         △         △         Ⅹ         △            △       △


                   Agent Install       △           △         Ⅹ         Ⅹ         Ⅹ         Ⅹ         △            △       Ⅹ


                   Col. Interval      1mins       1hrs     1mons      1hrs      6hrs      6hrs      1mins       20mins   1days


                   Min. Life-time     3mons      6mons      5yrs      5yrs      3yrs      2yrs      1yrs         1yrs    6mons


                                              ○:적합, △:부분적합, Ⅹ:부적합, Col. Interval:수집 간격, Min. Life-time:최소수명주기




                                                                                                                                 16
전문가 토크 릴레이, 2012


                   소셜 미디어 분석의   실체와 한계




                                         17
전문가 토크 릴레이, 2012


                        소셜 미디어 분석의        실체와 한계

                    • 소셜 미디어 별 특성이 매우 다르다.
                     트위터, 미투데이, 페이스북, 블로그의 특성이 매우 다르다.

                    • 현실의 모집단을 대표하지 않는다.
                     그러나 타인에게 큰 영향을 끼칠 수는 있다. (정방향/역방향)

                    • 버즈에 민감하고, 인식 변화는 둔감하다.
                   편향성과 편중성 고려 없는 활용은 금물!!!
                    피드백 증폭기 구실을 한다. 반면 뉴스 미디어는 단방향 푸시.

                    • 데이터 편중과 표본의 크기가 무의미할 수 있다.
                     특정 주제는 분석 의미가 없을 정도로 데이터가 적다.

                    • 평판, 감성 분석의 정밀도가 높지 않다.
                     민감한 주제와 인용문의 평판/감성 분석 정밀도가 높지 않다.
                                                          18
전문가 토크 릴레이, 2012


                    데이터     저장 관리              – CAP Theorem?

                   하나의 저장소로는 일관성(consistency), 가용성(Availability),
                    단절내성(Partition Tolerance) 모두를 만족 시킬 수 없다.




                                    By Nathan Hurst                 19
전문가 토크 릴레이, 2012


                            데이터                  저장 관리                                   – Hybrid Storage?




                   Source : http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis                       20
전문가 토크 릴레이, 2012


                   어떤   분석 방법을        선택할 것인가?


                    귀납적inductive vs. 연역적deductive


                    하향식top-down vs. 상향식bottom-up


                    수치적numerical vs. 해석적analytical


                    분산화distributed vs. 병렬화parallel
                                                     21
전문가 토크 릴레이, 2012


                       빅 데이터 induction                      기계 학습


                                              Black Box                   Test-data
                                         (learning machine)

                   Training data
                                                                           Model
                                                                           Model




                                                                           Prediction
                   •   Support vector machines
                   •   Inductive logic programming      •     Clustering
                   •   Decision tree learning           •     Bayesian networks
                   •   Association rule learning        •     Reinforcement learning
                   •   Artificial neural networks       •     Representation learning
                   •   Genetic programming              •     Sparse Dictionary Learning
                                                                                           22
전문가 토크 릴레이, 2012


                   IBM 왓슨   Deep QA   시스템




                                            23
전문가 토크 릴레이, 2012


                   비정형 빅 데이터   기계 학습




                                       24
전문가 토크 릴레이, 2012

                             Watson의          Deep QA               프로세스

                   One Jeopardy! question can take 2 hours on a single 2.6Ghz Core
                   2880-Core IBM Power750’s using UIMA-AS, Watson is answering in 2-6 seconds.




                                                                                                 25
전문가 토크 릴레이, 2012


                            빅 데이터 deduction                   울프람|알파
                   매스매티카 7과 수퍼컴퓨터 클러스터에 기반한 자연언어 질의 응답 시스템




                   • 다양한 소스에서 수집된 10조 개의 통합 데이터와 50,000 이상의 알고르즘과 모델
                   • 데이터 큐레이션 : 방법론, 프로세스, 도구에 기반한 사람이 직접 데이터 정제, 통합
                   • 1000개 이상의 도메인에 대한 데이터 큐레이션을 통해 50~100개의 도메인 모델로 축약
                   • 온톨로지를 통해 메타 모델 구성 : Hierarchical knowledge (entity classes, attributes)
                                                                                               26
전문가 토크 릴레이, 2012


                   모바일 데이터 deduction   애플 Siri




                                                 27
전문가 토크 릴레이, 2012


                   스트림 데이터         하이브리드 분석
                    BOTTARI : Winner of Semantic Web Challenges




                                                                  28
전문가 토크 릴레이, 2012


                   빅 데이터        분석 플랫폼            요구사항

                   1.    다양한 유형의 데이터 수집, 통합/융합 용이
                   2.    기존 데이터 소스(레거시, LOD)와의 쉬운 연동성
                   3.    데이터 품질 관리, 통제 가능성 (governance)
                   4.    데이터 선택과 테스트의 용이성 (query&selection)
                   5.    스트림 데이터에 대한 실시간 처리성
                   6.    다양한 분석 모듈의 결합 사용 가능성
                   7.    분석 모델링, 평가 전용 도구의 제공
                   8.    손쉽고, 유연한 분석 프로세스 모델링 (script)
                   9.    분석 과정에 데이터/모델/프로세스 변경 허용 (+ agile)
                   10.   분석 데이터, 모델, 프로세스의 재활용성
                   11.   Open API제공과 응용 서비스 구현 용이
                   12.   쉽고 저렴한 확장성 (easy scale-out)
                   13.   동시에 여러 사람이 분석 작업에 참여 가능해야 함
                   14.   편리한 사용자 인터렉션을 통한 분석 과정/결과 이해
                   15.   그리고 또 기타 등등 - 웁스 T_T
                                                              29
전문가 토크 릴레이, 2012


                    빅 데이터     분석 플랫폼                        개념 : TrueStory 사례

                   빅 데이터          분석 플랫폼                    심층 분석 서비스       기대 효과


                            분석 서비스 응용 및 시각화
                                                                            실시간 마케팅
                   소셜 데이터                                                     최적화
                                                            사회, 시장 트랜드 분석
                             분석 워크플로우 시스템
                   기업 데이터                                                    경쟁 전략
                                                            고객, 시민 목소리 분석
                                                                              최적화
                               분석 서비스 컴포넌트
                   금융 데이터   트랜드, 분류, 군집, 사회망, 인물, 감성
                                                            제품, 서비스 평판 분석    동적 비용
                                                                              최적화
                   통신 데이터        분석 기술 인프라
                            자연어처리, 기계학습, 통계, 시맨틱/추론         경쟁자 모니터링, 분석
                                                                             신 사업,
                   안보 데이터                                                    정책 발굴
                            데이터 수집/통합/관리 인프라                사업 리스크 감지, 분석

                   의료 데이터                                                   위험 조기 감지
                              분산, 병렬처리 인프라                  부정 사용자, 비리 감지    사전 대응
                             하둡, NoSQL(HBASE, mongoDB, …)
                   생산 데이터                                    생산 시스템 모니터링    생산 시스템
                                                                             최적화
                              클라우드 컴퓨팅 인프라

                                                                                     30
전문가 토크 릴레이, 2012



                     Case-Study : ziny.us




                   똑똑한 소셜 매거진 “지니어스”
                   빅 데이터와 인공지능 기반의 스마트 미디어
                                             31
전문가 토크 릴레이, 2012

                    iPhone : Reinvention of Phone
                   iPhone : Reinvention of Phone




                   ziny.us : Reinvention of Social Media
                     퍼블리싱
                                                             지니어스
                                   관심기반          인공지능


                                                    IBM
                                                    Watson




                                                                    32
전문가 토크 릴레이, 2012




                       The Three Happiness
                   보는 즐거움     모으는 즐거움    나누는 즐거움




                                                   33
Smart Curation?
전문가 토크 릴레이, 2012




                   Search & Discover              Filter & Organize           Publish & Share

                                   Feeding,          Hybrid Classification,      Auto-Publishing,
                                   Crawling,         Automatic Clustering        Personalization
                                   Wrapping,
                                   Open API




                                                                                     HTML5,
                        Learning                                                    App, PDF
                                                      Machine Learning,
                                                      Recommendation




                                                                                 Digital Magazine
                               Bookmarklet,                                      Facebook/Twitter
                               File upload,                                      Mail Sharing
                                                       Clip/Re-Clip,
                               Camera                                            Real-time Chatting
                                                       Love/Comment

                                                                                                      34
35




                   Bookmarklet
                                                         ziny.us 플랫폼
                                           Web Enabler




                    ziny.us Web
                                                                       <O2> 인프라


                Vertical Apps
 지니어스 서비스 플랫폼




                                Platform
                                 Cross-

                                  Tools




                  ziny.us
                Smart Phone
                        ziny.us iPad
                  Mobile Agents
                                               Z-Cloud
                  Desktop Agents               Platform
                                           Web Enabler
                Bookmarklet




                                                         ziny.us 플랫폼

                                                                       <O2> 인프라
                 ziny.us Web
                   ziny.us iPad
전문가 토크 릴레이, 2012
전문가 토크 릴레이, 2012


                       소셜 데이터 수집 <O2>사례
                   • 클라우드에 기반한 대용량 분산/병렬처리, 1일 500만건 수집
                   • 클라우드 스토리지에 데이터 저장과 실시간 인덱싱 수행

                                  •450 Cores, 1.5TB Ram, 200TB HDD
                                  •원시 소셜 데이터 : 총 5억 건, 2.5TB
                                  •수집 속도 : 500만 건 / 일
                                  •수집 방식 : Hybrid Model (크롤링 + Open API + Agent)
                                  •저장 구조 : 클라우드(NoSQL+DFS), 데이터 3중화


                         1일 수집, 인덱싱 로그                               수집 데이터 구성


                                                                        미투
                                                            뉴스          데이
                                                            1%          18%
                                                                              트위터
                                                                               57%
                                                                     블로그
                                                                      24%




                                                                                     36
전문가 토크 릴레이, 2012


                      소셜 데이터의 분류                                       <O2>사례

                   • SVM 기반 학습 모델과 VSM 기반의 규칙 모델 통합
                   • 대규모 실시간 소셜 아티클 분류를 위해 병렬, 분산처리

                                         소셜 데이터


                                  아티클7        아티클20
                                                           아티클51
                           아티클1




                                         학습기반 분류
                                           (SVM)
                     실시간
                     병렬,
                     분산처리                규칙기반 분류
                                         (VSM+RULE)

                                           피드백
                                            학습



                                                                   …
                       A 분류체계      B 분류체계         C 분류체계
                                                                                37
전문가 토크 릴레이, 2012


                         소셜 토픽의 추출                           <O2>사례




                   • Google PageRank 개념이 적용된 TextRank를 발전, 소셜 토픽을 추출
                   • Social co-occurrence 분석 통해 특성 벡터의 품질 향상과 실시간 처리
                   • Graph system G = (V, E)에 대해 각 vertex Vi의 중요도 S(vi)를 정의,




                   • Social Topic간 Co-occurrence 거리를 Weigh w로 할 때, 중요도 WS(Vi) 정의,




                                                                                    38
전문가 토크 릴레이, 2012


                        소셜 이슈 학습                     <O2>사례

                   • 소셜 아티클의 실시간 군집을 통한 사회적 이슈 도출
                   • 주제별 사회적 관심 트랜드 분석과 예측, 추론

                                                𝑊𝑔          Wfunc : Skewed Distrib.

                    Social Article Retrieval   = 𝐷𝐹 + 𝑊𝑆
                                               + 𝑀𝑒𝑎𝑛 𝑇𝐹
                                               ∗ 𝑊𝐹𝑢𝑐(𝐷𝐹)
                   Global Features Selection


                        Hierarchical
                       Word clustering

                      Article clustering
                      (cosine similarity)


                       Cluster Labeling


                          Clusters
                      Ranking/Grouping
                                                                                      39
전문가 토크 릴레이, 2012


                        분석은 결과가 아니라         과정
                   • 분석은 일련의 복잡한 절차 : Workflow 체계 중요
                   • 분석가들과 기계의 협력 중요 : 분석 과정 중 전략 변경




                                                       40
전문가 토크 릴레이, 2012




                      Applications
                   Working on Big Data




                                         41
전문가 토크 릴레이, 2012

                          빅 데이터 분석 응용               사례
                   실시간성

                        금융, 통신 부정 사용 감지
                   1s

                                 모바일 서비스 개인화

                   1m        도시 관제, 재난 대응

                                      의료, 헬스케어 서비스
                   1h
                                      소셜 미디어 분석
                                    (트랜드, 감성, 이슈 분석 외)

                                 고객, 시민 목소리 (VOC) 분석
                   1d

                                   국방, 보안 관제 / eDiscovery
                                                         기술, 학술
                   1w          공공 정책 발굴, 관리              정보 분석
                                                                  비정형성
                        정형             반정형                 비정형
                                                                         42
전문가 토크 릴레이, 2012

                              빅 데이터 분석 응용                       사례
                                                   도시 관제
                                                                    공공 데이터
                                              질병 예방

                                           범죄 예방        국방, 안보

                                               국가 정책 최적화

                                           의료 정책 분석        복지 서비스

                             금융 사고 방지               고객 목소리 분석

                            서비스 개인화
                                               기업 위험 관리         사회 이슈 분석
                             e-Discovery
                                                       마케팅 최적화
                               사업 전략 최적화

                                                   기업 평판 분석
                   기업 데이터                                               소셜 데이터
                                                                                 43
전문가 토크 릴레이, 2012

                                금융 빅 데이터 분석
                   “일반적인 금융 서비스 회사를 기준으로, 2006년에 순수익 100만 달러 당 초당 129만
                   개의 명령어 처리가 필요했는데, 2010년 말이 되자, 179만개 명령어로 38% 증가했고,
                   물리적 서버는 46% 증가했다. 같은 기간 동안 순수익은 훨씬 저조한 증가세(19% 미만)
                   를 보였다. 컴퓨팅 파워의 니즈는 수익보다 2~5배 더 빠르게 성장하는 경향이 있다.”
                   (Wall Street & Technology, Howard Rubin)




                                                                         44
전문가 토크 릴레이, 2012

                              금융 빅 데이터 분석
                   “금융 서비스 기관들의 운용 비용 중 92%가 데이터 처리를 위해 사용”


                     실시간 투자 수익성 분석/전망 및 최적화
                      포트폴리오 관리 및 최적화, 다단계 투자 운용
                     금융, 보험, 신용 부정 사용자 실시간 발견
                      카드 부정 사용자, 보험 사기 조기 및 실시간 발견
                     실시간 고객 목소리 이해
                      콜센터 서비스 최적화, 서비스 경쟁력/경영전략 최적화
                     수익성 높은 고객의 유치,확보
                      효과적 제품 가격 책정, 이탈 징후 조기 감지, 고객 상호작용 강화
                     시장, 신용, 유동성 리스크 관리 개선
                      소매 가계 대출 리스크 완화, 유동성 리스크 평가/경쟁력 확보
                     소셜 미디어 활용, 의사결정 질 개선
                      경쟁 은행 제압, 실시간 평판 분석, 캠페인 최적화

                                                              45
전문가 토크 릴레이, 2012




                   Real-time and historic Transaction Cost Analysis (OneTick Data)   Counterparty Risk Management (CEP Data)




                                   Detect Trader Fraud (w/ CEP engine)                    Income Risk Analysis (CEP data)      46
전문가 토크 릴레이, 2012




                                   Market Risk Analysis                    Portfolio Performance Analysis




                   North See Oil Production Analysis (Trading in Future)                                    47
                                                                              Fund of Funds Analysis
전문가 토크 릴레이, 2012

                         정부 빅 데이터 활용 : data.gov
                   http://www.data.gov/   http://data.gov.uk/




                                                                48
전문가 토크 릴레이, 2012

                      공공     빅 데이터 활용 : 해외 주요 사례들

                    미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화
                    빅데이터 기반 통합형 탈세, 정부사기 방지 시스템을 통해 연 3,450억 달러 절감

                    일본, 센서데이터를 활용한 지능형 교통안내 시스템
                    노무라 연구소가 시행한 실시간 최적 경로 안내와 에너지 절감 시스템

                    미국 국립보건원, 유전자 데이터 공유를 통한 질병치료
                    1700명의 유전자 정보를 아마존을 통해 개방, 질병 진단과 예측 연구비 절감

                    보험회사, 웰포인트의 효율적 환자 치료 대응
                    IBM 왓슨 도입을 통해, 환자에게 적절한 정보와 최신 치료법을 제시

                    싱가포르, 국가위험관리시스템을 통한 국가안전관리
                    빅데이터 기반의 테러, 재난, 전염병 등의 위험을 관리하는 RAHS 운영

                    샌프란시스코, 범죄 예방 시스템으로 안전 지역사회 구축
                    8년간 범죄 데이터 분석을 통한, 범죄 발생 예측 시스템 운영 (71% 정확도)

                                                                     49
전문가 토크 릴레이, 2012


                   통신 빅 데이터 : 개인화, 맞춤 추천




                                           50
전문가 토크 릴레이, 2012


                   하이브리드 시맨틱   분석 기술 적용




                                          51
전문가 토크 릴레이, 2012


                   기업 빅 데이터 : e-Discovery & Compliance




                                                         52
전문가 토크 릴레이, 2012


                   고객 빅 데이터 : 고객 목소리 분석(VOC)




                                               53
전문가 토크 릴레이, 2012


                   기술 빅 데이터 : 트랜드 센싱




                                       54
전문가 토크 릴레이, 2012


                   학술 빅 데이터 : 전문가 추천




                                       55
전문가 토크 릴레이, 2012


                   소셜 빅 데이터 : 트랜드, 평판 분석




                        TrueStory.co.kr
                                           56
전문가 토크 릴레이, 2012


                         스마트 시티 빅 데이터 : 매설물 관리




                      Sensor Monitoring      Leakage Detection   Discover Leakage Area




                   Infer Leakage Pipe Link    Automatic Alert    Recom. Detour Path
                                                                                         57
전문가 토크 릴레이, 2012


                                 스마트 시티 빅 데이터 : 교통 최적화
                              • 이탈리아 밀라노에 대한 솔트룩스와 독일 지맨스의 협력 프로젝트
                              • 교통 센서 네트워크 기반, 교통 흐름 예측과 최적 경로 추천 (2시간, 90%)
                              • 스트림 데이터에 대해, 온톨로지와 기계학습(ML) 기술을 결합

                   Milano City Sensor Map
                                                                               Traffic data from Milano (Italy)
                                                                               Data ranging from Mar. 07 to July 09
                                                                               5 min. sampling rate for flow & speed
                                                                               Traffic flow & speed from
                                                                                    209 sensors that are able to
                                                                                     classify vehicles, and
                                                                                    757 non classifying sensors
                                                                               Weather data provided from
                                                                                http://www.ilmeteo.it
                                                                               1 hour sampling rate for weather data

                   Sensors – Crossroads – Street Categories (multi-colored)



                                                                                                                        58
전문가 토크 릴레이, 2012


                   국방/안보 빅 데이터 : 정보 분석




                                          59
                                         59
전문가 토크 릴레이, 2012

                   국가 안보와 소셜 네트워크 분석




                                       60
전문가 토크 릴레이, 2012




                   빅 데이터 9 미신




                    전설 속의 빅 데이터 구미호
                                      61
전문가 토크 릴레이, 2012



                                         미신 #1
                                           “빅 데이터는    규모가
                                            정말   큰 데이터
                                            를 말한다.”



                                         진실 #1
                                           “빅 데이터는    처리의
                                            난이도가      정말

                                            큰 데이터를 말한다”


                   “4V := Volume, Velocity, Variety + Value”
                                                               62
전문가 토크 릴레이, 2012



                   미신 #2
                    “더 큰 데이터에서

                    더 큰   인사이트를
                    얻을 수 있다”



                   진실 #2
                    “여전히   의미    있는

                    데이터를 잘     선택하는
                    것이 더 중요하다”


                    “No Garbage-in, Gold-out” - At least goldstone-in
                                                                        63
전문가 토크 릴레이, 2012



                                          미신 #3
                                            “빅 데이터 분석은

                                             소셜 데이터(SNS)
                                             분석을 말한다”



                                          진실 #3
                                            “소셜 데이터는

                                             빅 데이터   소스    중

                                             일부일    뿐이다”


                   “It is not enough to understand the World”
                                                                64
전문가 토크 릴레이, 2012



                     미신 #4
                        “빅 데이터 분석의

                        핵심은   미래 예측
                        에 있다”



                     진실 #4
                        “현   상황의   올바른

                        이해와 최적화가
                        핵심이다”


                   “The best way to predict the future is to create it”
                                                                     65
전문가 토크 릴레이, 2012



                                            미신 #5
                                              “성공적 빅 데이터

                                              분석은   신기술 이해
                                              와 적용에서 시작된다”



                                            진실 #5
                                              “명확한    목표   설정과

                                              사람 중심의      기계와

                                              협업이 성공을 좌우한다”


                   “People People People under the Clear Vision"
                                                                   66
전문가 토크 릴레이, 2012



                                       미신 #6
                                         “빅 데이터 처리는

                                          하둡(Hadoop)의
                                          사용이 필수적이다”



                                       진실 #6
                                         “하둡은 필요 시

                                          사용되는   도구가
                                          될 것이다”


                   “Do not use a hammer to crack a nut"
                                                          67
전문가 토크 릴레이, 2012



                   미신 #7
                    “빅 데이터 기술은

                    거대 IT 시장을
                    만들어 줄 것이다”



                   진실 #7
                    “빅 데이터 가치를

                    서비스로       연결한

                    소수만 승리할 것이다”


                    “It’s not Buzz, but be careful“ - you wouldn’t be.
                                                                         68
전문가 토크 릴레이, 2012



                                        미신 #8
                                          “빅 데이터 사업은

                                           기존   BI 사업이
                                           확장, 발전된 것이다”


                                        진실 #8
                                          “BI는 응용 중 하나,

                                           스트림, 그래프,   비정형
                                           빅 데이터 분석 등,

                                           새 가치를     추구한다”


                   “It’s Not a Old Wine in New Bottle!“
                                                             69
전문가 토크 릴레이, 2012



                   미신 #9
                    “빅 데이터 분석은

                    분석 전문가와
                    경영자를 위한 것이다”



                   진실 #9
                    “빅 데이터 가치

                    평가와 최종 수혜자는

                    일반인이다”

                     “Invisible and Calm Big Data Analytics“
                                                               70
전문가 토크 릴레이, 2012




                   Big Future?

                           when
                     BigData
                     met   AI
                                  71
전문가 토크 릴레이, 2012




72
전문가 토크 릴레이, 2012




                   Intuition and Insight                    Cost and Productivity
                                       Enemy or Friend?
                   • Logics     • Emotion                        • Big data proc.
                   • Rational   • Creativity                     • Routine tasks




                                               How they could
                                                Collaborate?
전문가 토크 릴레이, 2012




                              맺음말



                      “유일한 성공 방법은, 미래를 예측하는 것이 아니라

                   이미 시작된 변화를 이해, 그 시간차를 이용하는 것!"




                                                     74

More Related Content

What's hot

빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410
빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410
빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410Peter Woo
 
1 손에잡히는빅데이터 이경일
1 손에잡히는빅데이터 이경일1 손에잡히는빅데이터 이경일
1 손에잡히는빅데이터 이경일Saltlux Inc.
 
빅데이터란?
빅데이터란?빅데이터란?
빅데이터란?Yoseop Shin
 
Big Data 대충 알아보기
Big Data 대충 알아보기Big Data 대충 알아보기
Big Data 대충 알아보기iron han
 
Process for Big Data Analysis
Process for Big Data AnalysisProcess for Big Data Analysis
Process for Big Data AnalysisMyunggoon Choi
 
빅 데이터 비즈니스 모델
빅 데이터 비즈니스 모델빅 데이터 비즈니스 모델
빅 데이터 비즈니스 모델datasciencekorea
 
빅데이터 기술 및 시장동향
빅데이터 기술 및 시장동향빅데이터 기술 및 시장동향
빅데이터 기술 및 시장동향atelier t*h
 
빅데이터 솔루션 소개서(2013년 05월)
빅데이터 솔루션 소개서(2013년 05월)빅데이터 솔루션 소개서(2013년 05월)
빅데이터 솔루션 소개서(2013년 05월)동학 노
 
빅 데이터 개요 및 활용
빅 데이터 개요 및 활용빅 데이터 개요 및 활용
빅 데이터 개요 및 활용Jin wook
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)Myungjin Lee
 
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)Wonjin Lee
 
빅데이터 분석과 모바일 비즈니스 활용전략
빅데이터 분석과 모바일 비즈니스 활용전략빅데이터 분석과 모바일 비즈니스 활용전략
빅데이터 분석과 모바일 비즈니스 활용전략Seungbyung Chae
 
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.kosena
 
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼ABRC_DATA
 
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big dataK data
 
빅데이터 활용사례 by GoldenWired INC.
빅데이터 활용사례 by GoldenWired INC.빅데이터 활용사례 by GoldenWired INC.
빅데이터 활용사례 by GoldenWired INC.Byounghee Kim
 
지능정보시대를 위한 빅데이터, 이대로 좋은가
지능정보시대를 위한 빅데이터, 이대로 좋은가지능정보시대를 위한 빅데이터, 이대로 좋은가
지능정보시대를 위한 빅데이터, 이대로 좋은가r-kor
 

What's hot (20)

빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410
빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410
빅데이터미래전략세미나발표자료 빅데이터기술현황및전망-황승구-20120410
 
1 손에잡히는빅데이터 이경일
1 손에잡히는빅데이터 이경일1 손에잡히는빅데이터 이경일
1 손에잡히는빅데이터 이경일
 
빅데이터란?
빅데이터란?빅데이터란?
빅데이터란?
 
Big Data 대충 알아보기
Big Data 대충 알아보기Big Data 대충 알아보기
Big Data 대충 알아보기
 
Process for Big Data Analysis
Process for Big Data AnalysisProcess for Big Data Analysis
Process for Big Data Analysis
 
빅 데이터 비즈니스 모델
빅 데이터 비즈니스 모델빅 데이터 비즈니스 모델
빅 데이터 비즈니스 모델
 
빅데이터 기술 및 시장동향
빅데이터 기술 및 시장동향빅데이터 기술 및 시장동향
빅데이터 기술 및 시장동향
 
빅데이터 솔루션 소개서(2013년 05월)
빅데이터 솔루션 소개서(2013년 05월)빅데이터 솔루션 소개서(2013년 05월)
빅데이터 솔루션 소개서(2013년 05월)
 
빅 데이터 개요 및 활용
빅 데이터 개요 및 활용빅 데이터 개요 및 활용
빅 데이터 개요 및 활용
 
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
빅 데이터 환경의 고급 분석 기법과 지원 기술 동향 (Advanced Analytics and Technologies for Big Data)
 
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)
빅데이터의 개념과 이해 그리고 활용사례 (Introduction to big data and use cases)
 
빅데이터
빅데이터빅데이터
빅데이터
 
빅데이터 분석과 모바일 비즈니스 활용전략
빅데이터 분석과 모바일 비즈니스 활용전략빅데이터 분석과 모바일 비즈니스 활용전략
빅데이터 분석과 모바일 비즈니스 활용전략
 
Hadoop 기반 빅데이터 이해
Hadoop 기반 빅데이터 이해Hadoop 기반 빅데이터 이해
Hadoop 기반 빅데이터 이해
 
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.
[코세나, kosena] 빅데이터 기반의 End-to-End APM과 비정형 데이터 분석 자료입니다.
 
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
빅데이터 윈윈 컨퍼런스-4차 산업혁명 핵심:데이터 가공 플랫폼
 
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data
[2016 데이터 그랜드 컨퍼런스] 2 2(빅데이터). skt beyond big data
 
빅데이터 개요
빅데이터 개요빅데이터 개요
빅데이터 개요
 
빅데이터 활용사례 by GoldenWired INC.
빅데이터 활용사례 by GoldenWired INC.빅데이터 활용사례 by GoldenWired INC.
빅데이터 활용사례 by GoldenWired INC.
 
지능정보시대를 위한 빅데이터, 이대로 좋은가
지능정보시대를 위한 빅데이터, 이대로 좋은가지능정보시대를 위한 빅데이터, 이대로 좋은가
지능정보시대를 위한 빅데이터, 이대로 좋은가
 

Viewers also liked

Ibm왓슨과 apple 시리
Ibm왓슨과 apple 시리Ibm왓슨과 apple 시리
Ibm왓슨과 apple 시리Saltlux zinyus
 
빅데이터의 이해
빅데이터의 이해빅데이터의 이해
빅데이터의 이해수보 김
 
빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)Channy Yun
 
2012 빅데이터 big data 발표자료
2012 빅데이터 big data 발표자료2012 빅데이터 big data 발표자료
2012 빅데이터 big data 발표자료Wooseung Kim
 
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)Dylan Ko
 
빅데이터 이용 사례 분석
빅데이터 이용 사례 분석빅데이터 이용 사례 분석
빅데이터 이용 사례 분석ko donghwi
 
빅데이터, big data
빅데이터, big data빅데이터, big data
빅데이터, big dataH K Yoon
 
스마트 시티의 빅데이터 분석론 - 최준영
스마트 시티의 빅데이터 분석론 - 최준영스마트 시티의 빅데이터 분석론 - 최준영
스마트 시티의 빅데이터 분석론 - 최준영datasciencekorea
 
메타데이터 활용 사례
메타데이터 활용 사례메타데이터 활용 사례
메타데이터 활용 사례SSePhi
 
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)Saltlux zinyus
 
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)Saltlux zinyus
 
서울과학기술대학교 도서관 북카페 서비스 분석
서울과학기술대학교 도서관 북카페 서비스 분석서울과학기술대학교 도서관 북카페 서비스 분석
서울과학기술대학교 도서관 북카페 서비스 분석재근 황
 
정보탐색과 특강 Ver1.5
정보탐색과 특강 Ver1.5정보탐색과 특강 Ver1.5
정보탐색과 특강 Ver1.5진호 안
 
도서 관리 프로그램 by 생각저장소
도서 관리 프로그램 by 생각저장소도서 관리 프로그램 by 생각저장소
도서 관리 프로그램 by 생각저장소gsjwlee
 
Ch6. telegraph and relay
Ch6. telegraph and relayCh6. telegraph and relay
Ch6. telegraph and relayHwanseok Park
 
Enterprise Soa And Bpm
Enterprise Soa And BpmEnterprise Soa And Bpm
Enterprise Soa And BpmTerry Cho
 
Ten commandments for business failure
Ten commandments for business failureTen commandments for business failure
Ten commandments for business failuredmlee01
 
20��(ver 1.0)
20��(ver 1.0)20��(ver 1.0)
20��(ver 1.0)은규 이
 
IaaS Cloud Architecture Design
IaaS Cloud Architecture DesignIaaS Cloud Architecture Design
IaaS Cloud Architecture DesignTerry Cho
 

Viewers also liked (20)

Ibm왓슨과 apple 시리
Ibm왓슨과 apple 시리Ibm왓슨과 apple 시리
Ibm왓슨과 apple 시리
 
빅데이터의 이해
빅데이터의 이해빅데이터의 이해
빅데이터의 이해
 
빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)빅데이터 기술 현황과 시장 전망(2014)
빅데이터 기술 현황과 시장 전망(2014)
 
2012 빅데이터 big data 발표자료
2012 빅데이터 big data 발표자료2012 빅데이터 big data 발표자료
2012 빅데이터 big data 발표자료
 
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)
 
빅데이터 이용 사례 분석
빅데이터 이용 사례 분석빅데이터 이용 사례 분석
빅데이터 이용 사례 분석
 
빅데이터, big data
빅데이터, big data빅데이터, big data
빅데이터, big data
 
스마트 시티의 빅데이터 분석론 - 최준영
스마트 시티의 빅데이터 분석론 - 최준영스마트 시티의 빅데이터 분석론 - 최준영
스마트 시티의 빅데이터 분석론 - 최준영
 
메타데이터 활용 사례
메타데이터 활용 사례메타데이터 활용 사례
메타데이터 활용 사례
 
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)
전문가토크릴레이 3탄 소셜미디어의 미래 (김석기 이사)
 
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)
전문가토크릴레이 3탄 스마트 큐레이션 전략 (최광선 본부장)
 
서울과학기술대학교 도서관 북카페 서비스 분석
서울과학기술대학교 도서관 북카페 서비스 분석서울과학기술대학교 도서관 북카페 서비스 분석
서울과학기술대학교 도서관 북카페 서비스 분석
 
정보탐색과 특강 Ver1.5
정보탐색과 특강 Ver1.5정보탐색과 특강 Ver1.5
정보탐색과 특강 Ver1.5
 
Untitled Presentation
Untitled PresentationUntitled Presentation
Untitled Presentation
 
도서 관리 프로그램 by 생각저장소
도서 관리 프로그램 by 생각저장소도서 관리 프로그램 by 생각저장소
도서 관리 프로그램 by 생각저장소
 
Ch6. telegraph and relay
Ch6. telegraph and relayCh6. telegraph and relay
Ch6. telegraph and relay
 
Enterprise Soa And Bpm
Enterprise Soa And BpmEnterprise Soa And Bpm
Enterprise Soa And Bpm
 
Ten commandments for business failure
Ten commandments for business failureTen commandments for business failure
Ten commandments for business failure
 
20��(ver 1.0)
20��(ver 1.0)20��(ver 1.0)
20��(ver 1.0)
 
IaaS Cloud Architecture Design
IaaS Cloud Architecture DesignIaaS Cloud Architecture Design
IaaS Cloud Architecture Design
 

Similar to 전문가토크릴레이 2탄 빅데이터와 빅데이터 분석 (이경일 대표)

빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12
빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12
빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12Donghan Kim
 
It trend 2012
It trend 2012It trend 2012
It trend 2012Ahnku Toh
 
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료Seul Koo
 
2 기업의빅데이터delta전략 이진권
2 기업의빅데이터delta전략 이진권2 기업의빅데이터delta전략 이진권
2 기업의빅데이터delta전략 이진권Saltlux Inc.
 
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)Metatron
 
빅데이터(Bigdata)시대의 마케팅활용
빅데이터(Bigdata)시대의 마케팅활용빅데이터(Bigdata)시대의 마케팅활용
빅데이터(Bigdata)시대의 마케팅활용Digital Initiative Group
 
2012디자이너가주목해야할테크동향
2012디자이너가주목해야할테크동향2012디자이너가주목해야할테크동향
2012디자이너가주목해야할테크동향Seungha Kim
 
기업용 Sns 를 통한 스마트워크
기업용 Sns 를 통한 스마트워크기업용 Sns 를 통한 스마트워크
기업용 Sns 를 통한 스마트워크영재 김
 
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'스마트미디어 산업 활성화 위한 '국가 표준화 설계도'
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'Open Cyber University of Korea
 
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.kosena
 
최신 IT 트렌드, 그리고 Web을 만드는 사람들
최신 IT 트렌드, 그리고 Web을 만드는 사람들최신 IT 트렌드, 그리고 Web을 만드는 사람들
최신 IT 트렌드, 그리고 Web을 만드는 사람들SangHoon Han
 
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아K data
 
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장eungjin cho
 
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드구회 연
 
Enterprise Social
Enterprise SocialEnterprise Social
Enterprise SocialJae Woo Kim
 
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치Chris Hoyean Song
 
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스 애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스 mosaicnet
 
02 스마트워크 정책 추진현황 및 향후과제
02 스마트워크 정책 추진현황 및 향후과제02 스마트워크 정책 추진현황 및 향후과제
02 스마트워크 정책 추진현황 및 향후과제cheolhwa
 
공공 미디어 서비스 모델 개발 및 산업 동향
공공 미디어 서비스 모델 개발 및 산업 동향공공 미디어 서비스 모델 개발 및 산업 동향
공공 미디어 서비스 모델 개발 및 산업 동향M&M Networks
 

Similar to 전문가토크릴레이 2탄 빅데이터와 빅데이터 분석 (이경일 대표) (20)

빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12
빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12
빅 데이터의 핵심 플랫폼, 기업용 하둡 동향 2013-2-12
 
It trend 2012
It trend 2012It trend 2012
It trend 2012
 
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료
Big Data and Data Visualization(Inforgraphics) 2012년 KISTI(한국정보과학기술연구원) 발표 자료
 
2 기업의빅데이터delta전략 이진권
2 기업의빅데이터delta전략 이진권2 기업의빅데이터delta전략 이진권
2 기업의빅데이터delta전략 이진권
 
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
[DDC 2018] Metatron 오픈소스화 및 생태계 구축 (SKT 이정룡, 김지호)
 
빅데이터(Bigdata)시대의 마케팅활용
빅데이터(Bigdata)시대의 마케팅활용빅데이터(Bigdata)시대의 마케팅활용
빅데이터(Bigdata)시대의 마케팅활용
 
2012디자이너가주목해야할테크동향
2012디자이너가주목해야할테크동향2012디자이너가주목해야할테크동향
2012디자이너가주목해야할테크동향
 
기업용 Sns 를 통한 스마트워크
기업용 Sns 를 통한 스마트워크기업용 Sns 를 통한 스마트워크
기업용 Sns 를 통한 스마트워크
 
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'스마트미디어 산업 활성화 위한 '국가 표준화 설계도'
스마트미디어 산업 활성화 위한 '국가 표준화 설계도'
 
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.
빅재미(BigZAMi), 빅데이터 분석 플랫폼(AutoML포함) 소개해 드립니다.
 
최신 IT 트렌드, 그리고 Web을 만드는 사람들
최신 IT 트렌드, 그리고 Web을 만드는 사람들최신 IT 트렌드, 그리고 Web을 만드는 사람들
최신 IT 트렌드, 그리고 Web을 만드는 사람들
 
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
[2016 데이터 그랜드 컨퍼런스] 1 3. bk3(엔코아)데이터그랜드컨퍼런스 4차산업혁명의 핵심-데이터경제-엔코아
 
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장
데이터 가공(DMP)와 스마트 시티 - 엔코아 김옥기 센터장
 
스마트워크
스마트워크스마트워크
스마트워크
 
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드
KCERN 제15회 정기포럼 발표자료 - 기술융합 메가트렌드
 
Enterprise Social
Enterprise SocialEnterprise Social
Enterprise Social
 
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치
블록체인 데이터와 머신러닝으로 만들어내는 금융업계의 고객 가치
 
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스 애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스
애플이 꿈꾸는 검색 미래인 인식 기술을 통한 서비스
 
02 스마트워크 정책 추진현황 및 향후과제
02 스마트워크 정책 추진현황 및 향후과제02 스마트워크 정책 추진현황 및 향후과제
02 스마트워크 정책 추진현황 및 향후과제
 
공공 미디어 서비스 모델 개발 및 산업 동향
공공 미디어 서비스 모델 개발 및 산업 동향공공 미디어 서비스 모델 개발 및 산업 동향
공공 미디어 서비스 모델 개발 및 산업 동향
 

More from Saltlux zinyus

[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장
[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장
[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장Saltlux zinyus
 
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임Saltlux zinyus
 
미래디바이스 미래Ux 최형욱
미래디바이스 미래Ux 최형욱미래디바이스 미래Ux 최형욱
미래디바이스 미래Ux 최형욱Saltlux zinyus
 
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)Saltlux zinyus
 
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)전문가토크릴레이 2탄 Open data and linked data (김학래 박사)
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)Saltlux zinyus
 
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)Saltlux zinyus
 
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)전문가토크릴레이 1탄 html5 전망 (전종홍 박사)
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)Saltlux zinyus
 

More from Saltlux zinyus (7)

[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장
[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장
[솔트룩스] 큐레이션과 마켓플레이스 Yes24 이선재 본부장
 
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임
[솔트룩스] 소셜 그리고 커머스 플랫폼 Roa 김소연 선임
 
미래디바이스 미래Ux 최형욱
미래디바이스 미래Ux 최형욱미래디바이스 미래Ux 최형욱
미래디바이스 미래Ux 최형욱
 
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)
반응형, 적응형 웹, 그 다음은? (지훈 Ux pd)
 
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)전문가토크릴레이 2탄 Open data and linked data (김학래 박사)
전문가토크릴레이 2탄 Open data and linked data (김학래 박사)
 
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)
전문가토크릴레이1탄 크로스모바일플랫폼 전략 (이경일 대표)
 
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)전문가토크릴레이 1탄 html5 전망 (전종홍 박사)
전문가토크릴레이 1탄 html5 전망 (전종홍 박사)
 

전문가토크릴레이 2탄 빅데이터와 빅데이터 분석 (이경일 대표)

  • 1. 전문가 토크 릴레이 “웹과 플랫폼의 미래를 이야기 하다” 빅데이터 그리고 빅데이터 분석 2012.12.20 솔트룩스 이경일
  • 2. 전문가 토크 릴레이, 2012 Predicting the Future of Phones is Unpredictable 2005 2012 2
  • 3. 전문가 토크 릴레이, 2012 혁신 그리고 가까운 미래 The NEAR future ? 200년 10년 ???? Internet, Mobile Mobile Product Computer Life cycle Car Railway 2000 2005 2010 2015 2020 Textile Source: Joseph Schumpeter, Hunter Lovins 3
  • 4. 전문가 토크 릴레이, 2012 기술 혁신 > 낭비 하도록 만들기 ≤ Nasa’s Supercomputer to send a man to moon 4 4
  • 5. 전문가 토크 릴레이, 2012 웹 도대체 무슨 일이 있었지? 2000 2005 2010 2015 2020 더 웹 웹 2.0 모바일 & 사물 웹? (The Web) (Social Web) 데이터의 웹 정 보 사 람 빅 데이터 지 능 화? 검 색 소셜네트워크 분 석 예 측? 데이터 수집 세상의 이해 최적화 5
  • 6. 전문가 토크 릴레이, 2012 큰 가치의 창출 6
  • 7. 전문가 토크 릴레이, 2012 빅 데이터는 미래사회의 가치창출 엔진?? 미래 사회 특징 빅 데이터의 역할과 가치 • 현실 세계 데이터 기반의 패턴 분석, 전망 불확실성 통찰력 • 다각적 상황 고려 큰 그림 이해, 통찰 확보 • 사회 현상 이해와 시나리오 시뮬레이션 • 환경, 소셜 데이터 분석과 이상 징후 감지 리스크 대응력 • 이슈 사전 인지와 실시간 의사 결정 지원 • 국가, 기업 경영 투명성 제고와 비용 절감 • 평판, 트랜드 분석 통한 기업 경쟁력 확보 스마트 경쟁력 • 상황 인지, 인공지능 기반 대국민 서비스 • 개인화, 지능화 기반 차세대 사업 모델 • 이질적 지식의 융합 분석과 신 가치 창출 융합 창조력 • 상관 관계 이해를 통한 시행착오 최소화 • 컨버전스 패턴 분석을 통한 융합 시장 창출 source : NIA, 2011.12.30 7
  • 8. 전문가 토크 릴레이, 2012 3 + 1 Big Values  take two! 품질 • 서비스 개인화 • 신 사업, 정책 발굴 • VOC, 고객 이해 지속가능 • 경쟁 전략 최적화 • 의료, 헬스케어 sustainability • 도시관제, 재난대응 • 기업 위험 관리 • e-Discovery • 국가 보안, 국방 • 환경 관리, 유지 비용 속도 • 실시간 마케팅 최적화 • 실시간 생산, 유통 최적화 • 금융 부정 사용 감지 8
  • 9. 전문가 토크 릴레이, 2012 빅 데이터 5단계 사업 모델 5단계 4단계 3단계 2단계 1단계 9
  • 10. 전문가 토크 릴레이, 2012 Understanding Big Data Analytics 10
  • 11. 전문가 토크 릴레이, 2012 빅 데이터 분석 기술 Visual- ization Semantics Statistics (R) In-memory Analytics Text Machine Mining Learning Cloud, NoSQL NLP IR Crawling (Search) 11
  • 12. 전문가 토크 릴레이, 2012 어떤 종류의 데이터가 있는가? King of Data : Linking Open Data 공개된 공공/학술 데이터 + 소셜 미디어 데이터 + 민간/기업 보유 데이터 + 비공개 정부 데이터 12
  • 13. 전문가 토크 릴레이, 2012 그 중의 대부분은 비정형 빅 데이터 80~90%가 비정형 빅 데이터 Enterprise Strategy Group, 2010 그럼에도 불구하고 비정형 데이터 기반한 분석과 의사 결정에 취약 결국, 빅 데이터 분석의 진정한 성공은 비정형 데이터와 정형 데이터의 의미적으로 통합 분석에 달림 13
  • 14. 전문가 토크 릴레이, 2012 경험해 보지 못한 스트림 데이터 세상 센서 네트워크, 소셜 네트워크, 데이터 웹, M2M… 14
  • 15. 전문가 토크 릴레이, 2012 비정형 빅데이터 분석 프로세스 Crawling Data model Wrapping NLP, ML Taxonomy Open API Cloud tech Parsing Lang re-src ML(SVM..) Meta-data Keyword Content Content Content Extraction/ & Topic Collection Archiving Classification Annotation Extraction Idx model Federation Models Algorithm User Model Cloud tech Ranking Rules Statistics Algo/Stat. Content & Searching Network User Induction Meta-data & Querying & Trend Profiling & Deduction Indexing (Selection) Analysis (behav. prof.) S/F-Model UX Model Algo./Stat. Algorithm It’s so complicate and Sensing & Visualization sophisticate process Forecasting & Interaction 15
  • 16. 전문가 토크 릴레이, 2012 데이터 수집과 관리 - 소셜 데이터 사례 논문 인터넷 수집방법 휴대전화 이메일 뉴스 블로그 트위터 패이스북 포스퀘어 특허 카페 Legacy DB ○ ○ ○ △ Ⅹ Ⅹ Ⅹ Ⅹ Ⅹ Crawling Ⅹ Ⅹ △ ○ ○ △ △ △ △ Feeding (RSS) Ⅹ Ⅹ Ⅹ ○ ○ △ Ⅹ Ⅹ Ⅹ Push (Streaming) Ⅹ Ⅹ Ⅹ △ Ⅹ Ⅹ △ Ⅹ Ⅹ Open API Ⅹ Ⅹ ○ △ △ Ⅹ △ △ △ Agent Install △ △ Ⅹ Ⅹ Ⅹ Ⅹ △ △ Ⅹ Col. Interval 1mins 1hrs 1mons 1hrs 6hrs 6hrs 1mins 20mins 1days Min. Life-time 3mons 6mons 5yrs 5yrs 3yrs 2yrs 1yrs 1yrs 6mons ○:적합, △:부분적합, Ⅹ:부적합, Col. Interval:수집 간격, Min. Life-time:최소수명주기 16
  • 17. 전문가 토크 릴레이, 2012 소셜 미디어 분석의 실체와 한계 17
  • 18. 전문가 토크 릴레이, 2012 소셜 미디어 분석의 실체와 한계 • 소셜 미디어 별 특성이 매우 다르다. 트위터, 미투데이, 페이스북, 블로그의 특성이 매우 다르다. • 현실의 모집단을 대표하지 않는다. 그러나 타인에게 큰 영향을 끼칠 수는 있다. (정방향/역방향) • 버즈에 민감하고, 인식 변화는 둔감하다. 편향성과 편중성 고려 없는 활용은 금물!!! 피드백 증폭기 구실을 한다. 반면 뉴스 미디어는 단방향 푸시. • 데이터 편중과 표본의 크기가 무의미할 수 있다. 특정 주제는 분석 의미가 없을 정도로 데이터가 적다. • 평판, 감성 분석의 정밀도가 높지 않다. 민감한 주제와 인용문의 평판/감성 분석 정밀도가 높지 않다. 18
  • 19. 전문가 토크 릴레이, 2012 데이터 저장 관리 – CAP Theorem? 하나의 저장소로는 일관성(consistency), 가용성(Availability), 단절내성(Partition Tolerance) 모두를 만족 시킬 수 없다. By Nathan Hurst 19
  • 20. 전문가 토크 릴레이, 2012 데이터 저장 관리 – Hybrid Storage? Source : http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis 20
  • 21. 전문가 토크 릴레이, 2012 어떤 분석 방법을 선택할 것인가? 귀납적inductive vs. 연역적deductive 하향식top-down vs. 상향식bottom-up 수치적numerical vs. 해석적analytical 분산화distributed vs. 병렬화parallel 21
  • 22. 전문가 토크 릴레이, 2012 빅 데이터 induction 기계 학습 Black Box Test-data (learning machine) Training data Model Model Prediction • Support vector machines • Inductive logic programming • Clustering • Decision tree learning • Bayesian networks • Association rule learning • Reinforcement learning • Artificial neural networks • Representation learning • Genetic programming • Sparse Dictionary Learning 22
  • 23. 전문가 토크 릴레이, 2012 IBM 왓슨 Deep QA 시스템 23
  • 24. 전문가 토크 릴레이, 2012 비정형 빅 데이터 기계 학습 24
  • 25. 전문가 토크 릴레이, 2012 Watson의 Deep QA 프로세스 One Jeopardy! question can take 2 hours on a single 2.6Ghz Core 2880-Core IBM Power750’s using UIMA-AS, Watson is answering in 2-6 seconds. 25
  • 26. 전문가 토크 릴레이, 2012 빅 데이터 deduction 울프람|알파 매스매티카 7과 수퍼컴퓨터 클러스터에 기반한 자연언어 질의 응답 시스템 • 다양한 소스에서 수집된 10조 개의 통합 데이터와 50,000 이상의 알고르즘과 모델 • 데이터 큐레이션 : 방법론, 프로세스, 도구에 기반한 사람이 직접 데이터 정제, 통합 • 1000개 이상의 도메인에 대한 데이터 큐레이션을 통해 50~100개의 도메인 모델로 축약 • 온톨로지를 통해 메타 모델 구성 : Hierarchical knowledge (entity classes, attributes) 26
  • 27. 전문가 토크 릴레이, 2012 모바일 데이터 deduction 애플 Siri 27
  • 28. 전문가 토크 릴레이, 2012 스트림 데이터 하이브리드 분석 BOTTARI : Winner of Semantic Web Challenges 28
  • 29. 전문가 토크 릴레이, 2012 빅 데이터 분석 플랫폼 요구사항 1. 다양한 유형의 데이터 수집, 통합/융합 용이 2. 기존 데이터 소스(레거시, LOD)와의 쉬운 연동성 3. 데이터 품질 관리, 통제 가능성 (governance) 4. 데이터 선택과 테스트의 용이성 (query&selection) 5. 스트림 데이터에 대한 실시간 처리성 6. 다양한 분석 모듈의 결합 사용 가능성 7. 분석 모델링, 평가 전용 도구의 제공 8. 손쉽고, 유연한 분석 프로세스 모델링 (script) 9. 분석 과정에 데이터/모델/프로세스 변경 허용 (+ agile) 10. 분석 데이터, 모델, 프로세스의 재활용성 11. Open API제공과 응용 서비스 구현 용이 12. 쉽고 저렴한 확장성 (easy scale-out) 13. 동시에 여러 사람이 분석 작업에 참여 가능해야 함 14. 편리한 사용자 인터렉션을 통한 분석 과정/결과 이해 15. 그리고 또 기타 등등 - 웁스 T_T 29
  • 30. 전문가 토크 릴레이, 2012 빅 데이터 분석 플랫폼 개념 : TrueStory 사례 빅 데이터 분석 플랫폼 심층 분석 서비스 기대 효과 분석 서비스 응용 및 시각화 실시간 마케팅 소셜 데이터 최적화 사회, 시장 트랜드 분석 분석 워크플로우 시스템 기업 데이터 경쟁 전략 고객, 시민 목소리 분석 최적화 분석 서비스 컴포넌트 금융 데이터 트랜드, 분류, 군집, 사회망, 인물, 감성 제품, 서비스 평판 분석 동적 비용 최적화 통신 데이터 분석 기술 인프라 자연어처리, 기계학습, 통계, 시맨틱/추론 경쟁자 모니터링, 분석 신 사업, 안보 데이터 정책 발굴 데이터 수집/통합/관리 인프라 사업 리스크 감지, 분석 의료 데이터 위험 조기 감지 분산, 병렬처리 인프라 부정 사용자, 비리 감지 사전 대응 하둡, NoSQL(HBASE, mongoDB, …) 생산 데이터 생산 시스템 모니터링 생산 시스템 최적화 클라우드 컴퓨팅 인프라 30
  • 31. 전문가 토크 릴레이, 2012 Case-Study : ziny.us 똑똑한 소셜 매거진 “지니어스” 빅 데이터와 인공지능 기반의 스마트 미디어 31
  • 32. 전문가 토크 릴레이, 2012 iPhone : Reinvention of Phone iPhone : Reinvention of Phone ziny.us : Reinvention of Social Media 퍼블리싱 지니어스 관심기반 인공지능 IBM Watson 32
  • 33. 전문가 토크 릴레이, 2012 The Three Happiness 보는 즐거움 모으는 즐거움 나누는 즐거움 33
  • 34. Smart Curation? 전문가 토크 릴레이, 2012 Search & Discover Filter & Organize Publish & Share Feeding, Hybrid Classification, Auto-Publishing, Crawling, Automatic Clustering Personalization Wrapping, Open API HTML5, Learning App, PDF Machine Learning, Recommendation Digital Magazine Bookmarklet, Facebook/Twitter File upload, Mail Sharing Clip/Re-Clip, Camera Real-time Chatting Love/Comment 34
  • 35. 35 Bookmarklet ziny.us 플랫폼 Web Enabler ziny.us Web <O2> 인프라 Vertical Apps 지니어스 서비스 플랫폼 Platform Cross- Tools ziny.us Smart Phone ziny.us iPad Mobile Agents Z-Cloud Desktop Agents Platform Web Enabler Bookmarklet ziny.us 플랫폼 <O2> 인프라 ziny.us Web ziny.us iPad 전문가 토크 릴레이, 2012
  • 36. 전문가 토크 릴레이, 2012 소셜 데이터 수집 <O2>사례 • 클라우드에 기반한 대용량 분산/병렬처리, 1일 500만건 수집 • 클라우드 스토리지에 데이터 저장과 실시간 인덱싱 수행 •450 Cores, 1.5TB Ram, 200TB HDD •원시 소셜 데이터 : 총 5억 건, 2.5TB •수집 속도 : 500만 건 / 일 •수집 방식 : Hybrid Model (크롤링 + Open API + Agent) •저장 구조 : 클라우드(NoSQL+DFS), 데이터 3중화 1일 수집, 인덱싱 로그 수집 데이터 구성 미투 뉴스 데이 1% 18% 트위터 57% 블로그 24% 36
  • 37. 전문가 토크 릴레이, 2012 소셜 데이터의 분류 <O2>사례 • SVM 기반 학습 모델과 VSM 기반의 규칙 모델 통합 • 대규모 실시간 소셜 아티클 분류를 위해 병렬, 분산처리 소셜 데이터 아티클7 아티클20 아티클51 아티클1 학습기반 분류 (SVM) 실시간 병렬, 분산처리 규칙기반 분류 (VSM+RULE) 피드백 학습 … A 분류체계 B 분류체계 C 분류체계 37
  • 38. 전문가 토크 릴레이, 2012 소셜 토픽의 추출 <O2>사례 • Google PageRank 개념이 적용된 TextRank를 발전, 소셜 토픽을 추출 • Social co-occurrence 분석 통해 특성 벡터의 품질 향상과 실시간 처리 • Graph system G = (V, E)에 대해 각 vertex Vi의 중요도 S(vi)를 정의, • Social Topic간 Co-occurrence 거리를 Weigh w로 할 때, 중요도 WS(Vi) 정의, 38
  • 39. 전문가 토크 릴레이, 2012 소셜 이슈 학습 <O2>사례 • 소셜 아티클의 실시간 군집을 통한 사회적 이슈 도출 • 주제별 사회적 관심 트랜드 분석과 예측, 추론 𝑊𝑔 Wfunc : Skewed Distrib. Social Article Retrieval = 𝐷𝐹 + 𝑊𝑆 + 𝑀𝑒𝑎𝑛 𝑇𝐹 ∗ 𝑊𝐹𝑢𝑐(𝐷𝐹) Global Features Selection Hierarchical Word clustering Article clustering (cosine similarity) Cluster Labeling Clusters Ranking/Grouping 39
  • 40. 전문가 토크 릴레이, 2012 분석은 결과가 아니라 과정 • 분석은 일련의 복잡한 절차 : Workflow 체계 중요 • 분석가들과 기계의 협력 중요 : 분석 과정 중 전략 변경 40
  • 41. 전문가 토크 릴레이, 2012 Applications Working on Big Data 41
  • 42. 전문가 토크 릴레이, 2012 빅 데이터 분석 응용 사례 실시간성 금융, 통신 부정 사용 감지 1s 모바일 서비스 개인화 1m 도시 관제, 재난 대응 의료, 헬스케어 서비스 1h 소셜 미디어 분석 (트랜드, 감성, 이슈 분석 외) 고객, 시민 목소리 (VOC) 분석 1d 국방, 보안 관제 / eDiscovery 기술, 학술 1w 공공 정책 발굴, 관리 정보 분석 비정형성 정형 반정형 비정형 42
  • 43. 전문가 토크 릴레이, 2012 빅 데이터 분석 응용 사례 도시 관제 공공 데이터 질병 예방 범죄 예방 국방, 안보 국가 정책 최적화 의료 정책 분석 복지 서비스 금융 사고 방지 고객 목소리 분석 서비스 개인화 기업 위험 관리 사회 이슈 분석 e-Discovery 마케팅 최적화 사업 전략 최적화 기업 평판 분석 기업 데이터 소셜 데이터 43
  • 44. 전문가 토크 릴레이, 2012 금융 빅 데이터 분석 “일반적인 금융 서비스 회사를 기준으로, 2006년에 순수익 100만 달러 당 초당 129만 개의 명령어 처리가 필요했는데, 2010년 말이 되자, 179만개 명령어로 38% 증가했고, 물리적 서버는 46% 증가했다. 같은 기간 동안 순수익은 훨씬 저조한 증가세(19% 미만) 를 보였다. 컴퓨팅 파워의 니즈는 수익보다 2~5배 더 빠르게 성장하는 경향이 있다.” (Wall Street & Technology, Howard Rubin) 44
  • 45. 전문가 토크 릴레이, 2012 금융 빅 데이터 분석 “금융 서비스 기관들의 운용 비용 중 92%가 데이터 처리를 위해 사용”  실시간 투자 수익성 분석/전망 및 최적화 포트폴리오 관리 및 최적화, 다단계 투자 운용  금융, 보험, 신용 부정 사용자 실시간 발견 카드 부정 사용자, 보험 사기 조기 및 실시간 발견  실시간 고객 목소리 이해 콜센터 서비스 최적화, 서비스 경쟁력/경영전략 최적화  수익성 높은 고객의 유치,확보 효과적 제품 가격 책정, 이탈 징후 조기 감지, 고객 상호작용 강화  시장, 신용, 유동성 리스크 관리 개선 소매 가계 대출 리스크 완화, 유동성 리스크 평가/경쟁력 확보  소셜 미디어 활용, 의사결정 질 개선 경쟁 은행 제압, 실시간 평판 분석, 캠페인 최적화 45
  • 46. 전문가 토크 릴레이, 2012 Real-time and historic Transaction Cost Analysis (OneTick Data) Counterparty Risk Management (CEP Data) Detect Trader Fraud (w/ CEP engine) Income Risk Analysis (CEP data) 46
  • 47. 전문가 토크 릴레이, 2012 Market Risk Analysis Portfolio Performance Analysis North See Oil Production Analysis (Trading in Future) 47 Fund of Funds Analysis
  • 48. 전문가 토크 릴레이, 2012 정부 빅 데이터 활용 : data.gov http://www.data.gov/ http://data.gov.uk/ 48
  • 49. 전문가 토크 릴레이, 2012 공공 빅 데이터 활용 : 해외 주요 사례들  미국 국세청, 탈세 방지 시스템 통한 국가 재정 강화 빅데이터 기반 통합형 탈세, 정부사기 방지 시스템을 통해 연 3,450억 달러 절감  일본, 센서데이터를 활용한 지능형 교통안내 시스템 노무라 연구소가 시행한 실시간 최적 경로 안내와 에너지 절감 시스템  미국 국립보건원, 유전자 데이터 공유를 통한 질병치료 1700명의 유전자 정보를 아마존을 통해 개방, 질병 진단과 예측 연구비 절감  보험회사, 웰포인트의 효율적 환자 치료 대응 IBM 왓슨 도입을 통해, 환자에게 적절한 정보와 최신 치료법을 제시  싱가포르, 국가위험관리시스템을 통한 국가안전관리 빅데이터 기반의 테러, 재난, 전염병 등의 위험을 관리하는 RAHS 운영  샌프란시스코, 범죄 예방 시스템으로 안전 지역사회 구축 8년간 범죄 데이터 분석을 통한, 범죄 발생 예측 시스템 운영 (71% 정확도) 49
  • 50. 전문가 토크 릴레이, 2012 통신 빅 데이터 : 개인화, 맞춤 추천 50
  • 51. 전문가 토크 릴레이, 2012 하이브리드 시맨틱 분석 기술 적용 51
  • 52. 전문가 토크 릴레이, 2012 기업 빅 데이터 : e-Discovery & Compliance 52
  • 53. 전문가 토크 릴레이, 2012 고객 빅 데이터 : 고객 목소리 분석(VOC) 53
  • 54. 전문가 토크 릴레이, 2012 기술 빅 데이터 : 트랜드 센싱 54
  • 55. 전문가 토크 릴레이, 2012 학술 빅 데이터 : 전문가 추천 55
  • 56. 전문가 토크 릴레이, 2012 소셜 빅 데이터 : 트랜드, 평판 분석 TrueStory.co.kr 56
  • 57. 전문가 토크 릴레이, 2012 스마트 시티 빅 데이터 : 매설물 관리 Sensor Monitoring Leakage Detection Discover Leakage Area Infer Leakage Pipe Link Automatic Alert Recom. Detour Path 57
  • 58. 전문가 토크 릴레이, 2012 스마트 시티 빅 데이터 : 교통 최적화 • 이탈리아 밀라노에 대한 솔트룩스와 독일 지맨스의 협력 프로젝트 • 교통 센서 네트워크 기반, 교통 흐름 예측과 최적 경로 추천 (2시간, 90%) • 스트림 데이터에 대해, 온톨로지와 기계학습(ML) 기술을 결합 Milano City Sensor Map  Traffic data from Milano (Italy)  Data ranging from Mar. 07 to July 09  5 min. sampling rate for flow & speed  Traffic flow & speed from  209 sensors that are able to classify vehicles, and  757 non classifying sensors  Weather data provided from http://www.ilmeteo.it  1 hour sampling rate for weather data Sensors – Crossroads – Street Categories (multi-colored) 58
  • 59. 전문가 토크 릴레이, 2012 국방/안보 빅 데이터 : 정보 분석 59 59
  • 60. 전문가 토크 릴레이, 2012 국가 안보와 소셜 네트워크 분석 60
  • 61. 전문가 토크 릴레이, 2012 빅 데이터 9 미신 전설 속의 빅 데이터 구미호 61
  • 62. 전문가 토크 릴레이, 2012 미신 #1 “빅 데이터는 규모가 정말 큰 데이터 를 말한다.” 진실 #1 “빅 데이터는 처리의 난이도가 정말 큰 데이터를 말한다” “4V := Volume, Velocity, Variety + Value” 62
  • 63. 전문가 토크 릴레이, 2012 미신 #2 “더 큰 데이터에서 더 큰 인사이트를 얻을 수 있다” 진실 #2 “여전히 의미 있는 데이터를 잘 선택하는 것이 더 중요하다” “No Garbage-in, Gold-out” - At least goldstone-in 63
  • 64. 전문가 토크 릴레이, 2012 미신 #3 “빅 데이터 분석은 소셜 데이터(SNS) 분석을 말한다” 진실 #3 “소셜 데이터는 빅 데이터 소스 중 일부일 뿐이다” “It is not enough to understand the World” 64
  • 65. 전문가 토크 릴레이, 2012 미신 #4 “빅 데이터 분석의 핵심은 미래 예측 에 있다” 진실 #4 “현 상황의 올바른 이해와 최적화가 핵심이다” “The best way to predict the future is to create it” 65
  • 66. 전문가 토크 릴레이, 2012 미신 #5 “성공적 빅 데이터 분석은 신기술 이해 와 적용에서 시작된다” 진실 #5 “명확한 목표 설정과 사람 중심의 기계와 협업이 성공을 좌우한다” “People People People under the Clear Vision" 66
  • 67. 전문가 토크 릴레이, 2012 미신 #6 “빅 데이터 처리는 하둡(Hadoop)의 사용이 필수적이다” 진실 #6 “하둡은 필요 시 사용되는 도구가 될 것이다” “Do not use a hammer to crack a nut" 67
  • 68. 전문가 토크 릴레이, 2012 미신 #7 “빅 데이터 기술은 거대 IT 시장을 만들어 줄 것이다” 진실 #7 “빅 데이터 가치를 서비스로 연결한 소수만 승리할 것이다” “It’s not Buzz, but be careful“ - you wouldn’t be. 68
  • 69. 전문가 토크 릴레이, 2012 미신 #8 “빅 데이터 사업은 기존 BI 사업이 확장, 발전된 것이다” 진실 #8 “BI는 응용 중 하나, 스트림, 그래프, 비정형 빅 데이터 분석 등, 새 가치를 추구한다” “It’s Not a Old Wine in New Bottle!“ 69
  • 70. 전문가 토크 릴레이, 2012 미신 #9 “빅 데이터 분석은 분석 전문가와 경영자를 위한 것이다” 진실 #9 “빅 데이터 가치 평가와 최종 수혜자는 일반인이다” “Invisible and Calm Big Data Analytics“ 70
  • 71. 전문가 토크 릴레이, 2012 Big Future? when BigData met AI 71
  • 73. 전문가 토크 릴레이, 2012 Intuition and Insight Cost and Productivity Enemy or Friend? • Logics • Emotion • Big data proc. • Rational • Creativity • Routine tasks How they could Collaborate?
  • 74. 전문가 토크 릴레이, 2012 맺음말 “유일한 성공 방법은, 미래를 예측하는 것이 아니라 이미 시작된 변화를 이해, 그 시간차를 이용하는 것!" 74