SlideShare ist ein Scribd-Unternehmen logo
1 von 86
Downloaden Sie, um offline zu lesen
ESSING
                                                        支
                                                        付
            MPLEX EVENT PROCE


                                                进行系统
                                     避免发生       动态校验    宝
                                     资金损失

                                                        技
                                                        术
                                                        部
                                                正确预测
Tail Last COM




                                      察觉威胁
                                                股票涨跌
                                      消除隐患
                                                        蔡
                                                        学
      a




                                                        镛
                                        发现老公   了解总督系统
                                        可能外遇    独到之处
其实你每天都在做CEP
只是你不知道而已
只是你不知道而已…
这就是人肉CEP




感知
 知         判断   行动
人肉CEP的三个示例
基础事件1:皮肤感觉温度下降
基础事件2:鼻子感觉湿气很重
基础事件3:耳朵听到远方雷声
基础事件4
基础事件4:眼睛看到乌云、闪电
复合事件:即将下雨
因应之道:把衣服收到屋內
因应之道:出门要带伞
基础事件1
基础事件1:看到员工经常有一堆事没做完
基础事件2
基础事件2:看到员工经常上班时偷菜
复合事件:
复合事件:该员工不适任
 因应之道:FIRE他
 因应之道:FIRE他
基础事件:老公老说要加班
   哪有公司这么常加班的?

基础事件:我感觉他在外面洗过澡
  还说没有,明明就有肥皂味!

基础事件:衣服上沾粘长头发
   我的头发可没这么长!

  基础事件:对我性趣缺缺
   我都打扮成兽兽了耶!
复合事件:老公有外遇



         他包二奶
         他包 奶
         了啦!
提醒: 急著下毒手,
提醒:别急著下毒手,误报警率可能很高
因应之道:
因应之道:雇用「捉猴」侦探跟踪他
看了这么多比喻
应该能体会CEP了吧!
应该能体会
事件捕获       事件
           事件分析   事件
                  事件因应


困      困          困
难      难          难
度      度          度
其实你每天都能做CEP
只是你不知道而已
只是你不知道而已…
这是一个IT事件爆发的时代
ERP        Oracle     SCM     RFID
         每个系统都会产生大量的事件

               Cloud
  CRM                    IBM    E‐Mail
             Computing



PeopleSoft
   p            IM       B2B   Microsoft




  Web          BAM       B2C     SAP
但我们一股脑儿把事件全扔了!
事件盲(Event‐Blind):对事件视而不见
承认吧!现况就是如此!
我发誓要改
变现状,开
始重视复合
 事件。




         简单!参加
        总督CEP系统
        总督   系统
        的监控就行了!
总督
总督CEP:减少延迟,增加价值
      减少延迟 增 价值

          每一段延迟都
          每 段延迟都
潜         会造成业务价
在         值的急遽下降。
          值的急遽下降
的         总督CEP可帮你
业         减少延迟,增
          减少延迟 增
务          加价值!
价
值



              时间
CEP应用领域
商业活动监控          群众智能

         业界
         应用




网络攻击     犯罪预防   系统动态校验
支付宝使用CEP
 支付宝使用CEP
对外,防止犯罪
网络诈欺、网络攻击、洗钱防治


对内外:防止资损
银行、商户、用户错帐;内部错帐


对内:业务状况监控
趋势因应、营销决策、风险规避
趋势 应 营销决策  险规避
商业CEP产品
商业CEP产品


          Coral8
难得有微软没做的领域?


微软即将推出StreamInsight
      StreamInsight
CEP关键技术
CEP   • St
         Streaming
               i
关键字       – 连续不间断
          – 实时处理
       • B
         Base
          – 资料量大
          – 数据库
       • Insight
         – 有用的信息
         – 智能
CEP关键过程
           关键过程




格式化   预处理   模式侦测   事件发派   报警
CEP关键模块
3           4           1
    事件接入        预处理          EPL
     模块          模块         解析器


6           5           2
    数据模型        CEP规则       规则管理
     模块           引擎         模块



            7           8
                事件发派
                            行动模块
                 模块
CEP辅助工具
            辅助 具




规则制作工具   报表输出工具    实时仪表板
EPL解析器
           析器

事件接入    预处理      EPL
 模块      模块     解析器



数据模型    CEP规则   规则管理
 模块       引擎     模块



        事件发派
                行动模块
         模块
EPL(事件处理语言)
           事件处 语言
    理論上:

 EPL        EPL      内部
 规则        解析器       规则


    实际上:
    实际上

                   SQL/LINQ
            EPL
CEP-EPL           命令、函数、
           解析器         gg
                    Trigger
市面
市面上CEP-EPL大都是扩展自SQL
          大都是扩展自
                 CEP
      SQL

      SELECT
        FROM     CEP-
                 CEP-EPL
       WHERE
     GROUP BY     RETAIN
      HAVING     MATCHING
     ORDER BY     OUTPUT
   INSERT INTO       …
          …
无误报警
无误报警,但漏网之鱼很多…
      漏网  很多
有误报警
有误报警,但无漏网之鱼
      无漏网
有误报警 漏网
有误报警,漏网之鱼很少
         很少
无误报警 无漏网
无误报警,无漏网之鱼… YA!
预处 模块
       预处理模块

事件接入    预处理      EPL
 模块      模块     解析器



数据模型    CEP规则   规则管理
 模块       引擎     模块



        事件发派
                行动模块
         模块
预处 模块采管线架构设计
预处理模块采管线架构设计
    字段过滤

    字段填入

    事件过滤

    事件分流

    事件合流
好处是 前后随你接
  好处是…前后随你接



       字段填入
事件分流
        事件过滤
引擎与数据模型
        擎与数据模

事件接入     预处理      EPL
 模块       模块     解析器



数据模型     CEP规则   规则管理
 模块        引擎     模块



         事件发派
                 行动模块
          模块
事件流会先被放进数据库表中
 输入事件    输出事件
扫描比对
输入事件          输出事件
扫描比对
输入事件          输出事件
把输出 输
  把输出当输入
输入事件   输出事件
把输出 输
   把输出当输入
输入事件    输出事件
继续扫描
输入事件          输出事件
也可以多个表输入,一个表输出
 可以多个表输   个表输出

A   B    C




    D




    E
复合事件的阶级
规则分 成
规则分解成上下游许多片段规则
       游许多片段规则

   片段规则
     1

          片段规则
            2

                 片段规则
                   3

有些CEP允
有些   允                  片段规则
许事件逆流                     4
  而上
扫描方式 滑动与跳跃
      扫描方式:滑动与跳跃


滑动式
 扫描




跳跃式
 扫描
扫描 间 定量与定时
   扫描区间:定量与定时


定量区间



       1000个事件



定时区间



       1分钟
Input
                  IBM Amit CEP Architecture




                                                                              put
                                                                           Outp
             Input                   Definition Mgr          Action
              Mgr                                             Mgr
         Input
                                                                 Plug‐in
        Adapter
         Input                        Routing Mgr                Plug‐in
        Adapter



                                                             Output
                                                             O t t
                                                              Mgr
                  Context and Model Based Rule Engine
                                                                Listener


                                                                Listener
User                            Recovery       Persistence
 DB                                DB              DB
孔宣大人



        【小品】
         小品】
       哥做的不是后督
         是总督
我是
正牌总督




         我是孔宣
       (支付宝工程师)
升堂




        威武 . . .


传犯人孔宣
本府为朝廷任命之
正牌总督,但最近
本府听说你自封为
总督,你可知罪?


           冤枉呀 总督大人。小的是负
           冤枉呀!总督大人。小的是负
           责软件开发的,原本要开发一
           套后督系统,以进行资损的监
           控,但因为此系统功能相当弹
           控 但 为 系统功能相当弹
           性而强大,可以督的事情不只
           资金的部份,所以小的随口将
           资金的部份 所以小的随口将
           「后督」改名为「总督」罢了
哦!是这样嘛?那
这套总督系统可以
 做那些事呢?




           基本上,BI(商业智能)、
           BAM(商业活动监控)、系
            统监控、网络攻击侦测、
           洗钱预防 … 等任务 大部
                   等任务,大部
            分「总督系统」都能做到!
这么强大?不会只是
  宣传噱头吧?




                冤枉呀!大人。
            总督系统通过状态机引擎运行监
            控规则,只要编写各式各样的总
            督规则,就可做各种不同的监控。
            而这总督规则就是程序,可以做
            任何的事,任何数学计算与逻辑
            任何的事 任何数学计算与逻辑
               运算都难不倒它。
这么强大,给本府一
   套玩玩。



            大人你有所不知,因为小的编程能
             力有限,所以系统现在还有很多
            BUG,不太稳定。加上人力短缺,
            BUG 不太稳定 加上人力短缺
            开发进度一直快不起来,估计最快
             还要两三季才能完善整个系统。
             还要两三季才能完善整个系统


大胆刁民,藉口这么
大胆刁民 藉口这么
多,来人呀!拖出去
   斩了!
后督   EDA   数据库CEP
           数据库      状态机CEP
                    状态机      总督
Viceroy
支付宝   总督系统
总督采用不同于其他CEP系统的设计



  他牌CEP   支付宝总督



 数据库引擎    状态机引擎
他牌CEP:笨重、庞大、僵化
1. 他牌CEP无法(或难以)
   描述相当复杂的复合事件。
   描述相当复杂的复合事件

2.
2 他牌CEP事件格式受到数据库表
   schema的限制,无法自由扩展。

3. 他牌CEP需要大量的存储。
总督CEP:轻巧、敏捷、灵活
总督CEP状态机的好处
                            S3 交易进行中
        S2             S4    S5             S6
                                       T2
  S1    等待        R1         等待付款
             T1
        创建
        交易             S7    S8             S9
                  R2                   T3
                              等待送货
                                                 S10
事件不放
数据库,
数据库          状态机相当                只需记录当
所以格式         灵活,描述                前状态,相
不受限制。        能力很强。
             能力很强                 当节省存储。
                                  当节省存储
总督支持两种模式

模式          反模式
CEP系统的三大难题
海量事件,处理压力太大
海量事件 处理压力太大




        返乡人口众多,
        请耐心等待!
网络或系统延迟,事件乱序
 网络或系统延迟 事件乱序




遵守交通次序,
 请勿超车!
存在误报警的可能


      小心误触警铃,
      小心 触警铃
      严格求证真相!
CEP的未来令人期待
CEP的未来令人期待…
2010年的CEP
2010年的CEP
若干年后…
若干年后…
深入浅出复合事件处理(CEP)

Weitere ähnliche Inhalte

Andere mochten auch

产品设计与用户体验(据说是马化腾用来做培训的PPT)
产品设计与用户体验(据说是马化腾用来做培训的PPT)产品设计与用户体验(据说是马化腾用来做培训的PPT)
产品设计与用户体验(据说是马化腾用来做培训的PPT)Dahui Feng
 
Oracle Security 101
Oracle Security 101Oracle Security 101
Oracle Security 101Dahui Feng
 
Html5@taobao
Html5@taobaoHtml5@taobao
Html5@taobaojay li
 
The Rules of Scalable database
The Rules of Scalable databaseThe Rules of Scalable database
The Rules of Scalable databaseDahui Feng
 
垂直互联网站点的技术改造
垂直互联网站点的技术改造垂直互联网站点的技术改造
垂直互联网站点的技术改造Dahui Feng
 
Building the Internet of Things with open source and Eclipse IoT projects (Be...
Building the Internet of Things with open source and Eclipse IoT projects (Be...Building the Internet of Things with open source and Eclipse IoT projects (Be...
Building the Internet of Things with open source and Eclipse IoT projects (Be...AGILE IoT
 
Open Source IoT at Eclipse
Open Source IoT at EclipseOpen Source IoT at Eclipse
Open Source IoT at EclipseIan Skerrett
 

Andere mochten auch (9)

产品设计与用户体验(据说是马化腾用来做培训的PPT)
产品设计与用户体验(据说是马化腾用来做培训的PPT)产品设计与用户体验(据说是马化腾用来做培训的PPT)
产品设计与用户体验(据说是马化腾用来做培训的PPT)
 
Oracle Security 101
Oracle Security 101Oracle Security 101
Oracle Security 101
 
Html5@taobao
Html5@taobaoHtml5@taobao
Html5@taobao
 
The Rules of Scalable database
The Rules of Scalable databaseThe Rules of Scalable database
The Rules of Scalable database
 
垂直互联网站点的技术改造
垂直互联网站点的技术改造垂直互联网站点的技术改造
垂直互联网站点的技术改造
 
Building the Internet of Things with open source and Eclipse IoT projects (Be...
Building the Internet of Things with open source and Eclipse IoT projects (Be...Building the Internet of Things with open source and Eclipse IoT projects (Be...
Building the Internet of Things with open source and Eclipse IoT projects (Be...
 
Esper - CEP Engine
Esper - CEP EngineEsper - CEP Engine
Esper - CEP Engine
 
Open Source IoT at Eclipse
Open Source IoT at EclipseOpen Source IoT at Eclipse
Open Source IoT at Eclipse
 
How Google Works
How Google WorksHow Google Works
How Google Works
 

Ähnlich wie 深入浅出复合事件处理(CEP)

蔡学镛 - 深入浅出符合事件处理
蔡学镛 - 深入浅出符合事件处理蔡学镛 - 深入浅出符合事件处理
蔡学镛 - 深入浅出符合事件处理d0nn9n
 
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计mysqlops
 
基于Erlang的
基于Erlang的基于Erlang的
基于Erlang的hnoutman
 
Practices of equipment communication v1.0
Practices of equipment communication v1.0Practices of equipment communication v1.0
Practices of equipment communication v1.0yaohung
 
赛诺朗基全局事件管理
赛诺朗基全局事件管理赛诺朗基全局事件管理
赛诺朗基全局事件管理Mktg
 
基于Ht rca缺陷分析的测试改进-china test-张玲玲
基于Ht rca缺陷分析的测试改进-china test-张玲玲基于Ht rca缺陷分析的测试改进-china test-张玲玲
基于Ht rca缺陷分析的测试改进-china test-张玲玲drewz lin
 
软件工程
软件工程软件工程
软件工程bill0077
 
03 -黄朝兴--腾讯游戏
03 -黄朝兴--腾讯游戏03 -黄朝兴--腾讯游戏
03 -黄朝兴--腾讯游戏勇浩 赖
 
微信201204
微信201204微信201204
微信201204drewz lin
 
微信之道201204
微信之道201204微信之道201204
微信之道201204shaomeng shi
 
分会场二赛门铁克灾备系统项目经验分享
分会场二赛门铁克灾备系统项目经验分享分会场二赛门铁克灾备系统项目经验分享
分会场二赛门铁克灾备系统项目经验分享ITband
 
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路mysqlops
 
阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台guiyingshenxia
 
集群运维管理平台
集群运维管理平台集群运维管理平台
集群运维管理平台mysqlops
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研zijingyeshao
 
搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流bj
 
搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流jondynet
 
Erlang Optimize
Erlang OptimizeErlang Optimize
Erlang OptimizeFeng Yu
 

Ähnlich wie 深入浅出复合事件处理(CEP) (20)

蔡学镛 - 深入浅出符合事件处理
蔡学镛 - 深入浅出符合事件处理蔡学镛 - 深入浅出符合事件处理
蔡学镛 - 深入浅出符合事件处理
 
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计
 
基于Erlang的
基于Erlang的基于Erlang的
基于Erlang的
 
Practices of equipment communication v1.0
Practices of equipment communication v1.0Practices of equipment communication v1.0
Practices of equipment communication v1.0
 
赛诺朗基全局事件管理
赛诺朗基全局事件管理赛诺朗基全局事件管理
赛诺朗基全局事件管理
 
基于Ht rca缺陷分析的测试改进-china test-张玲玲
基于Ht rca缺陷分析的测试改进-china test-张玲玲基于Ht rca缺陷分析的测试改进-china test-张玲玲
基于Ht rca缺陷分析的测试改进-china test-张玲玲
 
软件工程
软件工程软件工程
软件工程
 
03 -黄朝兴--腾讯游戏
03 -黄朝兴--腾讯游戏03 -黄朝兴--腾讯游戏
03 -黄朝兴--腾讯游戏
 
Erlang and HTML5
Erlang and HTML5Erlang and HTML5
Erlang and HTML5
 
Cdc@ganji.com
Cdc@ganji.comCdc@ganji.com
Cdc@ganji.com
 
微信201204
微信201204微信201204
微信201204
 
微信之道201204
微信之道201204微信之道201204
微信之道201204
 
分会场二赛门铁克灾备系统项目经验分享
分会场二赛门铁克灾备系统项目经验分享分会场二赛门铁克灾备系统项目经验分享
分会场二赛门铁克灾备系统项目经验分享
 
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
 
阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台阿里云 张旭 集群运维管理平台
阿里云 张旭 集群运维管理平台
 
集群运维管理平台
集群运维管理平台集群运维管理平台
集群运维管理平台
 
分布式索引系统调研
分布式索引系统调研分布式索引系统调研
分布式索引系统调研
 
搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流
 
搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流搜狐Pv insight(py)技术交流
搜狐Pv insight(py)技术交流
 
Erlang Optimize
Erlang OptimizeErlang Optimize
Erlang Optimize
 

Mehr von Dahui Feng

垂直社区的产品改造
垂直社区的产品改造垂直社区的产品改造
垂直社区的产品改造Dahui Feng
 
丁香园用药助手产品经验 「极客公园创新大会」版
丁香园用药助手产品经验 「极客公园创新大会」版丁香园用药助手产品经验 「极客公园创新大会」版
丁香园用药助手产品经验 「极客公园创新大会」版Dahui Feng
 
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统Dahui Feng
 
据说是新浪内部对腾讯公司的深度解析
据说是新浪内部对腾讯公司的深度解析据说是新浪内部对腾讯公司的深度解析
据说是新浪内部对腾讯公司的深度解析Dahui Feng
 
Linux必备知识与Unix基础文化
Linux必备知识与Unix基础文化Linux必备知识与Unix基础文化
Linux必备知识与Unix基础文化Dahui Feng
 
Database And User Experience for Web Apps
Database And User Experience for Web AppsDatabase And User Experience for Web Apps
Database And User Experience for Web AppsDahui Feng
 
Wind Computing
Wind ComputingWind Computing
Wind ComputingDahui Feng
 
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)Dahui Feng
 
面向生产环境的SOA系统设计 by 程立
面向生产环境的SOA系统设计 by 程立面向生产环境的SOA系统设计 by 程立
面向生产环境的SOA系统设计 by 程立Dahui Feng
 
手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享Dahui Feng
 
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)Dahui Feng
 
可扩展的 MySQL 数据库设计
可扩展的 MySQL 数据库设计可扩展的 MySQL 数据库设计
可扩展的 MySQL 数据库设计Dahui Feng
 
可扩展网站架构(for 网志年会)
可扩展网站架构(for 网志年会)可扩展网站架构(for 网志年会)
可扩展网站架构(for 网志年会)Dahui Feng
 

Mehr von Dahui Feng (13)

垂直社区的产品改造
垂直社区的产品改造垂直社区的产品改造
垂直社区的产品改造
 
丁香园用药助手产品经验 「极客公园创新大会」版
丁香园用药助手产品经验 「极客公园创新大会」版丁香园用药助手产品经验 「极客公园创新大会」版
丁香园用药助手产品经验 「极客公园创新大会」版
 
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
Yupoo! (花瓣网/又拍云) 架构中的消息与任务系统
 
据说是新浪内部对腾讯公司的深度解析
据说是新浪内部对腾讯公司的深度解析据说是新浪内部对腾讯公司的深度解析
据说是新浪内部对腾讯公司的深度解析
 
Linux必备知识与Unix基础文化
Linux必备知识与Unix基础文化Linux必备知识与Unix基础文化
Linux必备知识与Unix基础文化
 
Database And User Experience for Web Apps
Database And User Experience for Web AppsDatabase And User Experience for Web Apps
Database And User Experience for Web Apps
 
Wind Computing
Wind ComputingWind Computing
Wind Computing
 
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)
尼古丁加咖啡因,不瞌睡的简报設計模式 (Caffeine+Nicotine)
 
面向生产环境的SOA系统设计 by 程立
面向生产环境的SOA系统设计 by 程立面向生产环境的SOA系统设计 by 程立
面向生产环境的SOA系统设计 by 程立
 
手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享手机之家新系统介绍及架构分享
手机之家新系统介绍及架构分享
 
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)
大规模SOA系统中的分布事务处理 (DTP By Alipay Cheng Li)
 
可扩展的 MySQL 数据库设计
可扩展的 MySQL 数据库设计可扩展的 MySQL 数据库设计
可扩展的 MySQL 数据库设计
 
可扩展网站架构(for 网志年会)
可扩展网站架构(for 网志年会)可扩展网站架构(for 网志年会)
可扩展网站架构(for 网志年会)
 

深入浅出复合事件处理(CEP)