1 © Copyright 2015 Pivotal. All rights reserved. DAMS—中国数据资产管理峰会 www.dams.org.cn

Patrick Liu Pivotal GC GM

用互联网思维攻克企业级大数据市场

2 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Agenda

互联网思维的驱动力

数据驱动企业之路

ODP & Open Source

典型案例介绍

为什么Pivotal是您值得信赖的伙伴

3 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Overall

4 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

2013:PIVOTAL正式成立

基于企业需要在新的时代，在互联网时代做出与众不同的商业模式与实践

下得假设

5 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn 5 Pivotal Confidential–Internal Use Only

大数据的理解...

6 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

单纯的数据与平台没有意义，只有当相关的数据结合到客户需求以及企业业务目标的模型并通过极致友好的应用渠道让用户真正受益，这才是大数据技术的意义所在

数据量大

非结构化

产生速度快

通常对于大数据的理解 对于大数据的理解

分布式存储

Hadoop

流计算

7 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

让我们忘掉 “大”，回归到数据的意义本身

无论哪种数据处理平台或者过程，都可以归结到上述的这种迭代步骤，要产生价值，必须包含这5个要素，缺一不可，并且处理环节速度越快越好

8 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Pivotal大数据最佳实践-大数据能力发挥的层次

第一层 数据展示与简单分析

+数据平台

第二层 流程化预测 +数据科学

第三层 快速迭代与进化 Insights交付

+数据科学应用化

9 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn 9 Pivotal Confidential–Internal Use Only

Pivotal对于大数据的理解 三位一体的数据智能

才能真正发挥大数据的威力

10 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

敏捷开发与 数据科学

业界顶级的现代敏捷 开发理论与实践

应用支撑 与开发平台: PCF:云PAAS平台

数据平台: BDS:, 云亲和

与开放性

11 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Pivotal的观察-新的数据与应用时代的特征

开放 数据驱动的 应用

云与大数据 的融合

12 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

• 避免技术锁定

• 依赖生态环境

• 共同创新

新的互联网时代的准则

开放 敏捷 云亲和

• 缩短创新的周期

• 降低TCO

• 加速Time To Market

• 专注解决业务问题

• 避免IaaS锁定

• 安全性

13 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

业界第一个开源的

企业级大数据平台 +

开放数据联盟

PIVOTAL 大数据套件-互联网基因

开放 敏捷 云亲和

现代的基础数据架构 +

高级深度智能分析 +

所需扩展的应用

多云部署环境 +

可在PaaS云中部署的

大数据套件

14 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

数据驱动型企业的漫漫征途

自动化部署和横向扩展分析型的应用并零运维

通过高级深度智能分析 挖掘远见与洞察

现代化的数据基础架构

15 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

BDS 2.0

16 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Big Data Suite 2015: 更敏捷的数据全栈

17 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

敏捷的数据

自动化部署与扩展

深度智能分析

现代化架构

Spring XD Spark Pivotal HD & Open Data Platform

Pivotal Greenplum Database

Pivotal HAWQ Rabbit MQ

Redis

Pivotal GemFire Pivotal BDS on PCF

Pivotal Cloud Foundry

18 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

数据驱动型企业征途-with Pivotal BDS

存储 • 结构化数据

• 非结构化数据

• 大批量数据

• 高速流数据

分析 • 预测分析

• 机器学习

• 高级数据科学

• 实时分析

开发

• 高级流分析技术

• 实时分析型应用

• 高扩展性的应用开发

• 企业级，终端客户，互联网，物联网应用

创新

• 敏捷开发专家与实践

• DevOps

• 混合云

• 持续发布

• 持续迭代开发

敏捷开发

大数据

预测性分析

企业级PAAS

Spring XD

Spark

Pivotal HD & Open Data Platform

Spring XD

Pivotal Greenplum Database

Pivotal HAWQ

Spring XD

Pivotal GemFire

Redis

Rabbit MQ

Spring IO

Groovy

Pivotal BDS on PCF

Pivotal Cloud Foundry

Pivotal Labs Data Science Data Engineering

19 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

真正变成一个数据驱动的企业很难

传统的数据架构 很难扩展和处理大数

据挑战

目前有限的技术提供商 不能够提供全面的解决

方案

全部自己用开源的 产品来搭建需要极高

的技能水平

20 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

数据驱动型企业灵活的存储和处理所有的数据

Deploy analytic apps at scale

Apply analytic algorithms Discover insights

存储任何类别任意大小的现代数据基础架构

21 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

为深度分析而优化的基于开放核心的Hadoop发行版

从Apache项目集成的基于内存的分布式计算框架

可横向扩展的数据采集，编排，数据，工作流调度大数据集成框架

敏捷，开放的数据存储与处理方式

As we move to combine all the data generated by our activity and to leverage advanced analytics in real time, there’s no better way to do that than through the flexibility and choice provided by Pivotal’s Big Data Suite.

– Sylvain LeBorne, EVP Data Platforms

“”

22 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Deploy analytic apps at scale

Store any type and size of data

数据驱动型企业战略性的运用高级分析带来的远见

使用深度和智能分析挖掘 卓越的商业远见

23 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

高级分析能力-敏捷性与性能

业界独特领先的分布式MPP数据仓库

业界领先的SQL on Hadoop解决方案

100X performance improvement analyzing trends among 500 million job postings.

“”

24 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

数据驱动型企业的基础架构需要高可扩展性

Store any type and size of data

Apply analytic algorithms Discover insights

部署可横向扩展的分布式分析型应用

25 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

分布式高可扩展性的基于内存网格的NoSQL系统，12306余票查询系统的基础应用，支撑春运每秒3w次的高并发查询

基于内存的，快速数据存储读写NoSQL DB

高性能横向扩展消息队列

可基于Pivotal PaaS进行大数据云化部署

低延迟高可用的数据存储分析与消息驱动型应用

300% improvement in ticket-serving capacity led to 30% increase in e-ticket sales.

“”

26 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

ODP & Open Source

27 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Open Data Platform Initiative

opendataplatform.org

• 统一的开放数据核心模块

• 企业级的可靠性和可用性

• 灵活快速的认证体系

• 强大的开发与协同体系

28 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Open Data Platform and Hortonworks

ODP - Open Data Platform 协同开发统一开放核心，而不是一个发行版

Currently Pivotal, Hortonworks, IBM, Verizon, Telstra和其他

主流企业参与

Hortonworks Partnership 协同开发 PHD 3 ODP Core

HAWQ on Hortonworks ，预计GemFire将很快支持

PHD 认证的售后支持

29 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

案例介绍

30 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

JPMorgan 大数据应用 • JPMorgan总部设于美国纽约市，是一家跨国金融服务机构，也是

美国最大的银行之一。其业务遍及60多个国家，包括投资银行、金融交易处理、投资管理、商业金融服务、个人银行等。

为将欺诈交易带来的损失降到最低，JPMorgan根据大数据平台累积的客户长期交易历史，建立事件驱动型的实时欺诈检测模型，实现下面三类检测： – 规则检测 √ 根据反欺诈专家的经验，预先定义判断规则，实时监测欺诈。

– 欺诈消费检测 √ 指利用数据挖掘手段从消费历史数据库已经收集的欺诈消费记录中挖掘出某些统一的欺诈模式，

并利用已有的欺诈模式对新的消费行为进行分析和判断。 – 异常消费检测

√ 利用基于用户长期交易历史建立的正常消费模型，实时捕获新的消费行为，判断是否异常；

√ 多数用户行为具有渐变性，因此应当使用新的交易记录及时更新到正常消费模型，以适应用户行为的变化。

31 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

在Pivotal Platform上实现交易欺诈的实时侦测场景

客户/账户数据

交易明细

社交媒体

GP DB

移动位置……

外部数据 业务系统 GP HD

数据集成处理（MPP SQL）

数据交换平台

数据仓库平台 大数据平台

数据交换平台

GP DB

客户管理数据集市

欺诈规则检测模型

挖掘预测

数据挖掘平台（SAS、R ……

异常交易模型

正常交易模型

MR MPP SQL

欺诈告警

32 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

资料汇总

Web & App

Servers N > 100

Web

服务器集群

应用

服务器集群

数据库(x86)

SQL 语句抽取 Rabbit MQ (x86)集群

读取变化 数据

SQLFire/Gemfire 服务器集群 > 10

.

.

.

28个分局

实时 数据流

原有IT 系统结构 数据分流 云应用系统设计结构

实时数据 复制

Sybase Replication 实时数据复制

日志/存储过程复制技术

中央数据库 小型机

数据库小型机 N > 5

数据库小型机 M > 50

12306网上订票系统架构改造

原有系统只做热备

Sybase 复制服务器

33 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

为什么我们是值得信赖的伙伴

34 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

为什么选择Pivotal

完备的平台

业界首屈一指SQL on Hadoop 的能力

部署的灵活性，云化部署能力

开源无锁定

灵活的定价模式

先进的数据服务能力

Pivotal Data Engineering Pivotal Labs Pivotal Data Science

35 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

Pivotal 大数据套件对企业用户的价值

Pivotal 大数据套件

– 全新商务模式保证客户投资保护

– 灵活配置模式从容应对未来的数据处理的不确定性挑战

– 统一集成平台完成各种大数据数据分析处理要求

• 大量国内各行业客户 – 同行业大数据建设经验借鉴

Pivotal BigData Suite

Gemfire

36 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

各行各业的成功案例

37 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

遍布全球的客户

38 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

丰富的生态环境

39 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn

开源社区联盟

40 Pivotal Confidential–Internal Use Only DAMS—中国数据资产管理峰会 www.dams.org.cn