sap managing big data

37
SAP Managing Big Data 赵增勇 首席架构师 / 业务拓展总监 SAP 大中国区 平台解决方案

Upload: others

Post on 30-Jan-2022

3 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: SAP Managing Big Data

SAP Managing Big Data 赵增勇 首席架构师 / 业务拓展总监 SAP 大中国区 平台解决方案

Page 2: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 2

SAP SCM 供应链管理

SAP PLM 产品生命周期管理

SAP SRM 供应商 关系 管理

SAP CRM 客户关系 管理

SAP ERP 企业资源计

SAP Business Suite 商务套件

应用层面

技术层面

SAP 40年创新历程

SAP R/3 ( ~ 4.6C)

SAP R/3 Enterprise (4.7.1/2)

SAP ERP 2005

6.0

C/S SOA

5.0

SAP ERP 2004

云时代

SAP SCM

SAP PLM

SAP SRM

SAP CRM

SAP ERP

SAP R/1

SAP R/2

Main- frame

SQ

L

MD

X

BIC

S

SAP HANA

SAP 商务套件

SAP BW

第三方应用

实时 复制

ETL

HANA 建模

BI客户端

第三方查询工具

1999/2000 1972 1979 1992 2011+

企业适应科技 软件适应流程 软件以“人”为中心

2004/2005

Page 3: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 3

一个加速变化的世界...

50亿新兴中产阶级人口

手机数量超过人口总数

10亿人在社交网络上

2013年联网设备达500亿

Page 4: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 4 4

决策和预测 是永恒的主题

Big Data

Page 5: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 5

大数据在5个方面创造价值

先见之明 —— 通过已经发生的、正在发生的事件或实验结果发现或预测需求,洞察变化倾向

英明决策 —— 自动算法代替/支持人类的决策

一目了然 —— 发现数据之间的关系

有的放矢 —— 细分人群,定制行动

推陈出新 —— 创新的商业模式、产品和服务 —— 摘自 麦肯锡 《大数据:创新、竞争和提高生产率

的下一个新领域》

Page 6: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 6

现状 : 难以驾驭的大数据

客户数据 获利分析数据

GP

S

需求计划

速度

速率

交易数据

销售

机会

服务

电话

客户

销售订单

库存

电子

邮件

Tw

eets

计划

Things

移动

即时

消息

数据不再昂贵, 从大数据中获取价值变得非常昂贵

VELOCITY

VOLUME VARIETY

高效管理

实时获取答案

正确而完整的信息

Page 7: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 7

Gartner2010报告: 一体机(Appliance)应用已经进入“增长上升期”

Gartner把一项新产品走向成熟的生命周期分为“技术触发、期望膨胀、理性回归、增长上升、高原稳定”五个阶段。 Gartner 2010年7月的分析报告认为:“一体机”已经进入“增长上升期”,两年内将被各行业大规模应用。

Page 8: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 8

Gartner2011报告:大数据技术正处于技术触发器

Gartner 2011年7月的分析报告认为:”大数据和极限信息处理技术正处于技术触发器,并在2~5年内将大规模应用“。

Page 9: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 9

Gartner2012报告:围绕处理大数据的技术如雨后春笋

Gartner 2012年7月的分析报告认为:”列式存储数据库(Column-Store

DBMS)、云计算和内存数据库(In-

Memory DBMS) 在未来的5年内将是3个最重要的技术 “。

Page 10: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 10

大数据 – 数据管理方式的变革 存储和处理数据的技术手段的多样性

9 in10 在使

用关系型数据库的用户中有93%在考虑其它更多的技术手段

63% 在考虑内存数据库技术

50% 在考虑列式数据库

50% 在考虑Hadoop

The Challenge of Big Data Benchmarking Large-Scale Data Management, Ventana Research, January 2012

Page 11: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 11

梦想成为现实 立足于创新并以客户为中心,实现业务转型

使用列式和行式混合存储的内存计算技术,实现 OLTP 和 OLAP 的通用数据库平台 ~ 哈索▪普拉特纳 (Hasso Plattner)

VS

OLTP 分析

延迟

加速

cache

延迟

过去这段时间发生了什么?

现在正在发生什么? 将要发生什么?

OLTP+OLAP 实时计算的一体融合

SAP 内存计算

Page 12: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 12

磁盘

SAP HANA最简单的理解

内存(数据)

闪存-Flash(日志)

数据 写入

同步写入 来自任何DB 来自任何系统

异步

商务智能软件-BI

所有的I/O,计算都在内存

重启 之后

Page 13: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 13

SAP HANA实时数据计算平台 - 软件上的变化

SAP HANA

建模工具

内存 数据库

数据服务

计算引擎

列存储 行存储

准实时

ETL 或 准实时

HANA 建模

SAP BI/PA

SQ

L

MD

X

BIC

S

其他BI 新应用

SAP 商务套件

ERP/CRM 等等…

其他信息系统 基于(DB2

Sybase Oracle

SQL-Server)

DW数据仓库

实时 业务无延迟,实时计算

海量数据,瞬间得到结果

迅捷 多处理器,海量内存

实时的计算引擎

支持OLTP+OLAP混合负载

开放式硬件架构 x86架构的一体机

内置BAE (业务分析引擎), BFL、PAL库,集成R。

开放式软件架构 SQL/ODBC/JDBC/ODBO..

Python/OData/Web服务

业务功能库

预测分析库

应用服务

App引擎 HTML5

R/Hadoop 更多…

ESP集成

Page 14: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 14

SAP HANA实时数据计算平台 - 硬件和性能

认证的硬件系统 内存容量:128GB ~ 500TB

计算能力:16核~10,000核

从单节点到125个节点的集群

单机从128GB ~ 4TB内存

更多的硬件供应商,超过60种规格的认证硬件服务器

基于AWS的云部署(3 分钟 | $.99 每小时|cloud.saphana.com)

认证的同步,异步的集群容灾备份恢复方案

BI,ETL,备份工具的认证

围绕 HANA 平台的初创企业 (150+ 新创公司 | startups.saphana.com)

可小,可大的平台

Page 15: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 15

增量数据处理

+ +

+ +

Discrete

SAP HANA- 技术的协同创新,“让刀片飞”

硬件

多核处理器架构 (X7560,E7-2870, E7-4870,E7-8870)

64bit 地址空间 – 单台扩展到4TB

100GB/s 数据传输

行+列存储

压缩 5-20倍

分区:大量数据,复杂计算

多台服务器并行运行

每台服务器的价格低廉

动态聚集

软件 今天 未来

价格迅速下降,性能迅速提升

Cache

Disk

+

Memory In-Memory

Disk

Integrated

Page 16: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 16

SAP HANA 技术特性

Insert only

on change

Column and

row store

+

No aggregates Minimal

projections

Partitioning

Analytics on

historical data

Single and

multi-tenancy

SQL interface on

columns & rows

Reduction of

tiers / layers

x

In-memory

Compression

Multi-core/

parallelization

Dynamic

Extensibility

+ + +

Active/passive

& data aging

P A

Bulk load

+

+

+ +

T

Text Retrieval &

Exploration

Multi-threading

within nodes

Map reduce Group Key

t

SQL

In-memory Apps

Page 17: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 17

自2010年发布以来,HANA的卓越性能无与伦比

SAP的HANA架构,结合了云计算和内存计算技术,显示了先进的、具备潜在颠覆性的愿景 - 高德纳咨询公司《 SAP 用HANA引领下一代架构竞争》, 2011年10月

在1.3TB的数据上,每小时运行1万个查询,并在几秒种之内返回结果。 -由WinterCorp公司独立审计和验证,2011年3月

• 提高 1,000 倍: 许多分析流程 (催款、账龄)

• 提高 10,000 倍:农夫山泉、Essar、SAP IT、康奈尔大学

• 提高 100,000 倍:Yodobashi

或者

• 从 24 小时以上减少到 3.8 秒: 食品饮料 / 分销 – 物流

• 从 15 小时以上减少到 4.8 秒: 项目管理 / 服务 – 利润,

绩效

• 从 3 天减少到 2 秒: 零售 / 保险 – 奖金

• 从 30 天减少到 28 秒: 制造业 – 订单到付款

原有系统 SAP HANA

faster

SAP客户实证:

Page 18: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 18

SAP HANA –前所未有的性能和可扩展性,“让大数据飞翔”

前所未有的交易处理(OLTP)性能 插入: 77万条记录/秒 , 批量插入: 1GB/分 , Data Services 2.5TB/小时

EML基准测试: 65,990次每小时任意数据的随机查询分析

Structured + Unstructured

前所未有的分析处理(OLAP)性能 10年的销售数据,~6250亿行记录,随机查询时间介于 600毫秒~1秒

无需数据库优化 、不建索引 、不做缓存、无需物化视图

100 个节点, 100TB主内存, 4000 X86内核

Page 19: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 19

SAP HANA数据平台管理

安装&升级

数据的持久化

备份与恢复

高可用性

容灾

监控和管理

安全&审计

Page 20: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 20

实时执行

实时报表和分析

实时交互 实时计划

实时的平台

基于SAP HANA的SAP商务套件 更敏捷、更快速、更简单

最先进的业务平台,实现无间断创新

更敏捷的业务创新 先于竞争对手捕捉到新的发展机会

更快速的企业流程 使业务的速度同步于市场的速度

更简单的业务交互 我们在业务需要的时候立刻能做出正确的决定,并立刻行动

Page 21: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 21

SAP HANA: 实时业务的新平台

高速 High Speed 快速响应时间

深度 Deep 复杂和可交互的问题

宽广 Broad 大数据

简单Simple 无需准备

实时 Real-time 最新数据

Page 22: SAP Managing Big Data

HP针对SAP HANA应用的测试

Internal

Page 23: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 23

HP针对SAP HANA 应用的测试

SAP HANA的价值所在:提升交易和分析速度增强竞争优势

实现应用不存在缺陷,优化的IT流程的途径:SAP 测试管理方案

确保SAP HANA 能处理巨量的数据

验证迁移 持续测试

并实时报告

识别并跟踪业务流程

识别缺陷并跟踪缺陷的重复发生

跟踪性能的提升

管理SAP HANA 支持包和升级

跟踪自开发应用的需求和缺陷 从代码变更回溯到

需求

SAP HANA测试的收益::预防风险,树立信心,保障效率,提高透明度….. 确保 SAP HANA 应用可以交付承诺

不进行测试的风险: 生产环境的软件失效,导致生产能力下降,修复周期长,数百万的潜在经济损失

获得收益的前提:应用不存在缺陷,优化的IT流程

特点

值定

Page 24: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 24

HP针对SAP HANA 应用的测试 确保SAP HANA 应用交付承诺

从BW 向SAP HANA复制数据

BW on SAP HANA转型

从ERP向SAP HANA复制数据

e-Business Suite on top of SAP

HANA

自开发程序

on SAP HANA

跟踪数据导出的特定需求

自动化数据验证

识别缺陷并跟踪缺陷的重复发生

确保SAP HANA 能处理巨量的数据

验证迁移

持续测试

并实时报告

捕获并识别有待提高

的业务流程

验证业务流程数据

验证性能提升

识别并跟踪业务流程

测试SAP HANA之上

的业务流程性能

管理SAP HANA 支持包和升级

跟踪自开发应用的需求和缺陷

从代码变更回溯到需求

自开发程序的全面

测试管理

SAP Quality Center by HP, test director

SAP Quality Center by HP, quick test professional

SAP Quality Center by HP, service test module

SAP LoadRunner by HP

SAP Quality Center by HP, quick test professional

SAP Quality Center by HP, service test module

SAP Quality Center by HP, test director

SAP Quality Center by HP, service test module

SAP Quality Center by HP, business process testing

SAP LoadRunner by HP

SAP Quality Center by HP, test director

SAP LoadRunner by HP, performance center

SAP Quality Center by HP, test director

SAP Quality Center by HP, service test module

SAP Quality Center by HP, business process testing

SAP LoadRunner by HP, performance center

Sce

nari

o

HA

NA

场景

方案

Page 25: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 25

去掉不必要的协议 根据典型的SAP HANA环境,调整的测试用户量

功能包括:

• 25 虚拟用户+ 1 控制器- SAP LoadRunner by HP (包括针对SAP HANA优化的协议测试,如Web 2.0, SIS以及诊断器)

• 3 测试用户– SAP Quality Center by HP, test director模块

• 3 测试用户– SAP Quality Center by HP, business process testing模块

• 1测试用户– SAP Quality Center by HP, quick test professional模块

• 1测试用户– SAP Quality Center by HP, service test模块

(限制:每个客户仅可购买一个这样的功能包,仅限用于SAP HANA测试)

HP针对SAP HANA 应用的测试

针对SAP HANA定制的测试功能包

Page 26: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 26

SAP HANA 助T-Mobile运营智能 电信 – 衡量营销活动的效果

业务场景:敏捷的数据集市(Agile Datamart) 业务挑战 缺乏快速的洞察而导致效率低下和收入流失 快速报价/细微报价的增加导致报价绩效管理越来越具有战略性 饱和市场中的高收购成本以及激烈竞争

技术挑战 无法准确有效、快速地分析大数据

收益 实时实现有目标的微型提议 实时业务决策,按渠道最大化收益 改善销售提议从而提升采用率及在客户身上的利润率

SAP HANA 是企业级解决方案,借助诸如零售商店、客户服务中心以及 SMS 等渠道,可处理 T-Mobile 的多个数据源、2100 万多个客户。由于营销活动频繁,精确针对细分市场,因此需要 SAP HANA 可靠的性能和分析速度,即时报价,提升客户采用率、利润率以及留客率。Jeff Wiggin,T-Mobile USA, Inc 企业信息技术副总裁 根据 SAP HANA 执行的快速分析,我们现在能迅速精准调整当前和将来的活动,从而提升客户采用率、减少客户流失并提高利润率。Alison Bessho,T-Mobile USA 企业系统业务解决方案主管

执行客户流失分析时获得关键信息的速度提升

56 倍

每个赢回的用户可节省

$10-25 — 每年的

潜在收益可达数十亿

“ ”

3 小时之内即可分析

2100 万个客户的 20 亿条记录(过去需要一周时间)

Page 27: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 27

上海大众

业务挑战: • BW应用压力日益增大的需求

•报表性能差

•复杂的管理和基础架构

BW on HANA价值: • “基于高可靠性的企业级数据平台,实时洞察客户需求、进行市场推广、掌控整个供应链,对汽车企业而言至关重要。 基于SAP HANA 的 SAP NetWeaver BW 数据仓库解决方案显著提高了我们的运行效果,大大降低了数据延迟并大幅提高了运行速度。原来在传统磁盘数据仓库上需要20分钟才能返回的查询结果,现在在基于SAP HANA的数据仓库上45秒即可获得。”

——上海大众汽车IT副总监张卫军

HP ProLiant DL580

Page 28: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 28

立邦中国 加速响应市场需求,实现实时报表分析和高效决策

通过SAP NetWeaver BW on SAP HANA的上线,不仅帮助立邦解决过去内存计算技术未解决的问题,还更优化企业实时报表体系,快速响应业务变化。从项目结果来看,在SAP HANA平台上运行报表速度平均 缩 短 3 - 5 倍 。 财务实际成本从原来的7.5小时降低到2小时, 价量差从6小时降低到4.5小时, CRM会员报表从6小时降低到1.5小时, 库存报表从6小时降低到4.8小时, CR&VA报表从2小时降低到0.8小时。 从以上数据显而易见,通过SAP HANA的上线,极大改善了财务效率,提升内部运营效率。

“CIO要承担技术面与需求面承接的角色,不但要解决技术实践的问题,也要解决需求表现的问题。如何承接

这样的任务,把应用技术体现在企业内部,使企业的管理效益真正落实。这是CIO最应该深思与钻研的课题,

也是CIO工作成功与否最重要的指标之一。”

陈庆辉,副总裁,立邦中国信息总部 HP ProLiant DL980

Page 29: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 29

农夫山泉

实现BW ON HANA 和Standalone HANA在一个Instance中运行

每年的运费占到了农夫山泉15%的销售额,使用了SAP HANA的供应网络模拟和配送计划优化的功能,使农夫能比以前降低35%的运费,并从原来的业务需要1天的计算,到现在只需用3.8秒。

HP ProLiant DL980

Page 30: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 30

AdMaster 打造互联网广告大数据平台

用户: AdMaster成立于 2006 年,是中国领先的互联网广告全流程效果监测、分析评估、媒介优化咨询服务和技术解决方案提供商。

业务挑战: 每天从6.5亿个新浪和腾讯微博帐号里收集超过千万条微博。如何即刻让广告主了解他们的微博广告是如何在社交网络中传播的?以及掌握该广告最后能扩散到多大的群体当中?

HANA价值: • HANA帮助监控某广告主的微博广告传播,取得令人振奋的效果。

• 日常使用的关键指标计算中,其效率被提高了几百到几千倍,甚至在某些场景下能提高2万多倍!查询时间到达毫秒级别。

Page 31: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 31

更多客户的评价

“每年的运费占到了农夫山泉15%的销售额,使用了SAP HANA的供应网络模拟和配送计划优化的功能,使农夫能比以前降低35%的运费,并从原来的业务需要2天的计算,到现在只需用200秒。”

—— 胡建 , 农夫山泉, 前CIO

“我们将SAP HANA中近乎实时的处理能力和R系统中的预测算法结合起来,而这最直接的影响就是原本需要数周乃至数月的事情,现在瞬间即可交付。”

—— CISCO , Piyush Bhargava, IT Director

SAP HANA帮助敏华集团的海外销售部门快速预测市场对不同颜色、不同类型产品的需求趋势,使其能够指导原料采购部门适时购进相应原料,避免了2012年底市场原料短缺对国际订单的影响, 同时销售额增长了13-14%,毛利提高了1%。

——王贵升,敏华CFO

Page 32: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 32

更多客户的评价

“我们已找到办法将基因分析从原来的几天缩短至20分钟。如果为病人在就诊当天就提供分析结果,这将为未来的癌症治疗过程带来革命性的变革。”

——Yukihisa Kato, MKI(三井情报株式会社) CTO

SAP HANA 帮助T-Mobile处理多个信息源,为2100万客户提供极具针对性的服务。市场营销活动频繁并需要精确的市场细分、快速实时调整当前及未来的促销活动,SAP HANA不但具有超快的分析速度,还具备极佳的性能,以提高及时服务,从而帮助我们提高客户采用率、盈利能力与客户保有率、预测促销活动对财务的影响。

—— Erez Yarkoni , T-Mobile US, Inc, CIO

当航班出现预料之外的变化是,我们需要重新安排乘客、工作人员、车辆及飞机,这是个十分关键而又耗时的流程。依靠SAP HANA,我们成功将最佳调度时间从20分钟缩短至10秒内,帮Delta Airlines得以实时调整流程,堪称业内革命性的创新。

Page 33: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 33

1000+ HANA 客户 (18 个进入万倍俱乐部 , 3 个进入10万倍俱乐部)

Page 34: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 34

SAP HANA 知识获取和体验渠道

SAP HANA中文社区

HANA学院 – 174个视频

体验试用 SAPHANA.com

SAP HANA One(基于AWS的云部署)

Page 35: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 35 35

SAP HANA

让大数据飞翔起来,她是雄才大略者的利器,她将使您具有无可比拟的竞争优势!

Page 36: SAP Managing Big Data

© 2013 SAP AG. All rights reserved. 36

温馨提示

在您的会议资料袋中有:

SAP HANA的扩展性能测试介

反馈表 -> SAP 展台 (您的反馈对SAP非常重要)

观看更多的SAP HANA演示