oracle cloud computing solution...标准化建设,提升数 据服务的标准化能...

72
吴东昕 [email protected] Exadata Solution Architect 广西电信Exadata交流

Upload: others

Post on 04-Aug-2020

18 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

吴东昕

[email protected]

Exadata Solution Architect

广西电信Exadata交流

Page 2: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

提纲

• 运营商企业数据仓库基础平台面临的挑战

• 传统数据库架构和面临的主要问题

• Exadata数据库云平台的优势和特点

• Exadata国内外案例介绍

Page 3: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

电信EDA面临的挑战:海量数据管理、长尾市场快速多变的业务、多样的数据处理需求

‐网络QoS分析

‐安全入侵分析

‐网络规划

‐信令监测分析

‐ ……

网络优化

‐移动信息搜索

‐个人空间

‐智能业务推荐

‐计算和存储服务

‐ ……

移动互联网应用

‐用户行为分析

‐客户流失预测

‐业务关联分析

‐垃圾短信过滤

‐……

精准营销

互联网领域业务和3G发展对于业务分析需求巨大

中国电信拥有世界上最大的EDA,海量数据存储和处理需求巨大

数据量(单位:T

B

) 中国电信EDA容量/数据规模趋势图

0

2000

4000

6000

8000

10000

2006 2007 2008 2009

系统容量 数据规模 •数据源:于中国移动

新业务发展趋势

计算和存储趋势

Page 4: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

应用需求不断涌现对EDA要求不断提高

渠道偏好分析

终端捆绑分析

垃圾短信治理

手机报精确营销

新业务关联分析

地市营业业绩跟踪

客户经理告警

营销方案预演

客户群体模式识别

客户信用度分析及欠费控制

对手高端客户分析

不断增加的EDA数据应用需求

大量新业务应用需求不断涌现,需要EDA具备高性能、集成化、快速部署、资源自动适配的能力

Page 5: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

中国电信EDA体系

中国电信EDA体系是由多套系统组合而成,主要包括ODS、EDW、DataMart、数据挖掘、多维分析、ETL、元数据管理、历史数据库等多套独立建设的系统。

每个系统拥有自己独立的主机、网络、存储等资源。各个系统间资源互相独立、无法有效共享,非常有必要利用“云计算”的技术进行建设,使得在计算效率提高的同时资源得到最大程度共享。

Page 6: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

CMCC NGBASS-3.0时代的新业务驱动力

6

•3G业务运营支撑 •全业务运营支撑 •互联网业务运营支撑 •业务基地运营支撑 •其它智能部门业务支撑

•一级经分与省级经分之间数据互通

、应用互访

•省级经分之间应用互访、应用共享

•对BOSS/CRM等系统服务能力提供

•对外信息服务提供能力

1 2 3

对外服务提供能力

经分系统自身互通能力

业务支撑能力

• 全面性:需要扩充系统的数据源(全业务数据、互联网数据、业务基地数据、网络部、财务部等部门数据)

• 实时性:满足精细化营销对应用的响应要求

• 准确性:满足财务部等部门对应用需求数据质量的高准确性要求

• 应用互访:要求一点登录,全网访问,实现应用互访

•应用共享:要求对应用实现标准、组件化,实现经分系统应用的共享、复用

• 开放式平台:要求做到经分系统开放式平台,达到百花齐放、共同提升的目的

•质量监控:要求通过应用、功能互访,加强对系统数据质量的监控

•外围系统:实现经分系统与外围系统(BOSS/CRM/BOMC等)流程无缝嵌入

•合作伙伴:实现对SP、终端供应商等合作伙伴能力提供

•商业价值:实现google、亚马逊等商业模式引入,提升系统价值

Page 7: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

NG3时代对BASS能力的要求

7

系统应用的快速增长,对

系统资源要求的快速膨

胀,需要对资源进行合理

化分配

系统建设的持续投资,需

要对目前、今后的硬件投

入进行合理分配,到达资

源使用价值的最大化

系统建设的大规模投资、

重复投资情况需要对投资

成本进行优化

为了提升系统建设投入产

出比率,需要提升系统的

使用价值,优化投资成本

系统应用服务对象的差

异,需要对系统资源进行

灵活分配;

系统应用的实时响应要求

的差异,需要对系统资源

进行灵活分配

资源的合理分配 资源的灵活分配 投资成本优化

通过对IT相关技术的引用,结合经分系统发展中的资源要求,实现系统资源合理化、灵活

性分配的目的,提升投资收益比率;

Page 8: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

NG3.5时代的建设目标

8

夯实数据基础,进一步丰富一类业务平台数据、MIS财务数据、网络信令等业务数据,加强逻辑模型标准化建设,提升数据服务的标准化能力,推动系统内部解耦及外部应用移植。

构建自助分析模块,加强数据挖掘应用落地,强化一线支撑能力。

增强核心元模型标准化及元数据管理功能,实现基于规则配置的数据质量监控稽核及分层分级告警管理,建立两级数据质量联动机制,实现经营分析应用全流程安全管控,进一步强化数据管理及安全管理能力。

以“两个夯实、两个强化”为建设目标,实现“高效低成本”的全业务运营支撑:在NG2-BASS 3.0工程的基础上,进一步丰富经营分析系统数据源,提升数据的标准化服务能力,推动系统解耦及应用移植;增强数据质量及安全管控;强化一线支撑和重点应用建设,为全业务竞争环境下的企业运营管理提供高效低成本的支撑能力。

1 3 4 2

夯实应用基础,凸显数据挖掘模型价值,强化垃圾短信治理、渠道运营监控、校园市场等重点应用,提升运营管理及客户营销服务支撑的智能化水平。

Page 9: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

进一步增加分析数据来源

9

业务支撑网接入网关

省级业务支撑系统

NG2-BOSS

NG2-BOMC

4A管理平台

NG2-CRM

营销池

短信网关

邮件网关

彩信网关

业务支撑网接口域

业务支撑网接口域

省级经营分析系统

R2

R1

R2'

访问层

获取层

数据封装

一经接口

系统安全管理R1' R7

省级其它数据源系统

网管系统

DSMP平台

OTA平台

网络信令采集子系统

WAP网关

R8"R7'

VGOP

R4

R94R4'

ERP/MIS

R3"

R91

信息推送

R93

R92

R95

R97ESOP

R5'

彩铃平台

R96

一级业务支撑系统

一级经营分析系统

中央业务平台

行业应用终端监控平台

新业务营销体验平台

R6

与VGOP的关系

R4:省级经营分析系统通过省级VGOP获取一类业务数据,包括中央音乐平台/无线音乐俱乐部、手机报平台、飞信平台、DM平台、手机视频平台、手机阅读、手机支付、手机游戏、PushEmail和12580综合信息平台等相关数据。随着VGOP业务支撑范围的扩展,本期经分将新增从VGOP获取MM平台、号簿管家平台、手机导航平台、音乐搜索平台等一类业务数据源。省级经营分析通过省级VGOP获取部分二、三类业务数据:如省公司彩铃平台数据。

R4’:省级经营分析系统通过增值业务数据集市以数据封装的方式为VGOP提供各类增值业务的分析数据、客户画像数据以及营销方案等信息。VGOP的营销功能应复用经营分析系统客户分析及运营模块的营销服务管理功能。

修订与网络信令采集子系统关系 修订ERP/MIS系统的关系 修订与VGOP的关系

与网络信令采集子系统的关系

R96:网络信令采集子系统为省级经营分析系统提供网络信令数据。本期规范对网络语音类信令(A接口)及网络数据类信令(Gb接口)数据的采集及相关应用建设提出了明确要求。 与ERP/MIS系统的关系

R97:ERP/MIS为省级经营分析系统提供各类财务成本数据,包括广告成本、宣传成本、通信成本、营销机构成本、移动网业务成本、销售费用和管理费用等。本期规范对新增的收入、成本等财务数据的采集及相关应用建设提出了明确要求。

Page 10: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

数据仓库作用正在逐渐发生转变:从后到前、从内到外

Page 11: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

数据仓库正在不断加强实时性、个性化、服务化支撑

Page 12: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

数据仓库低成本、资源共享的需求

Page 13: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

提纲

• 运营商企业数据仓库基础平台面临的挑战

• 传统数据库架构和面临的主要问题

• Exadata数据库云平台的优势和特点

• Exadata国内外案例介绍

Page 14: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

问题1:随着系统规模增加,传统数据库架构瓶颈凸显

• 存储层:1)数据量不断增加,带来的IO瓶颈;2)随着数据长时间运行带来

的数据分布不均匀,存在IO热点 3)存储内部的DA通道瓶颈

•网络层:传输带宽不足,无法快速传输大量数据到服务器

•服务器层:接收过多数据进行处理,内存优势无法发挥

Page 15: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

传统数据库平台架构问题2:传统存储阵列架构本身存在严重IO瓶颈

某高端存储的存储瓶颈

单块硬盘吞吐<50MB/Sec 服务器级别硬盘顺序读取最低速度:120MB/Sec

Page 16: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

7200RPM硬盘的吞吐量

Page 17: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

问题5:多系统资源互相独立,无法共享 有些资源过度,有些资源不足,由于生产环境动态变化,无法动态满足

Database Servers

Storage Arrays

Page 18: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

静态的应用运行基础设施

100%

0%

50

%

15% Utilized Servers

100%

0%

50

%

10% Utilized Servers

100%

0%

50

%

20% Utilized Servers

Cluster 1 Cluster 2 Cluster 3

55% Utilized Servers 75% Utilized Servers 100% Utilized Servers

EDA 地市数据集市 ODS

Page 19: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

静态的应用运行基础设施

100%

0%

50

%

15% Utilized Servers

100%

0%

50

%

10% Utilized Servers

Cluster 1 Cluster 2 Cluster 3

100% Utilized Servers

EDA 地市数据集市 ODS

Page 20: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

问题6:有限的压缩在海量数据面前无能为力

现有的压缩方式

Row 1

Symbol Table

Row 2

Row 3

Database Block

•2x - 5x 压缩

•大部分情况不到3倍左右压缩比

500TB…1000TB

=

海量数据由于压缩比低,需要大量的存储

大量的存储需要大量的机房、供电、制冷、维护

极大的投资和运维成本

Page 21: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

问题6:不同数据库操作类型间的冲突(OLTP与DW)

高并发和高并行

Page 22: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

提纲

• 运营商企业数据仓库基础平台面临的挑战

• 传统数据库架构和面临的主要问题

• Exadata数据库云平台的优势和特点

• Exadata国内外案例介绍

Page 23: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

解决思路:混合架构、减轻负载、加宽通道、提高并行

数据库架构解决思路:

1. 混合架构适用于混合型数据处理

2. 加宽通道、增加通道数量

3. 减少需要传送到服务器处理的数据量

4. 端到端工程化设计实现最佳性能和可靠性

Page 24: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

集群式数据库架构:Shared Nothing 和Shared Disk 最佳OLTP和最佳OLAP应用

Shared Disk和Shared Nothing是两种主要的数据库集群技术,各自都有自身特点

Shared Disk把数据传输到应用代码端 Shared Nothing把应用代码移到数据端运行

当应用代码量很大(高并发)、相关数据

量比较小时,Shared Disk更加适合这种典

型的OLTP应用;

主要特点:高并发、高可用性(由于数据

共享,当节点故障可以透明切换到其他数

据库节点运行作业)

当相关数据量很大(高并行) 、而应用

代码并发量很小时,Shared Nothing更加适

合这种典型的OLAP应用;

主要特点:大数据量处理高并行、低并发、低可用性(由于数据非共享,当节点故障,其他节点要接管故障节点数据)

Page 25: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata特点1:混合架构 兼备Shared Nothing 、Shared Disk、分片式数据库、读写分离数据库架构

Exadata Cell

InfiniBand 交换网络

数据库服务池A 数据库服务池B

Exadata Cell

Exadata Cell

智能存储层(Shared Nothing)

存储资源池

数据库处理层(Shared Disk)

数据库资源池

超高速并发网络层

880Gb/s/机架

…….

Exadata提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处; 既可以满足OLTP的高并发、高可用特点;又可以满足OLAP的大数据量处理要求;

具备良好的普适性架构:Shared

Nothing and Shared Disk

25

SunFire SunFire SunFire

高扩展 高可靠 OLTP 海量数据处理 SLA 资源虚拟化 架构优势

Page 26: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata设计原则1:存储层智能化、数据预处理能力

Exadata Cell

Disk …

Disk

Exadata Cell Exadata

software

Exadata

software

Oracle Database Servers

Page 27: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata高性能特点:存储智能化预处理 提供MPP方式的SQL处理能力

Page 28: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata设计原则2:资源共享和资源控制

I/O Resource Management

Oracle Database Servers

Smart

storage

operations

Storage

consolidation (Transparent to

databases)

High performance

storage network

Data compression

Page 29: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

动态的数据库运行平台实现资源共享

Cluster 1 Cluster 2 Cluster 3

ODS VAS数据集市

100%

0%

50

%

55%* Utilized Servers

One Resource Pool

EDW 地市数据集市

省数据集市

Page 30: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata数据库云特点:服务器资源池 “大分小”和“小合大”,支持数据库云平台对应用的多样性需求

Data Warehouse Data Mart/VGOP ESOP/Data Mining Free

Data Warehouse

Data Mart/VGOP

ESOP/Data Mining

Free

RAC One Node D

cpu_count=1

RAC One Node C

cpu_count=1

RAC One Node B cpu_count=2

RAC One Node A cpu_count=4

8 core server

Page 31: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

OLTP

More resources

DSS

user

OLTP

user

Database resource manager

DSS Less resources Oracle

Database

Exadata数据库云特点:多租户资源管理

适合云平台对多租户的资源(CPU、内存、存储、IO等)调配和管理

- 管理混合事务的资源负载

- 控制系统性能

Page 32: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata数据库云特点:多租户资源管理

适合云平台对多租户的资源(CPU、内存、存储、IO等)调配和管理

• 确保共享的不同数据库被分配正确的I/O 资源

• Database A: 33% I/O资源

• Database B: 67% I/O资源

• 确保库间、库内的不同用户和任务被分配正确的I/O资源

• Database A:

• 报表: 60% of I/O资源

• ETL: 40% of I/O资源

• Database B:

• 交互作业: 30% of I/O资源

• 批处理: 70% of I/O资源

Exadata Cell

InfiniBand Switch/Network

Database A Database B

Exadata Cell Exadata Cell

Page 33: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata设计原则:没有任何瓶颈的IO

• 12块磁盘共享的上端通道为PCIE 2.0 4X=2GB/s全双工

• 单块磁盘能获得160MB/S

全双工带宽

• 存储节点到主机节点带宽为40Gb/s(4GB/s)

• IB卡采用PCIE 2.0 8X接口,提供4GB/S全双工带宽

• 采用4块PCIE接口FLASH

卡,不和磁盘争用磁盘控制器

Page 34: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

9 10 11

13

14.5

18

25

100

IBM DS8700

IBM XIV Gen3

IBM DS8800

EMC VMAX20K

Hitachi VSP

IBM SVC 8node +24

V7000

Exadata Disk

Exadata Flash

查询IO吞吐量

GB/S

Exadata惊人的IO吞吐量

Exadata 获得:

100 GB/S 查询吞吐量

150万读IOPS

100万写IOPS

实际测试结果:

通过数据库8K 的非压缩IO

Page 35: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

更高吞吐量的同时更加节能减排,减少机房需求

IBM

DS8700 IBM XIV

Gen3 IBM

DS8800 Hitachi

VSP

EMC

VMAX20

k

IBM SVC

8node +8

V7000

Exadata

Disk Exadata

Flash

吞吐量

(GB/S) 9 10 11.5 14.5 13 18 25 100

所用磁盘数量

256 180 768 512 512? 768 168 168

吞吐量/磁盘(MB/S)

36 57.9 15.3 23 22? 24 153 N/A

占地(机架) 3 1 3 2 2 3 1 1

典型功耗(KW)

18 7.2 15 7.9 >15 10.6 8.4 8.4

重量(Kg) 3463 1045 3938 1250 >3000 1200 967 967

Page 36: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

½配置实际的吞吐量

DISK和FLASH提供的总吞吐量超过30GB/s

Page 37: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

压缩的行 混合列

Row 1

Symbol Table

Row 2

Row 3

Database Block

•很好的随机行访问特性

•OK 表访问

•2x - 5x 压缩

Colum

n 1

Colum

n 2

Colum

n 3

列数据库

•很差的随机行访问特性

•非常好的 Table Scan

•5x - 40x 压缩

Compression Unit 1

Colum

n 1

Colum

n 2

Colum

n 3

Compression Unit 2

C1

C2

C3

•很好的随机行访问特性

•非常好的 Table Scan

•5x - 40x 压缩

Exadata数据库平台特点: 混合列压缩

11gR2

Page 38: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata提供的惊人容量 获得10倍的压缩非常常见

我们的对手要用多个机架来存储一个Exadata机架就

能存储的数据*

* 均采用了各个数据库最佳的压缩技术

3X Racks

Teradata 1.4x compression (block compression is archival)

Netezza TwinFin 2-4x compression

EMC VMAX 3x (Oracle) compression

Exadata 10x compression

4X Racks

7X for 2650

41X for 4600

20X for 6680

Page 39: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata设计原则4:自动优化存储资源池 Exadata 内部数据的分布,实现存储SAME特性

数据的分布在系统变更时自动改变,而且对应用透明 – 当新Storage Cell添加时均衡仍然得以保持

– 当硬件出故障时均衡仍然得以保持

– 单块磁盘损坏/单个storage cell损坏都能忍受

– 缺省分配单元AU_SIZE=4M

Node 2

Node 3

Node 1

Storage cell 2 Storage cell1

Storage cell 3

39

Page 40: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata特点4:存储资源池 数据动态重分布,消除I/O分布热点块,使得集中化平台可不断线性扩展

Storage cell 4

Storage cell2

Storage cell 3

Storage cell1

Add new storage cell

数据后台自动分布,提供最高性能 –当新硬件添加时均衡仍然得以保持

–非表一级操作,无需锁定表,在线进行

–当旧硬件移除时均衡仍然得以保持

–当硬件出故障时均衡仍然得以保持

40

高扩展 高可靠 OLTP 海量数据处理 SLA 架构优势 资源虚拟化

Page 41: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata特点5:Flash闪存 解决磁盘随机I/O瓶颈

• 磁盘可存储大量数据

• 但每秒的随机I/O <200- 300 I/Os (8K块)

• Flash闪存技术可存储少量数据(但远大于DRAM)

• 但却能提供每秒几万级的I/O

• 数据库一体机提供总计 5.4 TB 的闪存 • 每智能存储服务器配置4块高速闪存卡

• 采用flash cards,而非闪存Disk避免控制器瓶颈

• Smart Flash Cache缓存热数据,但 • 不是采用简单的LRU算法,库逻辑感知

• 基于数据库数据使用逻辑,知道那些数据应该缓存,那些不应该缓存

• 允许基于应用表进行指定优化,如提示高优先级驻留于缓存

Oracle is the First Flash Optimized

Database

随机I/Os速度比1000块盘的企业级阵列(200K IOPS)快7倍

41

Page 42: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata特点6:内置高扩展能力 在线无需停机的扩展

Page 43: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata特点8:端到端全双工冗余 避免数据库、网络、磁盘、Cell和电源的单点故障

ASM镜像用于保护磁盘故障,可支持热插拔,支持三重镜像解决双存储节点失效情况

ASM failure groups 用于保护存储节点故障

双路网络交换

双路电源模块

Exadata Cell Exadata Cell

Hot Hot Hot Hot Hot Hot

Cold Cold Cold Cold Cold Cold

ASM

Disk Group

ASM

Failure Group

ASM

Failure Group

全双工系统架构,完全消除硬件单点故障

InfiniBand 交换网络(双路)

RAC TAF

Page 44: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

44

• 当发生磁盘故障或者storage cell故障时自动重分布

- 当磁盘故障后通过重分布保持均衡性和冗余性

- 当storage cell故障后通过重分布保持均衡性/冗余性

cell 2

Cell 3 Cell 4

Cell 1

[ 硬件故障 ] ASM的重分布保证了磁盘能均衡地为工作负载服务.

带来巨大的管理简便性和性能的提升.

大大减少了硬件故障后恢复到保护状态的时间

Exadata具备跨存储节点的保护能力

Page 45: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

极限性能和高可用:大多数客户表示Exadata性能和高可用性超过了支持其任务关键应用程序所需的水平。

混合需求:与 Teradata、Netezza等其他数据库软件设备不同,Exadata可在单一软件设备中同时支持数据仓储应用程序和联机事务处理 (OLTP) 应用程序。

最佳商用软件平台:Exadata可以运行打包应用程序,例如 E-Business Suite (EBS)、SAP、PeopleSoft

和 Siebel 应用程序,而无需任何修改。

云计算平台:Oracle 数据库云服务器还可以整合多个数据库,以降低成本、提高可管理性。

成熟产品:目前有超过 1000位客户在生产环境中使用 Oracle Exadata数据库云服务器,并且这一数值可能会在未来 12 到 18 个月内增至三倍。

Forrester对Exadata的评价

Oracle 数据库云服务器推高数据库软件设备的标准

Page 46: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

提纲

• 运营商企业数据仓库基础平台面临的挑战

• 传统数据库架构和面临的主要问题

• Exadata数据库云平台的优势和特点

• Exadata国内外案例介绍

Page 47: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata适用于多系统整合和高性能计算

对应用系统的虚拟化而言,业务压力、系统的I/O吞吐量、系统的资源利用率是服务器虚

拟化比例的主要参考依据

I/O 吞吐量

资源(CPU、内存等)使用率 高 低

多系统整合

• IDC、增值业务、政企客户、网管

• 例如:行业应用平台、增值业务系统、接口系统

高性能和高扩展型

• 例:计费、OCS、帐务系统、数据仓库、OSS整合网管、核心业务查询系统、结算系统等

47

Page 48: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Exadata国内外案例

Haier(海尔)

MCC(中冶 7个分公司)

工商银行

中国移动(北京、上海、辽宁、

福建…)

中国电信(上海,新疆..)

中国联通

中国远洋航运COSCO

Housing Authority(香港房屋

署)

TSMC(台基电)

神华集团

中原赛迪

上海科委-公共信息平台

青岛社保

深圳人社局

乌鲁木齐社保

本溪社保

PICC

Infosys

新华人寿

深圳农商

抚顺石化

国家博物馆

台湾税务局

香港贸易发展局

Page 49: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

多数据库整合案例:A省移动OSS数据库云平台

OSS交易类应用

OSS分析类应用

OSS其他类型应用

共享Exadata所有存储资源

DB 资源池

智能资源池

专业网管

管理信息系统

信令监测

综合分析

Page 50: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

A省移动Exadata性能对比分析

测试项目 现网设备 测试设备

现网数据容量(MB)

exadata查询压缩容量

exadata归档压缩容量

压缩比

现网测试时间(S)

exadata查询压缩测试时间(S)

exadata归档压缩测试时间(S)

性能比 性价比

测试用例一 话务网管系统

小时级网优邻区性能数据汇总

SUN E4900

Exadata 43156 1862 1507 23.18 150 7.97 12.65 18.82 4.39

测试用例二 综合告警

月统计网元告警符合派单条件的派单量:

PRO_CORE_NETWORK_REPORT

SUN M5000 Exadata 1975 237 173 8.33 5040 40 80 126.00 25.20

综合告警系统,月统计网元告警符合派单条件

的派单量:PRO_WIRELESS_REPORT

SUN M5000 Exadata 18082 1796 1269 10.07 2880 8.17 28 352.51 70.50

测试数据在现网与exadata上进行了测试对比,选取了话务网管、综合告警两个测试用例进行测试。测试结果如下:

数据压缩比最高23.18、最小8.33

性能提升比最高352.51、最小18.82

性价比最高70.50、最小4.39

*现网及测试设备中的价格为当前折算价格

**压缩比:现网数据量/exadata查询压缩容量

***性能比:现网测试时间/exadata归档压缩测试时间

****性价比:性能比/(测试设备价格/现网设备价格) 50

Page 51: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

A省移动整合前后TOP SQL的测试对比

集中运行维护系统的测试 (原数据库为Oracle 10g, 运行在SUN 4800 Solaris 平台, 8CPU×1Core,

内存16G, 目前数据量14G,最终会有200-300G)

语句类型 原来的系统 Exadata系统 结果比较

SQL1: Insert语句 0.36 seconds 0.051 seconds 6倍

SQL2: Select 语句 51.735seconds 3.516 seconds 14.7倍

SQL3 Select 语句 0.14seconds 0.019seconds 8倍

平均值 8倍

语句类型 原来的系统 Exadata系统 结果比较

SQL1: Select 语句 0.823seconds 0.790seconds 1.04倍

SQL2: Select 语句 1.726seconds 0.108seconds 15.98倍

SQL3 Select 语句 1.672seconds 0.104seconds 16.08倍

平均值 11倍

EMOS系统的测试(原数据库为Oracle 10g, 运行在SUN M4000 Solaris 平台, 4CPU×1Core, 内存

32G, 目前数据量50G)

Page 52: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

多数据库整合案例: B省移动OSS数据库云

应用 存储需求 存储需求(压缩后) DB core

峰值/平均

SGA

memory

备注

网投 500GB 500GB(不压缩) 6/6 16GB OLTP,基本不

压缩

手机病毒 1TB 170GB(压缩比6) 4/4 16GB 启用EHCC压缩

HLR查询 15TB 2.5TB(压缩比6) 3/4 32GB 启用EHCC压缩

ESB 1TB 1TB 6/8 32GB 暂时预留1TB

Page 53: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

具体实施

数据库 系统 数据库用户 用户表空间 表空间大小 临时表空间

OLAP

网络优化平台综合生产管理

系统 ipsm ipsm_tbs 1TB

当前均使用系统临时表空间

手机病毒分析系统

mmdsuser mmds_tbs 1.5TB

HLR用户行为分析系统

hlruser hlruser_tbs 1TB

OLTP

网络投诉处理系统

eastcom eastcom_dat

a 500GB

ESB系统 esbdev esbdev_data 1TB

截至11月中旬,五个系统均已完成迁移测试并成功迁移上线,当前

运行情况正常

Page 54: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

性能提升 – HLR分析系统 & 网投系统

• 网投系统(采用频繁执行的三个SQL进行测试)

HLR分析系统(选取执行时间最长的后台操作进行对比)

Exadata本地执行 原服务器本地执行 提升倍数

故障 Elapsed: 00:00:04.74

102711 rows selected. Elapsed: 00:00:07.33

102703 rows selected 1.55

wlan热点 Elapsed: 00:00:00.19 13905 rows selected

Elapsed: 00:00:00.37 13905 rows selected.

2

TD白点 Elapsed: 00:00:00.20 7529 rows selected

Elapsed: 00:00:00.34 7529 rows selected.

1.7

Exadata执行 原服务器执行 提升倍数

汇总批处理过程 01:52:37 08:24:46 4.5

Page 55: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

性能提升 – 手机病毒系统

Exadata执行 原服务器执行 提升倍数

页面1 10 23 2.3

页面2 5 12 2.4

页面3 2 5 2.5

页面4 9 19 2.1

手机病毒系统(查询耗时较长的页面)

手机病毒系统(查询耗时较长的页面)

Exadata执行 原服务器执行 提升倍数

语句1 0.468 6.172 13.2

语句2 0.797 4.484 5.6

语句3 0.297 5.047 17

语句4 0.515 2.344 4.6

语句5 0.625 3.297 5.3

语句6 0.265 3.844 14.5

语句7 0.468 1.391 3

语句8 0.438 1.469 3.4

Page 56: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

性能提升 – 手机病毒系统(续)

Exadata执行 原服务器执行 提升倍数 步骤1 161.594 1577 9.8 步骤2 310.734 2044 6.6 步骤3 248.625 2023 8.1 步骤4 205.547 1956 9.5 步骤5 49.531 1819 36.7 步骤6 136.031 1059 7.8 步骤7 112.516 1130 10 步骤8 33.641 192 5.7 步骤9 115.047 745 6.5 步骤10 402.719 4176 10.4 步骤11 291.14 1348 4.6 步骤12 251.5 3673 14.6 步骤13 134.844 1427 10.6 步骤14 125.843 1390 11 步骤15 1314.97 6592 5 平均 3894.282 31151 8

手机病毒系统(每天后台执行的任务)

Page 57: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

性能提升 – 总结

• 手机病毒系统

- 查询耗时较长的页面性能平均提升60%

- 简单SQL语句性能提升4-10倍

- 后台统计脚本性能平均提升88%,最高提升37倍

• HLR分析系统

- 选取执行时间最长的后台操作进行对比(包含SQL执行和程序处理)

- 原来需要运行8个半小时的操作,现在仅需不到2个小时,提升4.5倍

• 网投系统

- 针对单一用户,100用户,150用户查询进行统计

- 性能均有40% - 50%的提升

Page 58: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

存储空间利用率提升

• 当前在HLR分析系统启用Exadata上独有的混合列式压缩方式

• 上线后测试,与非压缩表比较,压缩比能达到30倍以上

• 采用混合列压缩在提供高压缩比的同时对查询性能基本没有影响

• HLR分析系统预计最终数据量会达到15TB,采用混合列压缩方式后,可以将实际存储占用控制在1TB以内。

原始表大小

压缩表大小

Page 59: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

其他方面提升

同等性能下,对比传统硬件配置

• 耗电量下降78%

注:以Oracle Exadata X2-2 Quarter Rack对比两台IBM P570, DS8000存储为例

承重需求下降75%

1667.2

409.1

0

500

1000

1500

2000

同配置传统数据中心方案 1/4机架Exadata

重量对比(kg)

Page 60: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

其他方面提升(续)

同等性能下,对比传统硬件配置

• 制冷需求下降54%

注:以Oracle Exadata X2-2 Full Rack对比IBM P595, DS8300存储为例

97300

44800

0

20000

40000

60000

80000

100000

120000

传统方案 Oracle Exadata Full Rack

制冷需求对比(BTU/hr)

5

1

0

1

2

3

4

5

6

传统方案 Oracle Exadata Full Rack

占地对比(标准机柜位)

占地需求下降80%

Page 61: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

多数据库整合案例: C省移动BOSS外围系统整合

• 移动Exadata(四分 之一配)目前已经完成了三个应用系统的割接上线。分别为:

1)酬金结算系统

原有生产系统为Sun E25K(28颗cpu)服务器,EMC DMX4阵列系统,运行时间超过两个小时。 在exadata上运行时间约20分钟,取得了6倍以上的性能提升,同时数据压缩比达到了8倍(相对于 Oracle DB标准压缩),压缩后数据容量320GB。

2)数据稽查系统

该系统平时不运行,只在数据需要核查时采运行。用户未做性能和压缩比较,Exadata上的数据量约600GB左右。

3)报表系统

该系统为营帐系统的一个子系统,原有生产系统为Sun E25K(32颗cpu)服务器,EMC DMX4阵列系统,该业务分为两类应用:

a)报表生成:原系统运行时间约两个半小时,在exadata上运行时间约30分钟,性能提升5倍以上。

b)前台查询:原系统平均每次查询运行时间0.48秒,在exadata上运行平均每次查询时间为0.08秒,性能提升6倍以上。 同时数据压缩比达到了10-14倍(相对于Oracle DB标准压缩),压缩后exadata上数据容量约560GB。

Page 62: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

C省移动Exadata架构图

BSS类型应用(OLTP)

节点2(DM0102) 节点1(DM0101)

Quarter Rack

四分之一配

DM0101 DM0102

目前上线系统 SP薪酬结算系统

数据稽查系统

报表系统(该系统为CRM系统的子系统)

CRM历史查询库

Exadata为1/4配,选用高容量2T硬盘

使用情况说明:

四个上线系统同时在两节点运行时,正常情况下CPU的负责在2%-5%,月末和月初高峰运行是20%左右。

上线的3个系统中,数据稽查系统,平时不运行,没有做性能比较,其他的2个系统做了新旧系统的性能对比。

Page 63: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

C省移动上线前后的性能对比

薪酬结算系统

原数据库为Oracle 9i, 原有生产系统为Sun E25K(28颗cpu)服务器,EMC DMX4阵列

原来的系统 Exadata系统 结果比较

月结处理 运行2小时多 20分钟 性能提高6倍

压缩效果 原数据2560GB 压缩后320GB 压缩达到8倍

原来的系统 Exadata系统 结果比较

报表生成 运行2.5小时 30分钟 性能提高5倍

前台查询 平均用时0.48秒 平均用时0.08秒 性能提高6倍

压缩效果 原数据6720GB 压缩后560GB 压缩达到10-14倍

平均12倍

报表系统(该系统为营帐系统的子系统) 原数据库为Oracle 9i,该生产系统主机为Sun E25K(32颗cpu)服务器,EMC DMX4阵列

Page 64: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

某运营商数据库云

ADG

¼配置HC ¼配置HC

工作流1 HP SD 16C(PA8800)/1.0

GHz

工作流2 HP SD 16C(PA8800)/1.0

GHz

报表1 HP SD 64C(PA8900)/1.1

GHZ

报表2 HP SD 64C(PA8900)/1.1

GHZ

数据一致性1 IBM P570 8C(p5)/1.6GHZ

数据一致性2 IBM P570 8C(p5)/1.6GHZ

渠道酬金结算 HP SD 20C(IA)/1.6GHz

渠道酬金结算 HP SD 20C(IA)/1.6GHz 渠道酬金结算(指标)

HP SD 36C(PA8900)/1.1

GHz

渠道酬金结算(指标)

HP SD 36C(PA8900)/1.1

GHz

原有系统支撑硬件

利用Exadata高性能解决原有性能问题

采用ADG代替原有基于存储的远程复制容灾

实现读写分离

Page 65: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

实施效果

指标 原生产系统时间 新生产系统时间

准实时清单累加实时账单每批次

60s 20s

月结报表 72小时 16小时

日结报表 8小 4小时

客户认为采用即使采用高容量盘,仍然获得很好的性能提升,并提供的足够大的容量

将进一步推广Exadata的使用,部署更多应用

Page 66: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

CMCC FJ性能收益

0

5000

10000

15000

20000

25000

30000

总加载时长(分钟)

Teradata

Exadata

59.29%

40.10%

0.62%

性能提升百分比

15倍以上

5-15倍

5倍以下

10倍

Page 67: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

高性能计算: D省移动视频基地

解决方案

手机视频指基于移动网络(GPRS、EDGE、TD等网络),通过手机终端,向用户提供影视、娱乐、原创、体育、音乐等各类音视频内容直播、点播、下载服务的业务。

应用:Billing Revenue Management

配置:Sun Oracle Database Machine Half Rack

方案亮点: 数据库主机、存储、互联、软件等交付完整的系统架构

极限性能, 高可靠性

虚拟化、整合技术,SaaS平台,未来技术方向

冗余, 线性扩展

降低TCO成本

网格技术

虚拟化技术

极限性能处理技术

统一管理

CASE

系统记录用户9000多万,计费用户15000万

60周年国庆大阅兵热点事件中,共有48万用户请求访问手机视频,并有18万用户通过手机视频观看大阅兵。

在7月22日的长江大日食中有近40万用户请求访问手机视频,同时有14万用户通过手机视频全程观看长江大日食

世界杯开幕式当晚有超过1万/每秒客户请求访问手机视频

67

Service

Type

SOAP

CPU Load

BRM

CPU load

DB

CPU Load

TPS Login

Response

Success rate

AA for new customer 11% 55% 8% 308 0.233 100%

AA for registered

customer 15% 10% 7% 928 0.081 100%

Customer’s

Subscription 10% 52% 9% 220 0.191 100%

Un-Subscription

10% 56 10% 305 0.310 100%

Services Authorization 14% 55 6% 508 0.150 100%

Page 68: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

高性能OLAP:湖南电信数据仓库

压缩模式 压缩比(压缩前/压缩后) 全表Query High平均压缩比 6.89

样表Query Low压缩模式 8.27

样表Query High压缩模式 13.44

样表Archive Low压缩模式 15.57

样表Archive High压缩模式 19.27

脚本名 Exdata耗时 (单独运行)

Exdata耗时 (全并发)

TD日志中记录的耗时 (非全并发)

耗时比 (TD非全并发/ ED全并发)

NET_BNIP_TICKET_A 00:02:41 00:21:11 02:01:05 5.72 NET_CDMA_TICKET_A 00:12:08 00:36:47 00:56:52 1.55 NET_LOCAL_TICKET_A 00:03:51 00:33:12 01:36:31 2.91 NET_TRUSTED_TICKET_A 00:02:18 00:30:35 04:43:38 9.27 BAS_NET_CDMA_TICKET_MON_A 00:06:56 00:10:30 04:01:32 23.00 BIL_ACCT_ITEM_A 00:08:46 00:41:35 05:21:09 7.72 NET_BNIP_TICKET_B 00:07:32 00:07:22 00:43:06 5.85 NET_LOCAL_TICKET_B 00:09:56 00:14:58 00:42:52 2.86 NET_TRUSTED_TICKET_B 00:00:41 00:07:09 01:20:10 11.21 BAS_NET_CDMA_TICKET_MON_B 00:02:38 00:09:57 01:13:43 7.41 BIL_ACCT_ITEM_B 00:02:54 00:30:22 00:50:20 1.66 BAS_NET_COMP_PRD_MON_Z 00:45:00 01:01:26 22:10:55 21.66 FCT_COMP_USER_Z 00:01:00 00:00:59 01:45:43 107.51 总计 01:02:25 大约3天

从7台Teradata(3 5550H + 4 5450H,数据容量 38TB ) 替换到 1/2 Exadata,性能平均提高16倍,压缩比 从1.3提高到6.89倍

Page 69: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

高性能DW:华为ERP报表系统

增量调度 增量调度

生产环境为:IBM P595, 64C/256GB, Storage HDS 9990

Page 70: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

• Exadata Full Rack V2

• 100TB(Usable Size)

• 8 Nodes RAC

• 14 Storage Servers

• Exadata Half Rack x2-2

• 50TB(Usable Size)

• 4 Nodes RAC

• 7 Storage Servers

+

Sk telecom 案例(总数据容量超过1800TB)

+ • Exadata Half Rack x2-2

• 50TB(Usable Size)

• 4 Nodes RAC

• 7 Storage Servers

- 16 Nodes RAC , 28 Storage Servers (High Capacity SAS Disk)

Adapted May, 2010 Adding X2-2 HR on February, 2011 Adding X2-2 HR on Jun, 2011

Daily Average Data

# of Daily Txns Raw(sam file) After loading onto Exadata DB

40 Billion 10 TB 1TB

Page 71: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Oracle Internal Only 71

SK Telecom: 数据仓库

Exadata X2-2

Qtr Rack

(2010)

• Spam Filtering

Business Objectives

• Ensure billing accuracy

• Enhance customer service

• Predict data traffic trends

Solution

• 2009: Create new DW on Exadata

V1 half-rack

• 2010: Move to full-rack Exadata V2

• 2011: Add full-rack Exadata X2-2

2010 2011

Exadata

V2+X2-2

Data

Warehouse

• 1,000 TB Raw / 100

TB Compressed

• 16-node RAC

Cluster

Exadata V2

Data

Warehouse

• Billing Analysis

System

• Usage & Roaming

Inquiries

Exadata V1

Data

Warehouse

(2009)

• Billing

Analysis

System

收益 节约存储

900 TB

1,000 TB to 100 TB

$ Millions

收入保障 超大数据量

10 TB/day “Oracle Exadata Database Machine has overwhelmingly

superior performance, with average data processing rates 8

to 20 times greater than other SK Telecom in-house

systems.” - Jin-hyung Lee, Manager, Network Engineering Department, SK

Telecom

Page 72: Oracle Cloud Computing Solution...标准化建设,提升数 据服务的标准化能 力,推动系统内部解 耦及外部应用移植。 构建自助分析模 块,加强数据挖掘

72