oracle database 11g release 2 · 各种场景装载速度测试案例耗时备注...

<Insert Picture Here>

Exadata测试汇报

中国电信广州研究院Exadata POC报告

提纲

• 测试环境和参数列表

• 测试场景和用例

• 测试结果

• 测试总结

测试环境硬件

Oracle Exadata 1/2配置的测试环境，硬件配置如下：

数据库服务器：1/2配置2台

处理器：1/2配置48核（主频2.93 GHz）

内存： 1/2配置384GB

Exadata存储服务器： 1/2配置7台

处理器： 1/2配置84核（主频2.26 GHz）

内存： 1/2配置168GB

闪存： 1/2配置2.6TB

磁盘裸容量： 1/2配置50TB

磁盘用户空间：1/2配置22.5TB

3 台36口InfiniBand 交换机

36-port Managed QDR (40Gb/s) switch

测试环境软件

Oracle数据库11.2.0.2企业版+Patch set 3

Oracle Real Application Clusters,

Oracle Partitioning

Oracle Enterprise Linux 5 for X86-64

Exadata指标一览

项目 Exadata¼配置 Exadata½配置

Exadata

Full Rack

处理器核数 24 DB+36存储 Intel 48 DB+ 84存储

Intel 96DB+168存储

Intel

存储节点 3 (36 disks) 7 (84 disks) 14 (168 disks)

总计算能力(specint_rate2006)

1540 3480 6960

I/O 吞吐量 (disks) 5.4GB/sec 12.5GB/sec 25GB/sec

I/O 吞吐量 (flash) 16GB/sec

37.5 GB/sec 75GB/sec

实际DW有效吞吐量经验值（disk + flash*0.3)

10.2GB/sec 23.5GB/sec 47.5GB/sec

机架位置需求 1(实际占用1/4) 1(实际占用1/2) 1

典型功耗(KW) 2.7 5.1 9.8

最大功耗(KW) 3.6 7.2 14

提纲



• 测试结果

• 测试总结

测试场景的关键考察点

• 海量数据加载，考察系统的数据加载基本能力

• 数据压缩测试，考察系统的数据压缩能力，并考察压缩和非压缩数据的扫描的效率

• 生产应用中运行效率较低的SQL语句(多表关联和大表)

• 海量数据的更新和删除

• 高可用测试

提纲



• 重点测试结果

• 测试总结

数据装载测试 1.1.批量数据装载测试用例编号 21001-1

任务开始时间结束时间耗时

NET_CDR_VS_O 2011-08-31 21:08:09 2011-08-31 22:04:21 00:56:12.42

OFR_MAIN_ASSET_CUR 2011-08-31 22:04:21 2011-08-31 22:08:10 00:03:48.04

FIN_BIL_STMT_ITEM 2011-08-31 22:08:10 2011-08-25 20:30:16 00:12:26.61

执行时间 01:22:07.00

select count(*) from NET_CDR_VS_O

COUNT

------------

9000000000

(1 row)

select count(*) from FIN_BIL_STMT_ITEM

COUNT

------------

5400000000

(1 row)

select count(*) from OFR_MAIN_ASSET_CUR

COUNT

----------

91104000

(1 ROW)

90亿条详单，2.6TB容量加载时间只需56分钟！！

5亿4千万条帐目明细加载时间仅需3分48秒

各种场景装载速度

测试案例耗时备注

1.1.批量数据装载

56:12.42

NET_CDR_VS_O，QH压缩，大小分别为2.6T，90

亿行

03:48.04

OFR_MAIN_ASSET_CUR，非压缩表，60G，91104000行

12:26.61 FIN_BIL_STMT_ITEM，QH压缩，54亿行，600G

1.2.1空表装载-单任务 02:22.53 加载180g，5亿行数据

1.2.2空表装载-多任务

17:14.62

2月份到11月份每个月作为一个任务，共10个任务，每个任务加载180g，5亿行数据

1.3.1增量装载-单任务 01:24.18 加载90g，2亿5千万行数据

1.3.2增量装载-多任务

02:11.76

10个任务，并发加载到NET_CDR_VS_O_1到

NET_CDR_VS_O_10 表中，每个任务加载18g，5千万行数据

单任务情况下全表扫描速度

测试脚本名 /home/oracle/ctc/case2/case2.1.1

sh 2_1_1_s.sh |tee 2_1_1_s.log

测试用例名称 2.1.1.全表扫描 -单任务

测试用例编号

21002-1

测试耗时任务开始时间结束时间

耗时

START_TIME BETWEEN '2009-01-01 00:00:00.000000' AND '2009-12-31 23:59:59.999999'

2011-09-01 11:48:12

2011-09-01 11:48:36

00:00:24.15

测试结果 COUNT(*) AVG(DUR) MAX(AFT_DSC_AMT1)

MIN(DSC_AMT1)

---------- ---------- ----------------- -------------

9000000000 4199.51234 2000 2000

备注 90亿数据，2.6TB容量

全表扫描，多任务

测试用例名称

2.1.1.全表扫描-多任务测试用例编号 21002-1

测试耗时

任务开始时间结束时间耗时

START_TIME BETWEEN '2009-01-01 00:00:00.000000' AND

'2009-02-10 23:59:59.999999' 00:00:30.36


'2009-03-10 23:59:59.999999' 00:00:30.64


'2009-04-10 23:59:59.999999' 00:00:30.66


'2009-05-10 23:59:59.999999' 00:00:30.69


'2009-06-10 23:59:59.999999' 00:00:31.01


'2009-07-10 23:59:59.999999' 00:00:31.04


'2009-08-10 23:59:59.999999' 00:00:31.13


'2009-09-10 23:59:59.999999' 00:00:31.18


'2009-10-10 23:59:59.999999' 00:00:31.46


'2009-11-10 23:59:59.999999' 00:00:36.19

总运行时间 2011-09-01 11:50:03 2011-09-01 11:50:39 00:00:36

全表扫描时系统负荷状态—单任务

ComputeNode

CPU(%)

Memory

Free(MB)

Page

In/s

Page

Out/s

NetRecv

(MB/s)

NetSent

(MB/s)

NetTotal

(MB/s)

dm01db01 82.50 89215.21 0.00 112.00 1195.37 2.61 1197.98

dm01db02 83.00 89425.59 0.00 718.50 1229.28 2.15 1231.43

dm01db03 83.00 89908.88 0.00 89.00 1159.37 2.03 1161.39

dm01db04 82.50 88945.60 146.50 628.50 1346.57 2.73 1349.30

Average 82.75 89373.82 36.63 387.00 1232.65 2.38 1235.03

CellNode CPU(%) Memory

Free(MB)

Read

MB/s

Write

MB/s

Reads

/s

Writes

/s

dm01cel01 69.00 8159.57 1824.02 0.25 49350.00 19.50

dm01cel02 74.50 8047.78 1809.70 0.26 46813.50 22.00

dm01cel03 69.50 8091.67 1807.70 0.35 53483.50 25.00

dm01cel04 69.50 8008.71 1843.79 0.23 50540.50 19.00

dm01cel05 69.50 8023.52 1806.78 0.18 49448.50 17.50

dm01cel06 69.50 7650.26 1821.89 0.10 54802.00 7.00

dm01cel07 71.50 8117.54 1832.74 0.15 48404.00 11.00

Average 70.43 8014.15 1820.95 0.22 50406.00 17.29

大表关联测试

测试脚本名 Cd /home/oracle/ctc/case2/case2.2.1

sh 2_2_1_s.sh |tee 2_2_1_s.log

测试用例名称 2.2.1.大表大表关联-案例1-单任务

测试用例编号

21002-2

测试耗时任务开始时间

结束时间

耗时

P1.Stmt_Dt

BETWEEN DATE

'2009-01-01' AND

DATE '2009-01-31' 11:55:24 11:55:57

00:00:33

.27

说明关联NET_CDR_VS_O，2.6T，90亿行记录，

OFR_MAIN_ASSET_CUR 59G，9110万记录。取1月份记录

大表关联测试系统资源情况

ComputeNode CPU(%) Memory

Free(MB)

Page

In/s

Page

Out/s

NetRecv

(MB/s)

NetSent

(MB/s)

NetTotal

(MB/s)

dm01db01 58.33 86075.72 0.00 122.00 403.22 182.16 585.38

dm01db02 56.33 86276.21 0.00 323.67 406.20 184.46 590.66

dm01db03 56.33 86900.29 0.00 113.00 406.35 184.08 590.44

dm01db04 57.00 86101.47 1.00 481.33 404.25 182.20 586.45

Average 57.00 86338.42 0.25 260.00 405.00 183.23 588.23


Free(MB)

Read

MB/s

Write

MB/s

Reads

/s

Writes

/s

dm01cel01 28.67 8060.14 1669.41 7.87 47961.00 265.00

dm01cel02 33.33 7960.31 1668.79 8.80 48425.33 247.67

dm01cel03 29.00 8006.27 1664.30 0.20 50700.67 24.00

dm01cel04 30.67 7922.56 1681.96 0.23 51326.67 16.00

dm01cel05 28.33 7946.16 1660.15 1.92 50333.33 69.00

dm01cel06 28.67 7568.58 1665.66 0.19 50891.00 21.33

dm01cel07 28.67 8020.52 1668.58 0.16 50837.67 19.33

Average 29.62 7926.36 1668.41 2.77 50067.95 94.62

混合并发测试

测试脚本名 /home/oracle/ctc/case2/case2.3

sh 2_3_s.sh |tee 2_3_s.log

测试用例名称 2.3 混

合并发操作测试

测试用例编号

21002-7

测试耗时任务开始时间

结束时间耗时

Load 25:31.42

23:44.85

23:45.16

25:07.69

23:38.24

Query 21:54.96

0.05 0.07 0.07 0.15 0.05 0.05

0.63 1.12 1.02 1.05 0.72 0.62

0.96 2.45 2.60 1.97 1.06 1.01

0.85 1.54 2.30 1.94 0.92 0.88

0.09 0.15 0.18 0.3 0.08 0.08

0.01 0.01 0.01 0.01 0.01 0.01

0.01 0.01 0.01 0.01 0.01 0.01

1.24 3.5 2.07 2.35 1.28 1.22

0.86 1.58 2.11 1.67 0.90 0.87

0.08 0.13 0.64 0.24 0.08 0.07

Oltp1

Oltp2

Oltp3

Oltp4

Oltp5

Oltp6

Oltp7

Oltp8

Oltp9

Oltp10

混合并发资源情况

ComputeNode

CPU(%)

Memory

Free(MB)

Page

In/s

PageOut/s

NetRecv

(MB/s)

NetSent

(MB/s)

NetTotal

(MB/s)

dm01db01 52.42 66765.57 0.27 114.60 185.02 275.70 460.72

dm01db02 69.66 61265.07 0.18 388.67 197.43 290.37 487.80

dm01db03 71.44 57538.47 0.19 101.54 122.80 170.62 293.42

dm01db04 53.51 67196.15 4.18 541.55 190.04 283.80 473.84

Average 61.76 63191.31 1.20 286.59 173.82 255.12 428.94


Free(MB) ReadMB/s

Write

MB/s Reads/s Writes/s

dm01cel01 3.80 7113.31 125.99 139.84 1883.75 654.85

dm01cel02 3.82 7035.15 125.78 140.15 1933.24 662.13

dm01cel03 3.71 7089.18 126.79 139.79 1943.55 652.82

dm01cel04 3.76 7019.13 126.57 139.61 1964.13 652.16

dm01cel05 3.61 6995.63 125.53 139.40 1894.83 643.13

dm01cel06 3.69 6680.13 126.39 139.79 1938.20 651.34

dm01cel07 3.76 7080.47 125.97 139.90 1904.78 647.94

Average 3.74 7001.86 126.15 139.78 1923.21 652.05

压缩比例测试

数据压缩率

数据内容

原始文件大小（BYTE）

非压缩表大小

（ BYTE ）

压缩表大小（ BYTE ）

压缩率

压缩比

NET_CDR

_VS_O1_C 546.64G 435.80G 54.36G 0.9 10X

NET_CDR

_VS_O_T

MP_C

273.32G 218.26G 27.05G 0.9 10X

说明

Exadata的测试均保持了压缩的一致性，并不存在查询采用非压缩表，测压缩采用压缩表的情况

平台扩展性测试结果

任务耗时单任务 00:31.12

多任务

02:23.73

02:19.90

02:21.11

02:21.69

02:22.30

调整前Oracle Exadata X2-2 1/2机架配置调整后Oracle Exadata X2-2 1/4机架配置

任务耗时

单任务 00:55.95

多任务

05:33.46

01:35.48

04:55.57

04:55.83

05:30.35

提纲



• 重点测试结果

• 测试总结

总结（一）

• 通过在Oracle Exadata Database Machine X2-2

1/2机架配置上完成的结果可以看到，Oracle

Exadata在大数据量下的性能、可用性、扩展性及可管理性等，完全可以满足中国电信的需求。

• 在本次测试中Oracle Exadata 1/2机架配置装载大小分别为2.6TB大约90亿行的数据装载到表NET_CDR_VS_O中耗时56分12秒，相当于数据装载能力为808MB/s。

• Oracle Exadata混合列压缩（EHCC）与原始文件相比有超过10倍的压缩率。

总结（一）

• 通过Oracle Exadata的革命技术存储索引、智能扫描、智能存储、数据压缩以及infiniband高速网络等特性，本次测试的性能测试场景无论是简单查询还是复杂查询都是在秒级或分钟级；案例《2.4.2.即席查询-案例2-多任务》是耗时最多的查询，耗时是5分26秒。

• Oracle Exadata Database Machine X2-2 1/2机架配置从表OFR_MAIN_ASSET_CUR中导出59GB大约9110万记录仅耗时2分22秒。

• Oracle Exadata 1/2机架配置IO吞吐可达10GB/s，而flash

cache的IO吞吐可达20GB/s。

• 在平台的可扩展性测试中通过Oracle Exadata 1/4机架配置与Oracle Exadata 1/2机架配置对同一负载耗时的比较证明了Oracle Exadata的线性扩展能力。

Oracle 数据库网格

Smart Scan 处理技术 Exadata为什么快10-100x倍?

问题：昨天的销售业绩如

何？

Exadata 智能存储

层

SUM

Select sum(sales)

where

Date=’24-Sept’ …

Smart Scan

在TB 级数据中扫描匹配请求的数据

构建并发Smart Scan请

求

仅仅返回满足条件的数据

智能扫描SmartScan ROW使用“where”谓词筛选行

COLUMN列筛选 JOIN联接筛选增量备份筛选

压缩的行混合列

Row 1

Symbol Table

Row 2

Row 3

Database Block

•很好的随机行访问特性 •OK 表访问 •2x - 5x 压缩

Co

lum

n 1

Co

lum

n 2

Co

lum

n 3

列数据库

•很差的随机行访问特性 •非常好的 Table Scan

•5x - 40x 压缩

Compression Unit 1

Co

lum

n 1

Co

lum

n 2

Co

lum

n 3

Compression Unit 2

C1

C2

C3

•很好的随机行访问特性 •非常好的 Table Scan

•5x - 40x 压缩

Exadata 提供的革命性的压缩技术

11gR2

Exadata 存储索引提升查询性能示例表 SALES –

• 存储索引将无关data chunk忽略掉

• 提供类似分区修剪的功能

WHERE ship_date between ’01-SEP-2009’ and ’31-SEP-2009’

排除 data chunk #2

03-NOV-2009 01-OCT-2009 Ship_date

07-OCT-2009 05-SEP-2009 Ship_date

Data Chunk #1

03-SEP-2009 03-SEP-2009 Order_date

80300 10000 Cust_ID

30000 2030 Prod_ID

40,000 10,000 Amount

20,000 10,000 Amount

Data Chunk #2

MIN MAX

Order_date 03-SEP-2009 03-SEP-2009

Cust_ID 10075 20098

Prod_ID 20010 32932

03-NOV-2009

19-OCT-2009

01-OCT-2009

07-OCT-2009

05-SEP-2009

19-SEP-2009

Ship_date Order_date Cust_ID Prod_ID Amount

03-SEP-2009 10075 32932 10,000.00

03-SEP-2009 20098 20098 20,000.00

03-SEP-2009 10089 20010 15,000.00

03-SEP-2009 20100 10000 35,000.00

03-SEP-2009 80300 30000 10,000.00

03-SEP-2009 10000 2030 40,000.00

x

对大型扫描的优化

1 TB

（压缩）

10 TB 的用户数据

需要10 TB 的IO

100 GB

（分区修剪）

20 GB

（存储索引）

5 GB

（智能扫描）

在Database Machine 上实

现

亚秒级

数据减少10 倍，扫描加快2000 倍

Exadata X2-2主要指标

配置 ¼机架 ½机架满机架 2-8 个满机架

数据库节点 2 (24 cores) 4 (48 cores) 8 (96 cores) 16-64

存储节点 3 (36 disks) 7 (84 disks) 14 (168 disks） 28-112

数据容量 (SAS HP，无压缩) 9.25TB 22.5TB 45 TB 200 – 800 TB

数据容量 (SAS HP，压缩，考虑BASS压缩比保守估计8)

74 TB 180 TB 360 TB 672 – 2,688 TB

Flash Cache 容量 1.1 TB 2.6 TB 5.3 TB

I/O 吞吐量 (磁盘) 5.4GB/sec 12.5 GB/sec 25 GB/sec 42 - 168 GB/sec

I/O 吞吐量 (flash) 16 GB/sec

37.5 GB/sec 75GB/sec 100 - 400 GB/sec

机架 1 1 1 2-8

国内电信客户性能测试总结

客户项目配置 Poc结果对比配置时间

AsiaInfo

BASS

system V1 10 times

P595（2x32CPU）+DB2

7 Days,

Sep 2009

陕西电信账务

V2,¼

Rack 20 Times N/A 7 Days

辽宁移动 BASS

V2, ¼

Rack 168 Times

SUN 25K*2，

EMC Storage

Jul26-

Jul28,2010

黑龙江联通 BASS

V2, ½

Rack 62times N/A

Sep16-

Sep18,2010

浙江移动 BASS

V2, ¼

Rack 235 Times

2个IBM595(96

Core)，EMC DMX-4

300

Sep8-

Sep15,2010

北京移动综合告警（DW）

V1, ¼

Rack 105 /352 times SUN M5000

Oct11-

18,2010

山西移动结算系统改造(DW)

V2,¼

Rack 5times

P570, IBM DS 8300-

1/12T Mar,2010

Customer Project Configuration

Data Compression

results

China Life EDW project V1 2.44times

平安银行 ODS project V2,¼ Rack 20times

SF-Express ODS/DW project V2,¼ Rack 10times

中远集运集运运输(OLTP) V2,¼ Rack 10times

辽宁移动 BASS V2, ¼ Rack 10times

黑龙江联通 BASS V2, ½ Rack 10.07times

北京移动综合告警（DW） V1, ¼ Rack 14times

数据压缩测试总结

高压缩比让BASS的海量数据的在线备份节能减排，减少机房占用成为可能，同时大大节约了存储成本

五年TCO比较1/4 Exadata X2-2 vs 能提供接近性能的P780+DMX4

Exadata IBM 主机+EMC DMX4

硬件设备配置说明 1台1/4Exadata

(有效SPECint_rate2006=1378)

保证高可用，2台16 core P780，64G内存，每台至少10个4Gb

FC端口

(32Core,SPECint_rate2006=1265)

设备价格 400 400

5年硬件服务费 288 56

网络交换机费用 Exadata已经提供IB交换机，不需要 20

数据库服务器实际开销费用小计：（万元）

688 476

存储系统配置说明 Exadata已提供，无需新购存储空间

一台DMX4，至少128GB cache, 至少20个4Gb主机FC端口，至少20个后端磁盘LOOP，裸容量至少150TB裸容量，配置15000RPM的600GB磁盘，提供10GB/S顺序吞

吐量

存储设备价格 0 450

存储设备5年服务费 0 90

FC交换机 0 无需FC交换机 100万，至少两台64口交换机，为将来扩展预留足够端口

存储系统实际开销费用小计：（万元） 0 640

新购Oracle许可证费用需要DB/Partition/RAC license各48(Exadata系数是0.5)

需要DB/Partition/RAC 许可各160个(IBM Power6和Power7

系数是1)

DB 许可费用 12X，可利旧 32X

Partition 许可费用 12X，可利旧 32X

RAC 许可费用 12X，可利旧 32X

Oracle许可证采购费用小计：（万元）

硬件采购与三年运行费合计：（万元） 688 1116

占地开销（机架) 1 3

典型功耗 2.7KW 8KW

峰值功耗 3.6KW 12KW

五年TCO比较1/2Exadata X2-2 vs 能提供接近性能的P780+DMX4

Exadata IBM 主机+EMC DMX4

硬件设备配置说明 1台1/2Exadata

(有效SPECint_rate2006=2980)

保证高可用，2台36core P780，144G内存，每台至少50个4Gb

FC端口

(72Core,SPECint_rate2006=2846)

设备价格 800 800

5年硬件服务费 576 112

网络交换机费用 Exadata已经提供IB交换机，不需要 20

数据库服务器实际开销费用小计：（万元）

1376 932

存储系统配置说明 Exadata已提供，无需新购存储空间

两台DMX4。每台至少128GB cache, 至少20个4Gb主机FC端口，至少20个后端磁盘LOOP，裸容量至少180TB

裸容量，配置15000RPM的600GB磁盘。每台提供10GB/S顺序吞吐量

存储设备价格 0 1000

存储设备5年服务费 0 200

FC交换机 0 无需FC交换机 100万，至少两台64口交换机，为将来扩展预留足够端口

存储系统实际开销费用小计：（万元） 0 1200

新购Oracle许可证费用需要DB/Partition/RAC license各24(Exadata系数是0.5)

需要DB/Partition/RAC 许可各72个(IBM Power6和Power7系数是1)

DB 许可费用 24X，可利旧 72X

Partition 许可费用 24X，可利旧 72X

RAC 许可费用 24X，可利旧 72X

Oracle许可证采购费用小计：（万元）

硬件采购与三年运行费合计：（万元） 1376 2132

占地开销（机架) 1 6

典型功耗 5.1KW 14KW

峰值功耗 7.2KW 26KW

补充说明

• 上述配置只考虑按照CPU和IO性能接近的Exadata的P780+DMX配置

• 并未考虑Exadata IO Index/EHCC压缩对经分应用的性能巨大提升

• 实际上上述对应配置的P780+DMX性能仍然不如对应Exadata

• 对于Exadata占地面积和功耗带来对机房建设、电源和散热的成本节约，也尚未进行准确估算

• P780+DMX4并没考虑要对存储宕机进行容错性保障，如果要求，其容量需要再增加一倍；而Exadata具备对内置的Storage cell故障的容错性

• 也没考虑Exadata 的高压缩比带来的海量数据库备份设备投资的节约

oracle database 11g release 2 · 各种场景装载速度 测试案例 耗时 备注...

Documents

oracle database 11g release 2 · 各种场景装载速度测试案例耗时备注...