1

新世代的雙活(ACTIVE-ACTIVE)軟體定義資料中心的具體實現

唐資生(Jason Tang)

VMware技術顧問

本日議程

• 為何企業需要探討雙活中心架構?

• VMware技術如何克服雙活中心儲存的挑戰

• VMware技術如何克服雙活中心網路的挑戰

• 雙活中心設計其他考量

• 總結

2

為何企業需要探討雙活資料中心?

資料中心B

雙中心儲存基礎架構

雙中心雲端基礎架構

雙中心維運管理

資料中心A

雙中心儲存基礎架構

雙中心雲端基礎架構

雙中心維運管理

零丟失(No Data Lost)

• 多資料中心可存取同一份資料或業務系統虛擬機• 資料遺失率趨近於零

零切換(No Operation)

• 服務轉移至另一資料中心時，將不會有人工介入• 服務轉移至另一資料中心所需時間極短

享資源(Share Resource)

• 應用系統可線上於資料中心間轉移• 一個雲端管理平臺管理雙資料中心的所有資源

雙活(Active-Active)與災難備援(Disaster Recovery)的特性及效益不同

(DR) (A-A)

資料中心

• 一主一備的災備方案變成資源浪費• 硬體設計過多的冗餘造成低利用率

與無效資源• 災備演練的力度與複雜性較多

• 雙資料中心同時提供服務,就算發生災難也可以及時復原並提供相等服務

• 降低資料中心的投資成本與運維成本• 提供高可用性與敏捷度並支援業務成長

硬體• 特定硬體的對等投資• 對於廠商較無選擇性

• 多種方案可以選擇並無需對等硬體設備• 適合的運算資源部署與彈性擴展

工具/流程• 複雜的管理流程與工具• 同時需要考慮多種平臺的治理

• 對於底層基礎架構可實現虛擬化,標準化與自動化

組織• 較無彈性並無法及時對應流程改變• 資料中心運維人力較多投入

• 減少日常運維工作負擔,可以提升工作人員效率與具意義的技能提升

• 減少孤島式的組織並提升協同合作能力

業務應用系統• 傳統業務應用系統需要專屬硬體軟

體人力等各方面投入與維運• 可以採用平臺即服務與軟體即服務來彈

性提供業務成長需求

雙活(Active-Active)與災難備援(Disaster Recovery)架構不同

5

兩個資料中心視為一個 = 延伸叢集 兩個資料中心分別獨立 = 災難備援

Stretched vSphere Cluster

延伸儲存叢集資料中心A

(Active)

資料中心B (Active)

vCenter

vSphere Cluster

儲存抄寫資料中心A

(Active)

資料中心B (Passive)

vCenter

vSphere Cluster

vCenterSRM SRM

一個虛擬分散式Volume/Datastore Datastore A Datastore B

叢集內 vMotion 儲存抄寫

6

VMware技術如何克服雙活中心儲存面的挑戰

雙活中心儲存層面的挑戰

如果一整座儲存設備故障虛擬機是否還能執行? Yes, 兩座儲存設備同步抄寫備援

儲存設備以外的環節(e.g. SAN Switch)故障是否還能正常運作? 儲存架構如何設計確保冗餘?

如果整個資料中心無法使用是否還能正常運作? 儲存設備只有同地備援是不夠的!

如何能夠讓兩座儲存設備同時讀及寫相同資料? 如果有一座儲存處於Standby抄寫模式就是DR

虛擬機遷移時是否會出現儲存I/O跨資料中心的狀況? 如果不能解決那I/O資料流仍會回原中心

跨兩中心的Volume同時寫入會不會有效能問題? 該確保哪些條件以維持效能?

兩座資料中心完全斷線時該如何因應? 兩個Volume同時寫入該以誰為準?

不同虛擬機配至於不同磁碟Volume時 如何確保這些虛擬機狀態的一致性?

介紹vSphere Metro Storage Cluster (vMSC)

• vMSC為延伸叢集解決方案，並非產品功能！

必要先決條件：

跨資料中心「延伸」(Stretch)的儲存系統

跨資料中心Layer 2透通的延伸網路

• 硬體相容清單 (HCL) – 經認證的 vMSC

iSCSI Metro Cluster Storage

FC Metro Cluster Storage

NFS Metro Cluster Storage

• 儲存及網路延遲時間要求

ESXi 管理網路最多能支援 100 毫秒延遲時間 (RTT) (vSphere 6.0)

同步儲存複寫連結為 5 毫秒延遲時間 (附註：部分儲存裝置廠商有不同的支援需求！)

vMSC 認證的儲存裝置

vCenter

延伸網路

vSphere HA 叢集

網路

儲存裝置

資料中心 A

Active

資料中心 B

Active

vSphere + VSAN

Stretched ClusterHDDSSD HDDSSD HDDSSD HDDSSD HDDSSD HDDSSD

witness

vESXiappliance

• VSAN叢集設定為幾個不同的Fault Domain，確保資料在存放時複本會存在其它Fault Domain中

• VSAN的延伸集群，還需要Witness節點，這個節點只存放中繼資料，不存儲業務資料，它的作用是和兩個網站建立心跳機制，當其中一個網站故障或網站間發生網路磁碟分割的時候，Witness可以判斷出發生了什麼，並決策如何確保可用性。

• VMware已經準備好了專門搭配SRM Stretch Cluster的Witness虛擬裝置 (witness appliance)，可部署在第三資料中心或者公有雲上。

VMware VSAN 6.1 支援儲存雙活 (VSAN Stretched Cluster)

VSAN 6.1

New!

Fault Domain B

Fault Domain A Fault Domain C

VSAN 6.1 Stretch Cluster的技術要求

資料中心 A 資料中心 B

vSphere + VSAN

Stretched ClusterHDDSSD HDDSSD HDDSSD HDDSSD HDDSSD HDDSSD

網路延遲 < 5 ms RTT 頻寬需求 >10 GbpsActive Active

L2 with Multicast

Fault Domain A Fault Domain C

Fault Domain B

witness

vESXiappliance

• Witness的節點與其他兩個網站之間的延遲可以在100ms以內（RTT<=200ms）。

• 資料中心A與資料中心B之間延遲小於5ms，頻寬大於10Gbps

• VSAN Network需NSX或者其它技術達成Layer 2 Multicast透通

vMSC延伸儲存叢集

vSphere 6以前，可以採用vMSC 叢集建構雙活架構

ESXi ESXi ESXi ESXi ESXi ESXi

資料中心A的分散式虛擬Volume(完整讀/寫存取)

資料中心B的分散式虛擬Volume(完整讀/寫存取)

vCenter

Layer 2延伸網路網路 或NSX VXLAN Overlay

資料中心A

vSphere 叢集

資料中心B

vSphere 6.0 + SRM 6.1 + vMSC的組合下可建構更自動化的雙活架構

12

vMSC延伸儲存叢集

vSphere 叢集 1

vCenter SRM

ESXi ESXi ESXi

vSphere 叢集 2

ESXi ESXi ESXi

資料中心A的分散式虛擬Volume(完整讀/寫存取)

vCenter SRM

Layer 2延伸網路 或NSX VXLAN Overlay

資料中心B的分散式虛擬Volume(完整讀/寫存取)

13

VMware技術如何克服雙活中心網路面的挑戰

14

• 所有東西向的資料流(即便同主機不同VM)都要上到Core Switch

• 雙中心網路需要複雜的Layer 2透通機制

• 防火牆、負載平衡等具stateful特性，VM跨中心遷移時資料流仍必須回到原中心

WEB

APP

DATABASE

LB

FW

FW

傳統三層式網路架構的資料流在雙中心架構的挑戰

FW

FW

15

L2

User 1

192.168.1.1 192.168.1.1

vCenter

User 2

資料中心A 資料中心B

虛擬機跨中心遷移或部署時，Inbound資料流控制與Outbound資料流控制都需要考量，是相當複雜的問題

16

(1) 集中式 L3

• 資料中心對內/對外都是A/S

(2) 本地式東西向 + 集中式南北向

• 資料中心對內資料流A/A

• 資料中心對外資料流A/S

(3) 本地式東西向 + 本地式南北向

• 完整的網路資料流A/A

We

b

Ap

p

DB

We

b

Ap

p

DB

Site A Site B

WAN

We

b

Ap

p

DB

Site A Site BWAN

We

b

Ap

p

DB

We

b

App

DB

Site A Site B

We

b

App

DB

WAN

簡單

困難

1

6

幾種雙活中心網路架構選項

17

VMware NSX Multi-Site解決方案

Web

App

DB

Site A Site B

WAN

Web

App

DB

NSX 6.2

New!

• VXLAN Overlay達成Layer 2網路透通

• Universal Logical Switch提供跨資料中心邏輯交換器(搭配多個vCenter)

• Locale ID提供資料中心網路封包識別Outbound資料流

• 不需要依賴Storage Stretch Cluster (資料同步問題另行安排)

18

EMC VPLEX Replication

Distributed Logical Router

L3

Network

儲存層

網路層

DS1 DS1

vSphere Stretched ClusterESXI1 ESXI2

Stretched L2 Application Workload

NSX Edge

Cluster

VM1 VM2 VM3

Distributed Firewall

Management

Cluster

NSX Edge

Cluster

Management

Cluster

ESXI3 ESXI4 運算層

實體線路層

安全層

Dark Fiber 4ms / 6Gbps

EMC1 EMC2

ACTIVE ACTIVE資料中心1 資料中心2

Non-Stop的雙活資料中心完整架構-日本某大輸配電公司實作架構

總部機房

VPLEXWitness

日本某大輸配電公司如何以VMware技術打造Non-Stop雙活SDDC

• 以兩座vMSC儲存設備及Dark Fiber建造出Distributed Virtual Volume做為VM DataStore

• 以NSX VXLAN及VTEP Network連接成雙中心透通網路

• vCenter、NSX Manager、NSX Edge等組件，結合vSphere HA、NSX HA、DRS高可用機制

• 利用DRS的Host Affinity及VM Anti-Affinity規則指定VM的移動規則

• 以NSX分散式防火牆提供必要的安全防護，避免了傳統實體防火牆的session stateful限制

• 以vRealize Operation及Log Insight提供即時的監控

• 架構實際驗證演練結果:

使用vMotion做手動計畫性遷移，3分鐘內完成8個關鍵應用VM遷移到另一資料中心，應用系統Non-Stop!

使用vSphere HA做全資料中心非計畫性災難切換，所有應用系統VM及對全部網路中斷小於5分鐘!

所使用的應用系統為該客戶真正的Web-AP-DB三層式關鍵應用，不是演練用的假應用VM!

19

20

雙活中心設計其他考量

VSAN Stretch Cluster結合vR、SRM實現兩地三中心更高級容災

Any distance >5 min RPO資料中心A

vSphere + VSAN

Stretched Cluster

< 5 ms RTT over >10/20/40 gbps

Active Active

資料中心B

L2 with Multicast

資料中心B

vSphere + VSAN

vSphere Replication

DR

vCenter

vCenter

SRM

SRM

• 除VSAN外，主流儲存設備支援Distributed Virtual Volume加上兩地三中心的抄寫• vSphere 6.0以上若採用vSphere Replication軟體抄寫，DR可達成5分鐘RPO

• 同城雙中心A/A，異地第三中心DR!

witness

vESXiappliance

22

雙活中心網路及儲存的關鍵技術其它選項

• VMware NSX

• VMware/Cisco/Arista/Broadcom/Brocade : VXLAN

• Cisco VSS二層直通

• Cisco : Overlay Transport Virtualization (OTV), Fabric Path

• Juniper : Virtual Private LAN Service (VPLS), QFabric

• Brocade / Foundry : Fabric Extension

• VMware: Virtual SAN Stretch Cluster

• EMC : VPLEX

• NetApp : MetroCluster

• IBM : SVC

• HDS : VSP

• HP : 3PAR/Lefthand

vMSC – vSphereMetro Storage

Cluster

23

• 考量運作效能之故，AP與Database儘可能不要跨機房溝通

• Layer 2透通，AP跨資料中心vMotion後, IP位址保持不變

• 傳統AP立即因雙活資料中心架構而保護,無需重寫

• 多個不同業務的三層式架構VM建議分散部署

• 可因應負載狀況,隨時vMotion Web或AP以調整機房資源使用率

雙活中心應用架構設計建議

Stretched Storage

WebAppDB

Web App DB

WebAppDB

<5ms

N-S Connectivity N-S Connectivity

App

Web

雙活中心的維運/監控/管理/備份回復/安控合規也都要設計

24

雲端資源管理系統(vCenter Server)

雙活雲端資料中心基礎架構 - VMware vSphere 雲端維運管理

業務系統(生產環境)

業務系統(生產環境)

業務系統(測試環境)

資料中心B資料中心A

效能與容量管理系統(vROps)

組態管理與法規遵循系統(vCM)

智慧型日誌系統(Log Insight)

雙活儲存架構

雲端管理團隊

資料蒐集分析

存取

存取

雲端備份管理 虛擬備份系統

虛擬機線上備份

資源池化集中管理

25

總結

• 大家仍期望找到一套網路/儲存架構同時適用實體環境與虛擬環境的雙活，以致找不到解法 不見得要做到全資料中心雙活，部份關鍵不能停機的業務系統可在虛擬化平台先達成雙

活，如果採用完整軟體定義技術，有可能不須動到現有的網路或儲存架構

• 其它廠商也說他們的平台也可以做到雙活?! 請再仔細看一下:

？ 是否有完整的技術實作文件?

？ 是否只有特定的應用才可支援? 應用系統是否有很多限制條件?

？ 是要大量人工作業才能切換? 還是可以用軟體自動化作業?

？ 搭配的軟體/硬體產品是否經過官方驗證? 還是由客戶來當白老鼠?

？ 是否有真正客戶實際上線的案例?

？ 是否有實際建置經驗的專業人力?

• VMware軟體授權的費用好貴!

當要打造真正Non-Stop、高可用性、高度自動化的雙活架構時，其實可以比較一下傳統硬體定義的解決方案，和VMware真正軟體定義的解決方案，究竟是哪一種比較貴

雙活架構那麼好，效益這麼好，為何似乎是叫好不叫座?

27

• IC設計龍頭公司:

– 採用VMware vRealize Suite雲端維運管理方案，雙中心輪流歲修，虛擬平台上的業務系統已完成多次實戰計畫性遷移

• 大型公股行庫:

– 採用VMware平台及EMC儲存設備，雙中心距離較長，已建置完成

• 大型公股行庫:

– 採用VMware vRealize Suite雲端維運管理方案及IBM儲存設備，雙活虛擬化平台建置中

• 龍頭保險公司:

– 採用VMware vCloud完整私有雲方案及EMC儲存設備，雙活虛擬化平台建置中

台灣採用VMware雙活技術已完成及建置中案例

VMware有多種軟體技術與架構設計方案能在不同條件下達成不同等級的雙活:

• vMSC或VSAN Stretch Cluster提供雙活的儲存

• NSX提供雙活的延伸網路及重要網路服務

• vRealize Operation提供跨雙活的監控與維運管理

• vRealize Automation與Site Recovery Manager提供自動化的切換

VMware的技術與團隊有實戰的經驗:

• 多種VMware官方設計架構選項及技術文件

• 經過VMware官方認證的主流合作夥伴軟體/硬體產品搭配

• VMware原廠PSO專業服務豐富的規劃設計與導入經驗

雙活資料中心架構依然不是簡單任務，但已經是可以達成的!

VMware軟體定義技術是雙活架構重要的基石!