Redbooks

Front cover

IBM Spectrum Virtualize and SAN Volume Controller Enhanced Stretched Cluster with VMware

Jon Tate

Angelo Bernasconi

Antonio Rainero

Ole Rasmussen

International Technical Support Organization

IBM Spectrum Virtualize and SAN Volume Controller Enhanced Stretched Cluster with VMware

October 2015

SG24-8211-01

Copyright International Business Machines Corporation 2015. All rights reserved.Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP ScheduleContract with IBM Corp.

Second Edition (October 2015)

This edition applies to IBM System Storage SAN Volume Controller Version 7.8 and VMware Version 6.0.

Note: Before using this information and the product it supports, read the information in Notices on page vii.

Contents

Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viiTrademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii

IBM Redbooks promotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix

Summary of changes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiOctober 2015, Second Edition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiiiAuthors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiiiNow you can become a published author, too! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xvComments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xvStay connected to IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xv

Chapter 1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 IBM Spectrum Virtualize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Enhanced Stretched Cluster option . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.3 Integration of Spectrum Virtualize, SAN Volume Controller, Layer 2 IP Network, Storage

Networking infrastructure, and VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3.1 Application mobility over distance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.2 Benefits of this integrated solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.3.3 Benefits in more detail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.3.4 When to use VMware stretched clusters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.3.5 When not to use VMware stretched clusters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.3.6 IBM, VMware, and Layer 2 IP network solution . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.4 Open Data Center Interoperable Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Chapter 2. Hardware and software descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.1 Hardware description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.2 IBM System Storage Spectrum Virtualize and SAN Volume Controller . . . . . . . . . . . . 142.3 SAN directors and switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.3.1 SAN384B-2 and SAN768B-2 directors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.3.2 SAN24B-5, SAN48B-5, and SAN96B-5 switches . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.4 FCIP routers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.4.1 8 Gbps Extension Blade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.4.2 SAN06B-R extension switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.5 Ethernet switches and routers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.5.1 IBM System Networking switches. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.5.2 Brocade IP routers and Layer 4 - 7 application delivery controllers . . . . . . . . . . . 20

2.6 Software high availability. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.7 VMware ESX and VMware ESXi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.7.1 VMware vSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.7.2 vSphere vMotion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.7.3 vSphere High Availability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242.7.4 VMware vCenter Site Recovery Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242.7.5 VMware Distributed Resource Scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Chapter 3. Enhanced Stretched Cluster architecture . . . . . . . . . . . . . . . . . . . . . . . . . . 273.1 Enhanced Stretched Cluster overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Copyright IBM Corp. 2015. All rights reserved. iii

3.2 Failure domains, sites, and controllers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.3 Spectrum Virtualize volume mirroring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.3.1 Volume mirroring prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.3.2 Read operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.3.3 Write operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323.3.4 Quorum disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333.3.5 Cluster state and voting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343.3.6 Quorum disk requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.3.7 IP Quorum. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363.3.8 Failure scenarios in an Enhanced Stretched Cluster configuration . . . . . . . . . . . 36

3.4 Spectrum Virtualize enhanced stretched cluster configurations . . . . . . . . . . . . . . . . . . 383.4.1 No ISL configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393.4.2 ISL configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.4.3 FCIP configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

3.5 Fibre Channel settings for distance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.6 Spectrum Virtualize I/O operations on mirrored volumes . . . . . . . . . . . . . . . . . . . . . . . 49

3.6.1 Preferred node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493.6.2 Primary copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.7 Enhanced stretched cluster three-site DR configuration. . . . . . . . . . . . . . . . . . . . . . . . 51

Chapter 4. Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534.1 Test environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.2 ADX: Application Delivery Controller. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

4.2.1 VIP and real server configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584.2.2 Global Server Load Balancing (GSLB) configuration . . . . . . . . . . . . . . . . . . . . . . 584.2.3 Application Resource Broker (ARB) server installation. . . . . . . . . . . . . . . . . . . . . 604.2.4 ADX registration in the ARB plug-in . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624.2.5 Enable VM mobility in the ARB plug-in in vCenter . . . . . . . . . . . . . . . . . . . . . . . . 654.2.6 Additional references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.3 IP networking configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674.3.1 Layer 2 switch configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714.3.2 IP Core (MLXe) configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 734.3.3 Data Center Interconne