oracle vm 기본 교육 자료 - blog.kakaocdn.net

온고테크 홍상우 차장

2015.01.13

Oracle VM 기본 교육 자료

1. 오라클 서버 가상화 개요

PDoms OVM Oracle Solaris Zones

AllAIIM10-4S/M6

App A App B

OS

Firmware

Hardware

App A App B

OS

Hypervisor (Firmware)

Hardware

OS

App A App B

OS

Firmware

Hardware

OS

Firmware

Hardware

장애 격리Higher Lower

유연성Lower Higher

1. SPARC Physical Domains (PDoms)

• 단일 플랫폼을 하드웨어적으로 분할 (Partitioning)한 뒤, 각 파티션에 독립적인 자원을 할당하여 여러 대의 독립된 서버(Domains)으로 운영하는방식으로, 완벽한 장애격리가 가능하며 오버헤드가 없음

2. Oracle VM Server for SPARC(OVM for SPARC, Ldoms)

• 펌웨어 기반의 가상화 계층인 하이퍼바이저를 통해 플랫폼을 분할(Partitioning) 한 뒤, 각 파티션에 독립적인 또는 공유된 자원을 선택적으로 할당하여여러 대의 독립된 서버(Domains) 으로 운영하는 방식으로 보다 효율적인 자원관리 가능

3. Oracle Solaris Zones

• 하나의 운영체제를 가상화하여 여러 운영체제 환경을 구성하는 방식으로 하이퍼바이저 방식보다 낮은 오버헤드 유지가 가능하며, 8000개 이상의 가상환경 구성 및 다른 버전의 Solaris 운영도 가능

오라클은 서버 가상화를 위해 경쟁사 대비 가장 다양한 가상화 기술을 지원합니다. 하드웨어적으로 서버를 분할하는Pdoms, 하이퍼바이저 기반의 OVM for SPARC 및 운영체제 가상화를 위한 Oracle Solaris Zones를 고객 요구사항에 따라 적용할 수 있습니다.

1. 오라클 서버 가상화 방식

SPARC Physical Domains (PDoms)

- PDoms은 시스템 자원을 보드 또는 노드 단위로 분할하는 방식으로 각 파티션이 전기적으로 완벽하게 격리되어 파티션간 오버 헤드가 전혀 없으며 하나의 파티션 장애가 다른 파티션에 전혀 영향을 미치지 않습니다.

1. Pdoms 정의

• 시스템 자원을 시스템 보드 또는 노드 단위로 하드웨어적으로 분할(Partitioning)하여 여러 개의 도메인으로 구성

• Oracle M10-4S/M5/M6 서버 지원

• 하드 파티션으로 분할된 각 도메인에 운영체제 설치

2. Pdoms 특징

• 파티션이 전기적으로 완벽하게 격리되며 CPU, memory, I/O 자원을독립적으로 소유

• 파티션에 따른 시스템 오버헤드가 전혀 없음

• 하나의 파티션에서 물리적 또는 소프트웨어 장애가 발생하여도 다른파티션에 전혀 영향을 주지 않는 최고의 가용성 제공

• 서로 다른 클럭 및 세대의 CPU를 하나의 도메인에 구성하여 운영가능하여 완벽한 고객 투자보호

• 시스템 리부팅 없이 On-line으로 보드를 추가, 삭제, 교체하는 등 시스템자원을 동적으로 재할당 가능한 Dynamic Domain 기능 제공

3. Pdoms 용도

• 최상의 시스템 가용성 (High Availability)이 요구되는 시스템 등의 통합

Hard Partitions

M10-4S/M6

•전기적 분리

•동적 자원관리(Dynamic Domain)

• CPU 혼용 지원(Mixed CPUs)

• Complete Isolation:

Security, Faults, Service

App A App B

OS

Firmware

Hardware

OS

Firmware

Hardware

장애격리 : Highest

유연성 : Lower


Oracle VM Server for SPARC(OVM for SPARC, LDoms)

- OVM for SPARC은 펌 웨어 기반 하이퍼바이저를 통한 가상화 방식으로 소프트웨어 기반 하이퍼바이저에 비해 오버헤드가 낮고 안정적인 장점이 있습니다.

1. OVM for SPARC 정의

• 펌 웨어 기반의 가상화 계층인 하이퍼바이저를 통해 플랫폼을분할(Partitioning) 하여 여러 개의 도메인으로 구성

• Oracle M-Series(구 M-Series 미지원 X), T-Series 서버 지원

• 하드 파티션으로 분할된 각 도메인에 Solaris 운영체제 설치

2. OVM for SPARC 특징

• 펌웨어 기반의 하이퍼바이저로 시스템 오버헤드가 매우 낮음

• 1개 가상 프로세서(1개 하드웨어 쓰레드) 단위 CPU분할 구성

• 파일, 슬라이스, 파티션, 물리적 디스크 등의 가상 디스크지원

• 시스템 리부팅 없이 On-line 상태에서 자원(CPU, Memory, Crypto, I/O) 추가 및 제거 가능

• Secure Live Migration 기능은 어플리케이션의 중단 없이 도메인을다른 서버로 마이그레이션 할 수 있으며, 특히 온-칩 보안 모듈을사용하여 빠른 성능으로 Secure Live Migration 지원

• Solaris Container와 혼용 적용 가능

• Solaris ZFS, DTrace, Predictive Self Healing, Solaris Container 등의 기능과 최적화

3. OVM for SPARC 용도

• 독립적인 운영체제를 요구하는 SPARC 시스템 통합

OVM SPARC(LDoms)

ALL

• 펌 웨어 기반 하이퍼바이저

• 동적 자원관리

• 세밀한 자원할당 가능

• 낮은 오버헤드

• Secure Live Migration

장애격리 : High

유연성 : High

App A App B

OS

Firmware

Hardware

OS


Oracle Solaris Zones

- Oracle Solaris Zones는 Solaris 10 이상의 운영체제에서 지원되는 OS 가상화 방식으로 빠른 생성 및 복제가 가능하고, 시스템 오버헤드가 거의 없으며 생성 개수에 거의 제한이 없는 장점이 있습니다.

5

1. Oracle Solaris Zones 정의

• 하나의 Solaris 운영체제를 가상화하여 멀티 OS 환경 구성

• Oracle Solaris 10 또는 11 가 설치된 모든 서버에서 지원

• 운영체제 파티션(Zone)과 자원 관리 체계(SRM) 통합

2. Oracle Solaris Zones 특징

• 하이퍼바이저 방식보다 낮은 오버헤드

• Clone : 동일 OS에서 1~2분의 짧은 소요 시간 내에 디렉토리 또는파일시스템 이동을 통한 간단한 수평적 확장

• Migration : 다른 호스트간 Zone 이동

• 독립적 운영 환경 : Zone 별 리부팅 가능, Zone 별 독립적인아이디와 패스워드 등

• 최대 8196개의 가상환경 생성 지원

• 다양한 Solaris 버전 지원 : Solaris 8,9,10,11

• 네트워크, 스토리지 등 물리적 디바이스 공유

• Hard Partitions 및 OVM SPARC과 혼용 가능

• Solaris ZFS, DTrace, Predictive Self Healing 등의 기능과 최적화

3. Oracle Solaris Zones 용도

• Unix Cloud 환경

• 개발 환경 등 단일 플랫폼에 많은 Solaris OS 구성이 필요한 경우

• 구 버전 Solaris 통합

Oracle Solaris Zones

All

• OS 커널 공유로 오버헤드 거의 없음

• 8000개 이상의 구성 가능

• Zone + SRM

• Solaris 8 and 9 Container

• Solaris 10 and 11 Container

장애격리 : Lower

유연성 : Highest

App A App B

OS

Firmware

Hardware

OS

1. Oracle VM for SPARC 구성 요소

Oracle VM for SPARC 구성 요소

- Oracle VM for SPARC 가상화는 역할에 따라 Control 도메인(Service 도메인), I/O 도메인, 게스트 도메인으로 구성됩니다. 가상화 관리를 위한 별도의 서버가 필요하지 않고 control 도메인을 통하여 가상화 관리가 가능합니다.

6

OVM for SPARC Block Diagram 세부 구성 요소

Guest Domain

8vCPU/4GB

Hypervisor

Control DomainI/O Domain

8vCPU/4GB

Guest Domain

Virtual Network Switch

Virtual Disk Service

vnet0 vdisk0

16vCPU/8GB

H/W

F/W

OS

Control 도메인(Service 도메인)- Ldom Manager가 실행되며, 다른 논리적 도메인을 생성 및 관리

- Oracle VM for SPARC 소프트웨어를 설치할 때 처음 만든 도메인이며

primary라는 이름을 가짐

- vds(Virtual Disk Service)나 vsw(Virtual Network Switch)와 같은

가상 장치 서비스를 다른 도메인에 제공하며 임의 도메인을 서비스 도메인

으로 구성가능하며 일반적으로 I/O 도메인과 같이 구성

I/O 도메인- I/O 도메인은 PCIe 루트 콤플렉스를 소유하거나, Direct I/O(DIO) 기능을

사용하여 PCIe 슬롯 또는 온보드 PCIe 장치를 소유할 수 있음

- I/O 도메인이 서비스 도메인으로 사용될 경우 물리적 I/O 장치를 가상 장

치 형태로 다른 도메인과 공유할 수 있음

Guest 도메인- 서비스 도메인에서 제공한 가상 장치 서비스를 이용하는 도메인

- 게스트 도메인에는 물리적 I/O 장치는 없고 가상 디스크, 가상 네트워크

인터페이스와 같은 가상 I/O 장치만을 사용

- Web, WAS, DB 등과 같이 실제 어플리케이션을 설치하여 사용됨

1. Oracle VM for SPARC 구성 방안

서비스 도메인 구성 방안

- A good starting point is a minimum of 2 CPU cores and 16 GB of memory

- Small test environments can have smaller allocations, but never less than 1 core and 4GB of RAM.

- 4GB of RAM may not be sufficient if ZFS is being used for virtual disk backends.

- A 10GbE network device can consume an entire CPU core, so add a core to drive that effectively.

컨트롤 도메인(=서비스 도메인)

•기본 권고값

- CPU 2Cores- Memory 16GB

•최소 권고값

- CPU 1Cores- Memory 4GB

가상화 방식이 복잡할수록 서비스 도메인에더 많은 리소스가 필요함.


IO 구성 방안 ▷ Physical I/O

- Physical I/O는 물리적 I/O 디바이스에 대한 직접적인 접근이 가능

- 게스트 도메인에 대한 I/O 서비스를 직접 제공함으로써 I/O 가상화에 따른 성능 저하를 방지할 수 있어 I/O성능이 중요한업무에 적용

- Starting with Oracle VM Server for SPARC 3.1.1, you can use SR-IOV for Fibre Channel devices.

PCIe Bus(Root Complex) 단위로 할당하며 Bus에 연결된 PCI 슬롯이 게스트 도메인에 직접 연결됨

: 개별 PCIe 슬롯 단위로 할당

게스트 도메인이 Network 카드에 디바이스에 직접 접근하는 것처럼 동작

*요구 사항 : https://support.oracle.com/epmos/faces/DocumentDisplay?_afrLoop=86365338189829&id=1325454.1&_afrWindowMode=0&_adf.ctrl-state=3069jyk14_4

PCIe Buses 할당(Split-PCI) PCIe Slot 할당 PCIe SR-IOV 할당


Root Complex 구조 ▷ T4-4 (예시)

- PCIe Bus(Root Complex) 전체를 할당하기 때문에 해당 PCI Bus에 속하는 PCI 스위치 및 디바이스 등을 모두 포함하여 I/O 도메인이 구성됨

- 할당 가능한 PCIe Bus 수는 시스템에 따라 다름

▷2CPU (Processor Module 1식) ▷4CPU (Processor Module 2식)


IO 구성 방안 ▷ Virtual I/O

- Virtual I/O는 I/O 카드의 물리적 수량 제한 사항을 극복하여 효율적인 I/O 구성을 지원하는 방식

- 게스트 도메인은 서비스 도메인과 통신하는 가상화된 디바이스를 통해 간접 접속하므로 성능보다 자원의 효율적인 이용이 가능한 방식



Physical Port

Physical Port

vPort

vPort

vPortNetworkCard

HBACard

GuestDomain #1

GuestDomain #2

GuestDomain #3

vDisk

vDisk

vDisk

GuestDomain #1

GuestDomain #2

GuestDomain #3

Services DomainIO Domain

Guest DomainH/W Oracle for VM

Services DomainIO Domain


IO 구성 방안 ▷ LDC(Logical Domain Channel)

- 도메인간 내부 통신시 외부 네트워크 스위치나 가상화 스위치를 사용하지 않고 도메인간의 내부 채널(Inter-vnet Link)을 이용하여 직접 통신함으로써 네트워크 응답 시간(Latency)을 획기적으로 감소 시킬 수 있습니다.

- Oracle VM Server for SPARC 3.1.1.1 increased this per-domain limit from 768 to 1,984 on SPARC T4, T5, M5 and M6 servers from a pool of 98,304 LDCs. The pool is per server on T4 and T5, and per physical domain on M5 and M6. System firmware requirements and other details are at http://docs.oracle.com/cd/E38405_01/html/E38406/usingldcs.html

☞ SPARC T4/T5/M5/M6 : 1,984 LDC endpoints per guest domain

☞ Fujitsu M10 : 768 LDC endpoints per guest domain

※ LDC 제약 사항을 참고하여 가상화 구성 할 것


IO 이중화 구현 방안

- Multiple service domains can eliminate single points of failure by providing guest domains with redundant I/O for resiliency. Redundant disk is configured using mpgroups, with MPxIO in service domains. Network redundancy is configured by using virtual switches based on link aggregations, with IPMP in guest domains.





Vnet0:2

Vdisk0:2

Vnet0:1

Vdisk0:1

Network Card

HBA Card

H/WGuest Domain Oracle for VM

MPGROUP

IPMP


Network Availability

- Solaris IP Multipathing (IPMP) is configured within the guest much the same as in a physical instance of Solaris. If a link in an IPMP group fails, the remaining links provide continued network connectivity.

- This provides protection against failure of a switch, cable, NIC

▷구현방안 1 ▷구현방안 2


Disk Availability

- Every virtual disk has a backend, which can be a physical disk or LUN, an iSCSI target, a disk volume based on a ZFS volume ("zvol") or volume manager such as Solaris Volume Manager (SVM), or a file on a file system.

- Redundant disk paths are expressed in logical domains by using virtual disks defined with multipath groups ("mpgroup") as described in the Oracle VM Server for SPARC Administration Guide.



Service Domain Availability Using Multiple Service Domains

- Reboot or failure of a service domain does not bring down or reset guest domains using that service domain.

Guest Domain

8vCPU/4GB

Hypervisor

Service DomainControl Domain

8vCPU/4GB

Guest Domain



vnet0 vdisk0

16vCPU/8GB

H/W

F/W

OS

vnet1 vdisk1

System

Down

Guest Domain

8vCPU/4GB

Hypervisor


8vCPU/4GB

Guest Domain



vnet0 vdisk0

16vCPU/8GB

H/W

F/W

OS

vnet1 vdisk1

System

Down

Service

정지

Service

정지

Services Domain 장애 시 모든 Guest Domain은 서비스가 정지 된다.(단, 모든 자원을 Service Domain에서 할당하여 구성한 경우)


Service Domain Availability Using Multiple Service Domains

- If a redundant service domain has been configured to provide multi-path disk and network access, guest virtual I/O continues using the other service domain without interruption of service. Redundant service domain configuration is a best practice.

- A root domain is an I/O domain that has a PCIe bus (also known as a PCIe root complex) assigned to it, with direct access to all physical I/O devices on its buses.

PCIe Root Complex 구성

Guest Domain

8vCPU/4GB

Hypervisor


8vCPU/4GB

Guest Domain



Vnet0:2 Vdisk0:2

16vCPU/8GB

H/W

F/W

OS

Vnet1:1

Vdisk1:2

8vCPU/4GB



IODomain

Vnet1:2

Vdisk1:1 Vnet0:1 Vdisk0:1

Services 도메인 이중화

Guest Domain

8vCPU/4GB

Hypervisor


8vCPU/4GB

Guest Domain



vnet0 vdisk0

16vCPU/8GB

H/W

F/W

OS

vnet1 vdisk1


• I/O 도메인(Root Domain) 의 구성으로 인해 제어도메인으로 부터의 독립성 보장

• 제어 도메인 이중화 혹은 별도의 I/O 도메인을 통한 I/O Device 이중화를 통해 가용성 확보

oracle vm 기본 교육 자료 - blog.kakaocdn.net

Documents