cisco. Унифицированные вычисления практические аспекты...

Унифицированные вычисления - практические аспекты перехода к частному облаку

Алексей Александров, Системный Инженер,

[email protected] Новосибирск, 10 апреля 2014

2

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Public

Содержание

§  Введение. Что такое облако - модель и структура.

§  Вычислительная подсистема

§ Сетевая подсистема

§  Блочное строительство ЦОД

§  Управление ресурсами – оркестрация


Simplify the Data Center

Management & Control

Primary Network

Secondary Network

Legacy Server = Application

•  Inefficient •  Complex •  High Cost

•  Fragile

Unified Server = Resource

•  Efficient •  Simple

•  Lower cost •  Agile

Unified Fabric

Wire Once and Walk Away


Что такое облако?

Основополагающий принцип это введение определенного уровня абстракции от нижележащей инфраструктуры и предоставление

сервисов «по-требованию».

Public Private Hybrid Community Модель

развертывания

Сервисная модель

Software as a Service (SaaS)

Platform as a Service (PaaS)

Infrastructure as a Service (IaaS)

Основные характеристики Доступ к ресурсам

«по требованию» Доступ к сети Пул ресурсов

Простота масштабируемости Измеряемые сервисы


Этапы развития инфраструктуры ИТ

6

Консолидация (сокращение расходов)

Автоматизация

Gold Platinum

Виртуализация (повышение гибкости)

IT инфраструктура

Бизнес-приложения IT-as-a-Service

7

Физические серверы

Виртуальные серверы

Сеть

Диски Cloud

Поддержка Пользователи

VMs/ Network Containers �

ОС / Системное ПО �

Приложение / СУБД �

Платформа

IaaS

PaaS

SaaS

Частные

Публичные

Модель использования Портал самообслуживания

Типы сервисов Порядок взаимоотношений

•  Стандартизация •  Метрики •  Сценарии

разворачивания

8

Уровень виртуализации

Инфраструктура

Уровень автоматизации сервисов

Доступ

Управление

облаком

Вычислительная инфраструктура и сеть (основное требование – поддержка виртуализации)

Гипервизор + виртуальная сеть

Автоматизация жизненного цикла

сервиса

Поддержка SLA и обслуживание

Интеграция с внешними системами

(workflow, billing)

Сервисный каталог

Многофункциональный пользовательский портал

Оркестрация (управление ресурсами)

Драйвер

для

внешних ресурсов

Управление устройствами


4

User Portal

8 Process and Governance

7 Security and Compliance

10 Applications

9 (Software) Platform

2 Virtualization and Abstraction

Compute Storage Network

1 Facilities and Infrastructure Space, Power, Cooling

3

Autom

ation and O

rchestration

Service C

atalog and M

anagement

5

Service Financial

Managem

ent 6

Existing System Integrations

Cisco Domain TenSM Simplifying Your Cloud Transformation

9

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Public 10

Портфолио Cisco для частных облаков Пользовательский портал New Scale (Part of CIAC) UCS Director Подсистема управления / автоматизации Cisco UCS Manager VMware vCenter 4.1, vShield Manager BMC CLM 2.1, Tidal (Part of CIAC), Cloupia ( Cisco VNMC ) Вычислительная подсистема ЦОД Cisco UCS 62xx Fabric Interconnect Cisco UCS 5100 chassis + B200-M2/M3 blades Cisco Nexus 1000v, Cisco VSG Платформы виртуализации Сетевая подсистема ЦОД Cisco ASR 9000 Cisco Nexus 7000 Cisco Nexus 5000 Cisco Catalyst 6500 DSN ASA 5585 SAN (Сеть хранения) Cisco MDS

SAN

Management

Compute / Virtual Network

Network

UCS Director


Портал самообслуживания

Система оркестрации

Фабрика ЦОД

Вычислительная среда

Вычислительная система

12


LAN Any IEEE Compliant LAN

SAN B Any ANSI T11 Compliant SAN

Mgmt SAN A Any ANSI T11 Compliant SAN

Унифицированная вычислительная система

Единая Логическая Система

Внутренняя коммутация Подключение LAN Подключение SAN Блейд-серверы

Стоечные серверы Единое управление на основе политик Мониторинг, локализация проблем

и т.д.


Унифицированная система Cisco UCS

SAN A LAN

SAN B

Mgmt

Унифицированная фабрика •  Подключение серверов и

виртуальных машин напрямую к центральному коммутатору фабрики

•  Универсальный транспорт для передачи LAN, SAN и управления

•  Сервер получает нужное число портов нужного типа

•  Гибкое распределение полосы пропускания, эффективное управление трафиком

Интегрированное управление •  Рост масштабируемости без роста сложности •  Конфигурации серверов «программируются» в

зависимости от требований •  Управление «один-ко-многим» (шаблоны,

политики, профили, пулы) •  Возможность интеграции с партнерскими

решениями


Mgmt Server Mgmt Server §  Встраиваем управление

§  Используем универсальный транспорт для всего IO

§  Устраняем уровень коммутации в шасси – «виртуальная линейная карта» для подключения серверов

§  Устраняем коммутацию на уровне гипервизора - «виртуальная линейная карта» внутри сервера для подключения VM

Mgmt

Чем отличается унифицированная фабрика UCS

UCS: eдиная универсальная сетевая инфраструктура с единым управлением, общими политиками


Компоненты системы

Адаптеры ввода-вывода 80G универсального ввода-вывода Нужное число адаптеров любого типа (в т.ч. для VM)

Серверные модули (5 типов) 2-х и 4-процессорные серверы на базе процессоров Intel Xeon E5 и E7

Центральный коммутатор (Fabric Interconnect) Системо-образующее устройство (2 на систему) 48 или 96 универсальных портов (10GE, FCoE, FC) Модуль ввода-вывода (Fabric Extender) Выносная линейная карта коммутатора фабрики внутри шасси (2 на шасси) Блейд-шасси До 20 шасси на одну систему Высокая эффективность питания и охлаждения

UCS Manager: GUI и интерфейсы (API) Единая точка управления – “device manager” Работает внутри Fabric Interconnect


Пример системы Cisco UCS (вид сзади)


Прямое подключение VM к фабрике Традиционная коммутация на уровне гипервизора

•  Загрузка ресурсов CPU •  Задержки в операциях ввода-вывода Hypervisor Soft Switch

VM VM VM VM

Standard NIC

VM-FEX

(Hypervisor pass through mode)

VM VM VM VM

Ciscо VIC

0 1 2 3 255 …………

Унифицированная фабрика Cisco UCS •  Серверу предоставляется число интерфейсов, соответствующее числе ВМ

•  Виртуальные машины подключаются напрямую к центральному коммутатору фабрики

•  Коммутация на аппаратном уровне, нет загрузки CPU, выше производительность

•  Единая точка коммутации всей системы, единая точка задания политик

•  Сквозная поддержка QoS на всем физическом пути пакета


Интегрированное управление

UCS Manager

GUI Специализированные утилиты и порталы Внешние системы

управления CLI

Primary Secondary (HA)

•  Единое управление ВСЕЙ системой (до 160 серверов и вся LAN/SAN инфраструктура) из ОДНОЙ точки (резервированной)

•  Физические серверы не являются объектом конфигурирования – они всего лишь часть ресурсного пула

•  Внутренние сетевые порты не являются объектами конфигурирования – они настраиваются автоматически

•  Конфигурируются общие политики, шаблоны, профили – многократно используемые, тиражируемые элементы

•  Все серверные настройки отвязаны от «железа» – «динамические», «мобильные», «масштабируемые»

•  Система управления интегрирована и резервирована


Реализация «Stateless Computing»

§  Свойства сервера не привязаны к конкретному оборудованию, полная абстракция конфигурации от железа

•  Динамическое развертывание: «Создание» нужного количества серверов с нужными характеристиками по запросу

BMC Firmware MAC Address NIC Firmware NIC Settings

Drive Controller F/W Drive Firmware

UUID BIOS Firmware BIOS Settings Boot Order

WWN Address HBA Firmware HBA Settings

Конфигурация абстрагирована от железа

LAN Connectivity SAN Connectivity OS & Application

Chassis-1/Blade-2

Chassis-8/Blade-5

LAN SAN

Server Name: LS-A UUID: 56 4d cd 3f 59 5b… MAC : 08:00:69:02:01:FC WWN: 1080020000075740 Boot Order: SAN, LAN


«Масштабируемое управление» с нулевыми рисками

Сервисный шаблон; определяет конфигурацию фермы

Server Name UUID Boot Order

Boot Parameters WWN/WWPN MAC Address

SAN Attributes LAN Attributes








































•  Вся серверная ферма настраивается в ОДНОМ шаблоне – один объект для управления десятками и сотнями серверов и их сетевыми подключениями

•  Полная абстракция от оборудования – шаблон определяет конфигурацию сервера ПОЛНОСТЬЮ, и может быть применен к оборудованию разного типа

•  Массовое изменение аппаратной конфигурации фермы через модификацию ОДНОГО объекта

•  Масштабирование фермы «по щелчку» или автоматически

•  Ферм в системе может быть много


День Ночь Закрытие периода Web Tier 6 servers

Web Tier 4 servers

ERP PRD 8 servers

Test/Dev – 4 servers QA

4 servers

Резерв

ERP PRD 6 servers ERP PRD

10 servers Test/Dev 6 servers

Test/Dev – 2 servers QA

4 servers

Резерв

Резерв

Batch Apps 6 servers

Reporting – 2 servers Reporting 4 servers

Web Tier 4 servers

Batch Apps – 4 servers

Предоставление необходимых ресурсов

SAP QA 4 servers


Централизованное управление несколькими системами

Server Chassis Domain

Single Datacenter

Global Datacenters

UCS Manager UCS Central: •  Приложение, реализованное как внешняя виртуальная машина

•  Тесно интегрирована с UCS Manager

•  Поддержка разнесения между несколькими ЦОД

•  Агрегация статистики •  Глобальные сервисные профили, шаблоны и политики


Конвергентная фабрика UCS – объединение «вширь» §  Единая конвергентная фабрика на всю систему

(сейчас 160 вычислительных узлов)

§  Универсальный транспорт для реализации всех подключений серверов (управление + x LAN + y SAN)

§  Простое кабелирование, один раз и навсегда (WOWA – Wire Once Walk Away)

§ Сервер видит ровно столько и таких адаптеров, как требуется приложениям в данный момент

§  Гибкое динамическое разделение полосы пропускания между разными типами трафика

§ Средства управления качеством обслуживания (QoS)


Конвергентная фабрика UCS – объединение «вглубь» §  Вся система коммутируется парой центральных коммутаторов фабрики

§  В шасси – их выносные линейные карты (Fabric Extender) – каждый сервер подключается к своему порту фабрики

§  В серверах – их выносные линейные карты (Adapter-FEX) – каждый сервер имеет столько «своих» портов фабрики, сколько нужно

§  В серверах – их выносные линейные карты (VM-FEX) – каждая VM подключается к «своим» портам фабрики

§  Один хоп коммутации между сотнями физических и тысячами виртуальных серверов

§  Нет необходимости конфигурировать конкретные порты – только общие профили и политики


Аппаратное обеспечение фабрики Cisco UCS

Fabric Interconnect 6248 и 6296 48 или 96 универсальных портов (GE, 10GE, FC) «Мозг» и «сердце» всей системы - до 20

серверных шасси

Модуль ввода-вывода выносная линейная карта Fabric Interconnect по 40G к каждому серверу, 80G к Fabric Interconnect-у

Блейд-шасси Просто коробка для серверов

Адаптер ввода-вывода 2x10G или 2x4x10G выносная линейная карта фабрики внутри сервера


UCS Фабрика

1280 VIC

IOH

CPU CPU

x16 Gen 2

x16 Gen 2

16x SFP+ 16x SFP+ Expansion Module 16x SFP+ 16x SFP+

UCS Blade Chassis

UCS 6248 Expansion Module

UCS 6248

2208XP 2208XP

§  Два 4x10 Gbps EtherChannel от VIC 1280 к модулю ввода-‐вывода 2208 §  Не требуется конфигурация §  Потоки трафика балансируются между линками §  Конкретный поток – до 10Gb §  Поддерживается Fabric Failover

Адаптер

Блейд-сервер

Бэкплейн

Fabric Extenders

Fabric Interconnects

До 160G на шасси

До 80G на серверный слот


Высокоуровневые системы управления ИТ-инфраструктурой

•  Интеграция систем управления ИТ с опубликованным UCS XML API •  Возможность разворачивать, масштабировать и осуществлять

мониторинг аппаратной серверной инфраструктуры непосредственно из высокоуровневой системы управления

•  Сведение практически всех задач по управлению ИТ в одну систему по выбору Заказчика (включая управление несколькими UCS системами)

•  Построение законченных решений, включающих в себя порталы самообслуживания, системы оркестрации, управления аппаратным и программным обеспечением


Производители систем хранения данных

§  Взаимное тестирование и сертификация решений

§ Создание референсных архитектур и рекомендаций

§  Поддержка программы Cisco Validated Design и аналогичных программ со стороны партнеров

§  Возможности кооперативной поддержки

§ Создание, поддержка и продвижение совместных решений в области «ЦОД нового поколения», «облачная инфраструктура»

§  Комплексные интегрированные решения для построения ИТ-инфраструктур

Фабрика ЦОД

30


Cisco Nexus 5000

Cisco Nexus 6000

Cisco Nexus 7000

Cisco Nexus 1000V

Cisco Nexus 3000

Cisco MDS 9200 Series

Cisco® MDS 9500 Series

Cisco MDS 9100 Series

Cisco Nexus 2000

Проверенная Операционная Система NX-OS: 10+ Лет от Гипервизора до Ядра

Продукты Cisco для LAN и SAN Самое Широкое Портфолио Коммутаторов

ПОСЛЕДОВАТЕЛЬНОСТЬ и УДОБСТВО Функций, Управления и Программируемости

Cisco Prime Data Center Network Manager (DCNM) Единая Точка Управления


Консолидация ввода-вывода §  Потребности

–  Рост числа подключений к SAN •  Виртуализация с поддержкой мобильности и HA •  Кластерные системы •  Защита информации средствами СХД

–  Большое числе интерфейсов LAN §  Требования виртуализированных внедрений

–  Распространение блейд-систем §  Трудно обеспечить много интерфейсов

§  Решения –  FCoE для SAN трафика

§  Консолидация и сохранение полной совместимости с моделью FC –  DCB для обеспечения гарантий для FCoE трафика

§  PFC, ETS, DCBX –  Adapter-FEX/IEEE802.1BR

§  Доведение множества логических интерфейсов на уровень ОС/гипервизора


Развитие архитектуры сети ЦОД §  Причины §  Рост масштабов ЦОД §  Масштабирование производительности §  Управляемость §  Растягивание подсетей

§  Решения §  Распределённый коммутатор доступа: архитектура FEX-Link

§  1G или 10G, SFP+ или «витая пара» §  Продолжение внутрь сервера: Adapter-FEX, VM-FEX

§  Virtual Portchannel §  Уход от Spanning Tree с сохранением общей топологии

§  Cisco FabricPath/IETF TRILL §  «Маршрутизация на 2 уровне» §  Горизонтальное масштабирование §  Полное исключение Spanning Tree на магистрали


Распределённый виртуальный модульный коммутатор (1500+ Ethernet интерфейсов)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000

+

Виртуальное модульное шасси с FEX Nexus 5500/7000 + Nexus 2000

§  Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000

§  Единый конфигурационный файл

§  Между FEX и Nexus 5500/7000 не используется STP


Virtual Port Channel (VPC) на Cisco Nexus Уход от опоры на STP при сохранении дизайна

§  Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора

§  Уход от опоры на STP

§  Использование полосы всех имеющихся соединений

§  Быстрая сходимость при отказе устройства или канала

§  Обеспечение отказоустойвости и масштабируемости при подключении серверов

§  Сокращение CAPEX и OPEX

§  Обеспечение независимости коммутаторов для сохранения модели независимых «зеркальных» фабрик в сети хранения

§  Поддерживается на Nexus 2000/3000/5000/7000

Без vPC

С использованием vPC


Распределённые ЦОД Технологические элементы

§ Связь сетей передачи данных – Растягивание подсетей и L2 смежность – Маршрутизация – Мониторинг (heartbeat) / синхронизация в кластере – Репликация по IP – Подключение к транспортной сети

§ Связь сетей хранения данных – Синхронизация массивов по FC – Доступ к удаленным СХД/лентам

§ Оптимальный путь трафика


Overlay Transport Virtualization (OTV) Простое и надежное решение для связи ЦОД

§  Расширение L2 доменов по произвольной IP сети

§  Ethernet трафик инкапсулируется в IP: “MAC in IP”

§  Динамическая инкапсуляция с использованием таблицы маршрутизации MAC

Взаимодействие между MAC1 (сайт 1) и MAC2 (сайт 2) Server 1

MAC 1 Server 2 MAC 2

OTV OTV

MAC IF

MAC1 Eth1

MAC2 IP B

MAC3 IP B IP A IP B

Encap Decap MAC1 à MAC2 IP A à IP B MAC1 à MAC2 MAC1 à MAC2


Data Center Edge

Unified Data Center Networking

Integrated Compute Stacks

Compute NAS SAN

Data Center

Access

Services

Aggregation

Core

Cloud Service Management

Business Support

Provisioning Configuration

Portability/ Interoperability

Cisco Data Center Infrastructure Comprehensive, Modular, and Flexible Approach

38

Блочный подход строительства ЦОД


Блочный подход Преимущества

§ Предсказуемость и гарантия SLA

§ Простота планирования

§ Упрощенное масштабирование

§ Эффективное управление

§ Комплексная безопасность


Vblock – инфраструктурные пакеты

§ Вычисления: Cisco UCS B-серия

§ Сеть: Cisco Nexus/MDS

§ Хранение: EMC VNX или Symmetrix V-Max

§ Виртуализация: VMware vSphere

§ Управление: EMC Ionix Unified Infrastructure Manager

41

Протестированная преинтегрированная платформа.

На единой поддержке


Другой подход: FlexPod § Комплексное решение совместно с компанией

NetApp;

§ Ориентировано на использование VMware vSphere; сертифицированы и другие гипервизоры или bare-metal ОС;

§ Открытая платформа для интеграции с высокоуровневыми системами управления (рекомендуемая – BMC CLM - Cloud Lifecycle Manager);

§ Совместная поддержка


... или Hyper-V Cloud Fast Track with Cisco § Сеть и вычисления – Cisco § Хранение – NetApp или EMC § Ориентировано на использование

Microsoft Hyper-V § Платформа управления – Microsoft

System Center – Интеграционные пакеты Cisco UCS для

Operations Manager и Orchestrator

§ Совместная поддержка

Оркестрация

44


Центры обработки данных сегодня

77%

23%

Обслуживание

•  Виртуальные машины разворачиваются за минуты

•  Большая часть времени затрачивается на настройку инфраструктуры, мониторинга, обновлений и поиска неисправностей

•  Нехватка времени на новые сервисы

•  Автоматизация высвобождает время ИТ службы для внедрения новых сервисов

•  Позволит ИТ департаменту лучше соответствовать на требования бизнеса

Source: IDC, 2011


Сложности:

•  Ручной процесс

•  Сложности взаимодействия между командами

•  Статич. определение ресурсов

Результаты:

•  Дни/недели/месяцы для развертывания ИТ сервисов

•  Высокие операционные расходы •  Простой ресурсов

•  Неэффективность инфраструктуры

Сложности при определении ресурсов для приложений

Net

wor

k A

dm

Update Trunks

Create VLANs

Configure SAN Zoning

Create UCS Service Profiles

Create Network Policies

Serv

er A

dmin

s

Configure Servers

Bare metal Provisioning

Setup Servers

Add VLAN to Service Profile

Create VLAN

Create Storage Resources

(LUNs and Volumes)

Stor

age Add vFilers

to Group Create vFilers

Create IP space

UCS Blade Power On

Create Storage Policy

Map NetApp LUN

Add Users and Groups

IT Planning

Approvals Define Cost Models

Business

Application

Requirem

ents

1

23

4

5

6


Решение Cisco UCS Director

Автоматическое развертывание по

требованию

Управление по политикам

контейнер

VMs Compute Network Storage

UCS Director

Domain Managers

OS and Virtual

Machines

Storage

Network

Compute

Tenant B

Tenant C

Tenant A

Virtualized and Bare-Metal

Compute and Hypervisor

B C A Network and Services

VM VM Bare Metal

Единая система

Автоматизация и эксплуатация всех

систем ЦОД


UCS Director: управление конвергентной инфраструктурой «в целом»

Развертывание на основе политик

vFiler

СХД Вирт. машины Сеть Вычислит.

платформа

Безопасные контейнеры для приложений

Self-Service Infrastructure

Единая точка управления

Сквозная

автоматизация и управление жизненным циклом

СХД

Сеть

Вычисления

Tenant B

Tenant C

Tenant A

A B C Виртуализация

Storage Manager

B C A

Virtualization Manager

Network Manager

Compute Manager

Storage Manager



сетью

Update Trunks

Create VLANs

Configure SAN Zoning

Create UCS Service Profiles

Create Network Policies


серверами Configure

Servers Bare metal

Provisioning Setup

Servers

Add VLAN to Service Profile

Create VLAN

Create Storage Resources (LUNs

and Volumes)

Хранилища Add vFilers

to Group Create vFilers

Create IP space

UCS Blade Power On

Create Storage Policy

Map NetApp LUN

Автоматическая настройка: Вычисления, Сеть, Хранилища

Data

1.  LUN 2.  Initiators/

iGroups

1.  Zone 2.  ZoneSet

1.  Service Profile

2.  Server Selection

3.  Installation of OS

1.  VI Configuration

2.  1000v Configuration

3.  Storage Virtualization and Bare-Metal

VMware Hyper-V Bare Metal

FC/VLAN


UCS Director: Гибкость и простота для виртуализированных и не только ИТ сервисов

Централизованное управление жизненным циклом физической и виртуализированной инфраструктур

Виртуальная инфраструктура

IT администраторы IT поддержка Владельцы приложений

Физическая инфраструктура Cisco Nexus

Открытый API для

интеграции

UCS Director Интерфейс пользователя

Развертывание ОС & VM

Интерфейс администратора

Менеджер политик

Интерфейс состояний

Пулы ресурсов

UCS Central


Aligns People, Policy, and Configuration With Business Subject Matter Experts

Define Policies

Policies Used to Create Service

Profile SAN and Storage

2

Nexus 1000v

vSwitch VI

SME

Storage SME

Server SME

Network SME

Server Policy…

Storage Policy…

Network Policy…

Virtualization Policy…

Application Profiles…

Server Name UUID, MAC, WWN Boot Information LAN, SAN Config Firmware Policy SAN Zoning Create and MAP LUN

Provision Physical and VI

3System is ready for Use

4

Server Name UUID, MAC, WWN Boot Information LAN, SAN Config Firmware Policy

Storage Configuration

Virtual Infrastructure Configuration

Network Configuration


FlexPod, Vblock, VSPEX, and More

•  Self-service infrastructure provisioning

è Bare-metal and virtual •  Model-based automation – no scripting •  Management across global operations

èMultiple integrated stacks and data centers

•  Enforce best practices with consistent policies

UCS Director End-to-End

Infrastructure Management Network

X86 Server

Hypervisor

Storage

cisco. Унифицированные вычисления практические аспекты...

Technology

cisco andor

cisco public cisco ucs

cisco catalyst

cisco vsg cisco asr

cisco public lan

cloupia cisco vnmc cisco

fabric interconnect

cisco new scale