ivan vetkasov high performance computing · v2 1-4 v100 gpus, 6-24 ocpus 104-360 gb ram up to 1 pb...

Иван Веткасов

Principal Sales Consultant

Oracle Russia

October 30th, 2019

High Performance ComputingСценарии использования и показатели производительности

2 Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted

Safe harbor statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions.

The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation.


Немного истории

Program agenda

1

2

3

4

5

Инфраструктура OCI

Сервисы OCI

Производительность

Примеры использования


“High Performance Computing most generally refers to the practice ofaggregating computing power in a way that delivers much higherperformance than one could get out of a single server in order to solve largeproblems in science, engineering, or business.”

“HPC tasks are characterized as needing large amounts of computing powerfor short periods of time”


InsideHPC.com

Wikipedia.org

Типичные примеры:• Обработка геологических и сейсмологических данных• Проектирование и моделирование в машиностроении, обработка телеметрии• Моделирование потоков воздуха, жидкостей, течений• Медицинские исследования

Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted6

DEC, 1994 Sun, 2010Mellanox, 2010

Bare Metal, 2016

2x Pascal, 2017

8x Volta, 2Q2018

RDMA, 1Q2019

Bare Metal инфраструктура в Oracle Public Cloud

Security

Isolated Network Virtualization

Общая инфраструктура сети

Второе поколение инфраструктуры:

Oracle Cloud Infrastructure

Разделение сети и

окружения заказчиков

Host OS/Kernel

HypervisorContainer (Optional)

Общая инфраструктура сети

Первое поколение инфраструктуры:

Наиболее распространено на сегодняшний день

Host OS/Kernel

NetworkHypervisor

Server Virtualization

Server Virtualization Hypervisor

Network Virtualization

VM/ Guest

OS

VM/ Guest

OS

VM/ Guest

OS

VM/ Guest

OS

VM/ Guest

OSVM/

Guest OS

VM/ Guest

OS

VM/ Guest

OS

Bare Metal инфраструктура в Oracle Public Cloud

Performance



ORACLEREGION

SERVICES

CO

NN

ECTI

VIT

Y

STORAGE DATABASE NETWORKING

VIRTUAL NETWORK

PHYSICAL NETWORK

DATACENTERS / AVAILABILITY DOMAINS

GOVERNANCE(IAM / APIs)

Department A Department B Department C

ORACLEREGION n

YOURDATACENTER

AD-1

EDGE

AD-2 AD-3

COMPUTE

INTERNET

“Плоская” сетевая инфраструктура в Oracle Public Cloud

Compute сервисы в Oracle Cloud Infrastructure

ENTERPRISE WEB & APPLICATION SERVERS

ENTERPRISE APPLICATION SERVERS, HADOOP

MODERN DISTRIBUTED APPLICATIONS

HPC, AI/ML, 3D RENDERING

VM Standard1-24 OCPUs,

15-320 GB RAMUp to 1 PB Block

$0.0638 OCPU/ч

VM Dense IO

8-24 OCPUs,120-320 GB RAM,6.4-25.6TB NVMeUp to 1 PB Block

$0.0638 OCPU/ч

VM GPU Standard1 P100 GPU, 12 OCPUs,

104 GB RAMUp to 1 PB Block$1.275 GPU/ч

v21-4 V100 GPUs,

6-24 OCPUs104-360 GB RAMUp to 1 PB Block

NVLINK$2.25 GPU/ч

VM E2Standard

1-24 OCPUs,8-192 GB RAM

Up to 1 PB Block$0.03 OCPU/ч

DNA SEQUENCING, CFD, CRASH SIMULATIONS

Bare Metal Dense IO52 OCPUs,

768 GB RAM,51.2 TB NVMe

Up to 1 PB Block$ 0.1275 OCPU/ч

Bare Metal GPU Standard

2 P100 GPUs, 28 OCPUs, 192 GB

RAMUp to 1 PB Block$1.275 GPU/ч

v28 V100 GPUs,

52 OCPUs, 768 GB RAM

Up to 1 PB BlockNVLINK

$2.25 GPU/ч

Bare Metal Standard52 OCPUs,

768 GB RAMUp to 1 PB

Block$0.0638 OCPU/ч

Bare Metal E2 Standard64 OCPUs,

512 GB RAMUp to 1 PB Block$0.03 OCPU/ч

Bare Metal HPC Dense IO

36 OCPUs (3.7 GHz),384 GB RAM

Up to 1 PB BlockRDMA

$ 0.075 OCPU/ч

Доступны в конфигурации Dedicated VM Hosts

* * *

*

* *


Local Block File Object

NVMe SSDs

До 51 TB

Миллионы IOPS

10-100 мкс

latency

NVMe SSDs

32 TB / диск

60 IOPS / GB

< 1 мс latency

HA: distributed

file system

От КБ до ЭБ

HA: distributed

Практически

неограниченный

объем

Archive Storage Gateway Data Transfer

Надежное (durable)

объектное

хранилище с ценой

на 90% ниже

Локальное NAS

решение

Конфигурируемый

кэш

Перемещение ПБ данных

Устраняет затраты на

миграцию данных

Storage

Функциональные, высоко

производительныесервисы хренения для разнородной

нагрузки

Сервисы хранения данных в Oracle Cloud Infrastructure

11

* *

Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted

Object & Archive Storage

Limitless capacityNative & S3 APIs,

HDFS, encryption

10TB max object size

VM Dense IO 6.4-25.6 TB NVMe SSD1.8M IOPS

Block StorageUp to 32 TB volumes

Up to 1 PB/hostSnapshots, scheduled

backups, clones, grouped clones,

encryption

File StorageScales to exabytes

NFS, NLM, snapshots, encryption

HADOOP, MEDIA, LOGs, BACKUP, ARCHIVE

ENTERPRISE APPLICATIONS, DATABASES, GPU, CONTAINERS, APPLICATION LIFECYCLE

ANALYTICS, OLTP, HPC, CONTAINERS, KUBERNETES

Bare metalDense IO

51 TB NVMe SSD

5M IOPS

Сервисы хранения данных в Oracle Cloud Infrastructure


* *

*

Compute & HPC

Лучшая CPU производительность

GPU

Лучшая GPUпроизводительность

Лучшая Memory Bandwidth

Clustered RDMA Network1.5 µs latency, 100Gb/s

CPU Servers GPU Servers* CPU Servers and Block Storage*

*Planned

X

AMD EXADATA

0-368 OCPUs106-424 TB (HC диски)

Extreme DB Edition

Infiniband сеть в Oracle Cloud Infrastructure


Сверхнизкая latency и высокая пропускная способность

Clustered RDMA Network1.5 µs latency, 100Gb/s

X X

CPU Servers GPU Servers* Block Storage*Exadata*

Для нагрузок требующих большой кластерной производительности (HPC, Database, Big Data, AI) включая такие задачи как CFD, Crash Simulations, Reservoir Modelling, DNA Sequencing

Скоро: GPU Bare-Metal инстансы с 8 GPUs, 2TB RAM, 25TB local NVMe и 8x 100GB сетевых портов для кластерной подсети и RDMA

*Planned



Price and PerformanceHPC

16

Влияние виртуализации на HPC нагрузки

0.86

0.90.88

0.93

0.89

0.82

0.75

0.8

0.85

0.9

0.95

1

1.05

LS-DYNA ANSYS Fluent MILC WRF HPL Stream

Top HPC Applications Simulation Timelower is faster

Virtual Machine OCI Bare Metal

Confidential – © 2019 Oracle Internal/Restricted/Highly Restricted

Обработка кардиологических данных

– Входные данные – 8 файлов (примерно по 8 MB)

– Задача с большим потреблением cpu и rdma сети

– 5 итераций расчета (1 узел – 8 ядер -> 4 узла – 128 ядер)

– ПО: Intel compilers, MPI, PETSC with Hypre, Mumps, Superlu

On Premise (синий график) показывает невозможность масштабирования кластера более 2 узлов и 64 ядер. OCI (красный график)

демонстрирует возможность масштабирования –время вычислений улучшается на 4 узлах с168 ядрами.

32%

29%

27%38%

72%

68% 71% 73%62% 28%


LeMans StarCCM+ Benchmark Model

21Copyright © 2019, Oracle and/or its affiliates. All rights reserved.

EXABYTE.IO: Cloud-based Materials Modeling Benchmarks

SOURCE if information and Graphics: https://docs.exabyte.io/benchmarks/2018-11-12-comparison/

Для сравнения производительности использовались следующие нагрузочные модели: High-Performance Linpack (HPL), Vienna Ab-initio Simulation Package (VASP) и Intel MPI Benchmark для тестирования сетевых задержек и пропускной способности.

GROMACS (Polystyrene)



“A comparison of the speedup ratios for all cloud vendors described are presented. As it can be seen, Oracle and Microsoft Azure have better speedup ratios because of the low latency interconnect network that facilitates efficient scaling.”

Конфигурации тестовых окружений:



Network comparison: “The following shows the result of Intel MPI Benchmarks running on Amazon Web Services C5 instances, Azure H-series VMs and Oracle hardware. As it can be seen Oracle interconnect network is faster and has the lowest latency.”






Per-Core performance comparison: ”The following figure shows a comparative plot of the performance per core in giga-FLOPS (GFLOPS). Oracle and Microsoft Azure outperform AWS because of faster processors and the low latency interconnect network.”


Международный авто-концернComputational Fluid Dynamics и Crash Simulation в Oracle Cloud• Собственная инфраструктура HPC

недостаточно гибка и эластична, а так же имеет очень длинный цикл обновления. Кроме того, ресурсы затрачиваемые на сопровождение и администрирование могли быть перенаправлены на более приоритетные задачи бизнеса.

• Компания получила возможность разворачивать и масштабировать HPC инфраструктуру за минуты, буквально в несколько кликов мышью.

• Использование облачной инфраструктуры позволило оптимизировать и улучшить процессы моделирования и проектирования, а так же оптимизировать затраты на них.

От 5% до 20%увеличение производительности при

масштабировании до 20.000 ядер


Zenotech предоставяетComputational Fluid Dynamics SaaS проект на Oracle Cloud

• Zenotech предоставляет облачное HPC решение для моделирования динамики потоков как для крупных, так и для средних заказчиков, многие из которых не имеют собственной HPC инфраструктуры

• Моделирование воздушных потоков используется Zenotech и их заказчиками в проектировании самолетов и гоночных автомобилей, увеличив точность моделирования и снизив, при этом, стоимость по сравнению с собственной инфраструктурой

76%от линейной масштабируемости для 1,296 ядер


Oracle и Altair: SaaS решение для CFD

• Altair HyperWorks предоставляет виртуальную среду для Computational Fluid Dynamics (CFD) анализа — на Oracle Cloud Infrastructure

• Быстрое время развертывания, а так же модель оплаты по мере использования –заказчик платит только за затраченные на моделирование ресурсы

• Так же способствовало сокращению цикла разработки и тестирования программного обеспечения Altair на 300% 3x

быстрее разработка и тестирование


YellowDog: On-demand 3D Rendering

2x - 10xвыше производительность

• Yellowdog предоставляет продукт для рендеринга изображений для мелких и средних медиа компаний

• Увеличение производительности в 10 раз по сравнению с их предыдущим решением и в 2 раза по сравнению с AWS

• Миграция с OCI-C на OCI позволила увеличить гибкость решения, заняла менее года и не потребовала увеличения стоимости

• Позволила снизить стоимость сервиса для конечного заказчика


High Performance Computing: не только наукоемкие отрасли

• Ведущее SaaS решение в области

путешествий построенное на AI для

подбора маршрутов на основе

критерия времени, а не расстояния

• В 21 раз быстрее обработка 3

милионов локаций в месяц со времем

отклика 250 миллисекунд

• Сокращение цикла разработки за счет

использования Kubernetes с 1 недели

до 8 часов

• Рост на 500 000 пользователей за

первый месяц, сейчас работают в 36

странах

Спасибо

Вопросы?

Иван Веткасов

Principal Sales ConsultantOracle Russia



PHOENIX

TORONTO

ASHBURN

SAO PAULO

LONDON

FRANKFURT ZURICH

MUMBAI

SYDNEY

SEOUL TOKYO

OSAKA

Commercial

Government

Planned Commercial

Planned Government

Edge Points of Presence

Planned Edge Points of Presence

• Global edge locations

• Distinct geo security profiles

• Automated global edge protection

• 2,000+ cloud security personnel

• 24/7 monitoring

• Trillions of signals collected daily

• Internet and Cloud Intelligence

JEDDAH

CHICAGO

Oracle Cloud Infrastructure is Global


Oracle Cloud Infrastructure Global Footprint

End of CY2020: 36 Oracle Regions

ASHBURNPHOENIX

SYDNEY

CHICAGO

TORONTO

BELO HORIZONTESAO PAULO

TOKYOSEOUL

MUMBAI

OSAKA

MELBOURNE

AMSTERDAM

HYDERABAD

JEDDAHDUBAI

UK

BAY AREA

SINGAPORE

SAUDI 2

UAE 2

CHILE

Commercial

Government

Microsoft Azure Interconnect

ISRAEL

ISRAEL GOV

FRANKFURT

ZURICHMONTREAL

CHUNCHEON

SOUTH AFRICA

US GOV

EUROPE

ASIA

End of 2020: In-Country Disaster Recovery

US

European Union

India

Japan

Australia

UAE

Saudi Arabia

Brazil

South Korea

UK

Canada

ivan vetkasov high performance computing · v2 1-4 v100 gpus, 6-24 ocpus 104-360 gb ram up to 1 pb...

Documents