construa um data lake multi-protocolo e otimizado para ... filesmb, nfs, http, ftp node reply...

1 © Copyright 2014 EMC Corporation. All rights reserved. © Copyright 2014 EMC Corporation. All rights reserved.

Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON Fernando Pavan – Isilon Specialist


Crescimento de Dados Não Estruturados

Capacidade Total Entregue, Mundialmente

Dados não estruturados

80%

74%

67%

71 EB 133 EB 37 EB

2013 2015 2017

Fonte: IDC


NAS

SAN NUVEM

FITA

DAS

OBJETO

WORKLOADS TRADICIONAIS WORKLOADS DE NOVA GERAÇÃO



FITA

NAS

SAN

OBJETO

NUVEM

DAS

Isilon Scale-Out Data Lake

WORKLOADS TRADICIONAIS WORKLOADS DE NOVA GERAÇÃO



Métodos de Acesso de Nova Geração

Data

FILE



Enterprise-Grade Features

PROTEÇÃO DE DADOS

SEGURANÇA DE DADOS GERENCIAMENTO DE

DESEMPENHO

GERENCIAMENTO DE DADOS



Funcionalidade “Enterprise”


OneFS: Arquitetura Scale-Out

Único Volume/ File System

Eficiência Incoparável

Simplicidade & Facilidade de Uso

Escalabilidade Linear

Fácil Crescimento

Alto Desempenho



Isilon: Portfolio de Hardware D

esem

pen

ho

Capacidade

NL400 X200

X400 S200

NOVO! S210

NOVO! X410


EMC Isilon Scale-Out Data Lake

Gig-e 10 Gig-e

Sistema Operacional OneFS

Aplicações

RESTful API GET PUT POST DELETE

Cliente / Aplicação Ethernet Protocolo

Protocolos

SMB NFS

FTP HTTP

HDFS para

Hadoop

REST para

Objeto

Comunicação Intra-cluster


HDFS

SMB, NFS, HTTP, FTP

Node reply Node reply Node reply Node reply

NameNode

Data

name node

name node

name node

name node d

ata

node

SMB

NFS

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

MAP Reduce

Hadoop no Scale-Out Data Lake

SMB HTTP


Isilon Momentum

4,400+ CLIENTE

SCALE-OUT LÍDER DE MERCADO


Gartner Scale-out NAS – Capacidades Críticas

• Isilon foi o único produto a receber a nota “outstanding”

• “Dentre os produtos avaliados,

Isilon se destaca em capacidade, desempenho, gerenciamento e resiliência.”

Gartner Scale-out NAS Critical Capabilities Survey, Fevereiro, 2013

EMC Isilon


(-) HDS

(-) HP

(-) Dell

(-) Panasas

(-) Huawei

(-) DDN

(+) EMC

(+) NetApp

(-) IBM

(-) Quantum

Participants

Contenders

Major Players

Leaders

Cap

ab

ilit

ies

IDC MarketScape - Scale-Out File–Based Storage Market, Janeiro, 2013

IDC MarketScape: Scale-Out File-Based Storage Market

“Isilon é a espinha dorsal da EMC’s para o segmento NAS scale-out…” “EMC adquiriu Isilon no fim de 2010 e posiciona a arquitetura única em cluster para clientes que encaram o rápido crescimento dos dados, necessidades de mais banda, e demandas de alta disponibilidade.”


Clientes - Brasil



• File system único, volume único, namespace global

• Mais de 80% de utilização do armazenmento “tiering”automatizado

• Vai de 18 TB a mais de 20 PB em um file system único

• Backup e recuperação eficientes, recuperação confiável em caso de desastre, e redundância de N+1 a N+4

• Administração baseada em regras (RBAC); Zonas de autenticação; WORM

• Suporte aos principais protocolos, incluindo NFS, SMB, HTTP, FTP & HDFS


Caso de Uso

Leandro Cruz – Gerente de Infraestrutura de TI

A Instituição Inaugurada em 1971 no Morumbi 10 unidades avançadas e 1 centro administrativo Mais de 11 mil funcionários Reconhecida mundialmente pela excelência em suas práticas nos cuidados com o paciente, pela sólida infra-estrutura e os mais altos padrões de qualidade no atendimento. A Infra-estrutura 25.000 pontos de rede 1.300 access points wireless 600 servidores (75% virtual) 1,3 PB de armazenamento 140 sistemas 1.400 câmeras de vigilância IP Disponibilidade média ’14LE: 99,96%

RoadMap

2012 2013 2014

Aquisição e instalação de frame Isilon com 4 nodes X200 de 12 TBB e 2 switches InfiniBand.

Migração de sistema de CFTV com 1.300 câmeras IP.

Início de uso como servidor de arquivos para distintos fins.

Aquisição de 4 nodes NL400 de 108TBB.

Migração de sistema de exames de imagem com carga inicial de 600.000 exames (50TBL).

Ativação de gravação de voz e vídeo para call center.

Ampliação do uso como servidor de arquivos.

Upgrade switches InfiniBand

Arquitetura Switch Server

Farm 1

Switch Server Farm 2

X200

X200

X200

X200

NL400

NL400

NL400

NL400

4x1Gbps

4x1Gbps

4x1Gbps

4x1Gbps

DNS load balance

Backup VLAN

Todos os nodes compõem um único cluster. Nodes X200 dedicados ao front-end com acesso balanceado por DNS. Nodes de front-end conectados a switches distintos via link aggregation. Espaço limitado por quotas. Segurança integrada ao Active Directory.

Load balance

Node 1 Server farm 1

Node 3 Server farm 2

construa um data lake multi-protocolo e otimizado para ... filesmb, nfs, http, ftp node reply...

Documents