azure data overview
TRANSCRIPT
Azure Data OverviewFabricio Catae
Technical Evangelist
Microsoft Azure
Vinicius SouzaTechnical Evangelist
Azure Data1. Virtual Machines2. SQL Database3. DocumentDB4. RedisCache5. Storage Account6. StorSimple7. Azure Search8. SQL Data Warehouse
NOSQL x SQLStorage do AzureCenários Avançados
SQLNOSQLEis a questão
NoSQL: Geralmente mais escalável
Arquitetura baseada em “scale-out”
Modelo simplificado de “transação”
Não há “schema” fixo
IaaSPhysical Virtual PaaS
Diferentes Armazenamentos
Virtual MachineSQL
Azure Data: Virtual Machine
Virtual Machine
Liberdade para escolha de produto
Virtualização do hardware
Disponibilidade do Azure Marketplace
Administração do Servidor
Qualquer produto, qualquer versão
Configuração do Sistema Operacional
Aplicação de patches e hotfixes
Você é o Administrador
SQL DB
Azure Data: SQL Database (SQL DB)
SQLDB não é uma máquinaSQL
Server2014
Máquina
SQL DB Porta TCP/IP
Arquitetura
Camada Cliente
Serviços e Roteamento
Plataforma: Database
Infraestrutura: Hardware e SO
Infrastructure Layer
PHP WCF Data Services
SQL ServerApplications
and Tools
ODBC ADO.NETTabular Data Stream (TDS)
Client Layer
Services Layer
Provisioning
Billing and Metering
Connection Routing
Provisioning
Billing and Metering
Connection Routing
Provisioning
Billing and Metering
Connection Routing
…
…
…
TDS+SSL
Platform Layer
SQL Server
SQL Database
FabricManagemen
t Services
SQL Server
SQL Database
FabricManagemen
t Services
SQL Server
SQL Database
FabricManagemen
t Services
…
…
…
Por que SQLDB?Serviço de backup
Alta Disponibilidade
Possibilidade de ”scale-
up”
Banco de dados relacional
Escolha o modeloService Tier
Performance Level
Common App Pattern
Performance Business Continuity
Max DB Size
Trans. Perf. Objective
DTUs PITR DR / GEO-Rep
Basic Basic Small DB 2 GB Reliability / Hr. 5 7
DaysDB Copy + Manual Export
Standard S0-S3 Cloud app 250
GBReliability / Min.
10-100
14 Days
DB Copy + Manual Export
Premium P1-P11
Mission Critical, High volume, Many concurrent Users
500 GB
Reliability / sec.
125-1750
35 Days
Active Geo-replication
Elastic Pool Basic, Standard, Premium
DemoBanco de dados Relacional
NoSQL
Sem “Schema”Desenvolvimento iterativo
Produção e consumo rápido de dados
A validação de dados pode ser postergada
Variação brusca de tráfego com altos e
baixos
Azure NoSQL
Azure Tables é um serviço NoSQL baseado em Row Store
MongoDB é um repositório NoSQL de documentos (JSON)
Cassandra é um NoSQL com armazenamento Columnar
HBase é a base do Hadoop e HDInsight
DocumentDB
Azure Data: DocumentDB (NoSQL)
DocumentDB na Microsoft
99.95% de disponibilidade
Backend dos usuários do MSN.com
10TB de documentos do OneNote API
Funcionalidades Disponíveis
Consultas usando a sintaxe SQL
Stored Procedures em Javascript
Ajuste no nível de consistência transacional
Redis Cache
Azure Data: RedisCache (NoSQL)
Web Tier
Data
Storage
SQL
Data
Cache de Dados
Web Tier
Cache
DataData
Storage
SQL
- High Throughput- Low Consistent Latency 50% : <3ms 99% : <10ms
AzureRegion
Redis (REmote DIctionary Server)Simples: baseado em “chave-valor” (Key-Value)
Baixa latência de resposta
Limite entre Cache e NoSQL
DemoBancos de dados NoSQL
Problemas Resolvidos com NoSQLDemora para exibir itens na Home Page
Implementação eficiente para Ranking
Troca de mensagens com expiração
Análise em tempo real
Não há “schema” fixo
FIRST LAST BIRTHDATE
Wade Wegner 2/2/1981
Nathan Totten 3/15/1965
Nick Harris May 1, 1976
FAV SPORT
Canoeing
Storage do Azure
Azure Data: Storage do Azure
Arquitetura
Massive Scale Out & Auto Load Balancing Index Layer
Distributed Replication Layer
Blob/Disk QueueTable
REST REST REST REST
File Share
SMB
“Microsoft Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency”, ACM Symposium on Operating System Principals (SOSP), Oct. 2011
Table Storage
EntityTableAccount
contoso
Name =…Email = …
Name =…EMailAdd=
customers
Photo ID =…Date =…
photos
Photo ID =…Date =…
PARTITIONKEY(CATEGORY)
ROWKEY(TITLE) TIMESTAMP MODELYEAR
Bikes Super Duper Cycle … 2009
Bikes Quick Cycle 200 Deluxe … 2007
… … … …Canoes Whitewater … 2009Canoes Flatwater … 2006
PARTITIONKEY(CATEGORY)
ROWKEY(TITLE) TIMESTAMP MODELYEAR
Rafts 14ft Super Tourer … 1999
… … … …
Skis Fabrikam Back Trackers … 2009
… … … …Tents Super Palace … 2008
PARTITIONKEY(CATEGORY)
ROWKEY(TITLE) TIMESTAMP MODELYEAR
Bikes Super Duper Cycle … 2009
Bikes Quick Cycle 200 Deluxe … 2007
… … … …Canoes Whitewater … 2009Canoes Flatwater … 2006Rafts 14ft Super Tourer … 1999… … … …
Skis Fabrikam Back Trackers … 2009
… … … …Tents Super Palace … 2008
Particionamento de Tabela
Server ATable = Products
Server BTable = Products
[Canoes - MaxKey)
Server ATable = Products
[MinKey - Canoes)
Queue
2 1
C1
C2
1234
Publicadores Assinantes
P2
P1
3 12
Blob StorageBlobContainerAccount
http://<account>.blob.core.windows.net/<container>/<blobname>
Pages/ Blocks
contoso
PIC01.JPG
Block/Page
Block/Page
PIC02.JPGimages
VID1.AVIvideos
Azure FilesSuporte aos protocolos REST, SMB 2.1 e 3.0
DemoStorage Account
CenáriosAvançados
StorSimple
Custo do Storage
Acce
ss
SSD HDD Cloud
Time
Working set data
Inactive data
45
Conectando com a NuvemApplications in Physical or Virtual Servers
StorSimple Hybrid Storage Array
Customer Data Center
StorSimple
Manager
46
StorSimple
Appliance (Hardware e Software)
StorSimple Virtual Array (Software)
Transparente: Não requer alteração dos aplicativos
Solução ideal para “File Share”
Azure Search
MICROSOFT CONF IDENT IAL – INTERNAL ONLY
FuncionalidadesCategorizaçãoFiltrosRankingDados geospacial56 linguagens
ArquiteturaBaseado no Apache Lucene
Componentes• Index Writer•Query Parser• Index Searcher
51
Conteúdo
XML
HTML
Powerpoint
Media Services
SQL Data Warehouse
Escalabilidade
Arquitetura Massive Parallel Processing (MPP)Escalonamento flexível de acordo com suas necessidades
Diferenciação entre CPU e Armazenamento
Elastic scale & performance
Powered by the Cloud
Market Leading Price & Performance
PauseO processamento é suspenso, mas os dados não são apagados
$$$$
55
Visão Complementar•Agregar os dados de múltiplos sources•NoSQL, Hadoop, SQLDB, File Share
•Conectar ao Machine Learning e usar scripts R
•Visualização gráfica e iterativa com o PowerBI
DemoSQL Data Warehouse
Azure Data
58Visite: mva.microsoft.com
© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.