для высоконагруженных проектов Владимир Юнев Microsoft

Облачная платформа Windows Azure

вычислительные сервисы сервисы данных сетевые сервисы

virtual machines web sites cloud services connect virtual network traffic manager

. . .

Датацентры:

2 в Европе, 2 в Азии, 4 в Северной Америке + 24 узла сети CDN

. . . . . .

. . .

Автоматизировано

Управляемые ресурсы

Гибко

Основано на потреблении

mobile

. . . SQL database tables blob storage

. . . . . .

. . . HDInsight

сервисы

приложений

Насколько «Big Data» биг сегодня?

CERN

1 PETABYTE данных в секунду получает Большой адронный коллайдер

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

2 0 0 5 2 0 0 8 2 0 1 5

Big «Big Data»

Интернет видео – 18 Экзабайт в месяц

Мобильный трафик – 2 Экзабайта в месяц

В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер

Пользователи Twitter создают более 1 терабайта сообщений в день

Cisco предполагает что к 2013 интернет трафик достигнет величины 667 экзабайт (в год), а к 2015 – превысит 1 Зеттабайт

Big unstructured data * by Gartner

Microsoft и Big Data

4 триллиона

объектов в

Windows Azure

Bing скачивает

7 петабайт

данных в месяц

Microsoft и Big Data

500 миллионов активных

аккаунтов Microsoft Account

460 миллионов уникальных

пользователей MSN в месяц

355 миллионов пользователей почты Hotmail

5.5+ миллиардов запросов к Bing в месяц

40 миллионов активных пользователей Xbox Live

14 миллиардов показов рекламы

Microsoft Advertising в месяц

2-4 миллиарда писем в Office 365 ежедневно

Hadoop напрокат

Microsoft HDInsight

HDInsight на сервере и в облаке

100% opensource-реализация платформы Apache Hadoop

знакомые инструменты для работы с данными (Excel, BI)

HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …

интеграция с SQL Server, обмен данными

быстрое развертывание

инструменты управления Apache Ambari+System Center

интеграция и безопасность с Active Directory

доступ к сервису по требованию в облаке Windows Azure

Windows Azure HDInsight

Кластер по запросу

Кластер по запросу

Кластер Hadoop по запросу

Суперкомпьютеры по запросу

http://images.google.com/imgres?imgurl=http://www.st.com/stonline/stappl/publish/stwebresources/PL__Press__Release/CERN_LHC_t2030shigh.jpeg&imgrefurl=http://wk.typepad.com/weblog/2008/02/ted-2008---sess.html&h=514&w=789&sz=606&hl=en&start=3&sig2=JpG3uuLLGQaVlbdCCTHJfw&um=1&tbnid=LVmRtlYltPxfNM:&tbnh=93&tbnw=143&ei=PQFWSOzDBqOYoQSlwr2TAw&prev=/images?q=lhc&um=1&hl=en&rls=com.microsoft:*:IE-SearchBox&rlz=1I7GGLR&sa=N

масштабное распараллеливание и оплата по факту использования

LINPACK

TOP500

Как транслировать Олимпиаду?

Windows Azure Media Services

Кодирование

Кодировщики

Потоки

вещания

Канал

Сервис

хранения

исходных

медиа-

данных

для VOD

Blob

Storage

Сервис

транскодинга

YouTube-

синдикация

Akamai

CDN

Плееры

клиентов Сервис

админ-я

Deltatre

CMS

Датацентр

Windows Azure

(1из 4)

Потребление

2 VM

Origin

3 VM

ARR

4 VM

Балансировщик

нагрузки Windows Azure

Балансировщик

нагрузки Windows Azure

Blob

Reader

ARR

Балансировщик

нагрузки

Windows Azure

Blob

Storage

Как помочь миллионам избирателей

• https://votinginfoproject.org/

• неформатированный поиск по адресу, формат гос. данных

• маршрут ко всем определенным для своего адреса избирательным пунктам

• время голосования и информация о кандидатах

• требуемые в данном штате документы

• контакты администрации и работников

• 50 языков приложения, в том числе гаитянский, креольский, тагальский, хинди и хмонг

• Трафик ~20 Гб за день с каждого из 50 штатов

• 1.5 миллиона пользователей за день

• 6 млн API-запросов за день от пользователи из 50 штатов

• 100% uptime

• 0 сбоев

• без снижения скорости

• платформа — Microsoft Windows Azure

• 4 региона (дата-центра): East, West, South, NorthEastern

• Облачные ресурсы: 90 ядер и 126 баз данных

• веб-протокол — Odata

• реализация UI — на knockout и ASP.NET MVC

• решение по масштабированию API — APIPhany

• $0 вложений в инфраструктуру, 1 день работы

• все ресурсы по запросу, оплата за потребление

Более 10 лет на рынке ИТ-услуг

Два базовых офиса – Новосибирск и Вашингтон

Более 100 сотрудников (в России и США)

Windows Phone, iOS, Android, Windows 8

Собственная дизайн студия

Четыре ключевых направления:

Microsoft, Java, BI, Mobile, MicroStrategy

Как спастись от фанатов Гарри Поттера

Архитектура Pottermore

запуск

Как обеспечить новостями весь мир

Система поставкиFront-End

Интернет-роботRESTful API

КЭШ Очередь

Платформа семантической обработки данных

Архитектура системы

RESTful API

Устройства

WCF: HTTP(S) + JSON

CDN

Traffic Manager

North US South US EU

Связь с миром -· · ·-- ··· ···-- -···· -----

Основана в июле 2010 г.

31 человек в 2 офисах

1 650 000 скачиваний

400 000 активных пользователей

Вместо заключения

vyunev@microsoft.com

http://microsoft.com/bigdata

https://facebook.com/groups/azurerus/

http://wazurr.ru

WindowsAzure.com AzureHub.ru