big data technology - solit 2015 conference

Роль Big Data в ИТDmitry Tolpeko, EPAM Systems – Solit 2015 – March 14-15, 2015

О себе

•Ведущий разработчик в EPAM, BI Solution Practice

•Занимаюсь развитием экспертизы Big Data в EPAM

•Лидер Belarus Big Data User Group

Big Data Технологии

• Проблемы в бизнес аналитике

• Как Big Data технологии могут помочь

• Какие открываются новые возможности

Традиционная Аналитика

Анализ прошедших событий:

• Транзакции

• Покупки

• Заказы и т.д.

Отчеты: раз в день, неделю, квартал, год

Проблемы

• Невозможность повлиять на ситуацию

• Высокая стоимость ошибок

Современные требования

• Анализ предшествующих событий

• Предотвращение нежелательных событий

• Рекомендации, предсказания

Зачем Big Data технологии

• Рост объемов данных в 10-100 и более раз

• Аналитика в режиме реально времени

Internet of Things

Новые источники данных:

• Процессоры

• Cенсоры, датчики

• Web

Самолет: 10 TB за рейс

10.000.000.000.000 байт

Expedia

• Сбор информации о пользователях

• Анализ предложений конкурентов

• Рекомендация отелей, авиаперелетов

Зарождение Big Data технологий

• Google

• Yahoo

• Facebook

• Twitter

Что представляют собой Big Data технологии?

Использование множестваобычных компьютеров объединенных в сеть

Десятки, сотни и тысячи компьютеров

Идеальны для облачных технологий

• Новый этап развития Cloudтехнологий

• Низкие затраты на инфраструктуру

• Доступность

Образование и Малый Бизнес

• 100 GB - 10 TB информации

• Доступность аналитики

Признание в индустрии

Ведущие производители ПОаналитики:

• Microsoft

• Oracle

• IBM

• Teradata

Аналитические компании:

• Gartner

• Forrester

Новые концепции и подходы в аналитике

• Активный архив - Data Lake

• Машинное обучение

Возможности для разработчиков

• Анализ потоковых данных –streaming

• Распределенные вычисления

Java, Scala, Python

Возможности Data Science

• Бизнес аналитики

• Разработчики баз данных

• QA специалисты

• Специалисты различных профессий - математики, химики, биологи, физики, медики и др.

Инструменты

• SQL

• Python

• Map Reduce and Spark

• Статистика и теория вероятностей

• Искусственный интеллект и машинное обучение

Рынок Аналитики и Big Data

$125 миллиардов в 2015 - IDC отчет

Нехватка 200.000 специалистов Data Science и аналитиков к 2018

Роль Big Data

Сравнима с появлением:

• Client-Server технологий

• Internet для бизнеса

• Linux

Сообщество Big Data в Беларуси

Belarus Big Data User Group на Facebook:

• Встречи (meetups) раз в месяц

• Конференции раз в год