control-m - compfort-international.rucompfort-international.ru/d/1012462/d/control-m_workload... ·...
TRANSCRIPT
Control-M
CompFort International Russiaофициальный дистрибьютор BMC Software в России и странах СНГ
Александр Осипов
Менеджер проектов| 24.01.2018
© Copyright 2016 BMC Software, Inc.3
Основные инструменты
Scheduling Systems• MF & DS tools• ERP tools• Big Data tools
• Web Services• Windows Scheduler, cron• Cloud Tools
Вспомогательные инструменты
• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job
submission)• Other Scheduler Functions to work with jobs
Объемы
Ежедневные• MF & DS• Cloud• Ad-Hoc
• File Triggers• Event Triggers• Big Data
Задаваемые• MF• DS• Hadoop
Традиционный график работ: Сложности
БизнесПользователи
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Разработчики
Аудиторы
DevOpsTeams
File TransferTeams
Big Data
Cloud PlatformTeams
DatabaseTeams
© Copyright 2016 BMC Software, Inc.4
Традиционный график работ: Сложности
БизнесПользователи
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Разработчики
Аудиторы
DevOpsTeams
File TransferTeams
Big Data
Cloud PlatformTeams
DatabaseTeams
Основные инструменты
Scheduling Systems• MF & DS tools• ERP tools• Big Data tools
• Web Services• Windows Scheduler, cron• Cloud Tools
Вспомогательные инструменты
• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job
submission)• Other Scheduler Functions to work with jobs
Объемы
Ежедневные• MF & DS• Cloud• Ad-Hoc
• File Triggers• Event Triggers• Big Data
Задаваемые• MF• DS• Hadoop
© Copyright 2016 BMC Software, Inc.5
Основные инструменты
Scheduling Systems• MF & DS tools• ERP tools• Big Data tools
• Web Services• Windows Scheduler, cron• Cloud Tools
Вспомогательные инструменты
• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job
submission)• Other Scheduler Functions to work with jobs
Объемы
Ежедневные• MF & DS• Cloud• Ad-Hoc
• File Triggers• Event Triggers• Big Data
Задаваемые• MF• DS• Hadoop
DevOpsTeams
File TransferTeams
Big Data
Традиционный график работ: Сложности
БизнесПользователи
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Разработчики
Аудиторы
Cloud PlatformTeams
DatabaseTeams
© Copyright 2016 BMC Software, Inc.6
Primary Tools
Scheduling Systems• MF & DS tools• ERP tools• Big Data Tools
• Web Services• Windows Scheduler, cron• Cloud Tools
Ancillary Tools
• Connects DS and MF tool (CA Connect, TWS)• Robot Scheduler Enterprise (DS)• MF Automation Tool (OPS/MVS, AFOperator, etc)• DS Event Mgmt Tool• File Transfer Products (ConnectDirect, FTP) • X-platform triggering via dummy files• Customer User Front-Ends (Ad-hoc Job Submission)• Scripts / Programs (Error detection & dynamic job
submission)• Other Scheduler Functions to work with jobs
Volumes
Daily Executions• MF & DS• Cloud• Ad-Hoc
• File Triggers• Event Triggers• Big Data
Defined Jobs• MF• DS• Hadoop
• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
Control-M Workload Automation
BMC Control-M
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.7
✓ Расширенные возможности планирования
• Управление SLA• Облачные вычисления и виртуализация• Бизнес аналитика и интеграция данных• База данных и большие данные• Web Сервисы, Java, J2EE и обмен
сообщениями• Аудит и отчетность для Предприятия• Передача файлов• ERPs (SAP, Oracle, PeopleSoft)
Control-M Workload Automation
BMC Control-MПланировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.8
✓ Мониторинг
✓ История
✓ Прогнозирование
✓ Планирование
✓ Инфраструктура
✓ Self Service
Control-M Workload Automation
BMC Control-MПланировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.9
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
Мониторинг
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.10
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
История
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.11
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
Прогнозирование
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.12
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
Планирование
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.13
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
Инфраструктура
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.14
✓ Enhanced Scheduling Capabilities• SLA Management• Cloud Computing and Virtualization• Business Intelligence and Data Integration• Databases• Web Services, Java, J2EE and Messaging• Enterprise Auditing and Reporting• File Transfers• ERPs (SAP, Oracle, PeopleSoft)
BMC Control-M
✓ Monitoring
✓ History
✓ Forecast
✓ Planning
✓ Infrastructure
✓ Self Service
Control-M Workload Automation
Самообслуживание
Планировщики
Администраторы
Операторы
ПоддержкаПриложений
Все роли!
© Copyright 2016 BMC Software, Inc.15
Ручное управление пакетным выполнением услугDataExtract
UpdEarnPolicy DataExtReport EquityProcess
EmpLoanStat WitholdAdj ExceptionDet
Phase2Extract ExcpHandler PrepExcpFile ExceptionReport
PrepPayFile PostException
SendADPFileНаша цель: 6:30
© Copyright 2016 BMC Software, Inc.16
Control-M Batch Service ManagementDataExtract
UpdEarnPolicy DataExtReport EquityProcess
EmpLoanStat WitholdAdj ExceptionDet
Phase2Extract ExcpHandler PrepExcpFile ExceptionReport
PrepPayFile PostException
SendADPFile Платежная система: Должны закончить к 6:30 AM
Наша цель: 6:30
✓ Определяет время “Должно быть закончено до”
✓ Обнаруживает критический путь
✓ Раннее оповещение о потенциальных задержках
✓ Генерация уведомлений с высоким воздействием
✓ Показывает воздействие в модели сервиса
© Copyright 2016 BMC Software, Inc.17
Включает передачу файлов в контексте Предприятия
Поддержка FTP/SFTP/FTPS и PGP
Поддержка удаленных машин
Доступ к файловым системам в режиме реального времени
Control-M Managed File Transfer
© Copyright 2016 BMC Software, Inc.19
Control-M Просмотр сервисов
Простота для Бизнес пользователей
Предоставляет Каталог Услуг– Бизнес пользователь управляет
своими объемами работ
– Ввод с использованием бизнес-терминологии
Мобильные устройства
Полный аудит и контроль
© Copyright 2016 BMC Software, Inc.21
Поток работ по созданию/Модификации
Планировщики
Разработка приложений
Разработчики
Промышленныесистемы
© Copyright 2014 BMC Software, Inc. 22
Поток работ по созданию/Модификации
Планировщики
Разработка приложений
Разработчики
Повторение, пока запрос не будет правильным / принятым
ПромышленныесистемыНеэффективность/неудовлетворенность
Код
© Copyright 2016 BMC Software, Inc.23
Drag picture to placeholder or click icon to add
Workload Change Manager
Web - интерфейс
Drag and drop job creation
Корпоративные стандарты
Автоматическое продвижение
24© Copyright 2016 BMC Software, Inc.
«В 2020 году, корпоративные политики «без облака»будут такой же редкостью, как сегодня политика «без интернета»
—Gartner, Inc. June 22, 2016
25© Copyright 2016 BMC Software, Inc.
95%Organizations using public /
private / hybrid cloud
Enterprises running applications on Azure
Enterprises running applications on AWS
Enterprises with 1000+ VMs in public cloud
13 17%
CLOUD ADOPTION AND TRENDSBased on RightScale’s 2016 State of the Cloud Report
50 56% 12 17%
26© Copyright 2016 BMC Software, Inc.
Control-M on AWS (BYOL)Control-M Agent as VM Extension on Azure
Полный комплект Control-M в один клик
Встроенный инструмент для подготовки продуктивной, тестовой или пробной (Sandbox) сред
CONTROL-M для AWS и AZURE
© Copyright 2016 BMC Software, Inc.27
Control-M в Облаке
Использование ресурсов
Планирование работ
Control-M в Облаке
Физическое,Виртуально облачноеВиртуализацияОблако
BMC BLADELOGIC
Панель мониторинга
© Copyright 2016 BMC Software, Inc.29
Лояльность пассажиров• Всесторонний взгляд на пассажира• 150+ показателей для каждого пассажира• Повышение потребительской ценности• Культивация высокой ценности клиентов
✓ Боинг 787 генерирует в среднем 500GB системных данных полета
✓ Airbus A380 оснащен аж 25,000 датчиками, фиксирующих 8,000+ данных в секунду
✓ Авиакомпании хотят использовать новые технологии, такие как Hadoop и сложные алгоритмы интеллектуального анализа данных чтобы обработать неструктурированные данные
Операции• Пакет отслеживания данных• Снабжение данных• Планирование данных
Захват данных с датчиков• Оптимизация обслуживания• Минимизация времени простоя• Прогнозирование погоды для оптимизации
топливных загрузок• Оптимизация траектории полета/ траектории
корректировки• Данные по закрылкам• Wingtips – улучшение расхода топлива• Системные данные
Данные двигателя – один маршрутный полет• GE реактивные двигатели около 5,000 данных в секунду
20 TB x 2 x 6 x 28,537 x 365Информация от двигателя в час
Двигатели Часы Коммерческих рейсовза день в США
Дней в году
= 2,499,841,200 TB
© Copyright 2016 BMC Software, Inc.30
Control-M для Hadoop
Hadoop Program parameters
HDFS commandscatchmodcopyfromlocalcopytolocalcpgetlsmkdirmvputrmrmr
SPARKJava / Scala ApplicationPython Script
© Copyright 2016 BMC Software, Inc.32
Images can be added behind device
Инновации легко
Интегратор Приложений
Предоставление цифровых услуг
быстро и надежно
32
Images can be added behind device
Увеличение ценности
Images can be added behind device
The Power of Many
© Copyright 2016 BMC Software, Inc.34
UNIX_Script
AS400_process
Java_process
Win.bat
FTP
Win.bat
Web_Service
AS400_process
FTP
MF_process
ERP_process
ERP_process
DB_Backup
MF_process AS400_process
UNIX_Script
UNIX_Script
MapReduce
FTP
FTP
DB_Backup
Java_process
Java_process
SSIS
MapReduce
AS400_process
FTP
© Copyright 2016 BMC Software, Inc.35
Много работ генерирует много данных
UNIX_Script
AS400_process
Java_process
Win.bat
FTP
Win.bat
Web_Service
AS400_process
FTP
MF_process
ERP_process
ERP_process
DB_Backup
MF_process AS400_process
UNIX_Script
UNIX_Script
MapReduce
FTP
FTP
DB_Backup
Java_process
Java_process
SSIS
MapReduce
AS400_process
FTP
© Copyright 2016 BMC Software, Inc.38
Вы слышали о таком?
Я просто разработал это супер-крутое приложение и перевел его в производство
за 5 дней
© Copyright 2016 BMC Software, Inc.39
Крупный ретейлер в США
• Более быстрые циклы разработки и развертывания и лучшее сотрудничество между командами
• Подход, чтобы приспособиться к мобильной, цифровой бизнес-среде
• Фокусируется на более плотной координации между инженерами и штатом развертывания продукта вместе с agile подходомдля разработки и тестированияприложений
• Привлечение высшего ИТруководства к практическимворкшопам DevOps
© Copyright 2016 BMC Software, Inc.40
JenkinsPuppet
Ch
efA
nsib
leV
agrantSaltStack
Mav
en
Bam
bo
o
BMC RPMGit
subversion CVS
Gra
dle
Artifactory
Nexu
sCFEngine
ANT
DevOpsContinuous Integration D
ock
erAzure
Am
azon
We
bSe
rvices
Capistrano
Ku
bern
etesJUn
it
Go
HipChat
Jira
GruntContinuum
Gump
Co
ntin
uo
us D
elivery
Ro
cketM
esos
ForestWhisker
Continuous Deployment
© Copyright 2016 BMC Software, Inc.41
Agile Methodologies
46%
44%
40%
37%
30%
27%
22%
11%
Easier provisioning of Agents
Developer sandbox for Control-M
Developer API for creating jobs
Web Interface for developers
Integration with DevOps tools
Different pricing model
Developer API for configuration…
Other
Движется ли ваша разработка к Agile Методологиям?
n= 269
37%
43%
18%
Yes
Partially
No
Инициативы Control-M которые помогут снизить ‘Time to Market’
n= 391
New questions 2016. Excludes don’t know from base.
© Copyright 2016 BMC Software, Inc.44
Enterprise View
Powerful, technology-opaque user interface
SLA Management
Rich date/time and event-based scheduling
Site-aware
Self service for all constituents
Automated promotion
Dynamic resource management
Core
Integrated data movement
ERPs
Relational Databases
Big Data
Backups
SOA technologies
All commercial platforms
Business Intelligence
ETL/Data Integration
Application Integration
Extensible for any application or technology with automation APIs
Community
Leverage all capabilities for any application
Abstract ALL workload automation with a single, consistent set of capabilities, management methodologies and best practices
Open Platform
Control-M: The Workload Automation Platform