talend for aws

26
TALEND FOR AWS Governance | Trust | Speed クラウド型データ統合で AWSデータレイクとCDWHに ガバナンスとスピードを AWS SUMMIT TOKYO 2019 2019年06月12日(水)15:00-15:40

Upload: others

Post on 19-Jan-2022

12 views

Category:

Documents


0 download

TRANSCRIPT

TALEND FOR AWSGovernance | Trust | Speed

クラウド型データ統合でAWSデータレイクとCDWHにガバナンスとスピードを

AWS SUMMIT TOKYO 20192019年06月12日(水)15:00-15:40

TALENDのデータ統合とデータガバナンスソリューションで実現!

TRUST & SPEEDクラウドデータレイクとクラウドDWH

TALEND&AWSパートナーシップ

Fast Facts• APNアドバンスドテクノロジー

パートナー

• APNコンピテンシー:データと分析

• 日本を含むグローバルを網羅

• 1,500社以上のAWSユーザー

SaaS Solutions on AWS• Talend Cloud

• Stitch Data Loader

• API Services

• Pipeline Designer

Talend for AWS • 70以上の統合処理用コンポーネント

AWS Marketplace• Talend Cloud Remote Engines

1,500社以上のお客様が組み合わせてご活用

何故、AWSでTALENDを選択するのか?信頼性とスピードを実現するガバナンスを「データ」へ提供

オンプレミスアプリ、ビッグデータ、デー

タベース

スチュワードシップ | プレパレーション | データ処理

分析・機械学習・可視化

統合 共有クレジング

TALEND CLOUD

ガバナンス

企業向け業務アプリケーション

ソース

マーケティング分析、SaaSアプリケーション

70以上のAWS専用コンポーネントを提供

Amazon Kinesis

AmazonSimple Storage Services(S3)

AmazonAurora

AmazonDynamoDB

Amazon Redshift

AmazonEMR

ストレージ | データベース | DWH | リアルタイム | ビッグデータ

AmazonRDS

TALEND ON AWS – 主要機能

適切に管理・制御されたデータレイクとモダンDWHで、ビジネスにパワーを与えます

クラウドとオンプレミスからソースを収集してAWSへ分単位で展開

Amazon EMRでスケーラビリティの高いネイティブSparkコードを生成

AWSのワークロードが変化したときのコスト管理(サービスの自動オン/オフ)

AWSとのハイブリッド環境に跨がりクレンジングされたデータへのアクセスを実現 ✓

88

TALEND ON AWS – ユースケース

ガバナンスデータクオリティ | データ来歴 | スチュワードシップ | カタログ

データウェアハウスモダン化

データ統合

収集 | 変換 | クレンジング

クラウドデータプロセッシング

Hive | Spark | 機械学習リアルタイム分析

信頼できるデータレイク

データ統合

収集 | 変換 | クレンジング

8

50%コスト削減

2X 価値向上

「Talendは、クラウドでのデータ統合に素晴らしいビジョンをもっている。我々は、Talendで提供される接続性・柔軟性・ライセンスモデルの観点でAWSとの統合基盤に選択した」Prashaant Huria – VP Enabling Units, GPPS & GMA IT

アストラゼネカ社は、バックオフィス機能の強化・改善のためにデータレイクをAWS上に構築しています。そして、AWSへの接続性・柔軟性、

ライセンスモデルの適合性からTalendを選択しました。

$1M 事務コスト削減

40% 営業利益の再投資

「私達は、マーケティング戦略として顧客満足度にフォーカスしています。 私達が持つ全てのデータを組み合わせることは、我々が顧客をもっとよく知り、より良いサービスを提供することに役立っています」Marc Gallman, Director, Lenovo Analytics & Data Platform

Beachbody社は、 Amazon S3データレイクと彼らのセルフサービスBIを用いて、フィットネスセンターにおける顧客の振る舞いを把握することが出来ました。

これを実現するために、異機種環境を横断可能な柔軟性を持つTalendをAWSへの統合基盤に選択しました。

「我々は、TalendとAWSを使っていて、6ヶ月以内で全てのデータを簡単に収集してクラウドへ入れることが出来た」Eric Anderson, Executive Director BI

新規ソースデータの追加

5X FASTER

データから即座に洞察へTalend Stitch Data LoaderとAmazon Redshift

90以上のSaaSソース

可視化と分析

業務ユーザーが使えるセルフ

サービス型データ統合サービス

業務分析担当者

AmazonS3

AmazonRedshift

最適化ローディング

/

適切に管理・制御された信頼できるデータレイク例信頼性のある唯一の情報源をTalend Cloud on AWSで提供

Amazon S3

オンプレミスアプリビッグデータデータベース

SaaSアプリ

Amazon Athena

Amazon RDS

レポーティング(Looker, Tableau,

Qlik, Amazon QuickSight)

統合変換収集

統合変換

DQ処理・クレンジング

統合変換

DQ処理・クレンジング

カタログ化来歴管理Amazon

Redshift

Amazon EMR

/

*

*必要な全てのAWSサービスは記載していません。

Amazon Aurora

クラウドデータプロセッシング:ワークフロー例ハイパフォーマンス、サーバーレスSpark処理

Amazon S3

オンプレミスアプリビッグデータデータベース

SaaSアプリ

統合変換収集

統合変換

DQ処理・クレンジング

AmazonRedshift

機械学習高度な分析

データサイエンス

Amazon EMR

or

or

*

*必要な全てのAWSサービスは記載していません。

*

AmazonRedshift

Amazon S3

AmazonDynamoDB

AmazonRDS

エラスティックなビッグデータプロビジョニングとクラスターのリサイズAWSのワークロードが変わってもストレージと処理コストを最適化

Amazon Redshift

スピンアップスピンダウン

クラスター自動リサイズ

クラスターのリサイズは、統合処理フロー内でワークロードに応じて動的に行われます

Amazon EMR

➢ Talendでは、Amazon RedshiftとAmazon EMRのスピンアップ/スピンダウンの自動化が可能

➢ Talendでは、Sparkエンジンを使った変換処理の実装が容易に実現

➢ 処理結果は分析や集計作業のためにAmazon EMRまたは Amazon Redshiftへ格納

Talend Cloud:クラウドアプリケーション

ITデベロッパーデータエンジニア

データスチュワードオペレーター

パートナー業務担当者

ビジネスアナリストデータサイエンティスト

Cloud DataPreparation

TalendStudio

Cloud DataStewardship

Cloud Data Catalog

(Coming soon)

Cloud PipelineDesigner

CloudAPI Services

TALEND PLATFORMモダン&最新の革新的基盤でネィティブテクノロジーをサポート

1717

Talend Cloudクラウドインフラセンター

TOKYO

Talend CloudEU

Talend CloudAPAC

Talend CloudUS

1818

Talend Cloud:クラウド連携アーキテクチャ

TalendCloud

ファイヤーウォール ファイヤーウォール

オンプレミスアプリケーション&データベース

Talend Studio

Cloud Engine

クラウドプラットフォーム

SaaSアプリケーション

Remote Engine

1919

Talend Cloud:クラウド連携アーキテクチャ

Talend Cloud

ファイヤーウォール ファイヤーウォール

Talend Studio

Cloud Engine

Remote Engine

APIs環境管理

ユーザー管理スケジューリング

運用監視ジョブ

統計情報とログ(HTTPS)

ユーザーデータのフロー

メタデータのフロー(HTTPS)

データストア

データストア

2020

Talend Cloudと仮想プライベートクラウド

Talend Cloud

ファイヤーウォール ファイヤーウォール

Talend Studio

Remote EngineAPIs環境管理

ユーザー管理スケジューリング

運用監視ジョブ

統計情報とログ(HTTPS)

ユーザーデータのフロー

メタデータのフロー(HTTPS)

クラウドファイル

クラウドDB

オンプレミスDBアプリケーション

VPC

2121

Talend Cloudセキュリテイへの取組み

✓ SOC2 Type Ⅱ認定

✓ Talend Cloud内にユーザーデータは

一切保存しない

✓ 処理中、及び静点におけるデータは

全て暗号化

✓ 全てのモジュール間のネットワーク

通信はHTTPS化

212121

2222

Talend CloudAPACクラウドインフラセンター稼働中!

• クラウドビッグデータ統合稼働中!

• AWS東京リージョンにて運用• 最新Talend Spring’19のiPaaS• Talendオンプレミス製品の使い易

さそのままクラウドネイティブへ再設計

• 日本語サービスも充実!!

• 日本語オンラインヘルプ• 日本語でのトレーニング• 日本人コンサルタントによるプロ

フェッショナルサービス

222222

14日間無償トライアルできます!https://iam.ap.cloud.talend.com/idp/trial-registration

契約工数 5.0 人日

前提事項 Talend DI Basics受講済み

内容 • Talend Cloudでのソースシステム、ターゲットシステムへの接続の設定と最適化

• 開発作業のベストプラクティスを提供

• 運用管理の最適化等

クラウド統合を行うためのインストールから開発・運用までをトータルかつ短期間で支援:

• 1.0日:設定とインスタンスの検証、及び最もよく使われるユースケースのレビュー

• 4.0日:Talend Cloudの全ての機能についてオンサイトで使い方を支援。また幾つかのサンプルジョブやテンプレートジョブの開発提供

• ジョブデザインのレビューとベストプラクティス、管理、設定値のチューニングを支援等

クイックスタートプログラム:Talend Cloud

リモート実行 管理機能

チューニング

ベストプラクティス

テンプレート&サンプルジョブ

適用

検証

イネ

ーブ

ルメ

ント

実装

支援

契約工数 7.5人日(60時間)

前提事項 なし

内容 • Talend Cloudでの開発・デプロイ方法の支援。バージョンアップ作業負荷の軽減によるコスト圧縮

• ユーザーや管理機能のマイグレーション

• 要件に合わせたリモート/クラウドエンジンの設定

• Talend Cloudコンサルタントによる確実性の高いコンフィグレーション等

運用中のデータ統合処理やオンプレミスのTalend製品からTalend Cloudへの移行支援プログラム

• オンプレミスのコスト圧縮を加速

• 基盤のバージョンアップや検証にかかるITコストを圧縮

• チームへのイネーブルメントを適合検証を加速

• 初めて使用するTalend Cloudのクラウド/リモートエンジン設定、権限設定、チューニング作業を支援し迅速な活用を推進

Talend Cloudマイグレーションプログラム

オンプレミスサーバーを

削減

バージョンアップ作業の

削減

リモートエンジンの

設定

コマンド操作での移行

ジョブをクラウドへ

移行

適用

検証

イネ

ーブ

ルメ

ント

実装

支援

2525

Talend Cloudトレーニングコース# コース 日数 内容

1 Talend Studio入門コース 0.5日 全てのTalend製品の基礎となるTalend Studioの使い方と機能をハンズオンを踏まえて学習します。

2 Talend Data Integrationの基本 2.0日 最も基礎となるTalend DIを使用して、様々な開発機能と運用管理機能、並びにジョブデザインとコンポーネントの使い方などをハンズオンを踏まえて学習します。

3 Talend Data Integrationの管理 0.5日 Talend Administration Centerを使用したデータ統合システムの運用と監視の方法を学習します。

4 Talend Cloud Administration 0.5日 Talend Management Consoleを使用してクラウドデータ統合システムの運用監視の方法をハンズオンを踏まえて学習します。

5 Talend Cloud Data Preparation 1.0日 Talend Cloud Data Preparationを使用して、BIシステムへ渡すデータのプレパレーションをハンズオンを踏まえて学習します。

6 Talend Cloud Data Stewardship 1.0日 Talend Cloud Data Stewardshipを使用して、課題のあるデータを抽出してキャンペーンを設定し、関係者でデータクレンジングを行う手順と方法を学習します。

7 Talend Cloud Essentials 1.0日 Talend Cloudとは?から、全ての機能をウォークスルーして、Talend Cloudの使い方と価値について学習します。

※トレーニングは全て日本語教材で行います。※トレーニングは、オンデマンド(e-Learning)形式、または講師派遣方式(別途お見積り)でご提供します。

https://jp.talend.com/services/training/on-demand-training/

https://jp.talend.com/solutions/information-technology/aws-cloud-integration/https://jp.talend.com/solutions/information-technology/trusted-data-lake-aws/

https://www.stitchdata.com/data-warehouses/amazon-redshift/