jaxa grid activity jaxa/eorc kengo aizawa keio univhiromichi fukui
Post on 27-Mar-2015
222 Views
Preview:
TRANSCRIPT
JAXA GRID Activity
JAXA/EORC Kengo Aizawa
KEIO UNIV Hiromichi Fukui
BackgroundBackground
JAXA and KEIO Univ are start to try establishing “Digital Asia” system
In Digital Asia, it required to - search and access distributed data - semi-real time data processing
JAXA had two of experiments
PurposePurpose
Extract problems to realize Digital Asia system by developing prototype.
Accumulate knowledge, know-how for design of Digital Asia system.
Data GRID
・ Search satellite data to each node seamlessly
・ Databases are geographically distributed
・ Each node has different RDB ( PostgreSQL 、 MySQL 、 Oracle ) system
・ Search satellite data to each node seamlessly
・ Databases are geographically distributed
・ Each node has different RDB ( PostgreSQL 、 MySQL 、 Oracle ) system
USER
nodenode (( NepalNepal ))
Assumed scene for Data Grid
Node Node (( JapaJapann ))
PostgreSQL
MySQL
OracleNodeNode (( ChainChainaa ))
GT3+
OGSA-DAI
My SQL
Metadata for Unified DB
SQL 実行
Oracle
FADGE サーバ
XQuery パーザ
Query engine
Procesing metadata
Unified data view ( virtual XML ) adopt 「 XQuery 」 Interface
Translate XQuery to appropriate SQL
XQuery
results(XML形式)
SQL
PostgreSQL
Apply ( GT3+OGSA-DAI) 、 access DB over Firewall
GT3+
OGSA-DAI
JDB
C
GT3+
OGSA-DAI
JDB
C
GT3+
OGSA-DAI
JDB
C
SQL 実行
SQL 実
行
Unified data view
( Virtual XML )
InternetInternetFW
DataGridFor Digital Asia
Access to hetero DBMS
Distributed DB virtual unification Overview
metadata #3
metadata #2
unifieddataview
#2
unifieddataview
#3
XQuery
XML
XQuery
XML
XQuery
XML
Sy
ste
m
AS
ys
tem
B
Sy
ste
m
C
metadata #1
metadata For unified DB
unifieddataview
(virtual XML) #1
メタデータ作成エディタ
ファイル
状態フィールド
.DB 受注 注文伝票テーブル
注文番号 発注者 受注者 日付 備考
.DB 受注 注文商品テーブル
ID注文 商品コード 個数 合計金額
.DB 商品 取扱商品テーブル
コード 品名 単価
1.DB 在庫 在庫テーブル
商品コード 数量
2.DB 在庫 在庫テーブル
コード 在庫数
注文 注文番号
発注者
受注者
日付
ID注文
コード商品名
商品コード
個数
現在庫数
品名
コード
注文商品
数量
数量
Create unified data view by Drag and drop
Difference of each DB table colmn will absorbed in the editor
Columns of each tables will be collected automatically
Data Grid For Digital Asia
Allows to built virtual unified system for distributed DB
Metadata editor for Unified DB
Distributed DB virtual unification Overview
Sample
Computing GRID
ユーザ
Computing node PCComputing node PC
Management server PC
Management server PC
Processing
program sceine
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
SystemwalkerCyberGRIP Master
SystemwalkerCyberGRIP Master
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
SystemwalkerCyberGRIP Agent
Processed image
・OS [Windows] Windows SV 2003SE/EE Windows 2000 SV/AS/Pro Windows XP Professional [Linux] Red Hat Enterprise Linux AS(v. 3)/ES(v. 3) Red Hat Linux 9・ Disk 5 MB・ memory 50 MB
・OS [Windows] Windows SV 2003SE/EE Windows 2000 SV/AS/Pro Windows XP Professional [Linux] Red Hat Enterprise Linux AS(v. 3)/ES(v. 3) Red Hat Linux 9・ Disk 5 MB・ memory 50 MB
・OS Red Hat Enterprise Linux AS(v. 3)/ES(v. 3)・ Disk 20 MB・ memory 30 MB+ User X 13MB)
・OS Red Hat Enterprise Linux AS(v. 3)/ES(v. 3)・ Disk 20 MB・ memory 30 MB+ User X 13MB)
Required spec of nodeRequired spec of node
Required spec of serverRequired spec of server
Computing GRID Overview
imageprocessing
imageprocessing
Image processing
Image processing
Image processing
Image processing
imageprocessing
imageprocessing
Computing GRID Experiment
• We estimated following two cases.
- submitting 100 dummy* jobs with no data transfer
- submitting 100 dummy* jobs with 400MB data transfer
* dummy job takes 90sec
Results
number of effects
0
50
100
150
200
node1 node2 node3 node4
Tot
al a
mou
nts
of m
ins
○ no file transfer ● with file transfer
Cyber GRIP
・ OJC(Organic Job Controller) Allows you to automatically generate a great number of computing
jobs with simple descriptions using a script language. It also allows you to do parameter search, parameter sweep, and parametric study.
・ GJES(GRID Job Execution System) - Virtually manages dispersed computing resources (computing
servers) and equalizes loads on servers. Not only that, if a computer downs during job execution, automatically determines the downed event and executes the relevant job another computer.
- Realizing unified job execution in a computing environment with heterogeneous operating systems
200 4 /11
Fujitsu plans
- To create interface compliant to Globus tool kit
Future Planシーン 1
シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 2
シーン 11シーン 12
シーン 1シーン 1
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
モザイク処理
変化抽出
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
変化抽出
・・・・・・
・・・・・・
・・・・・・
モザイク処理
モザイク処理
モザイク処理 Computing GRID
Data GRID ( 検索 )各受信局
Grid Grid Portal ServerPortal Server
Grid Grid Portal ServerPortal Server
・・・・・・
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
領域領域11
領域領域22
領域領域33
領域領域44
領域領域55
・・・・・・
・・・・・・
領域領域1515
領域領域1616
SearchSearchSearchSearch AnalizeAnalizeAnalizeAnalize
User
Data GridData GridData GridData Grid Computing GridComputing GridComputing GridComputing Grid
Realize GRID from search to AnalizeRealize GRID from search to Analize
top related