star-ccm+ の大規模並列化仕様と クラウドライセ...
TRANSCRIPT
STAR-CCM+ の大規模並列化仕様とクラウドライセンス(PoD) ソリューション
株式会社CD-adapco 吉田 稔彦
ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ (リリース当初からの設計仕様)
– 区分化(Partitioning) 機能の実装 (V8.04)
– パフォーマンス改善 (V8.02, V8.04)
– パラレルトリマーの実装 (V8.06)
ライセンス種別による対応
– hpcdomain オプション (Partitioning 数に応じたライセンス)
– PowerSession オプション (並列無制限ライセンス)
クラウド側のハードウエア利用
– Power of Demand ライセンス(必要な計算時間での課金システム)
大規模モデルと STAR-CCM+
© CD-adapco 20131
クライアントプロセス-サーバプロセス
STAR-CCM+ は開発当初から
GUI 操作などを行う クライアントプロセスと
CFD の実態処理を行う サーバプロセスが分離された設計となっています。
ユーザのプラットフォーム環境に応じた最適パフォーマンスを提供します。
STAR-CCM+ クライアント・サーバ アーキテクチャ
© CD-adapco 20132
新規作成、読み込み画面から並列数を簡単に指定
物理連続体ごとの領域分割
(Continuum-Wide Partitioning)
– 並列計算時に物理連続体ベースで領域分割をするオプション機能(従来は領域ベース)
– 並列計算効率が改善
– 従来の手法で並列効率が著しく悪くなっていた大きな解析領域中に小さな領域があるようなケースを解決
V8.04 から実装された区分化機能
© CD-adapco 20133別領域だが、同じ物理連続体
新しい領域分割12並列従来の領域分割
対象となる解析事例 複数領域のある解析 車両熱害解析など
計算実行中に自動、且つ計算結果依存した再パーティション分割実行機能を搭載
計算速度(並列性能)パフォーマンスを大幅に改善
ラグランジェ/DEM ロードバランスの改善(V8.02)
© CD-adapco 20134
0
5
10
15
20
25
30
35
40
45
50
0 8 16 24 32 40 48 56 64 72 80 88 96 104 112 120 128
Elap
sed
tim
e p
er
ste
p [
s]
Cores
With Load Balancing
Without Load Balancing
対象となる解析事例 SCR デバイス スプレードライヤ 化学反応スプレー
2.5倍以上の計算速度改善を達成
不連続メッシュのインターフェース生成の時間短縮
定常 & 非定常解析
最大2倍のスピードアップ
直接インターフェイス生成の改善 (V8.04)
© CD-adapco 20135
対象となる解析事例 移動メッシュケース 回転翼機 ファン 自動車熱害
STAR-CCM+1000万セル非定常軸流ファン解析
インターフェース x2 – 149k & 228k フェース各時間ステップあたりの所要計算時間
1700万セル非定常ヘリコプター解析インターフェース x1 – 560k フェース各時間ステップあたりの所要計算時間
v8.02 21.91s 5,98s
v8.04 11.39s 2.72s
トリムメッシュの並列化処理機能を実装
– 最大で3倍のスピードアップ
– シリアルメッシングと同等のメッシュサイズ、メッシュ品質を再現できるよう設計
– 100万cell を下回ると予想された区分は自動的にシリアル処理
– ロードバランスを意識した均等区分化設計
パラレルトリマーの実装 (V8.06)
© CD-adapco 20136
Image courtesy of Daimler A.G.
STAR-CCM+のパフォーマンスは開発サイクルを通しモニターされます
– 毎日17ケースのテストデータが実行されます
• パラレルとシングルコアのパフォーマンスがチェックされます
• 実行環境
– Linux と Windows 64bit ワークステーション
–最大192コアのLinux クラスタ
– 24 コア Windows server 2008 R2 クラスタ
– 毎月そして、主要な開発マイルストーン時に9ケースの大規模テストデータが実行されます
• Linux 64 bit クラスタ上での最大1152コアでのパフォーマンステスト
– 必要に応じて、追加のテストが上記以外にも実行される可能性があります
• 特定の開発のテスト、パートナーであるハードウェアベンダーのクラスタ上にて
STAR-CCM+ パフォーマンステスト
すべてのテストの実行環境は :
– 64bit Scientific Linuxで実行される64 ブレードクラスタ
– 各ブレード
• 2 Intel E5-2680 2.70 GHz 8 コアCPU
• 32 GB 物理メモリ
– Mellanox QDR Infiniband 相互接続
– Panassas パラレルファイルシステム
実行環境
– 使用可能なパラレル I/O
– MPI CPU 親和性を有効化
– 前もって40イタレーションの助走計算
– パフォーマンスは20イタレーション以上の平均経過時間を基に計測
実行環境
車両のアンダーフード冷却解析– 4千6百万 トリムメッシュ
• 7 Region(76万セル~ 4 千万セル)
– 分離型ソルバ
– 物理連続体毎の並列区分化設定のテスト
データセット : 車両アンダーフード
極超音速の抗力 Polar
– 640万セルのポリヘドラルメッシュ
– 連成型解法
データセット : HL-20 MACH 10
0
1
2
3
4
5
6
7
8
10245122561286432
イタレーション毎の経過時間
8.06
8.04
複数領域のターボチャージャ CHT
– 700万セルのポリヘドラルメッシュ
– 分離型解法
データセット : ターボチャージャ
0
200
400
600
800
1000
1200
1400
0 144 288 432 576 720 864 1008 1152
パラレル効率Ideal speedup
8.02
8.04
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
10245122561286432
イタレーション毎の経過時間
8.06
8.04
内部流れ
– 900万セルのポリヘドラルメッシュ
– 分離型解法
データセット : 原子炉
0
1
2
3
4
5
6
10245122561286432
イタレーション毎の経過時間
8.06
8.04
外部空力
– 2000万セルのトリムメッシュ
– 連成型解法
データセット : 民間定期航空機
0
1
2
3
4
5
6
7
8
102451225612864
イタレーション毎の経過時間
8.06
8.04
外部空力
– 1700万セルのポリヘドラルメッシュ
– 分離型解法
データセット : ルマン車両
0
1
2
3
4
5
6
7
8
9
10
10245122561286432
イタレーション毎の経過時間
8.06
8.04
外部空力
– 1億4百万セルのトリムメッシュ
– 分離型解法
データセット : ルマン車両
ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ (リリース当初からの設計仕様)
– 区分化(Partitioning) 機能の実装 (V8.04)
– パフォーマンス改善 (V8.02, V8.04)
ライセンス種別による対応
– hpcdomain オプション (Partitioning 数に応じたライセンス)
– PowerSession オプション (並列無制限ライセンス)
クラウド側のハードウエア利用
– Power of Demand ライセンス(必要な計算時間での課金システム)
大規模モデルと STAR-CCM+
hpcdomain ライセンス
契約並列数に応じた計算利用可ライセンスファイル内に hpcdomain フィーチャ が明記
※ccmpsuite フィーチャ (通常の STAR-CCM+ 起動ライセンス)の数だけ指定並列数が使用できます。
hpcdomain オプション ライセンスの特徴
契約してる Partition 数であれば
複数ジョブも利用可能。
例: hpcdomain=100 partition で
以下のようなアレンジが可能です。
100 partition を1ジョブで利用
50 partition を 2 ジョブで利用
25 partition を 4ジョブで利用
・・・・・・
1ジョブ計算に対して
解析対象や、
ハードウエアの空き状況に応じて
自由に並列数を増やせます。
Power Session ライセンス
1 ジョブにつき並列数無制限利用可
ライセンスファイル内に ccmppowerフィーチャ が明記
Power Session オプション ライセンスの特徴
4 並列
8 並列
16 並列
32 並列
・・・・並列
ソフトウエア側の対応機能
– クライアント – サーバ アーキテクチャ (リリース当初からの設計仕様)
– 区分化(Partitioning) 機能の実装 (V8.04)
– パフォーマンス改善 (V8.02, V8.04)
ライセンス種別による対応
– hpcdomain オプション (Partitioning 数に応じたライセンス)
– PowerSession オプション (並列無制限ライセンス)
クラウド側のハードウエア利用
– Power of Demand ライセンス(必要な計算時間での課金システム)
大規模モデルと STAR-CCM+
• 必要なときに STAR-CCM+ Power Session にアクセスできる革新的な製品ライセンスモデル
– スループットの向上
• 非常に多くのパーティションとセッション
– 柔軟性の向上
• クラスター、クラウド、ネットワークで動作 (独自のクラスターを含む)
– 強力なライセンス機能
• クラウド上の CAE へのゲートウェイ
STAR-CCM+ Power-on-Demand
• 1 時間単位のリアルタイムライセンス(PoDクレジット)を購入(500 時間以上)
• PoDクレジットは 12 か月間有効
• カスタマーポータルにログインしライセンスタブを開きます
– 複数のタブが表示されます
• Account Activity、Account Usage、Manage Keys
使い方は?
• PoDクレジットの使い方
– 例
• 500 時間のPoDクレジットが利用できる場合
– 1 つの Power Session ジョブを 16 コアで 500 時間使用可能
– 5 つの Power Sessions ジョブを 128 コアで 100 時間ずつ使用可能
– 500 の Power Sessions ジョブを 64 コアで 1 時間ずつ使用可能
– お持ちのPoDクレジットをどのように分割し、使用するかはユーザー次第です
– 複数のジョブをPoDライセンスを用いて並列で実行する場合、ジョブ実行の際の合計のPoDクレジット予約時間がお持ちのPoDクレジットを超えることができないという制限があります
具体的には...
• キーは使用状況の記録に使用されます
• 1 つのキーでいくつでもジョブを開始できます
• 必要に応じてキーの作成と削除を行うことができます。キーにアクセスしている間、予約時間が使用されます
• キーには有効期間があります。この期間以外は使用できません
キー
• キーは [Manage keys] タブで作成して管理します
キーの作成と管理
• PoDクレジット の使用状況は [Account Usage] タブで確認できます。また、レポートを作成することもできます
使用状況の確認
• STAR-CCM+ を対話モードで実行すると、sim ファイルの読み込み画面から PoD セッションが開始します
• この操作を行うには、新しいセッションを開始するか、既存の sim ファイルを読み込んで関連するボックスに情報を入力します
• Power-on-Demand キーをバッチで設定するには、次のフラグを使用します
-podkey <key value>
Power-On-Demand の使用
PoDクレジットの持ち時間により、同時実行できるセッション数に制限があります
同時実行されるセッションすべてに対して、PoDクレジットの予約時間が確保されます
予約時間の合計がお持ちのPoDクレジットを超えてセッションを実行することができません
* 100時間のPoDクレジットをお持ちの場合
• 世界標準時で1時に計算開始:23時間分の予約時間が確保されます
• 4つのセッションを実行:92時間分の予約時間が確保されます
• PoDクレジット残は、“8”時間ですが、5つ目のセッションまで実行することが可能です
• 6つ目のセッションを起動した際に、クレジット残が“0”時間のため、実行することができません
Power-On-Demand クレジット消費に関する注意点
© CD-adapco 201328
お問い合わせ先
株式会社CD-adapco
横浜オフィス
Tel: 045-475-3285 Fax: 045-475-3295
横浜市港北区新横浜2-3-12 新横浜スクエアビル 16F
大阪オフィス
Tel: 06-4807-7840 Fax: 06-4807-7845
大阪市淀川区宮原1-6-1 新大阪ブリックビル 9F
Your CAE Partner for Success
www.cd-adapco.com/ja