TSUBAME 3.0の利用法 version 0.0.3

ライフエンジニアリングコース「脳の計測」第1回、第2回における課題実習用ですが、TSUBAME3.0の入門にも

なっています。

東京工業大学 ILA/生命理工学系 赤間啓之

利用目的と方法

• 「脳の計測」の第1,2回は脳画像計算をTSUBAME3.0上でインタラクティブキュー(時間制限あり; 課金ポイント無し)を用いて行います。

• 「脳の計測」の第1,2回の講義はリモートでZoomによるオンライン授業の形になります。

• 課題演習は、各自、リモートからTSUBAME3.0にログインして行ってください。

• 使うアプリケーションはRとMATLABそして/あるいはPython3系になります。

• 各自、東工大の学内ネットワークに入って、東工大ポータル->TSUBAME ポータルから、TSUBAME3.0のアカウントを取得してください。

利用目的と方法

• Rは、SD法を用いて収集された、色彩についての感性評価アンケート調査データを、因子分析にかけるために使います。 – RはTSUBAME3.0上のJupyter Lab(Webサービス)のterminalタブ、もしくはMobaXtermなどのXターミナル上で実行します。

• MATLAB (+SPM12)もしくはPython3(Nipyパッケージ)は、fMRIのメタ分析データを用い、脳機能画像から情報を抽出するために使います。 – MATLAB (+SPM12)もしくはPython3(Nipyパッケージ)は、

TSUBAME3.0上のJupyter Lab(Webサービス)のterminalタブ、もしくはMobaXtermなどのXターミナル上で実行します。

– ただし、Python3は主にJupyter Lab(Webサービス)のJupyter Notebookを使います。

• 詳しくは以下のシート、あるいは授業教材を参照してください。

TSUBAME3.0について（重要な情報）

• TsubamePortalURL – https://portal.t3.gsic.titech.ac.jp/ptl/

• TSUBAME3.0利用の手引き – https://helpdesk.t3.gsic.titech.ac.jp/manuals/handbook.ja/

• TSUBAMEポータル利用の手引き – https://helpdesk.t3.gsic.titech.ac.jp/manuals/portal.ja/

• サポートされているアプリケーション – https://www.t3.gsic.titech.ac.jp/applications

• インタラクティブジョブの投入 – https://helpdesk.t3.gsic.titech.ac.jp/manuals/handbook.ja/jobs/#i

nteractive

• JupyterLabなどの実行機能 – https://helpdesk.t3.gsic.titech.ac.jp/manuals/portal.ja/webapp/

ログイン方法

• ログインノードにアクセスするためには、ログインに使うSSH公開鍵をアップロードする必要がある

• https://helpdesk.t3.gsic.titech.ac.jp/manuals/handbook.ja/start/

• TSUBAME Portal (東工大のportalにリンクがある)に入る。

• 利用者情報->SSH公開鍵登録で公開鍵をcopy and paste

• そのための方法は以下のシートを参照

設定の仕方

• Windowsユーザーは、これから後のページを読んでください。

• MACユーザーは、 – sshの公開鍵・秘密鍵の設定について、

• https://qiita.com/wakahara3/items/52094d476774f3a2f619

– Xのためのxquartzについて • https://www.t3.gsic.titech.ac.jp/node/85

• https://support.apple.com/ja-jp/HT201341

• を参照してください。

• Linuxユーザーは、たぶん悩まないでしょう。

SSHの鍵の設定

必須です。

SSH公開鍵の登録 • 参照するWebページ • https://helpdesk.t3.gsic.titech.ac.jp/manuals/portal.ja/prep

are/#ssh_key • SSH公開鍵を事前に用意 • OpenSSH形式の鍵の作成

– Linux/Mac/Windows(Cygwin・OpenSSH)でのSSH鍵ペアの作成方法 • https://www.t3.gsic.titech.ac.jp/node/79

• PuTTY形式の鍵の作成 – PuTTY・MobaXtermを使用する場合＜－Windows user推奨！

• https://www.t3.gsic.titech.ac.jp/node/37

– PuTTY User Manual • https://the.earth.li/~sgtatham/putty/0.70/htmldoc/

MobaXtermはXとsshの設定が簡単にできるフリーウェアです。 https://mobaxterm.mobatek.net/

WindowsユーザーにはXterminal用にMobaXTermを勧めます

• Tera termとXを兼ねているようなものと思えばよい

– https://mobaxterm.mobatek.net/

– https://qiita.com/mkasahara/items/c029154b5436913b20e0

– https://qiita.com/KAWAII/items/01b87085f69998affe23

MobaXterm SSH 公開鍵登録

MobaXtermはSessionから sftpを選ぶとファイルの アップロード、ダウンロード ができます。

MobaXterm SSH Key GeneratorもPuTTY形式の鍵作成と全く同じ

Generateボタンを 押して、Keyウィンドウ のブランク上で カーソルを ぐるぐるまわす

MobaXterm SSH 公開鍵登録

ここでセキュリティのため、 passphraseを指定しておくとよい

MobaXterm SSH 公開鍵登録

MobaXterm SSH 公開鍵登録

• 生成した秘密鍵用ppkファイルは、

• (PC¥ドキュメント¥)MobaXTerm¥home¥.sshに置いておく

• MobaXtermのターミナル上で

• ssh <login_name>@login.t3.gsic.titech.ac.jp -YC -i ~/.ssh/<hoge>.ppk

• でTsubame3.0につながる(passphraseは要求される)

TSUBAME3.0へlogin

• > ssh ユーザ名@login.t3.gsic.titech.ac.jp -YC TSUBAMEにSSH接続します。GUIの転送のために-YCオプションが必要です。

• > wget https://www.fil.ion.ucl.ac.uk/spm/download/restricted/eldorado/spm12.zip SPM12をダウンロードします。

• > unzip spm12.zip でダウンロードしたSPM12を展開

MATLAB On TSUBAME 3.0

• 各人でMATLAB-spm12でinteractive queueを試す。そんなに時間はかからない。

• TSUBAME上でMATLABを実行するには > qrsh -q interactive -l h_rt=2:00:00 でインタラクティブキューを確保(この例では2時間)。最大24時間まで確保できます。 また、1ユーザあたり同時には1つのみ利用できます。

• > module load matlab MATLABの環境ファイルを読み込みます。

• > matlab MATLABを実行します。

注意！

• MATLABなどのISVアプリは絶対にログインノードで起動させないでください。

• 間違いなくクラッシュします。

• 必ずqrshコマンドで計算ノードに移ってください。

• https://helpdesk.t3.gsic.titech.ac.jp/manuals/handbook.ja/start/

MATLAB-SPM On TSUBAME 3.0

• MATLABのWindow上で >> addpath ~/spm12 SPM12のパスを追加します。

• >> spm_check_installation ('full') インストールのチェックをして問題ないことを確認。

• >> spm fmri これでSPMの実行を確認。

• 毎回addpathを実行する必要があると思いますので、 >> savepath ~/pathdef.m で適当なところにパスの保存をすれば次回からaddpathは不要になる。

R on TSUBAME3.0

• https://helpdesk.t3.gsic.titech.ac.jp/manuals/handbook.ja/freesoft/ • の7.4.6.Rを参照。ここではRのスクリプトをhoge.Rとする • >module load intel cuda openmpi r • >R --save < hoge.R >output.log • incomplete final line found by readTableHeader on <当該ファイル>などのエラーメッセージが出る場合は、文字コードの問題があると思われるので、 – >nkf -g <当該ファイル>

• で文字コードを確かめ、（Windowsの場合、Shift-Jis）

– >nkf -w --overwrite <当該ファイル>

• 生成した図がたとえばpngならgimpで見る • >module load gimp • >gimp

「脳の計測」の授業では、 Sdnew/program4.R をhoge.Rの代りに使ってください。

TSUBAME3.0のウェブサービス JUPYTER LAB

これは便利

https://helpdesk.t3.gsic.titech.ac.jp/manuals/portal.ja/webapp/

https://helpdesk.t3.gsic.titech.ac.jp/manuals/jupyter.ja/

TSUBAME 3.0に入れたら （Webサービス)

• Jupyter LabからPython3.0を試す場合は、TSUBAME Portalの利用者情報->Webサービスを選ぶ。

• デフォルトは有償サービスだが、一番上のインタラクティブ利用専用キューを選んで起動ボタンを押すと、しばらくして、URLを書いたメールが自動で送られてくる。

• このURLをクリックするとJupyter Labが立ちがり、Jupyter notebookが使えるとともに、Jupyter Lab上のterminalタブから他のソフトウェアも利用可能。

ラジオボタンの初期設定は有償サービスだが それを外す

Webサービスの利用

起動ボタンを押すと以下のウィンドウがpop upするので、「上記を

承諾の上、登録」ボタンを押すと、メールが数分後に送られてくる

TSUBAME3.0 Jupyterサービス接続URL：TSUBAME3.0 Jupyter service connect URL というメールの下にあるURLをクリック

Jupyter Labが立ち上がった時、 Python3のカーネルを選ぶと、 Jupyter notebookが利用可能になる

Jupyter notebookのタブの隣に terminalタブを置いて、 そこでMATLABなどの他の ソフトウェアを利用することも可能

Jupyter LabのGUI

Jupyter notebookの利用イメージ

Cellの上でShift + Enterで実行

Jupyter notebookの利用イメージ

Matplotlibでオンラインで 行間に画像描出

Jupyter Notebook上での脳画像処理

• pwd – #例えば'/home/4/akama-h-aa/t3workspace'が返ってくると、これがホームディレクトリ

– #MobaXtermのsessionからsftpを起動し、このディレクトリにファイルをコピー

• curl -kL https://bootstrap.pypa.io/get-pip.py | python – #pipのインストール

• pip install --user scipy matplotlib ipython jupyter pandas sympy nose – #scipyは必須。インストールするパッケージの例を挙げた

• pip install numpy==1.16.4 – #scipyとnumpyのバージョンが合わず、Nipy利用の際、これをしないと、 – #ModuleNotFoundError: No module named 'numpy.testing.decorators'. というエラー

– #numpyのバージョンを’1.17.x’か’1.16.x’に落とす必要

• pip install --user nipy – 脳画像関係のパッケージNipyのインストール

JUPYTER LAB上のターミナルでPYTHON以外のソフトウェアのGUIをローカルで表示（ポートフォワーディング）

かなり画期的です。

Jupyter LabのterminalでXを利用する

• TSUBAME3.0のWebサービス(Jupyter Lab)上で、Python3のJupyter notebookをinteractiveに使用しながら、隣のterminalのタブで、Xを貼り付けてMATLABなどを使用できます。

• まずJupyter Labをあけたまま、MobaXtermなどのX terminal上でTSUBAME3.0にログイン。

ログインノード上で echo $DISPLAY 返ってきた値、 たとえば login1:10.0を記録 しょっちゅう変わります qrshしないこと

MobaXtermは閉じないこと

Jupyter LabのterminalでXを利用する

• Terminalがあいていなければ、以下のようにして起動

Jupyter LabのterminalでXを利用する

• あるいはこうしてterminalをあける方法があります。

Jupyter Lab上でMATLABのGUIを利用する

TSUBAME3.0のMATLABのGUIが皆さんのlocalのPCに飛んできます。

Jupyter Lab上でRのGUIを利用する

抜けるときはq()

Rのスクリプトを読み込むときは R --save < hoge.R >output.log

他のイメージ画像

いろいろと試してみよう！

Jupyter Labの終了 • プルダウンメニューのFileからshutdown

Jupyter Labのウィンドウを終了前に閉じてしまった 場合に備えて、TSUBAMEポータルからも終了できます。

Jupyter Lab上で他のアプリケーションのGUIを利用する(まとめ)

• Jupyter Labを起動。 • Jupyter Labをあけたまま、MobaXtermなどのX terminal上でTSUBAME3.0にログイン。 • ログインノード上で • echo $DISPLAY • 返ってきた値、たとえばlogin1:10.0を記録 (この値は随時変化する) • ここでMobaXtermでは、

– qrshしないこと – MobaXtermは閉じないこと

• Jupyter LabのTerminalを開く->開き方は複数通りある • そのTerminal上で • export DISPLAY=<echo $DISPLAYの戻り値> • (例)export DISPLAY=login1:10:0 • module loadで利用したいアプリをloadし実行 • (例)module load matlab • (例)matlab%ローカルのデスクトップ上でMATLABが起動します。 • 終わったら • Jupyter Labをcloseする • MobaXtermをexitする。

他のmoduleについては以下参照 https://www.t3.gsic.titech.ac.jp/node/45

ファイルのアップロード、ダウンロード

SFTPなどの利用

ファイルの転送

• ファイルの転送に関しては以下を参照 • https://www.t3.gsic.titech.ac.jp/node/96 • ここではMobaXtermのSFTPセッションについて説明します。

• SFTPを使ってもうまく接続できない場合、前のセッションで残した余計なプロセスが走っていることが多いので、ターミナルから入ってそれを止めてからあらためてSFTPで接続。

• あらかじめターミナルからsshで入って余計なprocess IDを見つけてkillしたうえでexitしましょう。

MobaXtermのSFTPセッション

Sessions->New SessionsからSFTPを選択。 リモートホスト：login.t3.gsic.titech.ac.jp とUsernameを入力し、OK しばしばfailしますので、 次のシートで対処法を説明します

MobaXtermのSFTPセッション • SFTPする前に

MobaXtermのターミナルからあらかじめsshログイン

• ps –auxで現在は知っているプロセスを調べ、現在のbashとpsコマンド以外は、そのPIDを使ってkillする。ここではkill 21832

• exitで抜ける

• ターミナルを閉じないと固まります。

こういうケースも あります

この情報は精査中につき参考にとどめておいてください。

MobaXtermのSFTPセッション

• SessionsからSFTPを選ぶ

• Remote hostにlogin.t3.gsic.titech.ac.jpを入力

• Usernameを入力

• OK

• 成功すればこのようなメッセージが出ます。

ファイルの転送

ダウンロード： カーソルを動かし、右のリモートのディレクトリから 左の手元のディレクトリにファイルを動かす

アップロード： カーソルを動かし、右のリモートのディレクトリに 左の手元のディレクトリからファイルを動かす

このディレクトリ~/t3workspaceは Jupyter Labのカレントディレクトリになります。

ローカルな PCの フォルダ 例

TSUBAME3.0側

ログインディレクトリ~/の下のサブディレクトリである t3workspaceのフォルダアイコンをクリックして、 そこに移動しています。

ANY QUESTION? 以上です。