san boot環境構築ガイドドライバ編 - fujitsu · 2018-12-03 · 2018年12月第1.12版...

2018年12月

第1.12版

富士通株式会社

SAN Boot環境構築ガイド

(Leadvilleドライバ編)

for SPARC Servers/SPARC Enterprise

– Oracle Solaris –

SAN Boot環境構築ガイド(Leadvilleドライバ編) for SPARC Servers/SPARC Enterprise

Copyright 2010-2018 FUJITSU LIMITED

i

使用条件

著作権・商標権・その他の知的財産権について

コンテンツ（文書・画像・音声等）は、著作権・商標権・その他の知的財産権で保護されています。

本コンテンツは、個人的に使用する範囲でプリントアウトまたはダウンロードできます。ただし、これ以外の利用（ご自

分のページへの再利用や他のサーバへのアップロード等）については、当社または権利者の許諾が必要となります。

保証の制限

本コンテンツについて、当社は、その正確性、商品性、ご利用目的への適合性等に関して保証するものでは

なく、そのご利用により生じた損害について、当社は法律上のいかなる責任も負いかねます。本コンテンツは、予告な

く変更・廃止されることがあります。

商標について

UNIXは、米国およびその他の国におけるオープン・グループの登録商標です。

SPARC Enterprise、SPARC64およびすべての SPARC商標は、米国 SPARC International, Inc.のライセンスを

受けて使用している、同社の米国およびその他の国における商標または登録商標です。

Oracle と Java は、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商

標です。

その他各種製品名は、各社の製品名称、商標または登録商標です。



ii

はじめに

本書の内容

本マニュアルは、SPARC Serversまたは SPARC Enterprise にデュアルチャネル 32Gbpsファ

イバーチャネルカード(SP1X7FAC2F/SP1X7FBC2F)、クアッドチャネル 16Gbps ファイバーチャ

ネルカード(SP0X7FAA4F/SP0X7FAA4L)、デュアルチャネル 16Gbps ファイバーチャネル(SP1X

7FAA2F/SP1X7FAA2L/SP1X7FBA2F/SP1X7FBA2L)、8Gbpsファイバーチャネルカード(SE0X

7F21F/SE0X7F21L/SE0X7F22F/SE0X7F22L/SE0X7F31F/SE0X7F31L/SE0X7F32F/SE0X7

F32L/SE0X7F31X/SE0X7F32X)、4Gbpsファイバーチャネルカード(SE1X7F11F/SE1X7F12F/

XSEFC401AF/XSEFC402AF)、Dual 8Gb FC Dual 1 GbE HBA in Express Module(SE5

X7F22G/SE5X7F32G)、Dual 10Gbps FCoE カード(SE0X7EF12F/SE0X7EF12L/SE0X7EC1

2F/SE0X7EC12L)、Dual 10GbE FCoE Express Module(SE5X7FE1G/SE5X7FE2G)を搭載

し、 FUJITSU Storage ETERNUS ディスクストレージシステムからOSの起動を行うSAN Boo

t 環境を構築する手順を示しています。

4Gbps ファイバーチャネルカード(SE0X7F11F/SE0X7F11L/SE0X7F12F/SE0X7F12L)を使用した

SAN Boot環境の構築については、"SPARC Enterprise SAN Boot 環境構築ガイド"を参照してく

ださい。

本マニュアルの対象者

本書は SAN Boot 環境の構築者および運用管理者を対象にしています。

構成

本マニュアルの構成は以下のとおりです。

「第 1章概要」

SAN Boot 環境の概要

「第 2章ハードウェア/ソフトウェア構成」

SAN Boot 環境の構築に必要な構成

「第 3章注意事項」

SAN Boot 環境の構築時および運用時の注意事項

「第 4章構築方法」

SAN Boot 環境の構築手順



iii

留意事項

本マニュアルで使用している表記法は以下のとおりです。

"Oracle Solaris 10"は "Solaris 10"と記載します。

"Oracle Solaris 11"は "Solaris 11"と記載します。

"FUJITSU Storage ETERNUS ディスクストレージシステム"は "ストレージシステム"と記載します。

実際のコマンド入力は太字で記述しています。

# /usr/sbin/shutdown -i0 -g0 -y <RETURN>



iv

目次

第第 11 章章概概要要 ...................................................................................................................................................................................................... 11

1.1 構成パターン ............................................................................................................... 4

1.1.1 基本構成 ....................................................................................................................... 4

1.1.2 PRIMECLUSTER GDおよびPRIMECLUSTER GDSによるストレージシステム間ミラーリン

グ構成 ........................................................................................................................... 6

1.1.3 PRIMECLUSTER によるクラスタ構成 ............................................................................ 7

1.1.4 ETERNUS のアドバンスト・コピー機能を使用する場合の構成 .......................................... 9

第第 22 章章ハハーードドウウェェアア//ソソフフトトウウェェアア構構成成 ........................................................................................................................ 1122

2.1 ハード環境 ............................................................................................................... 12

2.1.1 必須ハードウェア ......................................................................................................... 12

2.1.2 ブートディスク構成 ....................................................................................................... 16

2.2 ソフトウェア環境 ....................................................................................................... 19

2.2.1 必須ソフトウェア ........................................................................................................... 19

2.2.2 オプションソフトウェア ................................................................................................... 21

第第 33 章章注注意意事事項項 .................................................................................................................................................................................. 2244

第第 44 章章構構築築方方法法 .................................................................................................................................................................................. 2288

4.1 ストレージシステムにブートディスクを作成 .................................................................. 29

4.1.1 CD-ROM/DVD-ROMを用いて作成する方法 ................................................................. 29

4.1.1.1 ディスクラベル付け ................................................................................................... 29

4.1.1.2 サーバのリセット ....................................................................................................... 31

4.1.1.3 CD-ROM/DVD-ROMインストールの実行 ................................................................... 32

4.1.2 ネットワークインストールサーバを用いて作成する方法 ................................................... 34

4.1.2.1 ネットワークインストールサーバの作成 ....................................................................... 34

4.1.2.2 ネットワークインストールサーバの設定 ....................................................................... 35

4.1.2.3 ディスクラベル付け ................................................................................................... 37

4.1.2.4 サーバのリセット ....................................................................................................... 39

4.1.2.5 ネットワークインストールの実行 ................................................................................. 39

4.2 ブートディスクへのパスを冗長化 ............................................................................... 42



v

4.2.1富士通推奨 & セキュリティパッチクラスタ、PTFの適用および Enhanced Support Facility

のインストール ............................................................................................................. 42

4.2.2 マルチパスドライバの設定 ............................................................................................ 42

4.2.2.1 Solaris OS標準機能マルチパスドライバ(MPxIO)の設定.............................................. 42

4.2.2.2 ETERNUSマルチパスドライバの設定 ......................................................................... 60

4.2.2.2.1 Solaris 10 UFSファイルシステムの場合 ................................................................................................. 60

4.2.2.2.2 Solaris 10 ZFSファイルシステム、Solaris 11 ZFSファイルシステムの場合 .............................................. 67

4.3 ブートディスクのミラーリング ...................................................................................... 78

4.3.1 PRIMECLUSTER GD および PRIMECLUSTER GDS によるミラーリング ...................... 78

4.3.2 PRIMECLUSTER 使用時の留意事項 ........................................................................... 79

4.3.2.1 クラスタシステムの構築手順 ...................................................................................... 79

4.3.2.2 ブートディスク故障時のクラスタ切り替えについて........................................................ 80

付付録録 AA ブブーートト失失敗敗時時のの設設定定フファァイイルルのの修修正正手手順順 .......................................................................................... 8811

A.1 「4.1.1 CD-ROM/DVD-ROMを用いて作成する方法」、「4.1.2 ネットワークインストール

サーバを用いて作成する方法」にてインストールした場合 ............................................. 81

付付録録 BB ママルルチチパパスス解解除除手手順順 .................................................................................................................................................. 8855

B.1 Solaris 標準マルチパスドライバ(MPxIO)の場合 ........................................................ 85

B.2 ETERNUS マルチパスドライバの場合 ....................................................................... 86

付付録録 CC フファァイイババーーチチャャネネルルカカーードドままたたはは FFCCooEE カカーードドのの WWWWNN 確確認認方方法法 .................. 9911

C.1 OS 上で確認する方法 .............................................................................................. 91

C.2 OBP 上で確認する方法 ............................................................................................ 91

付付録録 DD 必必須須ソソフフトトウウェェアア適適用用イインンスストトーールルイイメメーージジのの作作成成 ................................................................ 9933

D.1 Solaris 10 でインストールイメージに必須パッチを適用する方法 ................................. 93

D.2 Solaris 11.1 以降で Solaris ISO イメージを作成する方法 .......................................... 94

付付録録 EE EETTEERRNNUUSSママルルチチパパススドドラライイババをを使使用用ししたた ZZFFSSフファァイイルルシシスステテムムののブブーートトデデ

ィィススククののババッッククアアッッププ//リリスストトアアのの注注意意事事項項 .................................................................................................. 9988

1

第 1章概要 SAN Boot とは、OS やアプリケーションを、サーバに内蔵されたディスクではなく、外部の SAN ストレージに格納

し、そこから起動(ブート：Boot)することを言います。

本書では、サーバにファイバーチャネルカードまたは FCoE カードを搭載し、外付けストレージシステムから OS の起

動を行う SAN Boot 環境を構築する手順を示しています。

OS のブートディスクを外付けストレージシステムに配置することにより以下のメリットが生まれます。

1. 可用性の向上

○ 高信頼ストレージシステムの使用

ブートディスクをストレージシステムで管理することで、信頼性が向上します。

○ バックアップ・リストア作業の効率化

ストレージシステムのディスクコピー機能を利用することで、システムボリュームのバックアップ・リ

ストアの際の業務停止時間を大幅に短縮できます。また、システムボリュームのバックアップ・リスト

アの際のサーバ CPU 負荷が軽減できます。

詳細は"1.1.4 ETERNUS のアドバンスト・コピー機能を使用する場合の構成"を参照してください。

注) ETERNUS (ストレージシステム)のディスクコピー機能(アドバンスト・コピー機能)を使用するた

めには、ETERNUS SF AdvancedCopy Manager (ACM)または PRIMECLUSTER GD Snapshot および

PRIMECLUSTER GDS Snapshot が必要です。

2

2. 運用管理性の向上

○ システムボリュームの一括管理

複数台あるサーバのブートディスクを 1 台のストレージシステムに集約することで、ブートディスクの

一括管理が可能です。

○ 開発環境の世代管理

複数の開発環境を 1 台のストレージシステムに用意して、必要に応じて切り替えて利用できます。開発

環境ごとにサーバを用意しなくてもよいので、サーバ台数や運用管理工数を削減できます。

3

3. 保守性の向上

○ ディスク故障時の作業が簡素化

ディスク（システムボリューム）が故障した場合、システム管理者はサービスエンジニアに連絡すれば、

あとはサービスエンジニアがディスクを交換して、システムは自動的に復旧します。そのため、システ

ム管理者の作業を軽減できます。

○ パッチ適用作業の効率化

ストレージシステムのディスクコピー機能を利用することで、パッチ適用前のバックアップ作業の際、

業務停止時間が削減できます。また、バックアップボリュームからブートできるように設定しておく

(*1)ことにより、パッチ適用後に問題が発生した場合、サーバをリブートしてブートボリュームを切り

替えるだけで、パッチ適用前のシステムに戻すことができます。詳細は"1.1.4 ETERNUS のアドバンス

ト・コピー機能を使用する場合の構成"を参照してください。

(*1）PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot を使用すると、コマンドで簡

単に設定できます。

4

1.1構成パターン

次のファイバーチャネル接続構成または FCoE 接続構成で、ファイバーチャネルカードまたは FCoE カードを使用し外

付けストレージシステムから OS の起動を行ってください。また、各構成での注意事項を記載します。

1.1.1 基本構成

1. ストレージシステムを一台のサーバから使用する場合

■ サーバ - ストレージシステム間は 2 経路以上のファイバーチャネル接続または FCoE 接続を行い、

Solaris 標準マルチパスドライバ(MPxIO)または ETERNUS マルチパスドライバを使用したマルチパス構

成としてください。

■ ディスクスワップの発生により、アプリケーションのディスクアクセス性能が低下する場合があります。

ディスクスワップが発生する場合には、サーバに搭載するメモリを追加するか、またはアプリケーシ

ョンによるメモリ使用量を下げるなど、ディスクスワップの発生を回避してください。

備考. FCoE では、FC-AL 直結接続をサポートしていません。

5

2. ストレージシステムを複数のサーバから使用する場合

○ ファブリック接続の場合

○ FC-AL 直結接続の場合

■ サーバ - ストレージシステム間は 2 経路以上のファイバーチャネル接続または FCoE 接続を行

い、Solaris 標準マルチパスドライバ(MPxIO)または ETERNUS マルチパスドライバを使用したマ

ルチパス構成としてください。

■ ディスクスワップの発生により、アプリケーションのディスクアクセス性能が低下する場合が

あります。ディスクスワップが発生する場合には、サーバに搭載するメモリを追加するか、ま

たはアプリケーションによるメモリ使用量を下げるなど、ディスクスワップの発生を回避して

ください。

■ サーバのパニック発生時に、そのサーバと同じ RAID グループ内にブートディスクを配置して

いる他のサーバは、ブートディスクへのディスクアクセス性能の低下が数十秒程度発生する場

合があります。

備考. FCoE では、FC-AL 直結接続をサポートしていません。

6

1.1.2 PRIMECLUSTER GD および PRIMECLUSTER GDS によるストレージシステム間ミ

ラーリング構成

● ストレージシステム 1 台につき、1 枚のファイバーチャネルカードまたは FCoE カードが必要になります。上

図の構成では、ETERNUS 1 用のファイバーチャネルカードまたは FCoE カードと、ETERNUS 2 用のファイバ

ーチャネルカードまたは FCoEカードの、計 2枚のファイバーチャネルカードまたは FCoEカードが必要です。

● サーバ - ストレージシステム間は 2 経路以上のファイバーチャネル接続または FCoE 接続を行い、Solaris 標準

マルチパスドライバ(MPxIO)またはETERNUSマルチパスドライバを使用したマルチパス構成としてください。

● ディスクスワップの発生により、アプリケーションのディスクアクセス性能が低下する場合があります。ディ

スクスワップが発生する場合には、サーバに搭載するメモリを追加するか、またはアプリケーションによる

メモリ使用量を下げるなど、ディスクスワップの発生を回避してください。

● サーバのパニック発生時に、そのサーバと同じ RAID グループ内にブートディスクを配置している他のサーバ

は、ブートディスクへのディスクアクセス性能の低下が数十秒程度発生する場合があります。

7

1.1.3 PRIMECLUSTER によるクラスタ構成

SAN Boot 環境を使用したクラスタシステムを構築することもできます。

1. 単体のストレージシステムを使用したクラスタ構成

8

2. 複数のストレージシステムを使用したクラスタ構成

9

1.1.4 ETERNUS のアドバンスト・コピー機能を使用する場合の構成

内蔵ディスクからブートする従来のシステム(UFS ファイルシステム)では、テープ装置を使用してバックアップ・リ

ストアを実行している間、業務を長時間停止する必要があります。

SAN Boot 環境で ETERNUS のアドバンスト・コピー機能(OPC/EC)を利用してバックアップ・リストアを行う場合、デ

ィスク装置でコピー処理を実行している間も業務の運用が可能であるため、業務停止時間が大幅に短縮できます。

備考. FCoE では、ETERNUS のアドバンスト・コピー機能はサポートしていません。

アドバンスト・コピー機能を利用したバックアップ・リストアには、ETERNUS SF AdvancedCopy Manager (ACM)を使

う方式と、PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot (GDS Snapshot)を使う方式があります。

● ETERNUS SF AdvancedCopy Manager (ACM)を使う方式

ACM を使う方式のメリットは以下のとおりです。

・業務停止時間短縮

・複数サーバのバックアップ効率化（一元管理）

SAN Boot 環境で ETERNUS SF AdvancedCopy Manager を使用する場合

●PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot (GDS Snapshot)を使う方式

GDS Snapshot を使う方式のメリットは以下のとおりです。

・業務停止時間短縮

10

・PRIMECLUSTER GD および PRIMECLUSTER GDS によるソフトミラー構成の場合のリストア操作が簡単

GDS: PRIMECLUSTER GD および PRIMECLUSTER GDS

GDS: PRIMECLUSTER GD および PRIMECLUSTER GDS

11

ACM と GDS Snapshot の特長は次の表のとおりです。

システムの要件に応じて、いずれかの方式を選択してください。

注) システムボリュームを PRIMECLUSTER GD および PRIMECLUSTER GDS で管理している場合のバックアップ・リ

ストアは、ACM を使う方式、GDS Snapshot を使う方式のどちらでも可能です。ただし、システムボリュームがソフト

ミラー構成の場合は、GDS Snapshot を使う方式を推奨します。

ACM と GDS Snapshot の特徴

○: 優位点

ETERNUS SF AdvancedCopy Manager (ACM) PRIMECLUSTER GD Snapshot

PRIMECLUSTER GDS Snapshot

操作サーバ－

バックアップ・リストア対象サーバ以外に、バ

ックアップ・リストア操作を行うためのサーバ

が必要。

○

バックアップ・リストア対象サーバで、バックア

ップ・リストア操作を行うため、別のサーバは不

要。

バックアップ

操作

○

バックアップ対象サーバを一度シャットダウン

し、バックアップサーバから OPC を開始する。

物理コピーの完了を待たずに、バックアップ対

象サーバをリブートし、業務を再開できる。

－

バックアップ対象サーバをシングルユーザーモー

ドでリブートし、OPC を開始する。物理コピーが

完了してからマルチユーザーモードでリブート

し、業務を再開する。

リストア操作

(PRIMECLUST

ER GD およびPRIMECLUST

ER GDS でミ

ラーリングし

ていない場合)

○

リストア対象サーバを一度シャットダウンして

OPC を開始し、リブートする。物理コピー完了

を待たずに業務を再開できる。

○

リブートしてブートボリュームを切り替えるだけ

で業務が再開できる。

リストア操作(PRIMECLUST

ER GD およびPRIMECLUST

ER GDS でミ

ラーリングし

ている場合)

－

OPC によるリストアの前後に、ミラーの切離し

と再組込みが必要

－

OPC 物理コピーが完了してから元のブートボリュ

ームに戻して業務を再開する。

複数サーバの

バックアップ

効率化

○

複数のサーバのバックアップを、一台のバック

アップサーバで一元管理可能。

－

バックアップ・リストア操作は、各サーバで実行

する。

バックアップ

ボリュームか

らブートする

機能

－

vfstab ファイルを編集してマウントポイントを

変更する必要がある

○

コマンドで簡単に設定できる

各方式の詳細については、ETERNUS SF AdvancedCopy ManagerPRIMECLUSTER GD および PRIMECLUSTER GDS のマ

ニュアルを参照してください。

また、OPC 物理コピーの進行状況を確認する方法については ETERNUS SF AdvancedCopy Manager、PRIMECLUSTER

GD および PRIMECLUSTER GDS のマニュアルに記載されています。

12

第 2章ハードウェア/ソフトウェア構成ファイバーチャネルカードまたは FCoE カードを使用し外付けストレージシステムから OS の起動を行うためには、本

章に記載されたハードウェア構成およびソフトウェア構成が必要です。

2.1 ハード環境

2.1.1 必須ハードウェア

本書では、下記のハードウェア構成およびソフトウェア構成をサポートしています。

表 2.1 4Gbps ファイバーチャネル

種別装置名備考

本体装置 SPARC Enterprise M3000/M4000/M5000/M8000/M9000/T5120/

T5140/T5220/T5240/T5440

本体装置に搭載するファイバーチャ

ネルカード

4Gb シングルチャネル Fibre Channel カード SE1X7F11F

4Gb デュアルチャネル Fibre Channel カード SE1X7F12F

4Gb シングルチャネル Fibre Channel カード XSEFC401AF

4Gb デュアルチャネル Fibre Channel カード XSEFC402AF

ストレージシステム

ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS DX500 S3

ETERNUS DX600 S3

ETERNUS DX8700 S3

ETERNUS DX8900 S3

ETERNUS DX60 S2/DX80 S2/DX90 S2

ETERNUS DX400 S2 series


ETERNUS DX60/DX80/DX90

ETERNUS DX400 series


ETERNUS 2000/3000/4000/6000/8000

ファイバーチャネルスイッチ ETERNUS SN200 シリーズ

Brocade 社 Silkworm シリーズ



本体装置

SPARC M10-1/M10-4/M10-4S

SPARC Enterprise M3000/M4000/M5000/M8000/M9000/T5120/

T5140/T5220/T5240/T5440, SPARC T3-1/T3-2/T3-4/T4-1/T4-2/T4-4


ネルカード

シングルチャネル 8Gbps ファイバーチャネルカード SE0X7F21F

シングルチャネル 8Gbps ファイバーチャネルカード SE0X7F21L

デュアルチャネル 8Gbps ファイバーチャネルカード SE0X7F22F

デュアルチャネル 8Gbps ファイバーチャネルカード SE0X7F22L

シングルチャネル 8Gbps ファイバーチャネルカード SE0X7F31F

シングルチャネル 8Gbps ファイバーチャネルカード SE0X7F31L

デュアルチャネル 8Gbps ファイバーチャネルカード SE0X7F32F

デュアルチャネル 8Gbps ファイバーチャネルカード SE0X7F32L

Single-Channel 8Gbps Fibre Channel Card SE0X7F31X

Dual-Channel 8Gbps Fibre Channel Card SE0X7F32X

13

Dual 8Gb FC Dual 1 GbE HBA in Express Module

SE5X7F22G/SE5X7F32G


ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS DX500 S3

ETERNUS DX600 S3

ETERNUS DX8700 S3

ETERNUS DX8900 S3







ETERNUS 2000/3000/4000/6000/8000



表 2.3 16Gbps ファイバーチャネル(SP1X7FAA2*/SP1X7FBA2*)


本体装置

SPARC M12-1/M12-2/M12-2S

SPARC M10-1/M10-4/M10-4S

SPARC T4-1/T4-2/T4-4


ネルカード

デュアルチャネル 16Gbps ファイバーチャネルカード(SR SFP+)

SP1X7FAA2F(通常型) SP1X7FAA2L(長期サポート型)

デュアルチャネル 16Gbps ファイバーチャネルカード(SR SFP+)

SP1X7FBA2F(通常型) SP1X7FBA2F(長期サポート型)


ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS DX500 S3

ETERNUS DX600 S3

ETERNUS DX8700 S3

ETERNUS DX8900 S3







ETERNUS 2000/3000/4000/6000/8000



表 2.4 16Gbps ファイバーチャネル(SP0X7FAA4F*)


本体装置 SPARC M12-1/M12-2/M12-2S

SPARC M10-1/M10-4/M10-4S


ネルカードクアッドチャネル16Gbps ファイバーチャネルカード(SR)

SP0X7FAA4F(通常型) SP0X7FAA4FL(長期サポート型)

ストレージシステム ETERNUS DX100 S3

ETERNUS DX200 S3

14

ETERNUS AF250



表 2.5 32Gbps ファイバーチャネル(SP1X7FAC2F/SP1X7FBC2F)


本体装置

SPARC M12-1/M12-2/M12-2S

SPARC M10-1/M10-4/M10-4S

SPARC S7-2/S7-2L


ネルカード

デュアルチャネル32Gbpsファイバーチャネルカード

SP1X7FAC2F(通常型)/SP1X7FAC2L(長期サポート

型)/SP1X7FAC2W(Oracle-ATO型)

デュアルチャネル32Gbpsファイバーチャネルカード

SP1X7FBC2F(通常型)/SP1X7FBC2L(長期サポート

型)/SP1X7FBC2W(Oracle-ATO型)


ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS AF250



表 2.6 FCoE(SE5X7FE1G/SE5X7FE2G)


本体装置 SPARC T3-1/T3-2/T3-4/T4-1/T4-2/T4-4

本体装置に搭載する FCoE

Dual 10GbE FCoE Express Module (光ケーブル用) SE5X7FE1G

Dual 10GbE FCoE Express Module (Copper Twinax ケーブル用)

SE5X7FE2G


ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS DX500 S3

ETERNUS DX600 S3

ETERNUS DX8700 S3

ETERNUS DX8900 S3







ETERNUS 2000/4000/8000

FCoE スイッチ Brocade 8000/DCX/DCX-4S

表 2.7 FCoE(SE0X7EF12*/SE0X7EC12*)


本体装置

SPARC M10-1/M10-4/M10-4S

SPARC Enterprise M3000/M4000/M5000/M8000/M9000/T5120/

T5140/T5220/T5240/T5440, SPARC T3-1/T3-2/T3-4/T4-1/T4-2/T4-4

15

本体装置に搭載する FCoE

Dual 10Gbps FCoEカード(光ケーブル用) SE0X7EF12F(通常型)

SE0X7EF12L(長期サポート型)

Dual 10Gbps FCoE カード (Copper Twinax ケーブル用 )

SE0X7EC12F(通常型) SE0X7EC12L(長期サポート型)


ETERNUS DX100 S3

ETERNUS DX200 S3

ETERNUS DX500 S3

ETERNUS DX600 S3

ETERNUS DX8700 S3

ETERNUS DX8900 S3







ETERNUS 2000/4000/8000

FCoE スイッチ Brocade 8000/DCX/DCX-4S

16

2.1.2 ブートディスク構成

SAN Boot では、ブートディスクは ETERNUS(ストレージシステム)上に配置されます。ストレージシステム上にはそ

のサーバのブートディスク以外にもさまざまなディスクボリュームが配置され、配置によっては、他のサーバのブー

トディスク、データベースなどのユーザーデータディスクへのアクセス性能に影響を与えることが考えられます。こ

れらの影響を回避するため、以下のディスク構成を推奨します。

● ブートディスク領域と他のサーバからアクセスされる領域（ブートディスク、および、データディスク）は、

別の RAID グループに配置します。もっとも影響の少ない構成です。

複数のブートディスク領域を同じ RAID グループに配置する場合は、以下のディスク構成を推奨します。

● 負荷のかかるダンプ処理の影響を最小化する構成です。ブートディスクとダンプ領域を分離することでダン

プ領域の RAID グループにアクセス負荷がかかった場合の影響を最小限に抑えます。ダンプ処理は数分かか

ることがあります。ダンプ領域とは、ダンプを一時的に格納する領域(dump device 領域)とダンプファイルを

格納する領域(savecore の出力先)を示します。ダンプ領域変更については、dumpadm コマンドを使用してく

ださい。

17

● swap 性能(アクセスレイテンシ)の低下への影響を最小化する構成です。特定のサーバのみブートディスクか

ら swap 領域を分離し、別の RAID グループに配置します。swap の発生は、搭載メモリ、実行するアプリケ

ーション、ファイルシステムキャッシュサイズなど実行環境に依存します。運用環境にあわせて、swap 領域

分離の必要性があるかを検討してください。swap 領域変更については、swap コマンドを使用してください。

上記以外の構成では、次の問題が発生する場合があります。

● 複数のブートディスクを 1 つの RAID グループに配置した場合には、ディスクスワップの発生により、同一

RAID グループ内のボリュームに対するディスクアクセス性能が低下する。

18

● ブートディスクと共有データ領域を 1 つの RAID グループに配置した場合には、サーバのパニック発生時にメ

モリダンプ処理により共有データ領域へのアクセス性能の低下が数十秒程度発生する。

19

2.2 ソフトウェア環境

次のソフトウェアが必要です。

2.2.1 必須ソフトウェア

次のソフトウェアは必須です。


ソフトウェア版数備考

Oracle Solaris Solaris 10

Solaris 11

● Solaris 10 8/07 以降および、パッチ 125166-12 以降が必

要

● DVD-ROM からのインストールは、Solaris 10 10/08 以

降

● SPARC Enterprise T5240/T5440 は Solaris 10 5/08 以降

● SPARC Enterprise M3000 は Solaris 10 10/08 以降




Solaris 11

● Solaris 10 8/07 以降および、パッチ 125166-12 以降が必

要

● DVD-ROM からのインストールは、Solaris 10 10/08 以

降

● SPARC M10-1/M10-4/M10-4S は Solaris 10 1/13 以降、

Solaris 11.1 に SRU12111(Oracle SRU1.4) 以降

● SPARC Enterprise T5240/T5440 は Solaris 10 5/08 以降

● SPARC Enterprise M3000 は Solaris 10 10/08 以降

● SPARC T3-1/T3-2/T3-4 は Solaris 10 9/10 以降


20



Oracle Solaris Solaris 10 1/13 以降

Solaris 11.1 以降

● SP0X7FAA4F の場合

Solaris 11.3 SRU16091(Oracle SRU13.12.4.0) 以降

● SP1X7FAA2 の場合

Solaris 10 1/13 以降および、パッチ 149167-01 以降、お

よび、パッチ 149175-03 以降が必要

Solaris 11.1 SRU13051(Oracle SRU11.1.7.5.0) 以降

SPARC M12-1/M12-2/M12-2S は Solaris 10 1/13 以降お


● SP1X7FBA2 の場合

Solaris 10 1/13 以降、および、パッチ 149622-02 以降

が必要

Solaris 11.1 SRU13041(Oracle SRU11.1.6.4.0) 以降

SPARC M12-1/M12-2/M12-2S は Solaris 10 1/13 以降お


表 2.12 FCoE(SE5X7FE1G/SE5X7FE2G)



Solaris 11

● Solaris 10 9/10 以降


表 2.13 FCoE(SE0X7EF12*/SE0X7EC12*)



Solaris 11

● Solaris 10 9/10 以降

● SPARC M10-1/M10-4/M10-4S は Solaris 10 1/13 以降、

Solaris 11.1 に SRU12111(Oracle SRU1.4) 以降


21

2.2.2 オプションソフトウェア

本節では、Solaris 10 環境におけるオプションソフトウェアの対応状況を記載しています。

Solaris 11 のオプションソフトウェア対応については、それぞれのオプションソフトウェアの対応状況を確認してくだ

さい。

ファイバーチャネル

● システムボリュームのストレージシステム間ミラーリングを行う場合には PRIMECLUSTER GD および

PRIMECLUSTER GDS が必要となります。


PRIMECLUSTER GDS 4.2 ～ 4.3

● 4.2A00 の場合、以下のパッチが必要

－必須パッチ：914423-18 以降

● ETERNUS DX60/DX80/DX90/DX4xx/DX8xxx にシステ

ムボリュームを配置し、PRIMECLUSTER GDS Snapshot

と ETERNUS のアドバンスト・コピー機能を使用して

システムボリュームのスナップショットや代替ブート

環境を作成する場合、以下のパッチが必要

4.2A00 の場合: 914423-26 以降

4.3A10 の場合: T006619SP-01 以降

PRIMECLUSTER GD 4.5 以降

● クラスタシステムを構築する場合には以下の PRIMECLUSTER 製品のうち 1 つが必要となります。


PRIMECLUSTER Enterprise Edition

PRIMECLUSTER HA Server

PRIMECLUSTER Lite Pack 4.2 ～ 4.3

● 本製品には PRIMECLUSTER GDS が同封されています


－必須パッチ：901201-06 以降, 914325-03 以降,

914468-01 以降, 914499-01 以降



PRIMECLUSTER Lite Pack 4.5 以降

● 本製品には PRIMECLUSTER GD が同封されています

● ETERNUS のアドバンスト・コピー機能を使用しバックアップ /リストアする場合には、ETERNUS SF

AdvancedCopy Manager、PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot が必要となりま

す。


ETERNUS SF AdvancedCopy

Manager 13.0 以降 ● エージェント・マネージャとも Solaris 10 に対応

ETERNUS SF AdvancedCopy

Manager テープエージェントライ

センス

13.0 以降

● ETERNUS SF AdvancedCopy Manager で Tape バックア

ップをする場合に必要

● テープエージェントの台数分購入

● テープエージェントは Solaris 10 に対応

● ETERNUS SF AdvancedCopy Manager テープサーバオ

プションはテープサーバを使用する場合に必要

ETERNUS SF AdvancedCopy Manager の詳細につきましては、ETERNUS SF AdvancedCopy Manager のマニュア

ルを参照してください。

22

● ETERNUS のアドバンスト・コピー機能、または PRIMECLUSTER GD および PRIMECLUSTER GDS のコピー

機能を使用し、システムボリュームのスナップショットや、代替ブート環境を作成する場合、PRIMECLUSTER

GD Snapshot および PRIMECLUSTER GDS Snapshot が必要です。


PRIMECLUSTER GDS Snapshot 4.2 ～ 4.3

● 本製品を使用する場合は、PRIMECLUSTER GDS が同封

されている PRIMECLUSTER 製品が必要です。


－必須パッチ：914457-02 以降

－ ETERNUS DX60/DX80/DX90/DX4xx/DX8xxx を使

用する場合：914457-03 以降

－ Solaris 10 10/08 以降の OS を使用する場合：

914457-03 以降

－ Solaris 10 10/08 以降相当のパッチ(137137-09 以降)

を使用する場合：914457-03 以降

PRIMECLUSTER GD Snapshot 4.5 以降 ● 本製品を使用する場合は、PRIMECLUSTER GD が同封


PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot の詳細については、「PRIMECLUSTER

Global Disk Service 説明書」を参照してください。

● ETERNUS マルチパス環境を構築する場合は、ETERNUS マルチパスドライバが必要です。


ETERNUS マルチパスドライバ 3.1.0 以降

● 8Gbps ファイバーチャネル、16Gbps ファイバーチャネ

ル(SP0X7FAA4F) /(SP1X7FBA2)に対応

● 3.1.0 の場合、以下のパッチが必要

－必須パッチ：119042-02 以降

● ETERNUS DX8700 S3/DX8900 S3 は 3.1.2 以降または

T011535SP-01 以降

FCoE

● システムボリュームのストレージシステム間ミラーリングを行う場合には PRIMECLUSTER GD および

PRIMECLUSTER GDS が必要となります。


PRIMECLUSTER GDS 4.2 ～ 4.3


－必須パッチ：914423-18 以降

● ETERNUS DX60/DX80/DX90/DX4xx/DX8xxx にシステ

ムボリュームを配置し、PRIMECLUSTER GDS Snapshot

と ETERNUS のアドバンスト・コピー機能を使用して

システムボリュームのスナップショットや代替ブート

環境を作成する場合、以下のパッチが必要

4.2A00 の場合: 914423-26 以降

4.3A10 の場合: T006619SP-01 以降

PRIMECLUSTER GD 4.5 以降

● クラスタシステムを構築する場合には以下の PRIMECLUSTER 製品のうち 1 つが必要となります。




PRIMECLUSTER Lite Pack 4.2 ～ 4.3

● 本製品には PRIMECLUSTER GDS が同封されています


－必須パッチ：901201-06 以降, 914325-03 以降,

23

914468-01 以降, 914499-01 以降



PRIMECLUSTER Lite Pack

4.5 以降 ● 本製品には PRIMECLUSTER GD が同封されています

● PRIMECLUSTER GD および PRIMECLUSTER GDS のコピー機能を使用し、システムボリュームのスナップシ

ョットや、代替ブート環境を作成する場合、PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS

Snapshot が必要です。


PRIMECLUSTER GDS Snapshot 4.2 ～ 4.3

● 本製品を使用する場合は、PRIMECLUSTER GDS が同封



－必須パッチ：914457-03 以降

PRIMECLUSTER GD Snapshot 4.5 以降 ● 本製品を使用する場合は、PRIMECLUSTER GD が同封


PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot の詳細については、「PRIMECLUSTER

Global Disk Service 説明書」を参照してください。

24

第 3章注意事項 1. ブートディスクは、必ず対象のホスト上で OS のインストールにより作成したものを使用してください。

他のホストで使用しているブートディスクを dd コマンドや ETERNUS の EC(Equivalent Copy)または OPC(One

Point Copy)などによりコピーして使用することはできません。

また、ブートディスクは本書に記載された以外の手順で作成することはできません。

2. 同一の RAID グループ上に複数の異なるホストのブートディスクを配置しないことを推奨します。

詳細は"2.1.2 ブートディスク構成"を参照してください。

3. /tmp (tmpfs) に巨大なファイルや大量のファイルを作成しないでください。

/tmp (tmpfs) に巨大なファイルや大量のファイルを作成した場合、メモリ不足によるシステムのスローダウン

が発生する可能性があります。

詳細は FNS-13681 を参照してください。

4. PRIMECLUSTER または PRIMECLUSTER GD および PRIMECLUSTER GDS または ServerView Resource

Orchestrator を使用する場合には、その他の注意事項について、システム構築前に必ず"4.3.2 PRIMECLUSTER

使用時の留意事項"を参照してください。

5. ETERNUS(ストレージシステム)とETERNUS SN200 ファイバーチャネルスイッチおよびFCoEスイッチについ

て以下のような WWN(World Wide Port Name) によるアクセスパス設定を行うことを推奨します。

本設定を行うことにより、リソース管理ソフトウェア ServerView Resource Orchestrator を使う場合、下記機器の

再設定が不要となり、移行がスムースに行えます。

○ ETERNUS (ストレージシステム)

ETERNUS の FC-CA ポートについてホストテーブル設定、またはホストアフィニティ機能を有効に

し、ホストワールドワイドネームとして、使用するファイバーチャネルカードまたは FCoE カードの

WWN を設定します。ETERNUS(ストレージシステム)の設定は、各サーバ接続ガイドを参照してく

ださい。

○ ETERNUS SN200 ファイバーチャネルスイッチおよび FCoE スイッチ

ファイバーチャネルカードおよび FCoE カードの WWN とストレージシステムの WWN を用いて、1

対 1 の WWN ゾーニングを設定します。

1 対 1 の WWN ゾーニングとはホスト側の HBA の Port の WWN と FC-CA の Port の WWN の 2 つの

WWN を用いてつくられたゾーニング設定です。

ファイバーチャネルカードまたは FCoE カードの WWN 確認方法については、"付録 C ファイバーチャネルカ

ードまたは FCoE カードの WWN 確認方法"を参照してください。

注) 本書で WWN と記載している場合は、Port Name のことを指します。

6. SAN Boot のシステムボリュームは EFI ディスクラベルまたは、SMI ディスクラベルが使用できます。ただし、

ラベルの種類に関わらず 2TiB 以上の容量のディスクはシステムボリュームとして使用できません。

7. Solaris 10 10/08 以降の OS を使用して、ストレージシステムにブートディスクを作成する場合は、インストー

ルサーバを Solaris 10 10/08 以降にするか、Solaris 10 10/08 以降相当のパッチ(137137-09 以降)を適用してくだ

さい。

8. PRIMECLUSTER GD および PRIMECLUSTER GDS を使用している場合、PRIMECLUSTER GD および

PRIMECLUSTER GDS に登録されたディスクは、format コマンドが出力するディスクリスト表示および、

"luxadm display"コマンドでの情報表示ができません。

9. Solaris OS 標準マルチパス(MPxIO)環境で、"devfsadm -C"を実行すると、マルチパス化される前のデバイスが

削除されます。マルチパス化される前のデバイスパスを確認する場合は、"luxadm display"、または"prtpicl -v"、

または、"mpathadm show initiator-port"を使用してください。

10. 141444-09 以降のパッチを適用すると、/kernel/drv/ssd.conf に name="ssd"に class="scsi-self-identifying";が追加さ

れます。class="scsi-self-identifying"は、Leadville などの class="scsi" 以外の HBA driver で有効となる class 定義

で、driver.conf の parent="<driver_name>"定義を異なる driver_name 単位に定義しなくても、

class="scsi-self-identifying"を定義するだけで、ターゲットを認識することができる機能です。

25

11. Solaris OS 標準のマルチパス(MPxIO)使用時のデバイス(cXtYdX)のターゲット(Y)は、ETERNUS ディスクに

割り当てられる GUID(Global Unique Identifier)となります。GUID が 64bit 形式の場合、16 文字、128bit 形式

の場合、32 文字になります。

ETERNUS の場合、GUID 情報より ETERNUS 装置内部で管理されている Logical Volume 番号（論理ボリュ

ーム番号)を特定することができます。

下 8 ～ 5 桁 : ETERNUS 装置内部で管理されている Logical Volume 番号（論理ボリューム番号)

下 4 ～ 1 桁 : 0

【例】

桁位置 87654321

LUN= 0 : 600000e00d0000000000100300000000

LUN= 1 :

600000e00d0000000000100300010000

LUN=15 :

600000e00d00000000001003000f0000

LUN=16 :

600000e00d0000000000100300100000

LUN=17 :

600000e00d0000000000100300110000

12. ブートデバイスを冗長化している環境では boot-device を複数記述していても、故障検出時の動作によっては、

別のパスから起動できない場合があります。

OS 起動時に boot-device に最初に登録されているデバイスに全くアクセスできなかった場合、次に登録されて

いるブートパスに切り替わって OS 起動処理が行われます。

ただし、いずれかのブートデバイスがアクセスでき、OS 起動処理が開始されたあとで問題が発生した場合は、

その他のブートデバイスから OS 起動処理は行われません。

13. PRIMECLUSTER GD および PRIMECLUSTER GDS によるミラーリングの環境設定を行ったあと、下記のメッ

セージが出力されることがありますが、運用への影響はありませんので、無視してください。

メッセージ出力例

SDX:sdxservd: ERROR: nvramrc_write: internal error, compare error

14. stmsboot コマンドを使用してマルチパスを解除した場合、/etc/vfstab のアクセスパスが誤って設定される場合

があります。/etc/vfstab の設定が誤って設定されている場合は、手動で/etc/vfstab の設定を変更してください。

ダンプデバイスの設定も誤って設定されている場合がありますので、環境に合うように設定を変更してくださ

い。

15. Fibre Channel 接続時の MPxIO 構成において、片系が検出できない（縮退）状態で OS を起動した場合にはエ

ラーメッセージなどは出力されません。また、復旧した場合には、自動で組み込みが行われます。luxadm コ

マンドなどでマルチパスの状態確認を行ってください。

16. ETERNUS 3000 または ETERNUS 4000 モデル 80,100 接続時、Solaris OS 標準機能マルチパスドライバ(MPxIO)

を使用してブートデバイスへのパスを冗長化する場合は、ETERNUS 3000 側または ETERNUS 4000 モデル

80,100 側のホストレスポンス設定を行ってください。

ホストレスポンスの設定方法は、「ETERUNS3000 ディスクアレイサーバ接続ガイド(ファイバーチャネル接

続用)Solaris Operating System 編」または「ETERNUS4000 80,100 ディスクアレイサーバ接続ガイド(ファイバ

ーチャネル接続用) Solaris Operating System 編」を参照してください。

ホストレスポンスの設定は、以下のように行ってください。

・Inquiry Command Page 83

→ 「Type 01 & 03」を選択します。

・Target Port Group Access のサポート

→ 「有効」を選択します。

・コントローラファームウェア活性交換時の応答センス

→ 「無効」を選択します。

26

・ホストからの Test Unit Ready コマンドに対する Reservation Conflict 応答

→ 「有効」を選択します。

17. FCoE 接続の SAN Boot 環境において、OS の起動時にシステムがハングする場合があります。FCoE 接続にて

SAN Boot を行う場合は、必ず修正パッチ：144488-03 以降を適用してください。

なお、144488-03 は、FJRSPC 1.9.43 以降、PTF R11021 以降(144488-06)に含まれています。

18. ストレージシステムに Solaris 11をインストールする場合には、インストールサーバの OSに関しても Solaris 11

にしてください。

19. Solaris 11 よりシステムボリュームは ZFS ファイルシステムのみのサポートとなります。UFS ファイルシステ

ムのシステムボリュームはサポートしていません。

20. システムボリュームが ZFS ファイルシステムの場合、PRIMECLUSTER GD Snapshot および PRIMECLUSTER

GDS Snapshot によるシステムボリュームのバックアップ/リストアや代替ブート環境の作成はできません。

21. OS インストール時、OS 版数、および、修正の適用版数によっては、対象となるカードが認識されず、OS の

インストールができない場合があります。この場合は、必須 SRU、および、必須パッチが適用された OS のイ

ンストールイメージ作成が必要となります。これらを適用した OS イメージを作成するには、"付録 D 必須ソ

フトウェア適用インストールイメージの作成"を参照してください。

22. FC 伝送路の一時的な障害、または、ファイバーチャネルスイッチの高負荷によりフレームロストが発生した

場合、下記メッセージを出力してブートが失敗することがあります。一時的な FC 伝送路障害によるフレーム

ロストの場合は、再度ブート処理を行ってください。失敗する頻度が高い場合には、FC 伝送路に影響を与え

る被疑部品（ケーブル、光モジュールなど）の交換を検討してください。ファイバーチャネルスイッチの高負

荷によるフレームロストに関しては、負荷が集中しないよう構成変更を検討してください。ストレージ装置の

1 ポートに対して、複数のファイバーチャネルカードでアクセスを行う構成で負荷が高い場合に高負荷による

フレームロストが発生したことがあります。

メッセージ出力例

Boot device: /pci@8b00/pci@4/pci@0/pci@0/emlx@0/fp@0,0/disk@w2150000b5d6a0012,0:a File and args:

SunOS Release 5.11 Version 11.1 64-bit

Copyright (c) 1983, 2012, Oracle and/or its affiliates. All rights reserved.

NOTICE: Can not read the pool label from

'/pci@8b00/pci@4/pci@0/pci@0/emlx@0/fp@0,0/disk@w2150000b5d6a0012,0:a'

NOTICE: spa_import_rootpool: error 5

Cannot mount root on /pci@8b00/pci@4/pci@0/pci@0/emlx@0/fp@0,0/disk@w2150000b5d6a0012,0:a fstype zfs

panic[cpu0]/thread=10012000: vfs_mountroot: cannot mount root

23. Solaris 11.4 の初期インストールをした場合は、MPxIO が初期値で有効になるように設定されています。その

ため、TPGS 対応のストレージ装置を接続したときは自動でマルチパス化が行われます。

/kernel/drv/fp.conf

mpxio-disable="no";

24. FC/FCoE ストレージを扱うターゲットドライバについて、Solaris 10～Solaris 11.3 環境では、ssd ドライバが

FC/FCoE ストレージのターゲットドライバとして動作します。

Solaris 11.4 の初期インストールをした環境では sd ドライバが動作し、以前の OS から Solaris 11.4 にアップグ

レードインストールした環境では以前の設定を引き継ぎ ssd ドライバが動作します。ターゲットドライバが sd

ドライバ、ssd ドライバでもターゲットドライバの動作に差異はありません。どちらのドライバで動作してい

るかは FC ストレージのデバイスパス名で判断できます。

● ターゲットドライバが sd ドライバの環境におけるデバイスパス名の例

sd の場合、デバイスパスが disk になります。

○ マルチパスの場合

27

# /usr/sbin/format <RETURN>

Searching for disks...done

AVAILABLE DISK SELECTIONS:

0. c3t600E000000A800000007004200000000d0 <FUJITSU-E3000-0000-39.06GB>

/scsi_vhci/disk@g600e000000a800000007004200000000

1. c3t6000B5D0006A0000006A0753000B0000d0 <FUJITSU-E3000-0000-39.06GB>

/scsi_vhci/disk@g6000b5d0006a0000006a0753000b0000

○ シングルパスの場合




0. c1t210000E0004101D9d0 <FUJITSU-E3000-0000 cyl 4254 alt 2 hd 64 sec 256>

/pci@4,600000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101d9,0

1. c2t210000E0004101DAd0 <FUJITSU-E3000-0000 cyl 4254 alt 2 hd 64 sec 256>

/pci@5,700000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101da,0

● ターゲットドライバが ssd ドライバの環境におけるデバイスパス名の例

ssd の場合、デバイスパスが ssd になります。

○ マルチパスの場合




0. c3t600E000000A800000007004200000000d0 <FUJITSU-E3000-0000-39.06GB>

/scsi_vhci/ssd@g600e000000a800000007004200000000

1. c3t6000B5D0006A0000006A0753000B0000d0 <FUJITSU-E3000-0000-39.06GB>

/scsi_vhci/ssd@g6000b5d0006a0000006a0753000b0000

○ シングルパスの場合



AVAILABLE DISK SELECTIONS


/pci@4,600000/QLGC,qlc@0/fp@0,0/ssd@w210000e0004101d9,0


/pci@5,700000/QLGC,qlc@0/fp@0,0/ssd@w210000e0004101da,0

25. stmsboot コマンドによる MPxIO の有効化／無効化はマルチユーザーモードで実行してください。

シングルユーザーモードにて実行した場合、設定情報の更新が正しく行われず、コマンド実行後の再ブート

時にメンテナンスモードにてシステムが起動する場合があります。

28

第 4章構築方法本章では、以下の事項について説明しています。

● ストレージシステムからの OS 起動環境の構築方法

本手順の実施前に、スイッチのゾーニング(Fabric 接続の場合)、セキュリティ設定を行い、ストレージシステムをセッ

トアップし、ブートディスク作成先の LUN を使用可能状態にしてください。

ZFS ファイルシステム環境で ETERNUS マルチパスドライバを使用する場合は、ブートディスク用の LUN とブートデ

ィスクと同じ容量の LUN を準備してください。

本書に記載されている手順以外の方法でブート環境を構築することはできません。

クラスタ環境を構築する場合には、"4.3.2 PRIMECLUSTER 使用時の留意事項"を参照してください。

環境の構築は以下の流れで行います。

"4.1 ストレージシステムにブートディスクを作成"にて、OS のインストールを行いストレージシステム上にブートデ

29

ィスクを作成します。

"4.2 ブートディスクへのパスを冗長化"にて、マルチパス構成の定義を行います。

4.1 ストレージシステムにブートディスクを作成

ストレージシステムにブートディスクを作成するには 2 つの方法があります。

1. CD-ROM/DVD-ROM を用いて作成する方法

2. ネットワークインストールサーバを用いて作成する方法

4.1.1 CD-ROM/DVD-ROMを用いて作成する方法

ここでは、CD-ROM/DVD-ROM を用いて、ストレージシステムにブートディスクを作成する方法について記載します。

すでにディスクラベル作成済みの場合は、"4.1.1.1 ディスクラベル付け"の手順は必要ありません。

4.1.1.1 ディスクラベル付け

1. インストール対象のマシンを CD-ROM/DVD-ROM からブートします。

● Solaris 10 の場合

シングルユーザーモードにて起動してください。

ok boot cdrom -s <RETURN>


CD-ROM/DVD-ROM から起動してください。キーボード種別と言語を選択したあと" Welcome to the Oracle

Solaris installation menu "にて" 3 Shell"を選択してください。

ok boot cdrom <RETURN>

:

USB keyboard

1. Arabic 15. Korean

2. Belgian 16. Latin-American

3. Brazilian 17. Norwegian

4. Canadian-Bilingual 18. Portuguese

5. Canadian-French 19. Russian

6. Danish 20. Spanish

7. Dutch 21. Swedish

8. Dvorak 22. Swiss-French

30

9. Finnish 23. Swiss-German

10. French 24. Traditional-Chinese

11. German 25. TurkishQ

12. Italian 26. UK-English

13. Japanese-type6 27. US-English

14. Japanese

To select the keyboard layout, enter a number [default 27]: <RETURN>

1. Chinese - Simplified

2. Chinese - Traditional

3. English

4. French

5. German

6. Italian

7. Japanese

8. Korean

9. Portuguese - Brazil

10. Spanish

To select the language you wish to use, enter a number [default is 3]: <RETURN>

User selected: English

Configuring devices.

Hostname: solaris

Welcome to the Oracle Solaris installation menu

1 Install Oracle Solaris

2 Install Additional Drivers

3 Shell

4 Terminal type (currently xterm)

5 Reboot

Please enter a number [1]: 3 <RETURN>

To return to the main menu, exit the shell

#

2. ブートディスクとして使用する LUN に、format コマンドを使用してディスクラベルを作成し、LUN の容量を

確認します。

# /usr/sbin/format -e <RETURN>





Specify disk (enter its number): 0 <RETUEN>

selecting c1t210000E0004101D9d0

[disk formatted, no defect list found]

FORMAT MENU:

disk - select a disk

type - select (define) a disk type

partition - select (define) a partition table

current - describe the current disk

format - format and analyze the disk

repair - repair a defective sector

show - translate a disk address

label - write label to the disk

analyze - surface analysis

defect - defect list management

backup - search for backup labels

verify - read and display labels

inquiry - show disk ID

volname - set 8-character volume name

!<cmd> - execute <cmd>, then return

quit

format> label <RETURN>

31

[0] SMI Label

[1] EFI Label

Specify Label type[1]: 0 <RETURN>

Ready to label disk, continue? y <RETURN>

format> partition <RETURN>

PARTITION MENU:

0 - change `0' partition








select - select a predefined table

modify - modify a predefined partition table

name - name the current table

print - display the current table

label - write partition map and label to the disk


quit

partition> print <RETURN>

Current partition table (original):

Total disk cylinders available: 4254 + 2 (reserved cylinders)

Part Tag Flag Cylinders Size Blocks

0 root wm 0 - 15 128.00MB (16/0/0) 262144

1 swap wu 16 - 31 128.00MB (16/0/0) 262144

2 backup wu 0 - 4253 33.23GB (4254/0/0) 69697536

3 unassigned wm 0 0 (0/0/0) 0



6 usr wm 32 - 4253 32.98GB (4222/0/0) 69173248


format> quit <RETURN>

3. システムを OBP 環境に移行します。


4.1.1.2 サーバのリセット

サーバ本体装置をサービスモードに変更し、サーバの再起動を行ってください。

本手順は、インストールマシン側で行います。

SPARC M12-1/M12-2/M12-2S、SPARC M10-1/M10-4/M10-4S、SPARC T3-1/T3-2/T3-4/T4-1/T4-2/T4-4 および

SPARC Enterprise T5120/T5140/T5220/T5240/T5440 を使用している場合は、以下のコマンドを実行します。

ok setenv auto-boot? false <RETURN>

ok reset-all <RETURN>

SPARC Enterprise M3000/M4000/M5000/M8000/M9000 を使用している場合は、サーバ本体のモードスイッチをサービス

モードにし、以下のコマンドを実行します。


32

4.1.1.3 CD-ROM/DVD-ROMインストールの実行

インストール対象のホストの OBP 上で以下のコマンドを実行します。


その後は、画面の指示に従いインストールを進めてください。

インストール時には以下の点に注意してください。

・OS のインストールを行う、ストレージシステムを選択します。


Disk Device (Size) Available Space

==============================================

[X] c1t210000E0004101D9d0 7800 MB ※ストレージシステムを選択

OS のインストールが終了し、プロンプトが表示されたらシステムを OBP 環境に移行したあと、"4.2 ブートディスク

へのパスを冗長化"の手順に進んでください。

グラフィックスカードを搭載しビットマップ・ディスプレイを使用しているサーバに Solaris 10 をインストールしてい

る場合には、画面上で右クリックをして表示されるメニューからターミナルを開いてシステムを OBP 環境に移行した

あと、"4.2 ブートディスクへのパスを冗長化"の手順に進んでください。「継続するにはリブートするを押してくださ

い」と表示されますが、ここでは無視します。


Oracle Solaris をどこにインストールしますか?

推奨サイズ: 3.8GB 最小サイズ: 1.8GB

タイプｻｲｽﾞ(GB) ﾌﾞｰﾄデバイス

------------------------------------------------------------------------------------------------------------------------------

fibre c 7.61 c1t210000E0004101D9d0 FUJITSU ※ストレージシステム装置を選択

SPARC M12-1/M12-2/M12-2S、SPARC M10-1/M10-4/M10-4S で XCP2230 以降を使用している場合、または

SPARC T4-1/T4-2/T4-4 でシステムファームウェア 8.4.0.a 以降を使用している場合は、OS インストール時のデ

ィスクラベルのデフォルトが SMI ディスクラベルから EFI ディスクラベルに変わります。SMI ディスクラベ

ルで OS インストールする場合は「ディスク上のスライスを使用する」を選択してください。「ディスク全体

を使用する」を選択した場合、EFI ディスクラベルで OS インストールされます。

Solaris スライス: 7.61GB fibre channel

Oracle Solaris は、ディスク全体またはディスク上のスライスにインストールで

きます。

ディスク上に次のスライスが見つかりました。

スライス # ｻｲｽﾞ(GB) スライス # ｻｲｽﾞ(GB)

qqqqqqqqqqqqqqqqqqqqqqqq qqqqqqqqqqqqqqqqqqqqqqqq

rpool 0 7.61 Unused 5 0.0

Unused 1 0.0 Unused 6 0.0


Unused 4 0.0 backup 2 7.61

ディスク全体を使用する

ディスク上のスライスを使用する

33

Esc-2_継続 Esc-3_戻る Esc-6_ヘルプ Esc-9_終了

SMI ディスクラベルで OS インストールする場合で Solaris スライス画面ではなく、以下の GPT パーティショ

ン画面が表示された場合は OS インストールするディスクが EFI ディスクラベルになっています。「GPT パー

ティション」画面を終了して、"4.1.1.1 ディスクラベル付け"の 2. を参照して SMI ディスクラベルを書き込ん

でから OS をインストールしてください。

GPT パーティション: 7.61GB fibre channel

Oracle Solaris をディスク全体またはディスク上の GPT パーティションにインス

トールできます。

ディスク上に次の GPT パーティションが見つかりました。

パーティションｻｲｽﾞ(GB) パーティションｻｲｽﾞ(GB)


Solaris 7.61 Unused 0.0

Unused 0.0 Unused 0.0


Unused 0.0


ディスクの GPT パーティションを使用する




34

4.1.2 ネットワークインストールサーバを用いて作成する方法

ネットワークインストールを行うには、ストレージシステムをブートデバイスとして使用するホスト（インストール

マシン）の他にインストールサーバが必要となります。

インストールマシンでの作業は、インストールマシンのコンソールから行います。また、インストールサーバでの作

業は、ターミナルから行い、本書の記載例では(INSTALL SERVER)と記載します。

すでにディスクラベル作成済みの場合は、"4.1.2.3 ディスクラベル付け"の手順は必要ありません。

4.1.2.1 ネットワークインストールサーバの作成

ネットワークインストールのためのインストールサーバの設定を行います。インストールサーバの作成方法の詳細に

ついては、Oracle Documentation の"Solaris 10 インストールガイド"、"Oracle Solaris 11 システムのインストール"を参

照してください。


以下に、Solaris 10 OS のイメージを作成する場合の例を記述します。

ここでは、OS イメージを作成するディレクトリ名の例として/export/install/Solaris10 を使用しています。

1. インストールサーバ上でスーパーユーザーになります。

(INSTALL SERVER) % su - <RETURN>

Password: password

2. OS イメージを作成するディレクトリを作成します。

(INSTALL SERVER)# mkdir /export/install <RETURN>

(INSTALL SERVER)# cd /export/install <RETURN>

(INSTALL SERVER)# mkdir Solaris10 <RETURN>

3. Solaris 10 の CD-ROM/DVD-ROM をセットします。

(INSTALL SERVER)# cd /cdrom/cdrom0/s0/Solaris_10/Tools <RETURN>

(INSTALL SERVER)# ./setup_install_server /export/install/Solaris10 <RETURN>

35

4. Solaris 10 の複写が完了したら、CD-ROM/DVD-ROM を取り出します。

(INSTALL SERVER)# cd / <RETURN>

(INSTALL SERVER)# eject cdrom <RETURN>


以下に、Solaris 11 OS のイメージを作成する場合の例を記述します。

ここでは、OS イメージを作成するディレクトリ名の例として/rpool/ai/Solaris11 を使用しています。



Password: password

2. AI イメージを格納します。

(INSTALL SERVER)# zfs create rpool/ai <RETURN>

(INSTALL SERVER)# mkdir /rpool/ai/Solaris11 <RETURN>

(INSTALL SERVER)# mkdir /rpool/ai/Solaris11/iso <RETURN>

(INSTALL SERVER)# cd /rpool/ai/Solaris11/iso <RETURN>

/rpool/ai/Solaris11/iso 配下に AI イメージを格納します。

4.1.2.2 ネットワークインストールサーバの設定


1. ネットワークインストールサーバ上に、インストール対象マシンの IP アドレスおよび mac アドレスの登録を

行います。

○インストール対象マシンの IP アドレスの登録

/etc/hosts をテキストエディタで編集します。

インストール対象マシンの IP アドレスが”192.168.1.1”の場合は以下となります。

192.168.1.1 hostname

○インストール対象マシンの mac アドレスの登録

/etc/ethers をテキストエディタで編集します。

インストール対象マシンの mac アドレスが” 0:80:17:28:1:f8”の場合は以下となります。

0:80:17:28:1:f8 hostname

2. インストール対象のマシンをネットワークからブートするため、ネットワークインストールサーバ上で、

add_install_client コマンドを実行します。

add_install_client コマンドのパラメーターはインストール対象のマシンモデルによって異なります。


SPARC Enterprise T5120/T5140/T5220/T5240/T5440 の場合

(INSTALL SERVER)# cd /export/install/Solaris10/Solaris_10/Tools/ <RETURN>

(INSTALL SERVER)# ./add_install_client hostname sun4v <RETURN>

SPARC Enterprise M3000/M4000/M5000/M8000/M9000 の場合

(INSTALL SERVER)# cd /export/install/Solaris10/Solaris_10/Tools/ <RETURN>

(INSTALL SERVER)# ./add_install_client hostname sun4u <RETURN>

36


1. インストールサービスの作成を行います。

インストールサーバ上で installadm コマンドを使用してインストールサービスの作成を行います。

この例では、サービス名に”s11-sparc”、IP アドレスの総数に”1”、ISO イメージのパスに

”/rpool/ai/Solaris11/iso/sol-11-dev-XXX-ai-sparc.iso”、ISO イメージを展開するパスに”/rpool/ai/Solaris11/target”を指

定しています。

(INSTALL SERVER)# installadm create-service -n s11-sparc -i インストール対象マシンの IP アドレス -c 1

-s /rpool/ai/Solaris11/iso/sol-11-dev-XXX-ai-sparc.iso -d /rpool/ai/Solaris11/target <RETURN>

installadm コマンドがインストールされていない場合は、リリースリポジトリから、pkg コマンドを使用して

インストールしてください。

(INSTALL SERVER)# pkg set-publisher -g http://192.168.10.10:16000/ solaris <RETURN>

この例では、http://192.168.10.10:16000/をリリースリポジトリとしてシステムに設定しています。

(INSTALL SERVER)# pkg install install/installadm <RETURN>

注)

－インストールサーバ上で、AI インストールで使用するデフォルトルータを設定していない場合、

/etc/defaultrouter ファイルにルータ IP アドレスを設定してください。ファイルの設定後、システムを再

起動してください。

# vi /etc/defaultrouter <RETURN>

192.168.1.1

－インストールサーバ上で、マルチキャスト DNS サービスが無効の場合、以下のコマンドを実行し、マ

ルチキャスト DNS サービスを有効にしてください。

# svcadm enable /network/dns/multicast <RETURN>

－インストールサーバ上で、複数のネットワークを活性化している場合、installadm コマンド実行前に、以

下のコマンドを実行してください。

この例では、AI インストールで使用するネットワークアドレスに”192.168.1.0/24”を指定しています。

# svcadm enable system/install/server:default <RETURN>

# svccfg -s system/install/server:default setprop all_services/networks = 192.168.1.0/24 <RETURN>

# svcadm refresh system/install/server:default <RETURN>

installadm コマンド実行時にエラーメッセージが表示されますが、無視して次の手順に進んでください。

dhcpd: No subnet declaration for net0(192.168.2.10).

dhcpd: ** Ignoring requests on net0. If this is not what

dhcpd: you want, please write a subnet declaration

dhcpd: in your dhcpd.conf file for the network segment

dhcpd: to which interface net0 is attached. **

2. インストールサービスにインストール対象マシンの情報を登録します。

この例では、サービス名に”s11-sparc”を指定しています。

(INSTALL SERVER)# installadm create-client -e インストール対象マシンの mac アドレス -n s11-sparc

<RETURN>

3. /etc/inet/dhcpd4.conf ファイルを編集します。

range 行をコメントにし、以下の host 行を追加してください。

host インストール対象マシンのホスト名 { hardware ethernet インストール対象マシンの mac アドレス;

fixed-address インストール対象マシンの IP アドレス; }

設定例は以下になります。

37

インストールサーバの IP アドレスが 192.168.1.2、インストール対象マシンの IP アドレスが 192.168.1.3、イ

ンストール対象マシンの mac アドレスが 0:80:17:28:1:f8、インストール対象サーバのマシン名を solaris とし

た場合です。

# dhcpd.conf

#

# Configuration file for ISC dhcpd

# (created by installadm(1M))

#

default-lease-time 900;

max-lease-time 86400;

# If this DHCP server is the official DHCP server for the local

# network, the authoritative directive should be uncommented.

authoritative;

# arch option for PXEClient

option arch code 93 = unsigned integer 16;

# Set logging facility (accompanies setting in syslog.conf)

log-facility local7;

subnet 192.168.1.0 netmask 255.255.255.0 {

# range 192.168.1.3 192.168.1.3;

option broadcast-address 192.168.1.255;

option routers 192.168.1.1;

next-server 192.168.1.2;

}

class "SPARC" {

match if not (substring(option vendor-class-identifier, 0, 9) = "PXEClient");

filename "http://192.168.1.2:5555/cgi-bin/wanboot-cgi";

}

host solaris { hardware ethernet 0:80:17:28:1:f8; fixed-address 192.168.1.3; }

4. DHCP サービスを再起動します。

(INSTALL SERVER)# svcadm refresh svc:/network/dhcp/server:ipv4 <RETURN>

4.1.2.3 ディスクラベル付け

1. インストール対象のマシンをネットワークからブートします。シングルユーザーモードにて起動してください。


ok boot net -s <RETURN>


ok boot net:dhcp -s <RETURN>

2. ブートディスクとして使用する LUN に、format コマンドを使用してディスクラベルを作成し、LUN の容量を

確認します。

# /usr/sbin/format -e <RETURN>





Specify disk (enter its number): 0 <RETUEN>


[disk formatted, no defect list found]

38

FORMAT MENU:







show - translate a disk address






inquiry - show disk ID



quit

format> label <RETURN>

[0] SMI Label

[1] EFI Label

Specify Label type[1]: 0 <RETURN>

Ready to label disk, continue? y <RETURN>

format> partition <RETURN>

PARTITION MENU:









select - select a predefined table

modify - modify a predefined partition table

name - name the current table

print - display the current table

label - write partition map and label to the disk


quit

partition> print <RETURN>

Current partition table (original):

Total disk cylinders available: 4254 + 2 (reserved cylinders)

Part Tag Flag Cylinders Size Blocks

0 root wm 0 - 15 128.00MB (16/0/0) 262144

1 swap wu 16 - 31 128.00MB (16/0/0) 262144

2 backup wu 0 - 4253 33.23GB (4254/0/0) 69697536




6 usr wm 32 - 4253 32.98GB (4222/0/0) 69173248


format> quit <RETURN>

3. システムを OBP 環境に移行します。


39

4.1.2.4 サーバのリセット

サーバ本体装置をサービスモードに変更し、サーバの再起動を行ってください。

本手順は、インストールマシン側で行います。








4.1.2.5 ネットワークインストールの実行

インストール対象のホストの OBP 上で以下のコマンドを実行します。


ok boot net <RETURN>


ok boot net:dhcp <RETURN>

その後は、画面の指示に従いインストールを進めてください。

インストール時には以下の点に注意してください。

・OS のインストールを行う、ストレージシステムを選択します。


Disk Device (Size) Available Space

==============================================

[X] c1t210000E0004101D9d0 7800 MB ※ストレージシステム装置を選択

注) " D.1 Solaris 10 でインストールイメージに必須パッチを適用する方法"でインストールイメージを作成した場

合、インストールした領域にパッチを適用するため、以下の手順を実施してください。

Manual Reboot を選択します。

Reboot After Installation ?

.................

[ ] Auto Reboot

[X] Manual Reboot ※マニュアルリブートを選択する。

OS のインストールが終了したらインストール対象のサーバ上で必須パッチを適用します。（OS のインストール中で

は、インストール中の OS のマウント先は/a と設定されているため、以下のようにパッチの適用を行います）

# patchadd -R /a Patch ID <RETURN>

必須パッチはファイルサーバや、ftp などでミニルート上にコピーしてください。

40



グラフィックスカードを搭載しビットマップ・ディスプレイを使用しているサーバに Solaris 10 をインストールしてい

る場合には、画面上で右クリックをして表示されるメニューからターミナルを開いてシステムを OBP 環境に移行した

あと、"4.2 ブートディスクへのパスを冗長化"の手順に進んでください。「継続するにはリブートするを押してくださ

い」と表示されますが、ここでは無視します。


Disks

Where should Oracle Solaris be installed?

Recommended size: 3.8GB Minimum size: 1.8GB

Type Size(GB) Boot Device

------------------------------------------------------------------------------------------------------------------------------

fibre c 7.61 c1t210000E0004101D9d0 FUJITSU ※ストレージシステム装置を選択

SPARC M12-1/M12-2/M12-2S、SPARC M10-1/M10-4/M10-4S で XCP2230 以降を使用している場合、または SPARC

T4-1/T4-2/T4-4 でシステムファームウェア 8.4.0.a 以降を使用している場合は、OS インストール時のディスクラ

ベルのデフォルトが SMI ディスクラベルから EFI ディスクラベルに変わります。SMI ディスクラベルで OS イ

ンストールする場合は「ディスク上のスライスを使用する」を選択してください。「ディスク全体を使用する」

を選択した場合、EFI ディスクラベルで OS インストールされます。

Solaris スライス: 7.61GB fibre channel

Oracle Solaris は、ディスク全体またはディスク上のスライスにインストールで

きます。

ディスク上に次のスライスが見つかりました。

スライス # ｻｲｽﾞ(GB) スライス # ｻｲｽﾞ(GB)


rpool 0 7.61 Unused 5 0.0



Unused 4 0.0 backup 2 7.61


ディスク上のスライスを使用する


SMI ディスクラベルで OS インストールする場合で Solaris スライス画面ではなく、以下の GPT パーティション

画面が表示された場合は OS インストールするディスクが EFI ディスクラベルになっています。「GPT パーティ

ション」画面を終了して、"4.1.2.3 ディスクラベル付け"の 2. を参照して SMI ディスクラベルを書き込んでか

ら OS をインストールしてください。

GPT パーティション: 7.61GB fibre channel

Oracle Solaris をディスク全体またはディスク上の GPT パーティションにインス

トールできます。

ディスク上に次の GPT パーティションが見つかりました。

41

パーティションｻｲｽﾞ(GB) パーティションｻｲｽﾞ(GB)


Solaris 7.61 Unused 0.0



Unused 0.0


ディスクの GPT パーティションを使用する




Solaris 11 を使用している場合は、OS インストール後の OBP 環境に移行する際、shutdown コマンドや init コマンドが

正常に動作しない場合があります。

shutdown コマンドや init コマンドが正常に動作しない場合は以下の手順で OBP 環境に移行してください。

# sync <RETURN>

# halt <RETURN>

42

4.2 ブートディスクへのパスを冗長化

ここでは、Solaris OS 標準機能マルチパスドライバ(MPxIO)または ETERNUS マルチパスドライバを使用したブートデ

バイスへのパスの冗長化手順を示します。

4.2.1 富士通推奨 & セキュリティパッチクラスタ、PTF の適用および Enhanced Support F

acilityのインストール

Solaris 10 をインストールした場合、富士通推奨 & セキュリティパッチクラスタ、PTF を適用していない場合は適用し

ます。また、Enhanced Support Facility がインストールされていない場合はインストールします。適用およびインスト

ールされている場合は次の手順に進んでください。

1. ストレージシステムから、シングルユーザーモードでブートします。

ok boot -s <RETURN>

Boot device: /pci@4,600000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101d9,0 File and args:

2. 「CLUSTER_README.ja」を参照して富士通推奨 & セキュリティパッチクラスタを、「Enhanced Support Facility イ

ンストールガイド」を参照して Enhanced Support Facility を、「一括修正説明書」を参照して PTF をインストールし

てください。

3. ホストの再起動は以下の方法を使用してください。


4. OBP 環境に移行後、以下のコマンドを実行します。


5. ストレージシステムからブートします。

ok boot <RETURN>

Boot device: /pci@4,600000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101d9,0 File and args:

4.2.2 マルチパスドライバの設定

ブートデバイスへのパスを冗長化するには 2 つの方法があります。

1. Solaris OS 標準機能マルチパスドライバ(MPxIO)の設定

2. ETERNUS マルチパスドライバの設定

4.2.2.1 Solaris OS 標準機能マルチパスドライバ(MPxIO)の設定

Solaris OS 標準機能マルチパスドライバ(MPxIO)を使用し、ブートデバイスへのパスの冗長化する手順を示します。

Solaris 11.4 で MPxIO の設定が有効になっており、特定のパスのみ冗長化したい場合は 5. の"●特定パスのみマルチパ

スを有効にする場合"に進んでください。すべてのファイバーチャネルパスまたは FCoE パスが冗長化されたままでよ

い場合は 6. へ進んでください。

Solaris 10、Solaris 11.3 以前の OS、Solaris 11.4 で format コマンドを実行したときデバイスパスがシングルパスの場合は

1. に進んでください。

Solaris 11.3 から Solaris 11.4 へのアップデートインストールを行った場合は、マルチパスの設定を引き継ぎ ssd ドライ

バで動作します。

1. ストレージシステムを指定してブートし、format コマンドでマルチパス構成にする論理デバイス名を確認します。

ストレージシステム上のブートディスクからホストを起動し、format コマンドでマルチパス構成にする論理デバイ

ス名を確認します。



AVAILABLE DISK SELECTIONS

0. c0t0d0 <FUJITSU-MAY2073RC-3701 cyl 14087 alt 2 hd 24 sec 424>

43

/pci@0,600000/pci@0/scsi@1/sd@0,0





2. マルチパスの制御方式を round-robin(Load-Balance 型)に定義します。


# vi /kernel/drv/scsi_vhci.conf <RETURN>

：

load-balance="round-robin";

※ 本パラメーターは、デフォルトが round-robin(Load-Balance 型)となっているため、変更の必要はありません。


# vi /etc/driver/drv/scsi_vhci.conf <RETURN>

：


※ 本パラメーターは、デフォルトが round-robin(Load-Balance 型)となっているため、変更の必要はありません。

/etc/driver/drv 配下に scsi_vhci.conf がない場合は、以下の手順で/etc/driver/drv 配下に scsi_vhci.conf を配置してく

ださい。

# cp -p /kernel/drv/scsi_vhci.conf /etc/driver/drv/scsi_vhci.conf <RETURN>

3. マルチパスの設定を行うため、ストレージシステムの Vendor-ID, Product-ID を調べます。

マルチパスの設定が必要かどうかは、ご使用のストレージシステムのマニュアルを参照してください。

マルチパスの設定が必要な場合

例: ETERNUS 6000 を使用している場合




0. c0t0d0 <FUJITSU-MAY2073RC-3701 cyl 14087 alt 2 hd 24 sec 424>

/pci@0,600000/pci@0/scsi@1/sd@0,0





Specify disk (enter its number): 1 <RETURN>


[disk formatted]

FORMAT MENU:












save - save new disk/partition definitions

inquiry - show vendor, product and revision



quit

format> inquiry <RETURN>

Vendor: FUJITSU

44

Product: E6000

Revision: 0000

format>

4. 3.で採取した Vendor-ID、Product-ID を scsi_vhci.conf に定義します。


○ /kernel/drv/scsi_vhci.conf

# vi /kernel/drv/scsi_vhci.conf <RETURN>

#

# Copyright 2004 Sun Microsystems, Inc. All rights reserved.

# Use is subject to license terms.

#

#pragma ident "@(#)scsi_vhci.conf 1.9 04/08/26 SMI"

#

name="scsi_vhci" class="root";

#

# Load balancing global configuration: setting load-balance="none" will cause

# all I/O to a given device (which supports multipath I/O) to occur via one

# path. Setting load-balance="round-robin" will cause each path to the device

# to be used in turn.

#


#

# Automatic failback configuration

# possible values are auto-failback="enable" or auto-failback="disable"

auto-failback="enable";

#

# For enabling MPxIO support for 3rd party symmetric device need an

# entry similar to following in this file. Just replace the "SUN SENA"

# part with the Vendor ID/Product ID for the device, exactly as reported by

# Inquiry cmd.

#

# device-type-scsi-options-list =

# "SUN SENA", "symmetric-option";

#

# symmetric-option = 0x1000000;

device-type-scsi-options-list =

"FUJITSU E6000", "symmetric-option";

symmetric-option = 0x1000000;

※ "FUJITSU"と"E6000"の間はスペースを 1 つ空けます。

● Solaris 11 11/11 の場合

○ /etc/driver/drv/scsi_vhci.conf


#

# Copyright (c) 2001, 2012, Oracle and/or its affiliates. All rights reserved.

#

#


#





#


#




45

#BEGIN: FAILOVER_MODULE_BLOCK (DO NOT MOVE OR DELETE)

#

# Declare scsi_vhci failover module paths with 'ddi-forceload' so that

# they get loaded early enough to be available for scsi_vhci root use.

#

# NOTE: Correct operation depends on the value of 'ddi-forceload', this

# value should not be changed. The ordering of entries is from

# most-specific failover modules (with a "probe" implementation that is

# completely VID/PID table based), to most generic (failover modules that

# are based on T10 standards like TPGS). By convention the last part of a

# failover module path, after "/scsi_vhci_", is called the

# "failover-module-name", which begins with "f_" (like "f_asym_sun"). The

# "failover-module-name" is also used in the override mechanism below.

ddi-forceload =

"misc/scsi_vhci/scsi_vhci_f_asym_sun",

"misc/scsi_vhci/scsi_vhci_f_asym_lsi",

"misc/scsi_vhci/scsi_vhci_f_asym_emc",

"misc/scsi_vhci/scsi_vhci_f_sym_emc",

"misc/scsi_vhci/scsi_vhci_f_sym_hds",

"misc/scsi_vhci/scsi_vhci_f_sym",

# "misc/scsi_vhci/scsi_vhci_f_tpgs_tape",

# "misc/scsi_vhci/scsi_vhci_f_tape",

"misc/scsi_vhci/scsi_vhci_f_tpgs";

#

# For a device that has a GUID, discovered on a pHCI with mpxio enabled, vHCI

# access also depends on one of the scsi_vhci failover modules accepting the

# device. The default way this occurs is by a failover module's "probe"

# implementation (sfo_device_probe) indicating the device is supported under

# scsi_vhci. To override this default probe-oriented configuration in

# order to

#

# 1) establish support for a device not currently accepted under scsi_vhci

#

# or 2) override the module selected by "probe"

#

# or 3) disable scsi_vhci support for a device

#

# you can add a 'scsi-vhci-failover-override' tuple, as documented in

# scsi_get_device_type_string(9F). For each tuple, the first part provides

# basic device identity information (vid/pid) and the second part selects

# the failover module by "failover-module-name". If you want to disable

# scsi_vhci support for a device, use the special failover-module-name "NONE".

# Currently, for each failover-module-name in 'scsi-vhci-failover-override'

# (except "NONE") there needs to be a

# "misc/scsi_vhci/scsi_vhci_<failover-module-name>" in 'ddi-forceload' above.

#

# " 111111"

# "012345670123456789012345", "failover-module-name" or "NONE"

# "|-VID--||-----PID------|",

# scsi-vhci-failover-override =

# "STK FLEXLINE 400", "f_asym_lsi",

# "SUN T4", "f_tpgs",

# "CME XIRTEMMYS", "NONE";

#

#END: FAILOVER_MODULE_BLOCK (DO NOT MOVE OR DELETE)

#BEGIN: UPDATE_PATHSTATE_ON_RESET_BLOCK (DO NOT MOVE OR DELETE)

#

# Tunable for updating path states after a UNIT ATTENTION reset.

# There are arrays which do not queue UAs during resets

# after an implicit failover. For such arrays, we need to

# update the path states after any type of UA resets, since

# UA resets take higher precedence among other UNIT ATTENTION

# conditions. By default, scsi_vhci does not update path states

# on UA resets. To make scsi_vhci do that for such arrays, you need

46

# to set the tunable scsi-vhci-update-pathstate-on-reset to "yes"

# for the VID/PID combination as described below.

#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#

scsi-vhci-update-pathstate-on-reset =

"Pillar Axiom", "yes";

#

#END: UPDATE_PATHSTATE_ON_RESET_BLOCK (DO NOT MOVE OR DELETE)

scsi-vhci-failover-override =

"FUJITSU E6000", "f_sym";


● Solaris 11.1 の場合



#


#

#


#





#


#





#



#









ddi-forceload =







# "misc/scsi_vhci/scsi_vhci_f_sym_enc",




#




47



# order to

#


#


#


#









#

# " 111111"


# "|-VID--||-----PID------|",





#



#










#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#



#


#BEGIN: SPREAD_IPORT_RESERVATION_BLOCK

#

# Tunable for path selection optimization of SCSI reservation command. With

# this optimization, a path with least busy initiator port will be selected

# for a SCSI reservation command. If optimization is disabled scsi_vhci will

# use load balancing policy "none" for SCSI reservation command's path

# selection. Tunable spread-iport-reservation is used to establish the default

# value. Its default value is "yes". To make scsi_vhci to turn off the

# optimization globally, you need to set the tunable spread-iport-reservation

# to "no". Tunable spread-iport-reservation-exceptions can describe exceptional

# cases with the VID/PID combination specified, which has higher priority than

# the tunable spread-iport-reservation.

#

spread-iport-reservation = "yes";

#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

48

# spread-iport-reservation-exceptions =

# "STK T10000C", "yes",

# "HP Ultrium 4-SCSI", "no";

#

# To find the least busy initiator port, traffic load of every initiator port

# need to be monitored. One important traffic load metric is rlentime: the

# cumulative run length*time product of every initiator port. Delta rlentime

# of latest period of time is used to represent the historical traffic load.

# The simultaneous snapshot rlentime of every initiator port is needed to

# calculate the delta rlentime. Tunable iport-rlentime-snapshot-interval is

# used to configure the time interval in seconds to create rlentime snapshot

# of every initiator port. Its default value is 30 seconds.

#

iport-rlentime-snapshot-interval = 30;

#

#END: SPREAD_IPORT_RESERVATION_BLOCK

#NOTE:

# VID field should contain exactly eight bytes of left-adjusted ASCII characters.

# If VID is less than 8 characters, it should be padded with spaces (ASCII 0x0a)

# to 8 characters.

# PID field contains at most sixteen left-adjusted ASCII characters. The

# PID field has an implicit wildcard rule. The product ID in the returned SCSI

# inquiry string is considered a match if it has the PID field as its prefix.

# For example, "Pillar Axiom" can cover both "Pillar Axiom 600" and

# "Pillar Axiom 500".






#


#

#


#





#


#





#



#









ddi-forceload =


49










#






# order to

#


#


#


#









#

# " 111111"


# "|-VID--||-----PID------|",





#



#










#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#


"Pillar Axiom", "yes",

"Oracle Oracle FS", "yes";

#



#

50











#


#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",


# "STK T10000C", "yes",


#









#


#


#BEGIN: NOTE_BLOCK

# The VID fields above should contain exactly eight left-aligned ASCII

# characters. If the VID is less than 8 characters, it should be padded with

# spaces (ASCII 0x20) to 8 characters.

#

# The PID fields above should contain at most sixteen left-aligned ASCII

# characters. The PID field has an implicit wild-card rule. The product ID

# in the returned SCSI inquiry string is considered a match if it has the

# PID field as its prefix. For example, "Pillar Axiom" applies to both

# the "Pillar Axiom 600" and the "Pillar Axiom 500".

#

#END: NOTE_BLOCK




マルチパスの設定が不要の場合

マルチパスの設定が不要の場合は、設定の必要はありませんので、手順 5 に進んでください。


○ /kernel/drv/scsi_vhci.conf

#



#

#pragma ident "@(#)scsi_vhci.conf 1.9 04/08/26 SMI"

#


#





#

51


#




#

# For enabling MPxIO support for 3rd party symmetric device need an

# entry similar to following in this file. Just replace the "SUN SENA"

# part with the Vendor ID/Product ID for the device, exactly as reported by

# Inquiry cmd.

#

# device-type-scsi-options-list =

# "SUN SENA", "symmetric-option";

#

# symmetric-option = 0x1000000;

● Solaris 11 11/11 の場合


#


#

#


#





#


#





#



#









ddi-forceload =










#





52


# order to

#


#


#


#









#

# " 111111"


# "|-VID--||-----PID------|",





#



#










#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#



#




#


#

#


#





#


#

53





#



#









ddi-forceload =











#






# order to

#


#


#


#









#

# " 111111"


# "|-VID--||-----PID------|",





#



#



54








#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#



#



#











#


#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",


# "STK T10000C", "yes",


#









#


#


#NOTE:

# VID field should contain exactly eight bytes of left-adjusted ASCII characters.

# If VID is less than 8 characters, it should be padded with spaces (ASCII 0x0a)

# to 8 characters.

# PID field contains at most sixteen left-adjusted ASCII characters. The

# PID field has an implicit wildcard rule. The product ID in the returned SCSI

# inquiry string is considered a match if it has the PID field as its prefix.

# For example, "Pillar Axiom" can cover both "Pillar Axiom 600" and

# "Pillar Axiom 500".


#


#

#


55

#





#


#





#



#









ddi-forceload =











#






# order to

#


#


#


#









#

# " 111111"


# "|-VID--||-----PID------|",



56



#



#










#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",

#


"Pillar Axiom", "yes",

"Oracle Oracle FS", "yes";

#



#











#


#

# "012345670123456789012345", "yes" or "no"

# "|-VID--||-----PID------|",


# "STK T10000C", "yes",


#









#


#


#BEGIN: NOTE_BLOCK

# The VID fields above should contain exactly eight left-aligned ASCII

# characters. If the VID is less than 8 characters, it should be padded with

# spaces (ASCII 0x20) to 8 characters.

#

# The PID fields above should contain at most sixteen left-aligned ASCII

57

# characters. The PID field has an implicit wild-card rule. The product ID

# in the returned SCSI inquiry string is considered a match if it has the

# PID field as its prefix. For example, "Pillar Axiom" applies to both

# the "Pillar Axiom 600" and the "Pillar Axiom 500".

#

#END: NOTE_BLOCK

5. stmsboot コマンドを使用してマルチパスを有効にします。

すべてのファイバーチャネルパスまたは FCoE パスに対するマルチパスを有効にする場合

(1) stmsboot コマンドを使用してすべてのファイバーチャネルパスまたは FCoE パスに対するマルチパスを有効

にします。

# /usr/sbin/stmsboot -D fp -e <RETURN>

警告: この操作には再起動が必要です。

継続してもよろしいですか? [y/n] (デフォルト: y) <RETURN>

変更が有効になるのは、システムのリブート後です。

システムを今すぐリブートしますか? [y/n] (デフォルト: y) <RETURN>

※ コマンド実行後、システムをリブートするか確認があります。すべて yes と応答してください。

特定パスのみマルチパスを有効にする場合

(1) format コマンドや/etc/path_to_inst などでデバイスの物理パス名を確認し、特定パス(HBA または CNA のポ

ート)に対するマルチパスを有効にします。


# vi /kernel/drv/fp.conf <RETURN>

：

name="fp" parent="/pci@4,600000/QLGC,qlc@0" port=0 mpxio-disable="no";


※ ここで定義していない HBA については、同ファイル内の「mpxio-disable="yes"」の値が有効となります。

● Solaris 11.3 以前の OS の場合

# vi /etc/driver/drv/fp.conf <RETURN>

：




/etc/driver/drv 配下に fp.conf がない場合は、以下の手順で/etc/driver/drv 配下に fp.conf を配置してください。

# cp -p /kernel/drv/fp.conf /etc/driver/drv/fp.conf <RETURN>


format コマンドや luxadm コマンドを使用して、マルチパスにするパスを確認します。

# /usr/sbin/luxadm display /dev/rdsk/c3t600E000000A800000007004200000000d0s2 <RETURN>

DEVICE PROPERTIES for disk: /dev/rdsk/c3t600E000000A800000007004200000000d0s2

Vendor: FUJITSU

Product ID: E3000

Revision: 0000

Serial Num: A70042

Unformatted capacity: 8000.000 MBytes

Write Cache: Enabled

Read Cache: Enabled

Minimum prefetch: 0x0

Maximum prefetch: 0x0

Device Type: Disk device

Path(s):

/dev/rdsk/c3t600E000000A800000007004200000000d0s2

/devices/scsi_vhci/disk@g600e000000a800000007004200000000:c,raw

Controller /devices/pci@4,600000/QLGC,qlc@0/fp@0,0

Device Address 210000e0004101d9,0

Host controller port WWN 2100001b321a05e6

58

Class primary

State ONLINE


Device Address 210000e0004101da,0

Host controller port WWN 2100001b3213644a

Class primary

State ONLINE

"mpxio-disable"を"yes"に変更します。


：

mpxio-disable="yes";

：




(2) 特定パス(HBA または CNA のポート)に対するマルチパス設定状況を反映します。

# /usr/sbin/stmsboot -u <RETURN>





※ コマンド実行後、システムをリブートするか確認があります。すべて yes と応答してください。システ

ムリブート後、特定パスに対するマルチパスの有無が反映されます。

6. "luxadm display"において、ブートデバイスの各構成パスを調べます。ブートデバイスは、"df -k"で確認できます。

ZFS ファイルシステム環境の場合は、"df -k"で表示されたブートデバイスのプール名を確認し、"zpool status"で表

示されたプール名に対応するデバイスを確認します。確認した Controller, Device Address は、後述の 8.の設定で使

用します。

# /usr/sbin/luxadm display <ブートディスクのスライス 2> <RETURN>

UFS ファイルシステムによる SAN Boot 環境の場合

(1) ブートデバイスを、"df -k"で確認します。

# /usr/bin/df -k <RETURN>

ファイルシステム kbytes 使用済み使用可能容量マウント先

/dev/dsk/c3t600E000000A800000007004200000000d0s0

7276821 4862948 2341105 68% /

/devices 0 0 0 0% /devices

ctfs 0 0 0 0% /system/contract

proc 0 0 0 0% /proc

mnttab 0 0 0 0% /etc/mnttab

swap 14079768 1784 14077984 1% /etc/svc/volatile

objfs 0 0 0 0% /system/object

sharefs 0 0 0 0% /etc/dfs/sharetab

fd 0 0 0 0% /dev/fd

swap 14078016 32 14077984 1% /tmp

swap 14078056 72 14077984 1% /var/run

(2) (1)で確認したブートデバイスを元に、"luxadm display"でブートデバイスの各構成パスを調べます。

Controller, Device Address を確認します。



Vendor: FUJITSU

Product ID: E3000

Revision: 0000

Serial Num: A70042



Read Cache: Enabled

59




Path(s):

/dev/rdsk/c3t600E000000A800000007004200000000d0s2

/devices/scsi_vhci/ssd@g600e000000a800000007004200000000:c,raw




Class primary

State ONLINE




Class primary

State ONLINE

ZFS ファイルシステムによる SAN Boot 環境の場合

ここでは ZFS ファイルシステムによる SAN Boot 環境を rpool とした場合を例に説明します。

(1) ブートデバイスを、"df -k"で確認します。

# /usr/bin/df -k <RETURN>


rpool/rootfs/s10_1008

46190592 5060923 36868368 13% /


ctfs 0 0 0 0% /system/contract

proc 0 0 0 0% /proc

mnttab 0 0 0 0% /etc/mnttab

swap 4457488 464 4457024 1% /etc/svc/volatile

objfs 0 0 0 0% /system/object

sharefs 0 0 0 0% /etc/dfs/sharetab

fd 0 0 0 0% /dev/fd

swap 4457056 32 4457024 1% /tmp

swap 4457064 40 4457024 1% /var/run

rpool 46190592 23 36868368 1% /rpool

rpool/rootfs 46190592 21 36868368 1% /rpool/rootfs

(2) (1)で確認したブートデバイスのプール名を確認し、zpool status で表示されたプール名に対するデバイスを確

認します。

# zpool status <RETURN>

プール: rpool

状態: ONLINE

スクラブ: 何も要求されませんでした

構成:

NAME STATE READ WRITE CKSUM

rpool ONLINE 0 0 0

c3t600E000000A800000007004200000000d0s0 ONLINE 0 0 0

エラー: 既知のデータエラーはありません

(3) (2)で確認したデバイスを元に、"luxadm display"でブートデバイスの各構成パスを調べます。

Controller, Device Address を確認します。



Vendor: FUJITSU

Product ID: E3000

Revision: 0000

Serial Num: A70042


60


Read Cache: Enabled




Path(s):

/dev/rdsk/c3t600E000000A800000007004200000000d0s2

/devices/scsi_vhci/ssd@g600e000000a800000007004200000000:c,raw




Class primary

State ONLINE




Class primary

State ONLINE

7. 装置を停止し、OBP 環境を reset します。



8. ブートデバイスの設定を行います。

OBP 上でブートディスクへの冗長パスすべてに対してブートデバイスの設定を行います。6.で調べた各構成パス

の Controller のうち、先頭の "devices"を削除した残りの部分を抜き出します。そこに"/disk@w"を設定し、その後

に 6.で調べた Device Address を設定します。

ok nvalias raid1 /pci@4,600000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101d9,0 <RETURN>

ok nvalias raid2 /pci@5,700000/QLGC,qlc@0/fp@0,0/disk@w210000e0004101da,0 <RETURN>

ok setenv boot-device raid1 raid2 <RETURN>

9. サーバ本体装置のサービスモードを解除します。

○ SPARC M12-1/M12-2/M12-2S、SPARC M10-1/M10-4/M10-4S、SPARC T3-1/T3-2/T3-4/T4-1/T4-2/T4-4 および

SPARC Enterprise T5120/T5140/T5220/T5240/T5440 の場合

以下のコマンドを実行します。

ok setenv auto-boot? true <RETURN>

○ SPARC Enterprise M3000/M4000/M5000/M8000/M9000 の場合

サーバ本体のモードスイッチを Locked にします。

10. ホストを起動します。

ok boot <RETURN>

ETERNUS のモデルによって環境設定(max throttle の設定)が異なりますので、各モデルの「ETERNUS ディスクア

レイファイバーチャネル接続手順書」を参照して、環境設定を行ってください。

4.2.2.2 ETERNUSマルチパスドライバの設定

ETERNUS マルチパスドライバを使用し、ブートデバイスへのパスを冗長化する手順を示します。

システムボリュームのファイルシステムにより手順が異なります。

4.2.2.2.1 Solaris 10 UFS ファイルシステムの場合

ここでは、Solaris 10 UFS ファイルシステムの場合の手順を示します。

1. ストレージシステムを指定してブートし、ETERNUS マルチパスドライバのインストールを行います。

61

シングルシステム(非クラスタシステム)の場合

ストレージシステム上のブートディスクからホストを起動し、「ソフトウェア説明書 FUJITSU Storage ETERNUS

Multipath Driver 3.1」を参照して ETERNUS マルチパスドライバのインストールを行ってください。また、インス

トール完了後の以下の問い合わせに対して"y"を入力してください。自動的に grmpdautoconf コマンドが実行され、

マルチパスを構築します。

Do you want to make a multipath configuration now ?

すでにETERNUSマルチパスドライバのパッケージがインストールされている場合は、grmpdautoconfを実行して、


# /usr/sbin/grmpdautoconf <RETURN>

クラスタシステムの場合



トール完了後の以下の問い合わせに対して"n"を入力してください。


(1) mplbconfig コマンドを実行します。

# /usr/sbin/mplbconfig -o /tmp/mplb-file1 <RETURN>

*** Phase 1: checking /dev/rdsk ***

*** Phase 2: checking multi path ***

*** Phase 3: analyzing path ***

=== Reconfigure plan ===

Multi path : 0

Create new multi path : 11

Add path for multi path : 0 (instance) : 0 (add path)

Delete path from multi path : 0 (instance) : 0 (delete path)

(2) ブートディスク以外の行を削除します。vi エディタ等で /tmp/mplb-file1 を編集し、ブートディスクとして使

用するパス以外を削除します。

このとき、マルチパスのインスタンス番号は、クラスタを構成する各ノード間で重複しない番号にする必要

があります。インスタンス番号(mplbX の X)は、0～2047 の範囲で他のノードと重複しない番号に変更してく

ださい。

*** mplb config file ***

Path : Action : Element path : LUN : Storage

mplb0 : new : c1t500000E0D00AD706d0s2 c2t500000E0D00AD787d0s2 : 0 : E3000- 000AD7

(3) 編集したファイルを反映させ、システムボリュームをマルチパス化します。

# /usr/sbin/mplbconfig -f /tmp/mplb-file1 <RETURN>




*** Phase 3.1: updata plan ***



Multi path : 0




Do you want to execute this plan (y/n)?

y <RETURN>

*** Phase 4: reconfigure ***

*** Phase 5: result is SUCCESS ***

全てのノードで(1)～(3)を実行します。

62

以降の手順は全ノードで行います。

ただし、mplb インスタンス番号はそれぞれのノード毎に指定したインスタンス番号を使用してください。

2. マルチパスが構築されていることを確認します。

1 つのパスでステータスが"offline fail unblock "no such device or address"と出力されます。また/var/adm/messages

に以下のメッセージが出力されますが、無視して次の手順に進んでください。

# /usr/opt/FJSViomp/bin/iompadm info <RETURN>

IOMP: /dev/FJSVmplb/fiomp/adm0

Element:

/dev/rdsk/c1t500000E0D00AD706d0s2 offline fail unblock "no such device or address [E3000-

000AD7-CM10-CA10-PORT00] (ssd3)"

/dev/rdsk/c2t500000E0D00AD787d0s2 online active block "good status [E3000-


Node:

/dev/FJSVmplb/rdsk/mplb0s0








Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false


Element:

/dev/rdsk/c1t500000E0D00AD706d1s2 online active block "good status

[E3000- 000AD7-CM10-CA10-PORT00] (ssd2)"

/dev/rdsk/c2t500000E0D00AD787d1s2 online standby block "good status

[E3000- 000AD7-CM11-CA11-PORT03] (ssd4)"

Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false

#

[メッセージ]

mplb: [ID 961213 kern.notice] NOTICE: mplb0: I/O Lun degraded.

/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,0:c,raw

remaining online path number of this lun =1

mplb: [ID 827990 kern.warning] WARNING:


this path was unrecognizable. -> (E3000- 000AD7-10-10-00)

3. デバイスパス名を調べます。

63

ブートデバイスのデバイスパス名を調べます。1.の grmpdautoconf コマンドまたは mplbconfig コマンドにおいて、

マルチパス管理用特殊ファイルと、選択したアクセス用特殊ファイルの組み合わせを表示します。ls コマンドを

使用し、この出力からブートディスクと、各構成パスの物理デバイスパス名を確認します。確認した物理デバイ

スパス名は、後述の 6. と 7.の設定で使用します。

# ls -l <ブートディスクのスライス 0 > <RETURN>

# ls -l <各構成パスのスライス 0 > <RETURN>

grmpdautoconf または mplbconfig の出力内容が以下の場合を例にします。







この場合、ブートディスクと、それを構成する各パスは以下になります。

ブートディスクのスライス 0 /dev/FJSVmplb/rdsk/mplb0s0

構成パスのスライス 0 /dev/rdsk/c1t500000E0D00AD706d0s0

/dev/rdsk/c2t500000E0D00AD787d0s0

ls コマンドを使用し、デバイスパス名を調べます。

# ls -l /dev/FJSVmplb/rdsk/mplb0s0 <RETURN>

lrwxrwxrwx 1 root root 36 Mar 13 12:57 /dev/FJSVmplb/rdsk/mplb0s0

-> ../../../devices/pseudo/mplb@0:a,raw

# ls -l /dev/dsk/c1t500000E0D00AD706d0s0 <RETURN>

lrwxrwxrwx 1 root root 82 Mar 13 12:03 /dev/dsk/c1t500000E0D00AD706d0s0

-> ../../devices/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,0:a



-> ../../devices/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/ssd@w500000e0d00ad787,0:a

4. conf ファイルの設定を行います。

排他オープン解除のため、/kernel/drv/mplb.conf を編集します。

「# Global user option define」の下に"mplb-open-lock=0;"を追加します。

# vi /kernel/drv/mplb.conf <RETURN>

#

# Copyright (c) 2013 by Fujitsu, Ltd.

# All rights reserved.

#

#ident "@(#)mplb.conf 1.0 2013/12/24"

#

# Global define

ddi-forceattach=1;

ddi-no-autodetach=1;

# Global user option define

mplb-open-lock=0;

# Meta control device

name="mplb" parent="pseudo" instance=4095;

64

name="mplb" parent="pseudo" instance=0

iomp-name="mplb0" iomp-real-name="/pseudo/mplb@0:adm"

iomp-path-0="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,0:c,raw"

iomp-path-1="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/ssd@w500000e0d00ad787,0:c,raw"

iomp-user-path="/dev/FJSVmplb/rdsk/mplb0s2"

iomp-logical-path-0="/dev/rdsk/c1t500000E0D00AD706d0s2"

iomp-logical-path-1="/dev/rdsk/c2t500000E0D00AD787d0s2" iomp-path-num=2

mplb-major-minor-number-0=118,26 mplb-major-minor-number-1=118,42

mplb-disk-controller-name-0="E3000- 000AD7-10-10-00"


mplb-uniq-id="600000E00D00000000000AD7008D0000";

name="mplb" parent="pseudo" instance=1

iomp-name="mplb1" iomp-real-name="/pseudo/mplb@1:adm"

iomp-path-0="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,1:c,raw"

iomp-path-1="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/ssd@w500000e0d00ad787,1:c,raw"

iomp-user-path="/dev/FJSVmplb/rdsk/mplb1s2"

iomp-logical-path-0="/dev/rdsk/c1t500000E0D00AD706d1s2"

iomp-logical-path-1="/dev/rdsk/c2t500000E0D00AD787d1s2" iomp-path-num=2

mplb-major-minor-number-0=118,18 mplb-major-minor-number-1=118,34



mplb-uniq-id="600000E00D00000000000AD7009E0000";

5. サーバを再起動します。

再起動時に以下のメッセージが出力される場合がありますが、無視して次の手順に進んでください。


[メッセージ]

NOTICE: mplb0: I/O Lun degraded.



WARNING: /pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,0:c,raw


6. ETERNUS マルチパスの設定を行います。

(1) システム上の設定をマルチパス化に沿うように修正します。

a. ルートデバイスの設定(/etc/system)

/etc/system ファイルを編集し、rootdev を最終行に設定します。

rootdev の設定では、3.で調べたブートディスクの物理デバイス名のうち、先頭の"../../devices" と末尾の

",raw" を削除した残りの部分を設定します。

例: mplb0 をシステムボリュームにした場合

rootdev: /pseudo/mplb@0:a

b. マウント情報の設定(/etc/vfstab)

/etc/vfstab ファイルを編集し、各エントリについてマルチパス化後のパス名に書き換えます。

/dev/FJSVmplb/dsk/mplb0s0 /dev/FJSVmplb/rdsk/mplb0s0 / ufs 1 no -

/dev/FJSVmplb/dsk/mplb0s1 - - swap - no -

(2) ダンプデバイスを確認します。

# dumpadm <RETURN>

Dump content: kernel pages

Dump device: /dev/dsk/c1t500000E0D00AD706d0s1 (swap)

65

Savecore directory: /var/crash/m3000

Savecore enabled: yes

Save compressed: on

(3) ダンプデバイスを設定します。

# dumpadm -d /dev/FJSVmplb/dsk/mplb0s1 <RETURN>

(4) ダンプデバイスの確認を行います。

ダンプデバイスが ETERNUS マルチパスのパスになっていることを確認してください。

# dumpadm <RETURN>


3. で調べた各構成パスの物理デバイス名のうち、先頭の"../../devices" を削除した残りの部分を抜き出し、かつ"ssd"

を"disk"に置き換えたものを設定します。

# eeprom boot-device="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/disk@w500000e0d00ad706,0:a

/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/disk@w500000e0d00ad787,0:a" <RETURN>

8. /etc/system ファイルを編集し、forceload の設定を行います。

各ドライバに対する forceload に関する設定が/etc/system ファイルに存在する場合には、追加設定を行う必要はあ

りません。

forceload: drv/emlxs

forceload: drv/qlc

forceload: drv/ssd

forceload: drv/fp

forceload: drv/mplb

9. システムを再起動します。


10. マウントされているパスを確認します。

# /usr/bin/df <RETURN>

/ (/dev/FJSVmplb/dsk/mplb0s0): 3588720 blocks 675848 files

/devices (/devices ): 0 blocks 0 files

/system/contract (ctfs ): 0 blocks 2147483605 files

/proc (proc ): 0 blocks 29942 files

/etc/mnttab (mnttab ): 0 blocks 0 files

/etc/svc/volatile (swap ):56747120 blocks 4746377 files

/system/object (objfs ): 0 blocks 2147483449 files

/etc/dfs/sharetab (sharefs ): 0 blocks 2147483646 files

/dev/fd (fd ): 0 blocks 0 files

/tmp (swap ):56747120 blocks 4746377 files

/var/run (swap ):56747120 blocks 4746377 files

/export/home (/dev/FJSVmplb/dsk/mplb0s7):16442328 blocks 990076 files

11. マルチパスの確認を行います。

全てのパスが online、good status となっていることを確認します。



Element:


[E3000- 000AD7-CM10-CA10-PORT00] (ssd3)"


66

[E3000- 000AD7-CM11-CA11-PORT03] (ssd5)"

Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false


Element:


[E3000- 000AD7-CM10-CA10-PORT00] (ssd2)"


[E3000- 000AD7-CM11-CA11-PORT03] (ssd4)"

Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false

#

12. クラスタの自動リソース登録を行います。

クラスタシステムの場合、ブートディスク以外は自動リソース登録でマルチパスを構築します。

67

4.2.2.2.2 Solaris 10 ZFS ファイルシステム、Solaris 11 ZFSファイルシステムの場合

ここでは、Solaris 10 ZFS ファイルシステム、Solaris 11 ZFS ファイルシステムの場合の手順を示します。

ブートディスク(LUN0)と同じ容量のディスク(LUN1)をマッピングしておきます。

Solaris 10、Solaris 11.3 以前の OS の場合は、2. から実施してください。

Solaris 11.4 の初期インストールを行い、sd ドライバがターゲットドライバの場合は、1. の設定を行ってください。

1. マルチパスドライバのインストールを行う前に下記の手順を実施します。

(1) ブートディスク(LUN0)と同じ容量のディスク(LUN1)のディスクスライスの設定をします。

スライス 0 に全てのディスク領域を割り当てます。

(2) sd から ssd へ変更します。

/etc/devices/inception_points ファイルを編集します。

scsa-no-binding-set-fcp、scsa-no-binding-set-vhci、swapgeneric-ssd-loads-sd の行をコメントにします。

読み取り専用ファイルのため、"w!"で保存してください。

# vi /etc/devices/inception_points <RETURN>

#


#

#

# Customers should not modify this file unless explicitedly directed to do so.

#

# Each non-comment line of the file defines one 'inception_point' keyword.

#

# Each 'inception_point' keyword is associated with a new, but incompatible,

# method of doing something. Typically, a new post-inception_point method is

# established via install: upgrade operation continues in legacy

# pre-inception_point mode. If a keyword is established by other means, expect

# some type of incompatible, and possibly destructive, change on reboot.

#

# An API is provided to determine if the system is running in pre or post

# inception_point keyword mode. The code associated with testing a keyword

# looks something like

#

# if (ddi_inception_point_established("keyword")) {

# post-inception_point implementation

# } else {

# legacy pre-inception_point implementation

# }

#

# By tracking when inception points are introduced into this file, relative

# to associated environment at the time of that introduction, future Solaris

# developers can recognize opportunities to remove pre-inception_point code

# and delete the inception-point definition. This opportunities will often

# relate to platform EOL.

#

# In summary, the 'inception_point' mechanism gives us a way of both

# introducing incompatible change, and (eventually) retiring legacy code.

#

# inception_point keyword descriptions and definitions follow:

# scsa-no-binding-set-fcp/scsa-no-binding-set-vhci:

# When these inception point keywords are established the

#

# scsi_hba.c:scsi_hba_nodename_compatible_get()

#

# code no longer needs to create an fcp or vhci binding-set specific

# /usr/sbin/format /dev/rdsk/c0t6000B5D0006A0000006A0753000A0000d1s0 <RETURN>

68

# compatible form. One result of not having this form is that a "disk@"

# generic node-names will be created for SPARC FC/leadville /devices

# paths instead of "ssd@" names. This is particularly important for MPxIO,

# where the vHCI and all pHCIs need to agree on a node-name.

#scsa-no-binding-set-fcp

#scsa-no-binding-set-vhci

# scsa-binding-set-fcp-0x<dtype>/scsa-binding-set-vhci-0x<dtype>

# For many dtype values, like 00/'disk', switching driver binding and

# node-name via scsa-no-binding-set-fcp/scsa-no-binding-set-vhci

# does not cause an incompatible change. This is because the associated

# devfsadm(1M) link generator code produces the same result either way.

# For other dtype values, like 01/'tape' and 0d/'enclosure', the link

# generator code will produce an incompatible new public /dev name when

# the node-name@ changes.

#

# To limit incompatible change, we use an inception-point keyword that

# includes <dtype> that forces generation of binding-set compatible forms

# even when scsa-no-binding-set-fcp/scsa-no-binding-set-vhci are defined.

scsa-binding-set-fcp-0x01

scsa-binding-set-vhci-0x01

scsa-binding-set-fcp-0x0d

scsa-binding-set-vhci-0x0d

#

# swapgeneric-ssd-loads-sd:

#

# When this inception_point keyword is established, a swapgeneric.c code load

# of the "ssd" driver (based on OBP stub/wildcard node) will load the "sd"

# driver too. This inception-point keyword is related to

#

# scsa-no-binding-set-fcp/scsa-no-binding-set-vhci:

#

# above, but may have a different sunset.

#swapgeneric-ssd-loads-sd

# vhci-sym-fops-tag-<identifying-tag>

# Drives to be enumerated by "f_sym" fail-over module under scsi_vhci(7D)

# may have new identifying-tag, To be compatible with older releases, we

# need this feature tag to conditionally enumerate the drives only on new

# installations.

vhci-sym-fops-tag-ORA

# NOTE: Add new inception points here ...

(3) MPxIO の無効化を行います。

最後のリブートの問い合わせで"y"を入力し、サーバをリブートしてください。

# stmsboot -d -D fp <RETURN>

WARNING: This operation will require a reboot.

Do you want to continue ? [y/n] (default: y) y <RETURN>

The changes will come into effect after rebooting the system.

Reboot the system now ? [y/n] (default: y) y <RETURN>

69

2. ストレージシステムを指定してブートし、ETERNUS マルチパスドライバのインストールを行います。

シングルシステム(非クラスタシステム)の場合



トール完了後の以下の問い合わせに対して"y"を入力してください。自動的に grmpdautoconf コマンドが実行され、



すでにETERNUSマルチパスドライバのパッケージがインストールされている場合は、grmpdautoconfを実行して、


# /usr/sbin/grmpdautoconf <RETURN>

クラスタシステムの場合



トール完了後の以下の問い合わせに対して"n"を入力してください。


(1) mplbconfig コマンドを実行します。

# /usr/sbin/mplbconfig -o /tmp/mplb-file1 <RETURN>





Multi path : 0




(2) ブートディスク(LUN0)と同じ容量のディスク(LUN1)以外の行を削除します。

vi エディタ等で/tmp/mplb-file1 を編集し、ブートディスク(LUN0)と同じ容量のディスク(LUN1)として使用す

るパス以外を削除します。

このとき、マルチパスのインスタンス番号は、クラスタを構成する各ノード間で重複しない番号にする必要

があります。インスタンス番号(mplbX の X)は、0～2047 の範囲で他のノードと重複しない番号に変更してく

ださい。





(3) 編集したファイルを反映させ、システムボリュームをマルチパス化します。

# /usr/sbin/mplbconfig -f /tmp/mplb-file1 <RETURN>




*** Phase 3.1: updata plan ***




Multi path : 0




Do you want to execute this plan (y/n)?

y <RETURN>

70

*** Phase 4: reconfigure ***

*** Phase 5: result is SUCCESS ***

全てのノードで(1)～(3)を実行します。

以降の手順は全ノードで行います。

ただし、mplb インスタンス番号はそれぞれのノード毎に指定したインスタンス番号を使用してください。

注) Solaris 11.4 の場合、必ず以下を実施してください。

以下のコマンドでマルチパスドライバのサービス状態を確認します。

# svcs -a|grep fjsvmplb <RETURN>

以下のように表示された場合は、問題ありません。

online xx:xx:xx svc:/system/fjsvmplb:default

以下のように表示された場合は、【対処】の操作を行ってください。

disabled xx:xx:xx svc:/system/fjsvmplb:default

【対処】

マルチパスドライバのサービスを online にします。

# svcadm enable svc:/system/fjsvmplb:default <RETURN>

以下のコマンドで online になっていることを確認してください。

# svcs -a|grep fjsvmplb <RETURN>

online xx:xx:xx svc:/system/fjsvmplb:default

3. マルチパスが構築されていることを確認します。

1 つのパスでステータスが"offline fail unblock "no such device or address"と出力されます。また/var/adm/messages

に以下のメッセージが出力されますが、無視して次の手順に進んでください。



Element:





Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false


Element:


[E3000- 000AD7-CM10-CA10-PORT00] (ssd2)"


[E3000- 000AD7-CM11-CA11-PORT03] (ssd4)"

Node:





71





Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false

#

[メッセージ]

mplb: [ID 961213 kern.notice] NOTICE: mplb0: I/O Lun degraded.



mplb: [ID 827990 kern.warning] WARNING:



4. デバイスパス名を調べます。

ディスク(LUN1)のデバイスパス名を調べます。2.の grmpdautoconf コマンドまたは mplbconfig コマンドにおいて、

マルチパス管理用特殊ファイルと、選択したアクセス用特殊ファイルの組み合わせを表示します。ls コマンドを

使用し、この出力から各構成パスの物理デバイスパス名を確認します。確認した物理デバイスパス名は、後述の

8.の設定で使用します。

# ls -l <ディスク(LUN1)の各構成パスのスライス 2 > <RETURN>

grmpdautoconf または mplbconfig の出力内容が以下の場合を例にします。







この場合、ディスク(LUN1)を構成する各パスは以下になります。

ディスク(LUN1)の構成パス /dev/rdsk/c1t500000E0D00AD706d1s2

/dev/rdsk/c2t500000E0D00AD787d1s2

ls コマンドを使用し、デバイスパス名を調べます。



-> ../../devices/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,1:c



-> ../../devices/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/ssd@w500000e0d00ad787,1:c

5. conf ファイルの設定を行います。

(1) メッセージ抑止の設定を行うため、ストレージシステムの Vendor-ID、Product-ID を調べます。

例: ETERNUS 6000 を使用している場合

# /usr/sbin/format /dev/FJSVmplb/rdsk/* <RETURN>

72



0. /dev/FJSVmplb/rdsk/mplb0s0 <FUJITSU-E6000-0000 cyl 4254 alt 2 hd 64 sec 256>

/pseudo/mplb@0

1. /dev/FJSVmplb/rdsk/mplb1s0 <FUJITSU-E6000-0000 cyl 4254 alt 2 hd 64 sec 256>

/pseudo/mplb@1

Specify disk (enter its number): 0 <RETURN>

selecting /dev/FJSVmplb/rdsk/mplb0s0

[disk formatted]

FORMAT MENU:












save - save new disk/partition definitions

inquiry - show vendor, product and revision



quit

format> inquiry <RETURN>

Vendor: FUJITSU

Product: E6000

format>

(2) (1)で採取した Vendor-ID、Product-ID を ssd.conf に定義します。


# vi /kernel/drv/ssd.conf <RETURN>

#



#

#ident "@(#)ssd.conf 1.15 09/04/15 SMI"

name="ssd" parent="sf" target=0;

name="ssd" parent="fp" target=0;

#

# The following stub node is needed for pathological bottom-up

# devid resolution on a self-identifying transport.

#

name="ssd" class="scsi-self-identifying";

ssd-config-list="FUJITSU E6000 ","disksort:false, cache-nonvolatile:true";

※ ssd-config-list の設定は、Vendor-ID (VID)文字列が 8 文字にパディングされ、Product-ID (PID)文字列が

16 文字にパディングされていることを確認してください。

"012345670123456789012345"

# ssd-config-list="|-V ID- - ||-----PID------ | ","disksort:false, cache-nonvolatile:true";

disksort:false … disksort を無効にします

cache-nonvolatile:true …書き込みキャッシュフラッシュを無効にします


# vi /etc/driver/drv/ssd.conf <RETURN>

#

73


#

name="ssd" parent="sf" target=0;

name="ssd" parent="fp" target=0;

#

# The following stub node is needed for pathological bottom-up

# devid resolution on a self-identifying transport.

#

name="ssd" class="scsi-self-identifying";

#

# Associate the driver with devid resolution.

#

ddi-devid-registrant=1;

ssd-config-list="FUJITSU E6000 ","disksort:false, cache-nonvolatile:true";

※ ssd-config-list の設定は、Vendor-ID (VID)文字列が 8 文字にパディングされ、Product-ID (PID)文字列が

16 文字にパディングされていることを確認してください。

"012345670123456789012345"

# ssd-config-list="|-V ID- - ||-----PID------ | ","disksort:false, cache-nonvolatile:true";

disksort:false … disksort を無効にします

cache-nonvolatile:true … 書き込みキャッシュフラッシュを無効にします

/etc/driver/drv 配下に ssd.conf がない場合は、以下の手順で/etc/driver/drv 配下に ssd.conf を配置してくださ

い。

# cp -p /kernel/drv/ssd.conf /etc/driver/drv/ssd.conf <RETURN>

6. サーバを再起動します。

再起動時に以下のメッセージが出力される場合がありますが、無視して次の手順に進んでください。


[メッセージ]




WARNING: /pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/ssd@w500000e0d00ad706,0:c,raw


7. ETERNUS マルチパスの設定を行います。

(1) ブートディスク(LUN0)と同じ容量のディスク(LUN1)のディスクスライスの設定をします。

スライス 0 に全てのディスク領域を割り当てます。

Solaris 11.4 の場合は設定済みのため、次の手順に進んでください。

# /usr/sbin/format /dev/FJSVmplb/rdsk/mplb1s0 <RETURN>

(2) ルートプールの確認をします。


pool: rpool

state: ONLINE

scan: resilvered 7.09G in 0h3m with 0 errors on Fri Mar 14 11:19:59 2014

config:


rpool ONLINE 0 0 0

c1t500000E0D00AD706d0s0 ONLINE 0 0 0

74

errors: No known data errors

(3) ディスク(LUN1)のボリュームを ZFS ルートプールに接続します。

# zpool attach rpool /dev/dsk/c1t500000E0D00AD706d0s0 /dev/FJSVmplb/dsk/mplb1s0 <RETURN>

(4) ルートプールの確認をします。

次のメッセージが表示される場合は、処理中です。

しばらく待ってから再度実行し、メッセージが表示されないことを確認してから次の手順に進んでください。

－ Wait for the resilver to complete.

－ XXXM resilvered, X.X% done


例：処理完了時


pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0

mirror-0 ONLINE 0 0 0

c1t500000E0D00AD706d0s0 ONLINE 0 0 0

/dev/FJSVmplb/dsk/mplb1s0 ONLINE 0 0 0 (resilvering)


例：処理中


pool: rpool

state: ONLINE

status: One or more devices is currently being resilvered. The pool will

continue to function, possibly in a degraded state.

action: Wait for the resilver to complete.

scan: resilver in progress since Fri Mar 14 11:55:03 2014

423M scanned out of 7.08G at 47.0M/s, 0h2m to go


419M resilvered, 5.83% done

config:


rpool ONLINE 0 0 0


c1t500000E0D00AD706d0s0 ONLINE 0 0 0

/dev/FJSVmplb/dsk/mplb1s0 ONLINE 0 0 0 (resilvering)





pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0

75


c1t500000E0D00AD706d0s0 ONLINE 0 0 0

/dev/FJSVmplb/dsk/mplb1s0 ONLINE 0 0 0


例：処理中


pool: rpool

state: DEGRADED


continue to function in a degraded state.


Run 'zpool status -v' to see device specific details.



679M resilvered, 5.12% done

config:


rpool DEGRADED 0 0 0

mirror-0 DEGRADED 0 0 0

c1t500000E0D00AD706d0s0 ONLINE 0 0 0

/dev/FJSVmplb/dsk/mplb1s0 DEGRADED 0 0 0 (resilvering)


(5) ルートプールからブートディスクを切り離します。

# zpool detach rpool /dev/dsk/c1t500000E0D00AD706d0s0 <RETURN>

切り離したディスクは運用中には使用しませんので、削除することも可能です。ただし、削除した場合は、マ

ルチパスを解除する場合に再度用意していただく必要があります。削除方法は、「FUJITSU Storage ETERNUS

Multipath Driver 3.1 ユーザーズガイド（Oracle Solaris 版）」の 4.3 論理ユニット（LU）の減設方法を参照して

ください。

(6) ルートプールを確認します。

マルチパス化されたパスになっていることを確認します。


pool: rpool

state: ONLINE

scan: resilvered 10.9G in 0h14m with 0 errors on Tue Mar 11 17:12:44 2014

config:


rpool ONLINE 0 0 0




4. で調べた各構成パスの物理デバイス名のうち、先頭の"../../devices" を削除した残りの部分を抜き出し、かつ"ssd"

を"disk"に置き換え、末尾の":c"を削除したものを設定します。

# eeprom boot-device="/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/disk@w500000e0d00ad706,1

/pci@1,700000/pci@0/pci@0/QLGC,qlc@0,1/fp@0,0/disk@w500000e0d00ad787,1" <RETURN>

9. /etc/system ファイルを編集し、forceload の設定を行います。

76

各ドライバに対する forceload に関する設定が/etc/system ファイルに存在する場合には、追加設定を行う必要はあ

りません。

forceload: drv/emlxs

forceload: drv/qlc

forceload: drv/ssd

forceload: drv/fp

forceload: drv/mplb



11. ルートプールを確認します。

ETERNUS マルチパス化されたパスになっていることを確認します。


pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0





/ (rpool/ROOT/solaris): 6455747 blocks 6455747 files


/dev (/dev ): 0 blocks 0 files




/system/volatile (swap ):30683920 blocks 2321851 files




/var (rpool/ROOT/solaris/var): 6455747 blocks 6455747 files


/var/share (rpool/VARSHARE ): 6455747 blocks 6455747 files

/export (rpool/export ): 6455747 blocks 6455747 files

/export/home (rpool/export/home ): 6455747 blocks 6455747 files

/rpool (rpool ): 6455747 blocks 6455747 files

13. マルチパスの確認を行います。

全てのパスが online、good status となっていることを確認します。



Element:


[E3000- 000AD7-CM10-CA10-PORT00] (ssd3)"


[E3000- 000AD7-CM11-CA11-PORT03] (ssd5)"

Node:






77




Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false


Element:


[E3000- 000AD7-CM10-CA10-PORT00] (ssd2)"


[E3000- 000AD7-CM11-CA11-PORT03] (ssd4)"

Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false

#

7.の(5)の後、切り離したディスクを削除した場合は、mplb0 は表示されません。

14. クラスタの自動リソース登録を行います。

クラスタシステムの場合、ブートディスク以外は自動リソース登録でマルチパスを構築します。

78

4.3 ブートディスクのミラーリング

ここでは、マルチパス化されたブートディスクからブートした状態で、他のマルチパス化されたディスクとミラーリ

ングする手順を示します。

4.3.1 PRIMECLUSTER GD および PRIMECLUSTER GDS によるミラーリング

1. 上記図のとおり、FC スイッチまたは FCoE スイッチでゾーニングが行われていることを確認します。

2. OBP 環境にて、ミラー先ストレージシステムへのファイバーチャネルカードまたは FCoE カードの接続設定が

正しく行われていることを確認します。

ok select /pci@4,600000/QLGC,qlc@0 <RETURN>

ok show-children <RETURN>

Device PortID 10100 WWPN 210000e0004101d9

LUN 0 Disk FUJITSU E3000 0000

Device PortID 10600 WWPN 210000e0004101da

LUN 0 Disk FUJITSU E3000 0000

3. OS をブートし、ミラー先ストレージシステムへのファイバーチャネルドライバまたは Leadville ドライバの接

続設定が正しく行われていることを確認します。

# /usr/sbin/luxadm display /dev/rdsk/c1t210000E0004101D9d0s2 <RETURN>

DEVICE PROPERTIES for disk: /dev/rdsk/c1t210000E0004101D9d0s2

Vendor: FUJITSU

Product ID: E3000

Revision: 0000

Serial Num: A70042



Read Cache: Enabled




Path(s):

/dev/rdsk/c1t210000E0004101D9d0s2

79

/devices/pci@4,600000/QLGC,qlc@0/fp@0,0/ssd@w210000e0004101d9,0:c,raw

LUN path port WWN: 210000e0004101d9

Host controller port WWN: 2100001b3213644a

Path status: O.K.

4. ミラー先のストレージシステムのマルチパスドライバの設定を行っていない場合は、ここで設定を行います。

Solaris OS 標準機能マルチパスドライバ(MPxIO)を使用する場合は stmsboot コマンドを使用して、ETERNUS

マルチパスドライバを使用する場合は「FUJITSU Storage ETERNUS Multipath Driver X.X ユーザーズガイド」

を参照して、マルチパスドライバの設定を行い、ミラー先のストレージシステム（ETERNUS 2）にマルチパ

ス化されたディスクを作成してください。

5. PRIMECLUSTER GD および PRIMECLUSTER GDS のマニュアルを参照しインストールを行ってください。

6. 「PRIMECLUSTER Global Disk Services 説明書」を参照して、ミラー元とミラー先のディスクをミラーリング

してください。

7. PRIMECLUSTER GD Snapshot および PRIMECLUSTER GDS Snapshot を使用してシステムボリュームのスナッ

プショットを作成する場合は、スナップショット用のディスクについてもミラー先のディスクと同様に 1.～4.

の設定を行います。その後、「PRIMECLUSTER Global Disk Service 説明書」を参照して、スナップショットの

設定を行ってください。

4.3.2 PRIMECLUSTER 使用時の留意事項

4.3.2.1 クラスタシステムの構築手順

クラスタシステムの構築は、それぞれ以下の手順で行ってください。

80

4.3.2.2 ブートディスク故障時のクラスタ切り替えについて

ストレージシステム上のブートディスクを参照できなくなった場合、システム状況により、PRIMECLUSTER の異常検

出機能が動作できなくなることがあります。

ブートディスクを参照できないノードは動作が不定のため、以下の方法でノードをパニックさせてください。

[該当ノード以外のクラスタノードにログインできる場合]

sdtool コマンドを使用して、該当ノードを停止させてください。

# sdtool -k <該当ノード> <RETURN>

<参照>

sdtool コマンドの詳細については、sdtool のマニュアルページを参照してください。

[いずれのノードにもログインできない場合]

該当ノードをパニックさせてください。操作方法については、本体装置の取扱説明書を参照してください。

81

付録 A ブート失敗時の設定ファイルの修正手順 SAN Boot のための各種設定ファイル(/etc/system など)の記述に誤りがあった場合、ブートに失敗し OS が立ち上がらな

くなることがあります。本付録の手順に従い OS をシングルユーザーモードで起動し、ストレージシステム上のブート

ディスクをマウントすることで設定ファイルの修正を行うことができます。

OS の起動方法は、どのような方法でストレージシステム上のブートディスクへ OS をインストールしたかにより異な

ります。

● 「4.1.1 CD-ROM/DVD-ROM を用いて作成する方法」、「4.1.2 ネットワークインストールサーバを用いて作成す

る方法」にてインストールした場合

本章ではストレージシステム上のディスクデバイス c1t210000E0004101D9d0 に、Solaris がインストールされている場

合を例に、ZFS ファイルシステムによる SAN Boot 環境を rpool とした場合を例に説明します。

A.1 「4.1.1 CD-ROM/DVD-ROM を用いて作成する方法」、「4.1.2

ネットワークインストールサーバを用いて作成する方法」にてインストー

ルした場合

1. サーバ本体装置をサービスモードに変更し、サーバの再起動を行ってください。





SPARC Enterprise M3000/M4000/M5000/M8000/M9000 を使用している場合は、サーバ本体のモードスイッチを

サービスモードにし、以下のコマンドを実行します。


2. インストールした環境からブートします。

a) 「4.1.1 CD-ROM/DVD-ROM を用いて作成する方法」にてインストールした場合は、CD-ROM/DVD-ROM

からブートします。


シングルユーザーモードにて起動してください。

ok boot cdrom -s <RETURN>


CD-ROM/DVD-ROM から起動してください。キーボード種別と言語を選択したあと" Welcome to the Oracle

Solaris installation menu "にて" 3 Shell"を選択してください。


:

USB keyboard

1. Arabic 15. Korean

2. Belgian 16. Latin-American

3. Brazilian 17. Norwegian

4. Canadian-Bilingual 18. Portuguese

5. Canadian-French 19. Russian

6. Danish 20. Spanish

7. Dutch 21. Swedish

8. Dvorak 22. Swiss-French

9. Finnish 23. Swiss-German

10. French 24. Traditional-Chinese

11. German 25. TurkishQ

12. Italian 26. UK-English

13. Japanese-type6 27. US-English

14. Japanese

To select the keyboard layout, enter a number [default 27]: <RETURN>

82

1. Chinese - Simplified

2. Chinese - Traditional

3. English

4. French

5. German

6. Italian

7. Japanese

8. Korean

9. Portuguese - Brazil

10. Spanish

To select the language you wish to use, enter a number [default is 3]: <RETURN>

User selected: English

Configuring devices.

Hostname: solaris

Welcome to the Oracle Solaris installation menu

1 Install Oracle Solaris

2 Install Additional Drivers

3 Shell

4 Terminal type (currently xterm)

5 Reboot

Please enter a number [1]: 3 <RETURN>

To return to the main menu, exit the shell

#

b) 「4.1.2 ネットワークインストールサーバを用いて作成する方法」にてインストールした場合は、ネットワ

ークからブートします。シングルユーザーモードにて起動してください。


ok boot net -s <RETURN>


ok boot net:dhcp -s <RETURN>

3. ストレージシステム上のブートディスクをマウントします。

マウント対象のディスクは、「4.1.1 CD-ROM/DVD-ROMを用いて作成する方法」にてインストールした場合は、

" 4.1.1.3 CD-ROM/DVD-ROM インストールの実行"にて OS のインストール先に指定したデバイス、「4.1.2 ネッ

トワークインストールサーバを用いて作成する方法」にてインストールした場合は、"4.1.2.5 ネットワークイ

ンストールの実行"にて OS のインストール先に指定したデバイスにします。

● UFS ファイルシステムでインストールした場合

# mount -F ufs /dev/dsk/c1t210000E0004101D9d0s0 /mnt <RETURN>

● ZFS ファイルシステムでインストールした場合(Solaris10)

プールをインポートした際、エラーメッセージが表示される場合がありますが、無視して次の手順に進ん

でください。

# zpool import <RETURN>

プール: rpool

ID: 9153334525621735888

状態: ONLINE

アクション: プールの名前または数値識別子を使用してプールをインポートできます。

構成:

rpool ONLINE

c1t210000E0004101D9d0s0 ONLINE

# zpool import 9153334525621735888 <RETURN> zpool import で確認した ID を指定する。

# zfs list <RETURN>

NAME USED AVAIL REFER MOUNTPOINT

rpool 5.98G 92.5G 93K /rpool

rpool/ROOT 4.98G 92.5G 18K legacy

rpool/ROOT/s10_1008 4.98G 92.5G 4.98G /

rpool/dump 512M 92.5G 512M -

83

rpool/export 38K 92.5G 20K /export

rpool/export/home 18K 92.5G 18K /export/home

rpool/swap 512M 92.9G 88.0M -

# zfs set mountpoint=legacy rpool/ROOT/s10_1008 <RETURN>

# mount -F zfs rpool/ROOT/s10_1008 /mnt <RETURN>

● ZFS ファイルシステムでインストールした場合(Solaris11)

プールをインポートした際、エラーメッセージが表示される場合がありますが、無視して次の手順に進ん

でください。

# zpool import <RETURN>

プール: rpool

ID: 9153334525621735888

状態: ONLINE

アクション: プールの名前または数値識別子を使用してプールをインポートできます。

構成:

rpool ONLINE

c1t210000E0004101D9d0s0 ONLINE

# zpool import 9153334525621735888 <RETURN> zpool import で確認した ID を指定する。

# zfs list <RETURN>

NAME USED AVAIL REFER MOUNTPOINT

rpool 15.0G 51.5G 77.5K /rpool

rpool/ROOT 3.03G 51.5G 31K legacy

rpool/ROOT/solaris 3.03G 51.5G 2.51G /

rpool/ROOT/solaris/var 349M 51.5G 180M /var

rpool/VARSHARE 52K 51.5G 52K /var/share

rpool/dump 4.06G 51.6G 3.94G -

rpool/export 154M 51.5G 32K /export

rpool/export/home 154M 51.5G 154M /export/home

rpool/swap 2.06G 51.5G 2.00G -

# beadm list <RETURN>

be_find_current_be: failed to find current BE name

BE Active Mountpoint Space Policy Created

-- --------- ---------------- -------- ------ ------------

solaris R - 3.73G static 2013-10-03 07:32

# beadm mount solaris /mnt <RETURN>

4. /mnt ディレクトリ配下の設定ファイルを修正してください。

注 1）/etc/vfstab に問題があり変更する場合は、/mnt/etc/vfstab を修正してください。

5. Solaris 10 10/08 および、Solaris11 以降のシステムボリュームを使用している場合は、boot-archive を更新します。

Solaris 10 5/08 以前のシステムボリュームを使用している場合は、次の手順に進んでください。

# /mnt/sbin/bootadm update-archive -R /mnt <RETURN>

6. 変更が終了した場合には、次の手順でブートディスクをアンマウントし、OBP 環境に移行します。

● UFS ファイルシステムの場合

# cd / <RETURN>

# umount /mnt <RETURN>

● ZFS ファイルシステムの場合(Solaris 10)

マウントポイントをルートにした際、エラーメッセージが表示されますが、無視して次の手順に進んでく

ださい。

# cd / <RETURN>

# umount /mnt <RETURN>

# zfs set mountpoint=/ rpool/ROOT/s10_1008 <RETURN>

84

● ZFS ファイルシステムの場合(Solaris 11)

# cd / <RETURN>

# beadm umount solaris <RETURN>

7. 必要があればサーバ本体装置のサービスモードを解除します。




SPARC Enterprise M3000/M4000/M5000/M8000/M9000 を使用している場合は、サーバ本体のモードスイッチを

Locked にします。

8. 元の手順に戻りブート手順から再度実行します。

85

付録 B マルチパス解除手順

ブートディスクのマルチパスを解除する場合は、以下の手順で行ってください。

手順以外の方法での解除や、手順を間違えると boot できなくなる場合があります。

PRIMECLUSTER GD および PRIMECLUSTER GDS でミラーリングしている場合は、ミラーリングを解除してから、以

下の手順を実行してください。

B.1 Solaris 標準マルチパスドライバ(MPxIO)の場合

Solaris 標準マルチパスドライバ(MPxIO)の解除手順です。

"4.2.2 Solaris OS 標準機能マルチパスドライバ(MPxIO)の設定"の手順 5 で"すべてのファイバーチャネルパスまたは

FCoE パスに対するマルチパスを有効にする場合"の手順でマルチパスを有効にした場合は、"すべてのファイバーチャ

ネルパスまたは FCoE パスに対するマルチパスを無効にする場合"の手順でマルチパスを解除してください。"特定パス

のみマルチパスを有効にする場合"の手順でマルチパスを有効にした場合は、"特定パスのみマルチパスを無効にする

場合"の手順でマルチパスを解除してください。

すべてのファイバーチャネルパスまたは FCoE パスに対するマルチパスを無効にする場合

1. stmsboot コマンドを使用してすべてのファイバーチャネルパスまたは FCoE パスに対するマルチパスを無効に

します。

# /usr/sbin/stmsboot -D fp -d <RETURN>





※ コマンド実行後、システムをリブートするか確認があります。すべて yes と応答してください。

特定パスのみマルチパスを無効にする場合

1. 特定パス(HBA または CNA のポート)に対するマルチパスを無効にします。


# vi /kernel/drv/fp.conf <RETURN>

：

name="fp" parent="/pci@4,600000/QLGC,qlc@0" port=0 mpxio-disable="yes";




：



2. 特定パス(HBA または CNA のポート)に対するマルチパス設定状況を反映します。

# /usr/sbin/stmsboot -u <RETURN>





※ コマンド実行後、システムをリブートするか応答があります。すべて yes と応答してください。システム

リブート後、特定パスに対するマルチパスの有無が反映されます。

86

B.2 ETERNUS マルチパスドライバの場合

ETERNUS マルチパスドライバの解除手順です。

すべてのマルチパスを解除します。

1. ETERNUS マルチパスの設定を解除します。

Solaris 10 UFS ファイルシステムの場合


# dumpadm <RETURN>


Dump device: /dev/FJSVmplb/dsk/mplb0s1 (swap)



Save compressed: on

(2) ダンプデバイスを元のダンプデバイスに戻します。

# dumpadm -d /dev/dsk/c1t500000E0D00AD706d0s1 <RETURN>

元のダンプデバイスは iompadm コマンドで表示されるマルチパスを構成しているパスのいずれかになります。



Element:






# dumpadm <RETURN>


Dump device: /dev/dsk/c1t500000E0D00AD706d0s1 (dedicated)



Save compressed: on

(4) /etc/system を編集してルートデバイスの設定を削除します。

# vi /etc/system <RETURN>

例）以下を削除する

rootdev: /pseudo/mplb@0:a

(5) /etc/vfstab を編集してマウント先を元に戻します。

ETERNUS マルチパスで記載されている全てのパスを変更します。

/dev/FJSVmplb/dsk/mplb0s0 /dev/FJSVmplb/rdsk/mplb0s0 / ufs 1 no -

↓

/dev/dsk/c1t500000E0D00AD706d0s0 /dev/rdsk/c1t500000E0D00AD706d0s0 / ufs 1

no -

Solaris 10 ZFS ファイルシステム、Solaris 11 ZFS ファイルシステムの場合

(1) 元のブートディスク(LUN0)の情報を表示します。

元のブートディスクが mplb0 の場合の例）

# /usr/opt/FJSViomp/bin/iompadm info /dev/FJSVmplb/fiomp/adm0 <RETURN>


Element:


87

[E3000-000AD7-CM10-CA10-PORT00] (ssd3)"


[E3000-000AD7-CM11-CA11-PORT03] (ssd5)"

Node:









Function:

MPmode=true

AutoPath=true

Block=true

NeedSync=false

元のブートディスクを削除してしまっている場合は、ブートディスクと同じ容量のディスク(LUN)をマッピング

して、デバイスパスを作成しておきます。

(2) 元のブートディスク(LUN0)の mplb を解除します。

元のブートディスクが mplb0 の場合の例）

# /usr/opt/FJSViomp/bin/iompadm destroy /dev/FJSVmplb/fiomp/adm0 <RETURN>

(3) zpool を表示します。


pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0



(4) 元のブートディスク(LUN0)のボリュームを ZFS ルートプールに接続します。

# zpool attach rpool /dev/FJSVmplb/dsk/mplb1s0 /dev/dsk/c1t500000E0D00AD706d0s0 <RETURN>

(3)ZFS ルートプールのパス (1)のパス


ミラーリングが完了していることを確認してください。

次のメッセージが表示される場合は、処理中です。

しばらく待ってから再度実行し、メッセージが表示されないことを確認してから次の手順に進んでください。

－ Wait for the resilver to complete.

－ XXXM resilvered, X.X% done




pool: rpool

state: ONLINE


config:


88

rpool ONLINE 0 0 0



c1t500000E0D00AD706d0s0 ONLINE 0 0 0


例：処理中


pool: rpool

state: ONLINE


continue to function, possibly in a degraded state.



1.37G scanned out of 7.08G at 56.2M/s, 0h1m to go


1.37G resilvered, 19.35% done

config:


rpool ONLINE 0 0 0



c1t500000E0D00AD706d0s0 ONLINE 0 0 0 (resilvering)





pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0



c1t500000E0D00AD706d0s0 ONLINE 0 0 0


例：処理中


pool: rpool

state: DEGRADED


continue to function in a degraded state.


Run 'zpool status -v' to see device specific details.



3.46G resilvered, 26.70% done

config:


rpool DEGRADED 0 0 0

mirror-0 DEGRADED 0 0 0


c1t500000E0D00AD706d0s0 DEGRADED 0 0 0 (resilvering)

89


(6) ルートプールから移行元ディスク(LUN1)を切り離します。

# zpool detach rpool /dev/FJSVmplb/dsk/mplb1s0 <RETURN>



pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0

c1t500000E0D00AD706d0s0 ONLINE 0 0 0


2. ブートデバイスを元のブートデバイスに戻します。

# eeprom boot-device=/pci@1,700000/pci@0/pci@0/QLGC,qlc@0/fp@0,0/disk@w500000e0d00ad706,0:a <RETURN>



4. ETERNUS マルチパスドライバをアンインストールします。

「ソフトウェア説明書 FUJITSU Storage ETERNUS Multipath Driver 3.1」を参照して ETERNUS マルチパスドライ

バのアンインストールを行ってください。

ETERNUS マルチパスドライバをアンインストール後、Solaris 10 UFS ファイルシステム環境の場合は、6 に進ん

でください。

※ 必要に応じて FJSViomp を削除してください。

ESF をインストールしている場合は、ESF で FJSViomp を使用している場合があるため、FJSViomp が使用さ

れていないことを確認後削除してください。

5. ZFS ファイルシステム環境の場合は、ルートプールの確認を行います。


pool: rpool

state: ONLINE


config:


rpool ONLINE 0 0 0

c1t500000E0D00AD706d0s0 ONLINE 0 0 0



Solaris 10 UFS ファイルシステムの場合

mplb のパスでマウントされていないことを確認します。


/ (/dev/dsk/c1t500000E0D00AD706d0s0): 3582256 blocks 676029 files





/etc/svc/volatile (swap ):56663936 blocks 4746312 files


90




/var/run (swap ):56663936 blocks 4746312 files

/export/home (/dev/dsk/c1t500000E0D00AD706d0s7):16442328 blocks 990076 files

Solaris 10 ZFS ファイルシステム、Solaris 11 ZFS ファイルシステムの場合


/ (rpool/ROOT/solaris): 6455747 blocks 6455747 files


/dev (/dev ): 0 blocks 0 files




/system/volatile (swap ):30683920 blocks 2321851 files




/var (rpool/ROOT/solaris/var): 6455747 blocks 6455747 files


/var/share (rpool/VARSHARE ): 6455747 blocks 6455747 files

/export (rpool/export ): 6455747 blocks 6455747 files

/export/home (rpool/export/home ): 6455747 blocks 6455747 files

/rpool (rpool ): 6455747 blocks 6455747 files

7. パッケージがアンインストールされていることを確認します。

# pkginfo -l FJSVmplb <RETURN>

91

付録 C ファイバーチャネルカードまたは FCoE カードの

WWN確認方法ここでは、ファイバーチャネルカードまたは FCoE カードの WWN(World Wide Port Name)を確認する方法について記載

しています。

確認する方法は、OS 上で確認する方法と OBP 上で確認する方法があります。

C.1 OS 上で確認する方法

操作を行う際は、OS を起動してください。

a) /var/adm/messages で確認する場合

/var/adm/messages を参照し、以下の表示から WWN を確認することができます。

例: SE0X7F21/SE0X7F22 を使用している場合

qlc: [ID 657001 kern.info] Qlogic qlc(0) WWPN=2100001b3213644a : WWNN=2000001b3213644a

:

genunix: [ID 936769 kern.info] qlc0 is /pci@4,600000/QLGC,qlc@0


emlxs: [ID 349649 kern.info] [ B.17D1]emlxs0: NOTICE: 100: Driver attach. (WWPN:10000000C9990075

WWNN:20000000C9990075)

:

genunix: [ID 936769 kern.info] emlxs0 is /pci@1,700000/emlx@0

b) fcinfo コマンドで確認する場合

fcinfo コマンドを実行し、以下の表示から WWN を確認することができます。

# fcinfo hba-port <RETURN>

HBA Port WWN: 2100001b3213644a

OS Device Name: /dev/cfg/c4

Manufacturer: QLogic Corp.

Model: QLE2560

Firmware Version: 4.04.01

FCode/BIOS Version: BIOS: 2.2; fcode: 2.0; EFI: 2.0;

Serial Number: RFC0820M64228

Driver Name: qlc

Driver Version: 20080617-2.29

Type: L-port

State: online

Supported Speeds: 2Gb 4Gb 8Gb

Current Speed: 8Gb

Node WWN: 2000001b3213644a

#

# ls -l /dev/cfg/c4 <RETURN> ※fcinfo で表示された OS Device Name を指定する。

lrwxrwxrwx 1 root root 48 10 月 12 日 08:55 /dev/cfg/c4

-> ../../devices/pci@4,600000/QLGC,qlc@0/fp@0,0:fc

C.2 OBP 上で確認する方法

本手順は OBP 上で実行します。操作を行う前に、サーバ本体装置をサービスモードに変更します。





92




WWN の確認を行うファイバーチャネルカードまたは FCoE カードのノードまで移動し、.properties コマンドを実行し

ます。

port-wwn の値を確認します。


ok cd /pci@4,600000/QLGC,qlc@0 <RETURN>

ok .properties <RETURN>

assigned-addresses 81090010 00000000 00003000 00000000 00000100

(略)

port-wwn 21 00 00 1b 32 13 64 4a

(略)

ok


ok cd /pci@1,700000/emlx@0 <RETURN>

ok .properties <RETURN>

status okay

assigned-addresses 82020010 00000000 00100000 00000000 00002000

(略)

port_wwn 10 00 00 00 c9 99 00 75

(略)

ok

ファイバーチャネルカードまたは FCoE カードの WWN(World Wide Port Name)確認後、必要があればサーバ本体装置の

サービスモードを解除します。




SPARC Enterprise M3000/M4000/M5000/M8000/M9000 を使用している場合は、サーバ本体のモードスイッチを Locked

にします。

93

付録 D 必須ソフトウェア適用インストールイメージの作

成ここでは、Solaris 10 で必須パッチ、および Solaris 11 で必須 SRU 適用済みのインストールイメージを作成する方法に

ついて記載します。

D.1 Solaris 10 でインストールイメージに必須パッチを適用する方法



Password: password

2. ネットワークインストールサーバ上の OS インストールイメージに、必須パッチをインストールします。

Solaris 10 5/08 以前の場合

a) ミニルートに、必須パッチを適用します。

(INSTALL SERVER)# patchadd -C /export/install/Sol10/Tools/Boot /var/tmp/Patch ID <RETURN>

Solaris 10 10/08 以降の場合

a) ミニルート展開用の作業ディレクトリを作成します。

(INSTALL SERVER)# mkdir /tmp/work <RETURN>

b) root_archive コマンドを使用して、ミニルートを作業ディレクトリに展開します。tmp/work/tmp/AdDrEm.lck

がない場合は、無視して次の手順に進んでください。

(INSTALL SERVER)# /boot/solaris/bin/root_archive unpackmedia /export/install/Solaris10 /tmp/work/

<RETURN>

(INSTALL SERVER)# rm /tmp/work/tmp/AdDrEm.lck <RETURN>

○unpackmedia 実行時にエラーメッセージが表示されますが、無視して次の手順に進んでください。

umount: /tmp/mnt29984 使用中です。

rmdir: ディレクトリ"/tmp/mnt29984": ディレクトリがマウントポイントであるか、または使用中です。

lofiadm: ファイル/export/install/Solaris10_hostname/boot/sparc.miniroot をアンマップできません: デバ

イスは使用中です

rmdir: ディレクトリ"/tmp/mnt29984": ディレクトリがマウントポイントであるか、または使用中です。

c) ミニルートを展開したディレクトリに、必須パッチを適用します。

(INSTALL SERVER)# patchadd -C /tmp/work /var/tmp/Patch ID <RETURN>

d) 展開したディレクトリを圧縮します。

(INSTALL SERVER)# mkdir -p /tmp/media/Solaris_10/ <RETURN>

(INSTALL SERVER)# /tmp/work/boot/solaris/bin/root_archive packmedia /tmp/media/ /tmp/work/ <RETURN>

e) /tmp/media 配下のファイルと、インストールサーバ上の OS インストールイメージ配下のファイルを置き換

えます。"umount -f","lofiadm -d"コマンドは、"df -k"で表示される適切なデバイスを指定してください。

(INSTALL SERVER)# cd /tmp/media / <RETURN>

(INSTALL SERVER)# find boot Solaris_10/Tools/Boot | cpio -pdum /export/install/Sol10 <RETURN>

(INSTALL SERVER)# /usr/bin/df -k <RETURN>


94

/dev/dsk/c0t0d0s0 966815 456735 452072 51% /


・・・

/dev/lofi/1 178943 173163 0 100% /tmp/mnt2283

(INSTALL SERVER)# umount -f /dev/lofi/1 <RETURN>

(INSTALL SERVER)# lofiadm -d /dev/lofi/1 <RETURN>

実行時にエラーメッセージが表示されることがありますが、無視してください。

D.2 Solaris 11.1 以降で Solaris ISO イメージを作成する方法



Password: password

2. 適用する版数の SRU リポジトリサーバを発行元(publisher)に設定します。アクセス可能であれば、ローカルリ

ポジトリサーバでも問題ありません。リリースリポジトリサーバと SRU リポジトリサーバが分かれている場

合は、両方のリポジトリサーバを設定してください。

(INSTALL SERVER)# pkg set-publisher -g http://192.168.10.10:16000/ -g http://192.168.10.10:16071/ solaris

<RETURN>

(INSTALL SERVER)# pkg publisher <RETURN>

PUBLISHER TYPE STATUS P LOCATION

solaris origin online F http://192.168.10.10:16000/ <-- リリースリポジトリ

solaris origin online F http://192.168.10.10:16071/ <-- SRU リポジトリ

3. インストールサーバ上にディストリビューションコンストラクタをインストールします。

(INSTALL SERVER)# pkg install distribution-constructor <RETURN>

4. マニフェストファイルを作業ディレクトリにコピーします。

CD-ROM/DVD-ROM インストール用の Solaris ISO イメージを作成する場合

(INSTALL SERVER)# cp -p /usr/share/distro_const/dc_text_sparc.xml /tmp/work/. <RETURN>

ここでは、マニフェストファイル(dc_text_sparc.xml ファイル)を作業ディレクトリ(/tmp/work)で編集します。

ネットワークインストール用の Solaris ISO イメージを作成する場合

(INSTALL SERVER)# cp -p /usr/share/distro_const/dc_ai_sparc.xml /tmp/work/. <RETURN>

ここでは、マニフェストファイル(dc_ai_sparc.xml ファイル)を作業ディレクトリ(/tmp/work)で編集します。

5. マニフェストファイルに書き込み権限を設定します。


(INSTALL SERVER)# chmod u+w /tmp/work/dc_text_sparc.xml <RETURN>


(INSTALL SERVER)# chmod u+w /tmp/work/dc_ai_sparc.xml <RETURN>

6. テキストエディタ(vi 等)でマニフェストファイルを編集します。


(INSTALL SERVER)# vi /tmp/work/dc_text_sparc.xml <RETURN>

ISO イメージの名前を規定値から、識別可能な名前に変更します。

95

・・・

<distro name="sol11-dc-srulast-text-sparc" add_timestamp="false">

・・・

ここでは、ISO イメージの名前を"sol11-dc-srulast-text-sparc"にしています。

ISO イメージの元となる"publisher"を"2"で設定したリポジトリサーバに変更します。

・・・

<software name="transfer-ips-install" type="IPS">

<destination>

<xi:include xmlns:xi="http://www.w3.org/2003/XInclude"

href="/usr/share/distro_const/lang_facets.xml"/>

</destination>

<source>

<publisher name="solaris">

<origin name="http://192.168.10.10:16000/"/>

<origin name="http://192.168.10.10:16071/"/>

・・・

OS インストール後の"publisher"を設定します。アクセス可能なリポジトリサーバを設定してください。

・・・



<software name="set-ips-attributes" type="IPS">

<destination>

<image img_root="{PKG_IMAGE_PATH}" action="use_existing"/>

</destination>

<source>


<origin name="http://10.252.16.19:16000/"/>

<!--

・・・


(INSTALL SERVER)# vi /tmp/work/dc_ai_sparc.xml <RETURN>

ISO イメージの名前を規定値から、識別可能な名前に変更します。

・・・

<distro name="sol11-dc-srulast-ai-sparc" add_timestamp="false">

・・・

ここでは、ISO イメージの名前を"sol11-dc-srulast-ai-sparc"にしています。

ISO イメージの元となる"publisher"を"2"で設定したリポジトリサーバに変更します。

・・・

<software name="transfer-ips-install" type="IPS">

<destination>

<xi:include xmlns:xi="http://www.w3.org/2003/XInclude"

96

href="/usr/share/distro_const/lang_facets.xml"/>

</destination>

<source>


<origin name="http://192.168.10.10:16000/"/>

<origin name="http://192.168.10.10:16071/"/>

・・・

OS インストール後の"publisher"を設定します。アクセス可能なリポジトリサーバを設定してください。

・・・



<software name="set-ips-attributes" type="IPS">

<destination>

<image img_root="{PKG_IMAGE_PATH}" action="use_existing"/>

</destination>

<source>


<origin name="http://10.252.16.19:16000/"/>

<!--

・・・

7. マニフェストファイルからインストールイメージを作成します。


(INSTALL SERVER)# distro_const build /tmp/work/dc_text_sparc.xml <RETURN>

16:33:36 Build datasets successfully setup

16:33:36 Simple log: /rpool/dc/text/logs/simple-log.2014-04-25.16:33

16:33:36 Detail Log: /rpool/dc/text/logs/detail-log.2014-04-25.16:33

16:33:37 Creating IPS image

16:33:46 solaris

：

17:03:16 === Executing Create ISO Checkpoint ==

17:03:16 Making final ISO image: /rpool/dc/text/media/sol11-dc-srulast-text-sparc.iso


(INSTALL SERVER)# distro_const build /tmp/work/dc_ai_sparc.xml <RETURN>

09:18:58 Build datasets successfully setup

09:18:58 Simple log: /rpool/dc/ai/logs/simple-log.2013-06-19.09:18

09:18:58 Detail Log: /rpool/dc/ai/logs/detail-log.2013-06-19.09:18

09:18:59 Creating IPS image

09:19:35 Installing packages from:

09:19:35 solaris

：

10:23:29 === Executing Create ISO Checkpoint ==

10:23:29 Making final ISO image: /rpool/dc/ai/media/sol11-dc-srulast-ai-sparc.iso

10:23:38 === Executing AI Publish Packages Checkpoint ===

10:23:38 Creating repository

97

10:23:43 Publishing pkg://ai-image/install-image/[email protected]

10:36:23 pkg://ai-image/install-image/[email protected],5.11-0.175.1.0.0.24.1736:20130619T012345Z

PUBLISHED

8. ISO イメージが作成されていることを確認します。


"/rpool/dc/text/media"ディレクトリに ISO イメージが作成されていることを確認します。

(INSTALL SERVER)# ls -l /rpool/dc/text/media <RETURN>

total 1461531

-rw-r--r-- 1 root root 747745280 Apr 25 17:03 sol11-dc-srulast-text-sparc.iso


"/rpool/dc/ai/media"ディレクトリに ISO イメージが作成されていることを確認します。

(INSTALL SERVER)# ls -l /rpool/dc/ai/media <RETURN>

total 709112

drwxr-xr-x 3 root root 4 Jun 19 08:27 ai_image_repo

-rw-r--r-- 1 root root 398766080 Jun 19 10:23 sol11-dc-srulast-ai-sparc.iso

98

付録 E ETERNUS マルチパスドライバを使用した ZFS

ファイルシステムのブートディスクのバックアップ/リストア

の注意事項ここでは ETERNUSマルチパスドライバを使用した ZFSファイルシステムのブートディスクのバックアップ/リストア

の注意事項について記載しています。

ブートディスクのバックアップ/リストアは「Oracle Solaris システムファイル退避・復元手引書」または「Oracle Solaris

システムファイル退避・復元手引書（Solaris 11 編）」の手順に沿って作業を実施してください。

ETERNUS SF AdvancedCopy Manager を使用し ETERNUSの EC(Equivalent Copy)または OPC(One Point Copy)によるバッ

クアップ/リストアをする場合は、ETERNUS SF AdvancedCopy Manager のマニュアルを参照してください。

PRIMECLUSTER GD および PRIMECLUSTER GDS でブートディスクをミラーリングしている環境のバックアップ/リ

ストアをする場合は、「PRIMECLUSTER Global Disk Services 説明書」を参照してください。

以下にバックアップ/リストア時の注意事項を記載します。

1. バックアップのために ZFS システムボリューム(rpool など)をインポートし、元のブートディスクで起動した場合、

または、リストア後システムを起動した場合、システムボリュームが ssd のパスで起動されます。

本現象発生時、以下のような状態になります。

OS 起動時に以下のメッセージが出力されます。


/pci@13,700000/emlx@0/fp@0,0/ssd@w2149000b5d6a0299,1:c,raw


WARNING: /pci@13,700000/emlx@0/fp@0,0/ssd@w2149000b5d6a0299,1:c,raw

this path was unrecognizable. -> (E3000- 6A0299-11-41-13)

マルチパスの確認を行うと 1 つのパスが offline と表示されます。


:


Element:

/dev/rdsk/c3t2148000B5D6A0299d1s2 online active block "good status ～

/dev/rdsk/c4t2149000B5D6A0299d1s2 offline fail unblock "no such device or address～

zpool status で確認すると、ssd のパスで ZFS が作成されています。


pool: rpool

state: ONLINE

scan: none requested

config:


rpool ONLINE 0 0 0

c4t2149000B5D6A0299d1s0 ONLINE 0 0 0

■対処手順

以下の手順でシステムボリュームのパスをマルチパス(mplb)にしてください。

1) 同じサイズの一時ディスク(LUN)を準備し、準備したディスク(LUN)をアタッチします。

(準備するディスク(LUN)はマルチパスでなくても問題ありません。)

例) 準備したディスク(LUN)が/dev/FJSVmplb/dsk/mplb6s0 の場合

# zpool attach rpool /dev/dsk/c4t2149000B5D6A0299d1s0 /dev/FJSVmplb/dsk/mplb6s0 <RETURN>

99

2) ZFS が作成されている ssd のパスをデタッチします。

# zpool detach rpool /dev/dsk/c4t2149000B5D6A0299d1s0 <RETURN>

3) パスが offline となっているため、iompadm restart を使用して復旧させます。

# /usr/opt/FJSViomp/bin/iompadm restart /dev/rdsk/c4t2149000B5D6A0299d1s2 <RETURN>

4) 本来の mplb のパスをアタッチさせます。

# zpool attach rpool /dev/FJSVmplb/dsk/mplb6s0 /dev/FJSVmplb/dsk/mplb1s0 <RETURN>

5) 1)でアタッチしたパスをデタッチします。

# zpool detach rpool /dev/FJSVmplb/dsk/mplb6s0 <RETURN>

切り離したディスクは運用中には使用しませんので、削除することも可能です。ただし、削除した場合は、

マルチパスを解除する場合に再度用意していただく必要があります。削除方法は、「FUJITSU Storage

ETERNUS Multipath Driver 3.1 ユーザーズガイド（Oracle Solaris 版）」の 4.3 論理ユニット（LU）の減設方

法を参照してください。

2. ETERNUS のハードを交換後にリストアした場合、mplb のパスがシステムボリューム、データディスクで offline に

なることがあります。

■対処手順

以下の手順でマルチパスを再作成します。

1) OS を起動します。ssd のパスで起動されます。

ok boot <RETURN>

2) マルチパスの情報を確認します。LUN と mplb インスタンス番号の対応をメモします。


:


Element:



例) 上記例では LUN1(d1)が mplb1(adm1)となります。

3) mplb を解除します。複数の mplb が offline になっている場合は全て解除します。

# /usr/opt/FJSViomp/bin/iompadm -c mplb destroy /dev/FJSVmplb/fiomp/adm1 <RETURN>

4) 現在の構成情報を構成ファイルに出力します。

# mplbconfig -o filename <RETURN>

*** Phase 1: /dev/rdsk 配下の特殊デバイスファイルのチェック中です ***

*** Phase 2: マルチパス情報をチェック中です ***

*** Phase 3: パスの解析中です ***

=== マルチパス構成案 ===

既存インスタンス : 2

新規インスタンス : 0

パス追加 : 0 (インスタンス) : 0 (追加パス)

パス削除 : 0 (インスタンス) : 0 (削除パス)

5) 構成ファイルを vi などで開き、2)でメモした LUN とインスタンス番号が一致するように修正します。詳細

100

は FUJITSU Storage ETERNUS Multipath Driver 3.1 ユーザーズガイドを参照してください。

# vi filename <RETURN>



mplb0 : new : c1t500000E0D00AD706d0s2 c2t500000E0D00AD787d0s2 : 0 : E3000- 000001


6) 構成ファイルを利用してマルチパスを構築します。

# mplbconfig -f filename <RETURN>

*** Phase 1: /dev/rdsk 配下の特殊デバイスファイルのチェック中です ***

*** Phase 2: マルチパス情報をチェック中です ***

*** Phase 3: パスの解析中です ***

*** Phase 3.1: 構成ファイルから読み込んだ情報を反映中です ***



=== マルチパス構成案 ===

既存インスタンス : 2

新規インスタンス : 0

パス追加 : 0 (インスタンス) : 0 (追加パス)

パス削除 : 0 (インスタンス) : 0 (削除パス)

上記の構成案を実行しますか (y/n) ?

y <RETURN>

*** Phase 4: マルチパスを設定中です ***

*** Phase 5: 処理は成功しました ***

7) マルチパスになっていることを確認します。


以降の手順は 1.の対処手順を実施し、システムボリュームのパスを mplb のマルチパスにしてください。



改版履歴改版日時版数改版内容

2010.09.03 1.0 新規作成

2011.04.19 1.1 以下の本体装置をサポートしました。 SPARC T3-1/T3-2

以下のカードをサポートしました。 SE0X7F21L/SE0X7F22L/SE0X7F31F/SE0X7F32F/SE0X7F31L/SE0X7F32L/ SE0X7F31X/SE0X7F32X/SE0X7EC12F/SE0X7EF12F/SE0X7EC12L/ SE0X7EF12L

2011.10.07 1.2 Solaris 11に対応しました。

以下の本体装置をサポートしました。 SPARC T3-4

以下のカードをサポートしました。 SE1X7F11F/SE1X7F12F/XSEFC401AF/XSEFC402AF/SE5X7F22G/ SE5X7F32G

2012.10.02 1.3 Solaris 11のネットワークインストールサーバの設定手順を修正しました。

以下の本体装置をサポートしました。 SPARC T4-1/T4-2/T4-4

以下のカードをサポートしました。 SE5X7FE1G/SE5X7FE2G

以下のディスクアレイ装置をサポートしました。 ETERNUS DX60 S2/DX80 S2/DX90 S2/DX400 S2 series/DX8000 S2 series

2013.02.22 1.4 Solaris 11.1 に対応しました。

第 4章構築方法の手順を変更しました。

2013.10.22 1.5 以下のカードをサポートしました。

SP1X7FAA2/SP1X7FBA2

2014.06.06 1.6 ETERNUS マルチパスドライバをサポートしました。

2014.09.30 1.7 Solaris 11の CD-ROM/DVD-ROMインストール用のインストールイメージ作成手

順を追加しました。

注意事項 6を修正しました。

タイトルを「SAN Boot 環境構築ガイド (Leadville ドライバ編 ) for SPARC

M10/SPARC Enterprise - Oracle Solaris - 」に修正しました。

2015.07.14 1.8 以下のディスクアレイ装置をサポートしました。 ETERNUS DX8700 S3/DX8900 S3

2016.11.30 1.9 システムボリュームで EFIディスクラベルをサポートしました。

ETERNUSマルチパス構築時で使用するディスクは、作業後は削除可能なことを記

載しました。

2017.04.01 1.10 以下の本体装置をサポートしました。

SPARC M12-2/M12-2S

タイトルを「SAN Boot 環境構築ガイド (Leadville ドライバ編 ) for SPARC

Servers/SPARC Enterprise - Oracle Solaris - 」に修正しました。

以下のソフトウェアをサポートしました。

PRIMECLUSTER GD PRIMECLUSTER GD Snapshot



2018.03.31 1.11 以下の本体装置をサポートしました。

SPARC M12-1

以下のカードをサポートしました。

SP0X7FAA4F SP0X7FAA4L

SP1X7FAC2F

SP1X7FBC2F

2.1.2 ブートディスク構成に推奨構成を追加しました。

2018.12.20 1.12 Solaris 11.4に対応しました。

san boot環境構築ガイド ドライバ編 - fujitsu · 2018-12-03 · 2018年12月 第1.12版...

Documents

san boot環境構築ガイドドライバ編 - fujitsu · 2018-12-03 · 2018年12月第1.12版...