Network Diagrams of WIDE Backbone

櫨山寛章 (hiroa-ha@is.naist.jp)

堀場勝広 (qoo@sfc.wide.ad.jp)

上野幸杜 (eden@sfc.wide.ad.jp)

垣内正年 (masato@itc.naist.jp)

井上博之 (hinoue@hiroshima-cu.ac.jp)

津崎善晴 (tsuzakiyo@net.ist.i.kyoto-u.ac.jp)

中野博樹 (cas@net.ist.i.kyoto-u.ac.jp)

岡部寿男 (okabe@i.kyoto-u.ac.jp)

Glenn Mansfield Keeni (glenn@cysols.com)

齋藤武夫 (saito@cysols.com)

土井一夫 (kazuo@cysols.com)

松本智 (matsumoto@tsukuba.wide.ad.jp)

高橋航平 (flast@tsukuba.wide.ad.jp)

畠山元也 (genyakun@tsukuba.wide.ad.jp)

近藤賢郎 (latte@inl.ics.keio.ac.jp)

川口慎司 (alfy@inl.ics.keio.ac.jp)

関谷勇司 (sekiya@nc.u-tokyo.ac.jp) 中村遼 (upa@wide.ad.jp)

山本成一 (yama@wide.ad.jp)

平成 27 年 1 月 5 日

本ドキュメントでは、WIDE backbone と各 NOC の現状について述べる。

1

1 はじめにWIDEバックボーンネットワークは国内はもとより San Fransico, Losangels,

Bangkokなど海外にも拠点（NOC, Network Operation Center）を持つ広大なレイヤー 2およびレイヤー 3ネットワークである．WIDEバックボーンネットワークは各接続組織の対外接続ネットワークとして活用されるだけではなく，インターネットの新技術を開発している研究者，開発者らの新技術の運用実験の場としても頻繁に活用されている．WIDE バックボーンネットワークの運用はTwo ワーキンググループに参加する各NOCの運用者による定常的な運用に支えられている．本年度のTwo ワーキンググループの活動報告として，WIDEバックボーンネットワークの運用報告を行い，合わせて，レイヤー 2接続のオーバーレイ化を目指したVXLANの運用実験についても報告する．最後に今後のWIDEバックボーン運用についての展望を述べる．

2

2 WIDEバックボーンの運用本節では，WIDEバックボーンの各拠点での 2012年 12月 31日から 2014年 12

月 31日までの運用報告と 2014年 12月 31日現在のWIDEバックボーンのネットワーク構成を報告する．図 1は 2014年 12月 31日現在のWIDEバックボーンの概略図である．

via SINET

via SI

NET

図 1: WIDEバックボーントポロジ

3

2.1 San Francisco

サンフランシスコNOC(sanfrancisco)は，2004年 4月からそれまでの sanjoseに代わり稼働した新しいNOCで，Los AngelesからOC-3により接続されていた．その後 OC-3 から 100M Ethernet に変更された．主な接続先は，PAIXや ISC である．2010年 9月の Los Angeles NOC 撤収にともない，2010年 10月に Los Angeles

と San Francisco 間の回線も廃止され，専用線による接続の無い独立NOC として存在する．2013年は M-ROOT 関連の機材更新があったが、WIDE SFO NOC としての構成変更は無かった。2014年も、JP DNS 関連の機材更新があったが、WIDE SFO

NOC としての構成変更は無かった。

catalyst1.sanfrancisco

hitachi1.sanfrancisco

pc4.sanfrancisco

Layer1/2

wm2

e2/0 e2/3

PAIXISC

e2/2e2/1

e0/0

wm1

VLAN6667101

VLAN110111113

VLAN 66

VLAN13

e0/2 e0/3

SFO-E-DNS-JP

wm0RAC

raritan

e.sfo-rtr

As of 2014/12/28

pc5.sanfrancisco Fa0/15

Fa0/1

Fa0/2

Fa0/7

Fa0/17

Fa0/21 Fa0/18 Fa0/22

Fa0/24

Fa0/5

図 2: San Francisco NOC

4

2.2 仙台

仙台 NOC は仙台周辺の拠点を収容する NOC として運用されている．接続回線の計画断以外の障害や停電もなく，安定して運用された．NOC 内のトポロジーに変更はなく，根津側の収容ルータが foundry3 から brocade1 に変更された．

• (2014/05/09) 根津側の IPv4/IPv6 接続ルータが foundry3 から brocade1 に移行

• (2014/09/25-26) JGN のメンテナンスに伴う回線断

• (2014/11/14) 東北大学サイバーサイエンスセンター構内工事に伴う回線断brocade1.nezu

.26

::a

em0

pc10

::8 .24

2001:200:0:1C07::/64

2001:200:0:7000:/64

203.178.138.16/28

.21

::5

pc5em1FastEthernet0

FastEthernet1

cisco1VLAN311

::82001:200:0:7F0:/64

pc13

.29

::d.19

::3

pc3

Cyber Solutions Inc.

em0

em3

brocade1.nezu

203.178.136.180/30

図 3: 仙台 NOC

5

2.3 筑波

筑波NOCは筑波大学学術情報メディアセンター内に設置されている，システム情報工学研究科産学間連携推進室をはじめとする周辺の研究組織を収容している．株式会社ソフトイーサと共同で、グローバル・固定 IPv6 アドレス割当型トンネル接続実験サービス (v6ip.tsukuba.wide.ad.jp)を運用しており、2012年にはDNS64/NAT64による IPv4ネットワークとの相互接続の試験運用も開始した．

• (2014/02/08) 雪に依る瞬電のため一部コアスイッチに障害発生・疎通全断

• (2014/02/09) 復旧

• (2014/10/25) 電気事業法に基づく電気設備の定期点検のため停止

• (2014/10/26) 同上・復電時に再度コアスイッチに障害発生・同日復旧

• (2014/12/11) ftp.tsukuba.wide.ad.jpのストレージに障害発生、一切のサービスを停止

• (2014/12/14) ftp.tsukuba.wide.ad.jp復旧

WIDE

(cisco2.notemachi)

Univ. Tsukuba

v6ip over PacketiX

2001:200:1c8::/48

v6ip.tsukuba

cisco3.tsukuba (Cat6506)

cisco1.tsukuba (Cat6509)cisco2.tsukuba

(Cat6506 with sup720)

筑波大学学術情報メディアセンターCA101 NOC

203.178.132.64/26

2001:200:0:7c06::/64

WIDE OSPFv3 area 0.0.0.0

ns1.tsukuba ns2.tsukuba

生活線

vlan tagged area

vlan tagged area

1G*4 PAgP

vlan tagged area

1G*4 PAgP

vlan 2045 via

SINET 1Gbps

nat64.tsukuba

nat44.tsukuba

dns64.tsukuba

図 4: 筑波 NOC

6

2.4 根津

根津 NOC は，WIDE 関東地区の重要な接続拠点として，東京大学，JGN-X，SINET 等との接続を行っている．また WIDE クラウドの拠点としても重要な機器が設置されている．

• (2014/01/20) brocade1.nezu 導入

• (2014/05/27) foundry8.nezu (Q-in-Q 用スイッチ) 設置

• (2014/06/13) brocade1.nezu cam partition 変更のため reload

• (2014/08/29) 堂島 == 根津の L2 パス開通 (SINET)

• (2014/09/28) 東京大学法定点検のため停電 (ダウン無し)

• (2014/10/06) brocade1.nezu パケットロスにより reload

• (2014/10/26) 東京大学法定点検のため停電 (ダウン無し)

eth48eth2/12

U-TOKYO

Sekiya-LabDataReservoir

pc7.nezufoundry3.nezu

GMA-1001

YAGAMI

As of 2014/12/28

MAWI-storage

JGN2-BI4K-eth1/5

JGN2-GS4K-eth4/1foundry4.nezu

eth5/4

eth4/2

Otemachi

eth5/3

JGN2 GS4K

foundry5.nezueth3/9

U-TOKYO

To x448-n7f@NTT otemachi

U-TOKYO

foundry1.hongo

eth3/3eth1/1

foundry1.nezu

eth1/7

eth1/6

gulliver.nezu

eth1/2eth1/3

foundry7.nezu

eth1/5

eth1/8

mawi.nezu eth2/4

eth2/13

eth2/1

eth2/2

eth5/2

eth7/4

MIRROR-FOR-PACTER

eth7/3 a10.nezu

vm1.nezu

vm2.nezu

vm4.nezu

U-TOKYO

INFOTREND

eql.nezu

eth1/1/{11,14,16,20}

eth1/1/{17,21}

eth1/1/{18,22}

eth1/1/24

eth1/1/8

eth1/1/{1,19}

eth1/1/5

sekiya-esxi.nezu eth2/11

tongari.nezu eth4/24 new-mawi.nezu

NAKAYAMA

vm5.nezu

eth2/2

eth2/3

Kato-Lab

eth1/1/4

eth1/1/7

eth2/9eth2/10eth2/16

eth4 eth3 eth17

eth2/14

solana.nezu

eth2/1

eth2/6

ironport2

eth2/7

eth2/8

eth5/1

brocade1.nezu

eth1/7

NECOMAeth1/2

eth1/3

foundry8.nezu

eth2/8

eth2 eth13

U-TOKYO (Q-in-Q)

eth48

eth4/23

JGN2-GS4000eth4/24

eth2/15

図 5: 根津 NOC

7

2.5 NTT 大手町

NTT大手町 NOC(notemachi)は，1999年終りから稼働した比較的新しい NOC

で，現在，関西方面，北陸方面への L2 網，JGN-X ，APAN-JP の接続拠点として重要な立場にある．また，日本のインターネットトラフィック交換の 1拠点として，DIX-IE ， T-LEX を設置し ISP および学術研究NWを収容している．

• (2014/03) 明星大学接続解除

• (2014/07) 明星大学回線撤去

• (2014/07) 森ビル接続用 catalyst故障

• (2014/08) 経路表用メモリ配分変更のため cisco2.notemachi 再起動

foundry1cat1.t-lex

pc1.t-lex

5/1

5/3

1/2

f2.ote

1/4

1/7

rt50i

2/5

clk

2/6

3/3

1/5

3/13/2

DR-HIRAKI

1/7

f5.nezu1/1

2/1

apan

1/8

NTT-EASTMETRO-ETHER

2/132/12

gmx1004

2/18

cisco2

taishitakomatsu

3/22/3

f6.ote1/2

5/1 5/2

{1,2}/3

foundry2.t-lex

As of 2014/01/08

2/8

2/9melco1

2/15fe3miyakawa-sw

2/24

miyakawa-sjc

tehe

1/4 JGN-XNTT otemachi

6/1

ASCC:GMX-B2

4/14

cat3512-MII0/1 SX

7/35

mawinotemachi

4/15

A7A01224N

4/64/7

JAIST-shinagawaIPv4-kokatsuTF

2/2

KEIO-DMC

ge-0/3/1

juniper1

0/60/12

soum

seil.noteH-Cable

xfow-collector

ge-0/3/0

4/3

7/127/7

7/5 7/3

7/2

SINET

1/6

traceback-verio7/10

3/1

NAOJ

7/6

UNISYS

7/8

RIPE/NCC(A4C)

3/4

x448-n7fe49

e50

1/2

1/14/4

Hubmgmt1

6/2

5/2wm0 bge1

e1

pc1

2/3meisei-u

1/6

2/4

StarPorte

juniper2

1/5

図 6: NTT 大手町 NOC

8

2.6 KDDI 大手町

KDDI 大手町 NOC は WIDE バックボーンの中でも中核を担う重要な NOC となっており，外部組織接続が最も多い NOC となっている．10GbE によるバックボーンが導入され，NTT大手町 NOCとの連携がより強まり，WIDEから DIX-IE

への接続拠点となっている．

• (2014/01/21) PCH 機材更新

• (2014/02) cisco7.otemachi のソフトウェア不具合によりASSOCIO向け接続障害，rebootで復旧

• (2014/07/02) PCH RAID コントローラ交換

• (2014/07) foundry6.otemachi のラインカードモジュールの一部が downしotemachiと notemachi間が一時疎通断

• (2014/12/18) cisco3.otemachi 引退

NEZU(f4.nezu-e2/4)

e2/4

CUC

e1/1

NTTOtemachi

(c2.note-Ten2/3)

(f1.riho-m)

e1/2

foundry6

TITECH

e1/3

MIRAIKAN

e1/4

alala1

e2/1

Ten0/1

Ten0/0 DIX-IE

TsukubaWAN

e8/1

APAN(ms3-e1/3)

GRAPEAPAN

e8/7 e8/8

WIDE KDDI Otemachi NOC

cisco7Gi0/0/0

Gi1/0/0

e8/17

hitachi1

e8/22e8/3

foundry21/2

foundry1

2/15

Otemachi23F

1/3

KDDILAB

2/2

VoIPgate

2/3

CUC

2/4

toyaku.ac.jp

2/18

SonyCSL

2/102/16

JSAT

2/17

NICTNAG

3/6

JPRSIPv6

2/19

2/22

dgre

pc10

pc13

pc15

Otemachi 9F

3/1

NTTOtemachi

(f1.note-e1/4)

GMX

3/7

APANfor AI3

3/8

4/5

risingsun.isc

wireless

4/72/0-3

KeioMITA

4/20

NIHONUniv.

detector

4/17

cyclades1

y6

RouteViews

4/3

AI3-PC

4/12

new-y.ip6.int

4/23

PCH-Server

4/21

APNIC-Cyclades

4/15

4/44/14

e4/8-11 GbE2

GbE1

DIX-IE

GbE3

cisco1

e26e7

e9e1 fa1/0/0

e0/0e0/4

DNS IMnet

2014/12/28

foundry7

e8/33

e49

pc18

e3

mirror

e47

e8/34

alaxala2

g0/1

pc17

e33

SEIJO(a1.seijo-Ten0/25)

Ten0/2

allied1

e8/2

M-LAB

JGN-X

e2/2

NSPIXP-23

e2/3

IRI

e8/30

e8/39 KDDILabs

vm1

vm2

eql1

4/4

RIPE RCC RAC

図 7: KDDI 大手町 NOC

9

2.7 矢上

矢上 NOCは慶應義塾大学理工学部矢上キャンパス構内にあり，同大学理工学部情報工学科および周辺の研究組織を収容すると共に慶應 DMC を介して JGN-X，CineGrid との接続を行っている．

• (2014/01/29) 矢上 – 富士ゼロックス間 ダークファイバ開通

• (2014/04/18) 矢上 – 富士ゼロックス間 ルーティング切り替え

• (2014/05/15) 矢上 – 富士ゼロックス間 広域 Ethernet 回線廃止

• (2014/06/24) 矢上 – アラクサラ間 DF 回線借用

• (2014/07) 矢上 NOC 内 UPS 電池交換

• (2014/08/16) 慶応大学矢上キャンパス法定停電

• (2014/08) cisco2.yagami の更新 (cat3750 → cat3560)

• (2014/12/22) 矢上 – 根津間 DF 回線借用

cisco17400

foundry1BI4000

10G(KNNYF)fujisawanezu

10G(KNNYF)

e2/5

pc4

e2/7

e2/18

e2/6

NTTmetro ether toshiba

YAGAMI NOC TOPOLOGY (Layer1)

e2/22

NTT-EASTFlets

$Id: layer1.obj,v 1.13 2013/12/15 11:12:09 satsuma Exp $+9hours(JST)

hiyoshi(kyoseikan)

MM2

e1/2 e1/1

e2/23

e1/4alaxala

e4/1

foundry2 MLX4

e4/1

e1/3

MM1

e2/4

HITACHIGR2000-4S

e2/2e2/3e2/19line5

line2line1

yokogawa

line3

tera-lab

hiyoshi (kyoseikan)

e4/7

pc5

e2/17pc6

cisco2Cat3560

e0/21

FujiXerox

e4/11

e0/25

e4/19

e0/26

e4/20

e0/1

e0/23

e0/24

west-lab

図 8: 矢上 NOC Layer-1 トポロジ

10

YAGAMI NOC TOPOLOGY (Layer2)

cisco2

foundry1

vlan37: FLAB-YAGAMI-NEZU-UTOKYO

vlan161: NDKN(1)vlan163: NDKN(2)vlan165: NDKN(3)vlan167: NDKN(4)vlan169: NDKN(5)vlan171: NDKN(6)vlan180: F-Y-N-O-Nvlan181: N-O-N-Y-F

vlan3790: Yokosuka-IEEAF-SL-NL-SL-ICSD

vlan3704: JGN2-TohokuUniv

vlan3860: JGNv6-sfcvlan3861: JGNv6-yamagata

vlan28: NTTv6-1vlan100: yagami NOC

vlan53: T-LEX

vlan39: TTnet:Tokyo2vlan40: TTnet:Kanagawa1

vlan35: NTT-EAST (N-N-Y-F)

vlan160: DMC-INL

vlan191: YAGAMI-ALAXALA

vlan45: Nezu-Yagami-P2P

vlan20: USC-KEIO

vlan46: Fujisawa-Nezu-P2P

vlan59: AI3-WIDECAMP-GLOBALvlan75: Fujisawa-StarBEDvlan77: IPv40kokatsu-K2-dojimavlan78: IPv4-kokatsu-K2-note

vlan86: Multivisionvlan91: YAGAMI-RACvlan92: Nezu-Hiyoshi-Twister

vlan96: AI3:Fujisawa-Yagami

vlan112: STUDIO-DV

vlan130: Eclipsevlan131: K2-BACKUPvlan150: KMDvlan151: Kyoseikan

vlan192: K2-v4-KOKATSU

vlan650: ccbank-demovlan900: SEA-LOOP1vlan901: SEA-LOOP2

vlan3110: DMC-KMDvlan3703: JGN2-Tsuruoka

vlan3764: NEDU-LA

vlan4021: KAME

e4/1

e4/2

e4/3

e4/4

e4/5

e4/6

e4/7

e4/8

e2/1

e2/2 e2/3 e2/4 e2/5 e2/6 e2/7 e2/8

e2/9

e2/10

e2/11

e2/12

e2/13

e2/14

e2/15

e2/16

e2/17

e2/18

e2/19

e2/20

e2/21

e2/22

e2/23

e2/24

e2/25

e3/1e3/2

foundry2

e4/1e1/1

e1/2e1/3 e1/4

e4/20

e4/19

e4/18

e4/17

e4/16

e4/15

e4/14

e4/13

e4/12

e4/11

e4/10

e4/9

e4/8

e4/7

e4/6

e4/5

e4/4

e4/3

e4/2

eth0

eth1

pc4

eth0/0.100

eth0/0.35

cisco1vlan6

vlan28

vlan35

NTT Metro

EtherHITACHI

GR2000-4S

TTNet

Media Conv

0/26

vlan37

vlan78vlan77vlan91vlan95

NTT Business

Ether W

vlan96vlan100vlan123vlan131

vlan190

vlan299

vlan3777 vlan4021

vlan192

K2HITACHI

GR2000-4S

MM2

MM1

vlan79

vlan20,31,46, 47,49,59

vlan75,112,1593,1594

vlan3703,3704,3790

vlan45, 112

vlan46

vlan53,161,163

vlan165,167,169,171

vlan180,181,650

vlan 3860,3861

vlan92,97,99

vlan197,297,298,

vlan460,461,900,901

vlan1415,3110,3764vlan130

vla

n150

K-N-N-Y-F

Nezu

Hiyoshi

(Kyoseikan)Alaxala

vlan1: Default-vlanvlan6: CLOUD-NAT

vlan49: APAN-AI3

vlan79: CLOUD-EQL

vlan97: Miraikan-Hiyoshi

vlan197: Miraikan-Hiyoshivlan297: DMC-Hiyoshivlan298: DMC-Hiyoshivlan299: DMC-Hiyoshi

vlan950: BGP-TEST1vlan951: BGP-TEST2

vlan3777: JGN-WIDE-V6TRANS-3777

vlan94: Yagami-Xerox-P2P

vlan130,151

vlan950,951

vlan47: Nezu-Fujisawa-P2P-2

vlan110: Keio-West-WIDE

vlan1415: JGN-KMD-201105bvlan1593: JGN-KEIO-NICTVNET-Yvlan1594: JGN-KEIO-NICTVNET-Zvlan1710: INL-DMCvlan1712: INL-DMC-2

vla

n1712

pc5pc6

eth0 eth0

vlan6

vlan79

vla

n1710

vlan1593, 1594

vla

n299

vlan96

vlan6vlan20, etc.

vla

n191

vla

n96

vla

n122

vlan123: TOSHIBA-WIDE-v6

vla

n123

vla

n35

vla

n35

vlan100

vla

n100

vla

n190

vlan190

vlan192vlan77, etc.

vlan95

vlan299

e1/0/21

0/25

0/21

vlan53,161,163

vlan165,167,169,171

vlan180,181,650

vlan 3860,3861

vla

n100 v

lan

110

INL-Lab.

vlan21

vlan21: INL-Local

West Lab.

vlan460: LL+YAPC-privatevlan461: LL+YAPC-2518

0/1

0/23 0/24

vlan111: West-Lab-IPv6

vlan111

図 9: 矢上 NOC Layer-2 トポロジ

cisco1

foundry1 foundry2

pc4

cisco2

203.178.141.80/28vlan:100

.81 .91.86 .87Yagami NOC

NTT-EAST Flets

ATM:100

Tera-lab

vlan: 39

vlan: 40

vlan:122

vlan: 45

vlan:150

vlan:95 vlan: 190

vlan: 191

vlan: 192

TTnet:Tokyo2

TTnet:Kanagawa1

TOSHIBA-IPv4

Nezu-Yagami-P2P

KMD

FujiXerox YAGAMI-K2

YAGAMI-ALAXALA

K2-v4-KOKATSU

vlan: 151

Kyoseikan

vlan:123

TOSHIBA-IPv6

vlan:110

Keio-West-WIDE

.92 .88 .89

pc5

pc6

vlan: 21

West-labvlan: 111

図 10: 矢上 NOC Layer-3 トポロジ

11

2.8 藤沢

藤沢NOCは慶應義塾大学湘南藤沢キャンパス内にあり、慶應義塾大学や村井研究室の他、周辺の研究組織を収容している。同時にW3CやAI3との接続、VoIP

関連サービス、外部研究組織のトラフィック計測サーバの設置及び接続性の提供などを行っている。

• (2014/01/25) sam-WGの終了に伴い藤沢NOC設置サーバを撤去

• (2014/02/18) 文教大学への接続性提供を終了

• (2014/03/27) VxLAN検証のためコアルータをファームウェアアップグレード

• (2014/04/02) 奈良・左京・藤沢間専用線サービス切り替え工事

• (2014/05/17) Huawei S6700-48-EIの導入に伴うトポロジ変更

• (2014/09/16) NTT東日本フレッツ回線開通工事

• (2014/09/29) AI3関連VLANをVxLANへ移行

• (2014/10/22) リース終了に伴いコアルータをリプレース

• (2014/10/22) WIDEクラウド関連VLANをVxLANへ移行

• (2014/12/07) SFC構内全域の変電設備の定期保安点検による構内停電

• (2014/12/15) 防衛大学校回線接続機器のリプレースに伴う現地確認の立ち会い

12

Fujisawa NOC Layer2-topology2014/12/17 by eden

foundry2.yagami cisco3.fujisawa

vlan4vlan46vlan47

juniper1.fujisawa juniper2.fujisawa

te-2/3

xe-0/0/0

te-2/2

xe-0/0/0

foundry3.fujisawa foundry5.fujisawa

xe-1/0/0 xe-1/1/0 xe-1/0/0 xe-1/1/0 xe-0/0/1

vlan105vlan104vlan103vlan100

xe-0/0/1

vlan105vlan104vlan103vlan100

vlan71vlan140

vlan88vlan141

vlan112

xg-0/0/1 xg-1/0/1

Notemachi-P2P

foundry2.fujisawa

eth3

W3C eth4

Sanno-Univ eth9

juniper1.sfc eth11

vlan100

voip-gw1 eth43

c3800.ai3 eth44 vlan31vlan49

SOI-switch eth17vlan501

vlan100 vlan100

pict1 eth18

pict2 eth25

pict3pict4 eth5

pict5 eth28

sh.wide eth10

mcast eth26

eth30

Nara-evlan eth4/11

vm1.fujisawa

vlan105vlan106vlan6

eth4/1

vm2.fujisawa

vlan105vlan106vlan6

eth4/7

nec1.fujisawa eth4/14

nec2.fujisawa eth4/12

hitachi3.f eth1/2

detr.fujisawa eth4/17

eth4/13

vlan110

pxtr.fujisawa eth4/18

xtr.fujisawaeth4/20

eth4/19

vlan105

vlan106vlan109

vlan109

vlan109

vlan110

vlan105

-eth4/5

-eth4/9

vlan47vlan4vlan46

AI3-satellite vlan205eth3/8vlan31vlan49vlan140

K2 eth3/9 vlan103

alaxala3.sfc eth2/1

foundry6.f eth3/1

sfc-gate2.ai3 eth3/4 vlan141vlan100

traceback eth3/5

sfc-gate.ai3 eth3/23 vlan140

pc4 eth3/2

ge-0/1

alaxala1.fujisawa

SOI-ITC ABF-57-5-17 ge-0/2 vlan150

SOI-Shochositsu ge-0/9 vlan150

ISI-Pinger

vlan107ge-0/6ge-0/7ge-0/8

vlan100

vlan107vlan150

KEIO-ITC KEIO-SFC KEIO-ITC KEIO-SFC

te-2/4eth1/2

vlan88

vlan103

vlan112

vlan104

vlan100

vlan100

vlan104

vlan104

vlan100

vlan100

vlan6

vlan71

vlan100

vlan100vlan6

vlan100

huawei1.fujisawa

xg-0/0/2-xg-1/0/2

eth49-50

xg-0/0/4-xg-1/0/4

eth1/1-eth-1/2eth-1/1-eth1/2

xg-0/0/3-xg-1/0/3eth-trunk0 eth-trunk2eth-trunk1

lag1

UCS eth47-48

vtep1 eth33

eth34

vlan501vlan100

vlan100vlan103vlan104vlan105

vlan6vlan31vlan49

eth-3/3

vlan141vlan6vlan31vlan49

vlan105vlan104vlan103vlan100

vlan6vlan31

vlan105vlan104vlan103vlan100

vlan71

vlan105

vlan31

xg-0/0/26mawi

vlan113

te-2/1

xg-0/0/25

cisco3.fujisawa eth21 vlan100ge-1/2

mawi eth24 vlan104

vlan106

vlan106

vlan130

Flets ONU eth31 vlan130

voip-vpn vlan100

vlan103

eth7

eth8

vlan106

vlan106

vlan4vlan46vlan47vlan71vlan88

vlan100vlan103vlan104vlan105vlan106

vlan6vlan31vlan49vlan112vlan113vlan130vlan140vlan141

KNNYFNezu-Fujisawa-P2P-1Nezu-Fujisawa-P2P-2Nara-Fujisawa-P2POtemachi-Fujisawa-P2P

Fujisawa-1-netFujisawa-3-netFujisawa-4-netFujisawa-cloudFujisawa-v6exp

WIDE-CLOUDAI3(NDNKF)APAN-AI3Sanno-UnivMAWI-mirrorFujisawa-NGNAI3-BGP-2AI3-BGP-1

図 11: 藤沢NOC Layer-2 トポロジ図

13

[KNNYF]203.178.138.224/272001:200:0:1c04::/64

.249

xe-0/0/0.4 xe-0/0/0.46

[NEZU P2P]203.178.136.92/302001:200:0:13::/64

.94

[FUJISAWA-1.net]203.178.137.64/272001:200:0:1001::/64.67

[FUJISAWA-3.net]203.178.141.224/272001:200:0:1003::/64

[FUJISAWA-4.net]203.178.138.96/272001:200:0:1004::/64

.227

.114

[KEIO-ITC] xe-1/1/0

[KEIO-SFC] xe-1/0/0

[KEIO-ITC] xe-1/0/0

[KEIO-SFC] xe-1/1/0

.81 cisco3

cisco6

.232

fa0

serial0[NDA]

.83 lisp

.78 niph-vrrp

.231 cisco12(gatekeeper)

.82 nec1

.93 envmon1

.69 pc1(mcast)

[FUJISAWA-Cloud]203.178.138.64/282001:200:0:1005::/64

.68 pxtr

.70 xtr

.71 detr

.66 vm1

.67 vm2

.85 pc10(old sh.wide)

.80 pc4(internetits)

.84 pc5(moca)

.71 cnrs-wide

.74 foundry2

.87 alaxala3.sfc

.88 juniper1.sfc

.91 nec2

.92 hitachi3

.104 mawi

.110 exp1

.111 exp2

.113 pict1

.115 pict3

.118 pict4

.116 sh-rac

.124 gma1

.126 pict5

alaxala1

.79

vlan107

vlan150

[ISI]203.178.148.16/28[SOI]203.178.140.97/27

vlan100

juniper1

[NAIST evlan]203.178.136.204/302001:200:0:15::/64

xe-0/0/1.100 xe-0/0/1.105

.72

.66

xe-0/0/1.103 xe-0/0/1.104

.239

.103

Virtual IP = .65

Fujisawa NOC Layer3-topology2014/12/17 by eden

xe-0/0/0.47

[NEZU P2P-2]203.178.136.188/302001:200:0:16::/64

.190xe-0/0/1.88

[NOTEMACHI P2P]203.178.136.192/302001:200:0:17::/64

.194xe-0/0/1.71.190

xe-0/0/1.100 xe-0/0/1.103 xe-0/0/1.104

Virtual IP = .225

Virtual IP = .97

xe-0/0/1.105

.73

Virtual IP = .65

juniper2

[AI3-2]xe-0/0/1.141

[AI3-1]

xe-0/0/1.140

.86 foundry5.fujisawa

[SANNO-UNIV] xe-0/0/1.112

.98 pc39

.99 im

.100 cucm

.101 vmware

.102 ucs-management

.107 ai3

.108 traceback

.109 voip-gw1

.117 pict-management

.226 necoma-spam

.228 vpn2

.229 vpntrans

.230 pc40

.235 alaxala2

.237 cisco10

.240 cisco11

.75 huawei1

.76 huawei1(reserved)

.90 vpn1

[FUJISAWA-v6exp]203.178.149.0/252001:200:0:1006::/64.2 .3

xe-0/0/1.106 xe-0/0/1.106

Virtual IP = .1

.69 vtep1

図 12: 藤沢NOC Layer-3 トポロジ図

14

2.9 小松

小松NOCは北陸先端科学技術大学院大学 (JAIST / 石川県能美市)内に設置されたNOCであり，同大学，NICT 北陸 StarBED技術センター (通称: StarBED)

等への接続を収容している．NOC間接続として関東および関西方面に対し複数のリンクを持ち，東阪間リンク障害時の迂回経路としての役割も担っている．

• (2014/03/15) 08:00–17:00 JAIST 全学停電に伴うサービス停止．

JAIS

T

Cisco 3(Cisco7609)

Vlan801

Vl999(Gi3/1)

Po1(Gi1/1,2/1)

SINET3

Po5(Gi3/33)

Gi3/26Gi3/25

Star

BE

D

Cisco7609@StarBED

Cisco 2(Cisco6509)

Notemachi(Taishita-monda)

Te2/2nezu, dojima, fukuoka (JGN-II)

Vl62@Te1/1

Vlan3705,3724,3744

Te1/3

Vl800@Po2(Gi1/2)

Te1/4

WNOC KomatsuIn Japan Advanced Institute of Science and Technology,

Nomi, Ishikawa, Japan.

Vl800@Po2(Gi4/1)

Gi4/3

DISTIX

Juniper1(Juniper M5)

GbE0/0/0

GbE0/1/0

Te1/3

203.178.138.168/30

.170

ct65a.jaist(Cisco6509)

ct65b.jaist(Cisco6509)

Te1/4

Te1/4

ftp

Po101(Gi3/41-48)

(Gi3/41-48)Po2

Po2(Gi3/41-48)

.174

203.178.138.172/30

Po101(Gi3/41-48)

150.99.196.186/30

150.99.196.190/30

.169

203.178.138.64/28

.65

203.178.146.80/28

.93

pc1

pc4

203.178.138.208/29

.211

.210

203.178.136.242/30

.173

図 13: 小松 NOC

15

2.10 堂島

堂島NOCは，WIDEプロジェクトのネットワークにおける西日本のコア拠点となっている．NTTテレパーク堂島第 1ビルと第 3ビルに拠点を構え，NTT大手町NOCとともに 10GigabitEthernetバックボーンの 1点を担ったり，大阪における学術 IX(NSPIXP3)拠点を担ったりしているNOCである．また，第 3ビル内においてJGNや SINETとも接続し，西日本方面の多数のNOCとリーフサイトを収容している．主にNSPIXP3とWIDEバックボーンの接続を担っている cisco2.dojima

の老朽化が顕著となっており，近い将来に向けたリプレースの検討が進んでいる．

• (2014/07/12) juniper1.dojima (Juniper MX240), cisco5.dojima (Cata-

lyst 3560E-12D), foundry6.dojima (Foundry FLS624) 設置

• (2014/08/20) JGN-X接続、foundry4.dojima接続を cisco2.dojimaからcisco5.dojimaに収容変更

• (2014/08/28) NAIST接続を cisco2.dojimaから juniper1.dojimaに収容変更KUSA接続を cisco2.dojimaから cisco5.dojimaに収容変更

• (2014/08/29) SINET経由 堂島–根津 開通

• (2014/11/20) 左京、小松、広島、福岡、NTT大手町接続 IPv4/IPv6収容をcisco2.dojimaから juniper1.dojimaに収容変更

16

pc3

fou

nd

ry2fo

un

dry1

pla

ne

tlab

0.

do

jima

yam

ah

a

fxp0

fxp0

WID

E D

ojim

a N

OC

as o

f No

v. 2

0, 2

01

4

cisco2

Gi5

/1

e3

/1

e2

/1

e1

/3e

2/1

e3

/16

e3

/14

e3

/15

10

/10

0/1

00

0B

ase

-TX

10

00

Ba

se-S

X/L

X

10

Gb

ase

-SR

/LR

/ER

fou

nd

ry4

vid

:2,3

,6,2

1,8

1,

10

1,1

03

-10

5,1

07

,

26

01

,26

02

e1

/1

e1

/3

fxp0

pla

ne

tlab

1.

do

jima

e1

/5

F ro

ot

ma

in

(r1.kix)

clk.do

jima

yam

ah

a1

pc1

20

3.1

78

.13

8.5

1/2

7 (N

-D-N

)v

e2

20

3.1

78

.13

8.4

0/2

7v

e2

20

3.1

78

.13

3.9

/29

(Pla

ne

tLa

b D

ojim

a)

20

3.1

78

.13

6.9

0/3

0 (v

id 2

60

2: S

INE

T D

ojim

a-N

ezu

)

ve

10

8

ve

20

2

20

3.1

78

.13

8.8

1/2

9 (P

roje

ctM K

IX)

ve

10

4

20

3.1

78

.13

8.4

5/2

7v

e2

20

3.1

78

.13

3.2

5/2

8 (P

lan

etL

ab

mg

mt)

ve

81

20

3.1

78

.13

8.8

1/2

9 (P

roje

ctM K

IX)

ve

10

4

20

2.2

49

.38

.9/2

6 (N

SP

IAP

-3)

ve

10

0

gig

0/0

20

2.2

49

.38

.9/2

6

gig

0/1

.2

20

3.1

78

.13

8.4

7/2

7

e1

/3

vid

: 3

CK

P

seil1

.

do

jima

vid

:6,7

,15

76

,30

13

,34

51

,

37

31

-37

33

,37

36

(31

),

37

38

(79

),37

91

SIN

ET

@2

BT

e4

/3

e9

/2P

roje

ctM

KIX

cisco3

ge

0/1

RA

Cv

m2

vm

1

e1

/1(m

gm

t)

e1

/4e

1/2

1e

1/2

2e

1/2

4

mg

mt se

rviceR

AC

e1

/20

mg

mt

e9

/6e

9/5

cyclad

es1

e1

/19

e9

/7(R

AC

)

e-d

ns.jp

e1

/23

NS

PIX

P-3

ge

0/0

e9

/1

pla

ne

tlab

0.

do

jima

pla

ne

tlab

1.

do

jima

e3

/20

e3

/21 Te

7/1

me

lco1

e2

/7e

2/8

e2

/18

F ro

ot

su

b

IPv

4

ko

ka

tsu

TF

e2

/16

e2

/17

JGN

-X

ve

2

ve

3

ve

7

ve

21

ve

61

ve

10

2

ve

10

5

ve

10

7

ve

37

22

ve

37

23

ve

37

27

ve

37

65

20

3.1

78

.13

8.4

5/2

7

21

0.1

56

.1.1

30

/30

20

3.1

78

.13

6.1

69

/29

20

3.1

78

.13

6.1

18

/30

20

3.1

78

.13

6.2

38

/30

20

3.1

78

.13

8.2

37

/30

20

3.1

78

.13

0.3

0/2

8

20

3.1

78

.13

0.1

2/2

9

20

3.1

78

.13

7.2

49

/30

20

3.1

78

.13

7.2

53

/30

20

3.1

78

.13

6.2

09

/30

20

3.1

78

.13

6.6

9/3

0

NIIT

AT

R

Ko

ma

tsu

Ku

sa

Hiro

shim

a

Fu

kuo

ka

ve

37

22

ve

37

23

ve

37

24

ve

37

27

ve

37

29

ve

37

30

No

tem

ach

iv

e3

76

1

Na

go

ya-u

ve

37

65

KU

SA

NA

IST

Gi5

/2

vid

:10

6

vid

:2(3

73

9),6

,81

(37

40

),10

1,1

57

6,3

01

3,3

45

1,

37

13

,37

25

,37

31

-37

33

,37

36

,37

38

,

37

61

,37

63

,37

91

,37

94

vid

:2,3

,

10

1-1

05

,10

7

vid

:2,3

,81

,

10

1,1

03

-10

5,

26

01

,26

02

vid

:2,3

,81

,10

1,1

03

-10

5,

26

01

,26

02

vid

:76

,77

vid

:10

2

vid

:10

4

vid

:10

5

vid

:10

7

vid

:2,1

01

vid

:10

9

fou

nd

ry5

20

3.1

78

.13

8.5

8/2

7v

e2

Te

4/2

Te

4/4

Te

7/2

JGN

@3

B

Te

4/1

NS

PIX

P3

@3

B

e2

/2

vid

:2v

id:1

01

cisco5

fou

nd

ry6

jun

ipe

r1

Te

0/4

Te

0/2

Te

0/9

Te

0/1

0

Te

0/8

Gi0

/24

xe-1

/2/0

xe-1

/3/0

xe-1

/1/0

e0

/3/1

e0

/1/2

4

e0

/2/1

e1

/5

e0

/1/2

1

Te

0/1

Te

1/2

vid

:2,6

,7,1

01

,10

3,1

06

,15

76

,26

01

,26

02

,

30

13

,34

51

,37

24

,37

29

-37

33

,37

36

,37

38

,

37

61

,37

91

vid

:2,1

01

,10

3,2

60

1,2

60

2

vid

:2,3

,81

,10

1-1

05

,10

7,

26

01

,26

02

vid

:2,3

,7,2

1,1

01

-10

5,1

07

,

15

76

,26

01

,30

13

,34

51

,37

13

,

37

22

-37

25

,37

27

,37

29

-37

33

,37

36

,

37

38

,37

61

,37

63

,37

65

,37

91

,37

94

vid

:2,3

,81

,

10

1-1

05

,10

7,

26

01

,26

02

ve

2 2

03

.17

8.1

38

.42

/27

Vl2

20

3.1

78

.13

8.4

1/2

7

20

3.1

78

.13

6.2

2

20

3.1

78

.13

8.3

4/2

7

20

3.1

78

.13

6.1

70

/29

20

3.1

78

.13

8.1

94

/28

20

3.1

78

.13

7.1

13

/29

20

3.1

78

.13

6.2

29

/30

(IPv

6)

20

3.1

78

.13

6.1

77

/30

20

3.1

78

.13

6.1

05

/30

20

3.1

78

.13

6.2

01

/30

20

3.1

78

.13

6.1

97

/30

20

3.1

78

.13

6.1

10

/30

lo.0

irb.2

irb.7

irb.1

01

irb.1

03

irb.2

60

1

irb.2

60

2

ae

0.1

06

ae

0.3

72

4

ae

0.3

72

9

ae

0.3

73

0

ae

0.3

76

1

Te

0/3

xe-1

/0/0

vid

:26

01

,

26

02

vid

:21

,

30

00

vid

:30

00

vid

:21

,26

01

,26

02

eth

0e

th1

図 14: 堂島 NOCトポロジ17

2.11 奈良

奈良NOCは奈良先端科学技術大学院大学内にあり，大学およびNOC周辺の研究組織を収容するとともにAI3と接続している．また，Debian JP等の公式ミラーを始めとする 10以上のミラーを提供するFTPミラー (ftp.nara.wide.ad.jp) をサービスしている．

• (2014/8/28)堂島収容ルータをcisco2.dojimaから juniper1.dojimaに切り替え

• (2014/11/20) 奈良 - 堂島線 L3ルーティングポイントを cisco2.dojimaからjuniper1.dojimaに切り替え

18

!"#$%&'( !"#$%&')

*+,-$'.#/

*+,-$'.#0

$#&-12+3 $%2+3

4$5&162."5

7.!$8+

9:;<=

+'$,-+>

%6?

%6>

#,%$@%

$.2+#?

*-%

ABABA

ABAB>?B0BA

00

(AB?

?BABA

>BABA

?B>BA

?B0BA

AB?BC AB?B?A AB?B?>

AB>B?AB?B??

AB?B?(

AB?B?)

AB?B?/

AB?B?

AB?B>

AB?B0AB?B?)

AB>B?

[6,7,79,1576,2510,3030-3032,3040,3041,3416,3417,3451,3630,3631,3731-3735,3791]

[7,801,802,3451,3791]

[801,802]

[801]

0/

!"#$%&'/

D:0

9+EF.BG"!$,+4+

AB?B>?

ABABA

[6,7,30,71,801

,802]

>B0BA

[802,3791]

[30,31,71]

H0

H>

%6

/AI?AI?I

;DJDK;LMKH>K=.%.2.NFKO7&6PK>A?/Q

ABAB??B?BA

>0

>/

$#&-12+3

(/R

+'$,-+?

?R ?S

?CT>A

+'$,-+0

?

)

R

>?

AB0B?

AB0B?AB?B>A

[6,7,79,1576,2510,3416,3417,3731-3735]

[6,7,79,801,802,901-903,990,2510,3030,3031,3040,3041,3416,3417,3630,3631,3731-3735,3791]

[6,7,79,305,306,308,309,751,801,802,901-903,990,1576,2510,3416,3417,3731-3735,3791,3950-3953]

[6,7,801,

802,3791]

[6,7,801,802]

[6,79,801,902,903]

[801,3700]

>0

>/

>?

(

?0

[6,7,30,31,71,79,304-306,751,801,802,901,902,903,990,2510,3030-3032,3040,3041,3416,3417,3700-3735,3791,

3950-3953

[ 6,7,79,305-306,751,801-802,

901-903,990,1576,2510,3041]

;D:9=/CB?

図 15: 奈良 NOC Layer-2 トポロジ

!"#$%

&'()*+,#+-+./012#.34

!"#$%&'$%#($%(')!*

#252.#67.18.%'9':';<./&=>?.@ABC4

7:'DE,$F1./012#.3G4

!"#$%&'$%#*$*()!&

7:'DE,$H9=-)*=IJ./012#.K4

%"$%"$"$")%(

!""%+!""+,--+---%++)(.

7:'DE,#+-+,B./012#.GA84

!"#$%&'$%#%$%..)!'

!""%+!""+"+*."#++)(.

7:'DE,#+-+,A./012#.GA@4

!"#$%&'$%#%$%!')!'

!""%+!""+"+*."!++)(.

#+-+,#2"!%./012#.GAB4

!"#$%&'$%#.$")!.

!""%+!""+"+*."%++)(.#+-+,B./012#.LAB4

!"#$%&'$%#&$%(")!&

!""%+!""+"+'"%++)(.

#+-+,@./012#.LA@4

!"#$%&'$%."$!!.)!&

!""%+!""+"+'"!++)(.

?B38 ?B3@

#+-+,!+M<'./012#.8A4

!"#$%&'$%#($!%()#"

#+-+,ND()O+P+./012#.3B4

!"#$%&'$%#($!".)#"

?@AQ

?@B3

?@8A

RR@RQ

?@@G

RR@RC

RRB

?BKK

RR@RQ

?BK8

RR@RC

RRBalaxala1.sakyo

foundry5.fujisawa

cisco2.dojima

S*B S*@ S*8 S*C S*Q

ai3-nara-pc.nara

OT

?BU.?@

RRBU.RR@

?KC

RBRB

?B8B

RRB8B

?B8@

RRB8@

?B88

RRB88

?B8C

RRB8C

?B8Q

RRB8Q

?BCQ

RRB

?C?B ?C?@ ?C?8 ?C?C ?C?Q

9>B

9>@

IO9)H9

IJ9

VJ9RR+

?B3Q

RRBRC

?B3A

RRBRB

?B3@

RRBR@

?BLA

?BL8

(DI)9=-C

?BKL

RR@RK

?@8B

RR@RK

18

9>

BAWBW

?B3C

?BAA

(DI)9=-K

(DI)9=-Q

?B@G

RRB

?BCQ

RRB

図 16: 奈良 NOC Layer-3 トポロジ

19

2.12 左京

左京NOCは京都およびその周辺に存在する組織に対する接続拠点であり京都大学に設置されている．

• (2014/04/02) 対奈良NOC回線の切り替え

図 17: 左京 NOC

20

2.13 倉敷

倉敷 NOCは，平成 24年度に学内ネットワーク機器の更新にともない NOC機器の更新など全体構成の変更を実施した．外部接続回線を収容していたGS4KはASR9Kに更新し，対外的なL3ルータのうちGR4Kを Juniper MX80に更新した．基本的な接続設定は，従前の装置の設定を踏襲している．また，倉敷NOC機器については，死活監視ツールで監視を行っているが特に大きな問題もなく運用されている．

Kurashiki-NOC

Tamashima TeleCast

OKIX-NOCKUSA-POP

Kurashiki city

RX4

Alaxala

AX2400

KUSA

asr9k

kusaBB

VLAN

cat3750

mx80

Bisei

astronomical

observatory

Bisei

space guard center kake.ac.jp

kyudai

JGN2

Dojimacisco2.dojima

okix

.1

vlan 161

10Gigabit Ether

.210 .1

203.178.136.140/30

vlan 3741

Gigabit Ether

203.178.142.176/28

.2

202.244.161.0/24

202.244.160.3

202.244.161.5

.10

vlan 3567

202.244.160.0/24

.142

vlan 3727

203.178.136.208/3 0

.10

Catalyst65-L2

cisco 1700

100M Ether

203.178.145.144/28

ATM

vlan 100

vlan 200

.185 203.178.145.184/29

.29

.177

GR2K2B+

203.178.136.176/30

NTT com10G

.178

Configration of Kurashiki-NOC17Dec 2012 14:20JST

Kazumasa Kobayashi<kazu-k@cs.kusa.ac.jp>Takashi Miyake<miyake@fatware.jp>

.145

図 18: 倉敷 NOC

21

2.14 広島

広島 NOCは，トポロジー図の通り，大阪 NOCと福岡 NOCの中間に位置し，WIDEバックボーンに対して大阪～福岡間の冗長性も同時に提供している．ソフトウェアルータによる運用を 2012年より続けており，Xen Hypervisor上で動くVM

（Virtual Machine）であるVyatta Routerを使用している．また，ローカルサービス用の Linuxサーバも，同じVMとして動作させている．VMとしての運用による問題はこれまで生じておらず，パフォーマンス，安定性ともに高い性能を維持できている．大阪NOCと福岡NOCの接続には JGN-XのVLANを経由しており，さらに地域プロバイダである SuperCSIを経由し，また設置場所である大学内もまたVLAN

を経由して接続している．よって，各接続点での L2 SWは経路的に冗長化されておらず，運用上の注意が必要である．

• (2014/09/13) 大学内でのVLANトポロジの変更

• (2014/09/14) 法令点検による計画停電

WIDE Hiroshima NOC

Xen Hypervisor

Vyatta

Software

Router

Local

Servers

Fukuoka

NOC

Dojima

NOC

203.178.136.144/30

eth1

203.178.138.177/28

management

eth2eth0

203.178.136.200/30

2001:200:0:3000::/64

.202

.145

.65

::1

updated: 2014/06/16 hinoue@hiroshima-cu.ac.jp

図 19: 広島 NOC

22

2.15 福岡

福岡 NOC では、日立 GR2000 をコアルータとして運用を行なっている。支線は 2つあり、それぞれ帯域を必要としないローカル実験用の 100Mbps のセグメントと、グローバル実験用の 1Gbps のセグメントである。ローカル実験用の経路情報は現在、インターネットには広告していない。将来は、仮想化ルータを導入し、NOC 仮想化および再構成を計画しているが、着手できていない。

図 20: 福岡NOC

23

2.16 バンコク

2007年 5月 15日に設置されたバンコクNOCは，NECTECやUniNETといったタイの学術研究組織との研究活動強化を目的に設立された．今年度も引き続き，WIDEプロジェクトとしての独自の回線は存在しないが，JGN-Xの回線を利用し，VLANを用いてWIDEインターネットをバンコクまで延長し，IPv4，および IPv6

の接続性を提供している．バンコクNOCは，JGN-Xバンコク回線を収容しているNECTECと同じ建物に存在し，そこからUTPケーブルを延伸し，バンコクNOC

が存在する部屋にネットワークを引いている．バンコクNOCの主な利用者は，バンコクを中心に活動している SOI Asiaプロジェクトのメンバーである Patcharee

Basu，および関係者になる．2013年1月に故障したルータ (pc1.bangkok)の代替として、2013年10月に yamaha

rtx810 が設置され、接続性が回復した。

• 2014年は構成変更や障害等はなかった。

cisco2.notemachi

Yamaha RTX810

polycom PC PC

203.178.138.145/282001:200:0:6009::1/64

203.178.138.146/282001:200:0:6009::2/64

203.178.140.65/272001:200:0:a800::1/64

JGN-X:WIDE-BKK(622Mbps)

図 21: Bangkok NOC

24

3 WIDE-BBにおけるVxlanトライアル近年、Virtual eXtensible Local Area Network (VXLAN)[1]をはじめとした複数

のオーバーレイネットワーク構築を目的としたプロトコルが標準化され、データセンタ内など一部の閉域網において実際に運用されている。これらのプロトコルを用いることで、レイヤ 3で接続されたノード間でレイヤ 2のオーバレイネットワークを構築することが可能になる。two-WGでは広域レイヤ 2ネットワークを構築・運用するための技術としてVxLANを新たに導入し、運用負荷の軽減を図る。WIDE-BBでは、レイヤ 2ネットワークにおいて特に冗長性の確保を行う必要が

ある場合、スパニングツリープロトコルが使用されている。スパニングツリープロトコルはレイヤ 2での冗長性確保を可能にするが、WIDE-BB上にOSPFを用いて構築されているレイヤ 3ネットワークとは独立して動作し、管理すべきトポロジがツリー毎に増大していくため、オペレータにとって運用負荷が高いという問題があった。また、WIDE-BBを構成する各拠点の対外接続用装置がレイヤ 2ネットワークをバイパスする機能を持たない場合があり、別途レイヤ 2ネットワークを通すためのリンクを用意するなど、トポロジが複雑化するという問題があった。このような複数拠点にまたがるレイヤ 2ネットワークに起因する問題は、オーバレイネットワーク技術によって解決可能である。two-WGでは、拠点間VLANをオーバーレイネットワークによる運用に移行することを目標として、本年度より拠点間広域VxLANネットワークの構築実験及び導入を進めている。本年度行った主な活動内容は以下の通りである。

1. 広域VxLANネットワーク構築実験

2. 構築実験に基づいた構築方針の決定

3. 一部拠点における実運用開始

3.1 広域VxLANネットワーク構築実験

two-WGでは、VxLANを実際の運用に用いる事前準備として、広域VxLANネットワーク構築実験を行った。実験の概要を図 22に示す。また、実験に用いたパラメータを表 1に示す。実験の事前準備としてWIDE-BB内マルチキャスト網の設定見直しを行い、WIDE-

BB内のレイヤ 3ルータの大部分に実装されている PIM-SMを大手町 NOC-藤沢NOC間で有効にした。さらに、VxLANによりカプセル化されるフレーム長を考慮し、NTT大手町NOC-藤沢NOC間の IPMTUを 9000バイトに変更した。以上の設定後、Linux kernel内でVxLANを有効にすることにより、大手町NOC-藤沢NOC間のVxLANネットワーク上で、vlanを用いたレイヤ 2通信が可能であることを確認した。

25

foundry4.nezufoundry4.nezufoundry4.nezufoundry4.nezu juniper1.fujisawajuniper1.fujisawajuniper1.fujisawajuniper1.fujisawajuniper1.fujisawajuniper1.fujisawafoundry6.otemachifoundry6.otemachifoundry6.otemachifoundry6.otemachi

vtep1.otemachivtep1.otemachivtep1.otemachivtep1.otemachi vtep1.fujisawavtep1.fujisawavtep1.fujisawavtep1.fujisawa

cisco2.notemachi(RP)cisco2.notemachi(RP)cisco2.notemachi(RP)cisco2.notemachi(RP)

PIM-SMIGMP IGMP

VLAN=10VLAN=10VLAN=10VLAN=10 VLAN=10VLAN=10VLAN=10VLAN=10

Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10VNI=10Group=239.0.0.10

VNI=10Group=239.0.0.10VNI=10Group=239.0.0.10Group=239.0.0.10VNI=10VNI=10VNI=10VNI=10VNI=10VNI=10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10Group=239.0.0.10VNI=10Group=239.0.0.10

図 22: 広域VxLANネットワーク構築実験の概要

表 1: 実験に用いたパラメータVNI 10

VLAN ID 10マルチキャストアドレス 239.0.0.10

マルチキャストルーティングプロトコル PIM-SMマルチキャスト RP 203.178.136.29マルチキャスト TTL 16

実装 Linux kernel 3.11.3の VxLANモジュール

3.2 構築実験に基づいた構築方針の決定

two-WGでは、実験結果を受けて実網を構築するための方針を検討し決定した。WIDE-BB上に VxLANネットワークを構築するにあたり、VxLAN上のネットワーク識別子である VNI、VLAN ID、マルチキャストアドレスの対応関係を考慮する必要がある。two-WG内での検討の結果、これらの識別子は全て 1対 1に対応させることとした。これは、VxLANネットワーク上のBroadcast/Unknown-

Unicast/Multicast(BUM)フレームの配送先を最小化することを重視したためである。表 2に、実際のパラメータ生成ルールを示す。

表 2: 構築パラメータVNI 任意

VLAN ID VLAN IDマルチキャストアドレス 239.0.VNIの上二桁.VNIの下二桁

マルチキャストルーティングプロトコル PIM-SMマルチキャスト RP 203.178.136.29マルチキャスト TTL 16

実装 限定しない

さらに、VxLANを運用する際には、網内の IP MTUを考慮する必要がある。VxLANは Ethernet フレームをカプセル化して転送するため、カプセル化後のパケット長が 1500バイトを上回る場合がある。一方で、動作中のネットワークの IP

MTUを変更する際ネットワークの断を伴う場合があり、WIDE-BB内には 1500バ

26

イト以上の IP MTUが使用不可能な機器があることも想定されるため、全ての拠点間で 1500バイトより大きい IP MTUを確保することは困難である。本問題については two-WGでの検討及び実験の結果から、カプセル化後の IPフラグメントを許容し、アンダーレイネットワークの IP MTUは 1500バイトを想定することとした。

3.3 一部拠点における実運用開始

本年度の活動として、two-WG内で行った事前実験及び構築方針を踏まえ、WIDE-

BB内藤沢NOCにおいて拠点間VLANをVxLANネットワークへ移設する作業を行った。図 23に現在のWIDE-BBにおける VxLANネットワークの概要を示す。藤沢 NOCでは計 3つの拠点間 VLANを使用しており、全て VxLANへの移設を完了している。また、大手町NOC、奈良NOCについてはVTEPの設置が完了している。これらの NOCについては順次拠点間VLANをVxLANネットワークに移設する予定である。NTT大手町NOC、北陸NOC、堂島NOC、小金井NOCについては今後VTEPを設置予定である。

alaxala2.otemachialaxala2.otemachialaxala2.otemacalaxala2.otemachialaxala2.otemacalaxala2.otemachi

foundry3.fujisawa

WIDE-BB

VLAN=6,10,31,49VLAN=6,10,31,49VLAN=6,10,31,49VLAN=6,10,31,49

VNI=6,10,31,49949VNI=6,10,31,49,31,431,VNI=6,10,31,49VNI=6,10,6 0,3VNI=6,10,31,494949V 9VNI=6,10,31,49NI=6 10 31 4949,49VNI=6,10,31,490,33I=6,10,311VNI=6,10,31,49VNI=6,1VNI=6,10,31,49

VNI=6,10,31,49

VNI=noneeonenonVNI=noneI=noneoneVNVNI=none

VLAN=6,10,31,49

vtep1.otemachivtep1.otemachivtep1.otemachivtep1.otemachi

vtep1.naravtep1.naravtep1.naravtep1.naravtep1.fujisawavtep1.fujisawaujp wasa.ffujvtetep1.fujisawaji1.fujisawajivtep1.fujisawa

図 23: 現在のWIDE-BBにおけるVxLANネットワーク

なお、two-WGでは、現在VTEPの実装として Linux kernelのみを使用している。Linux kernelではバージョン 3.7以降デフォルトでVxLANをサポートしており、vxlan stanza[2]を導入することで標準インターフェースと同様にVxLANの設定を行うことができる。以下に vxlan stanzaを使用した設定例を示す。

27

� �auto vxlan{VNI}

iface vxlan{VNI} inet manual

vxlan-vni {VNI}

vxlan-group {Multicast addr}

vxlan-dev {Physical interface}

post-up ifconfig vxlan{VNI} up

post-up ifconfig vxlan{VNI} mtu {MTU}� �参考文献[1] M. Mahalingam, D. Dutt, K. Duda, P. Agarwal, L. Kreeger, T. Sridhar, M.

Bursell, and C. Wright. Vxlan: A framework for overlaying virtualized layer 2

networks over layer 3 networks, RFC 7348. IETF, August 2014.

[2] vxlan stanza. https://github.com/upa/vxlan-stanza. Retrived: December

2014.

28

4 Open Redirect ノード対策DNS，NTP，Chargen，SNMPなどUDPベースのプロトコルでグローバルにアクセス可能になっているノードが反射型分散サービス攻撃（Distributed Redirection

Denial of Service)の反射ノードとして使われることが問題となっている．WIDE

バックボーン外部からの忠告や停止依頼などのセキュリティインシデントとして発生し，反射ノードとして悪用されているノードの存在の確認と対応を数多く行った．本節ではWIDE バックボーンでのOpen Rediret ノード対策に関してまとめる．

4.1 2014年度におけるOpen Redirect ノードに関するセキュリ

ティインシデント

2014/01/15 : mawi のトラフィック観測にて src port 123, dst port 123 のUDP

トラフィックがトランジット回線に流れていることが確認される．WIDEバックボーン内のサーバや配下のネットワークのノードに関しては連絡し，対応を依頼した．

2014/02/05 : DDOS Attack from 133.4.0.37:123 から DDoS 攻撃を受けているとのセキュリティインシデントの報告が外部から寄せられ，対応を行う．

2014/02/06 : two コアオペレータにて ntpdate -b に応える且つ増幅するバックボーンルータを数多く特定する．対応できるものから各ルータにてACL設定を投入する．

2014/02/10 : トランジット回線にてトラフィック観測を行ったところ，NTP に応答する，外部からのNTPリクエストに応答すべきではないノード（ルータや踏み台サーバなど）が数多く存在し，NTP refection 攻撃に利用されていることが明らかとなり，トランジットにてACLを設定する．また，各ノードの管理者にノード側での適切なACL設定を依頼する．

2014/02/25 : 202.249.2.194が不正利用されているNTPだとのセキュリティインシデント報告が外部から通知される．IPv4アドレスの利用者に連絡し，ACLの設定を投入してもらう．

2014/02/28 : APNICや JANOG のメーリングリストなどで一般的な NTP re-

flectionに対するACL の設定方法が広く共有される．

2014/03/14 : Open NTP ノードがWIDE バックボーンに存在して，そこから攻撃されているとのセキュリティインシデントの対応依頼が送られてくる．ｌ調査の結果 kix-mon.edns.jp が Open NTP ノードになっていることがわかり，適切なNTP 設定を施すことで対応した．

29

2014/08/31 : 203.178.141.90 が chargen のOpen Redirection ノードになっておりDDoSに利用されているとのセキュリティインシデントが報告される．調査の日立ケーブル製の光アンプ装置のマネジメントアクセスポートに割り当てらてた IPv4アドレスであることがわかり，かつ，ファームウェアアップデートも行えない古い機種であること，マネージメントポートと光アンプ部は独立して動作しており死活監視にならないこと，などが確認されたため，yagami NOC にて リンクダウン設定を行った．

2014/09/08 : 203.178.134.128, 203.178.134.127, 203.178.134.53 がOpen SNMP

ノードとしてDDoS攻撃に利用されているというセキュリティインシデントの連絡を受ける．該当ノードはポリコムと cisco telepresence ノードで，連絡後奈良NOCにて適切な SNMP の設定を行った．

2014/09/28 : 203.178.142.235 が Open SNMP ノードとして DDoS攻撃に利用されているというセキュリティインシデントの連絡を受ける．根津NOCにて対応を行った．

2014/11/01 : JPCERT/CC から 203.178.142.210が NS の再帰的な問合せ (re-

cursive queries) を使った DDoS 攻撃の踏み台として使用されているとの報告が入ったとの連絡が来る．該当ノードの管理者によってDNS 設定が見直され対応された．

2014/11/28 : 203.178.142.235 が Open SNMP ノードとして DDoS攻撃に利用されているというセキュリティインシデントの連絡を受ける．根津NOCにて該当ノードの SNMPを一旦停止し，その後ルータでACLを設定して対応する．

2014/12/19 : 203.178.143.11が Open Recursive Resolver になっておりDDoS攻撃に不正利用されているとのセキュリティインシデントの報告を受ける．ひとまず，cisco2.notemachi にてOSPFの設定で/32のブラックホール経路を書き，トラフィックを制限する．その後，藤沢NOCにて該当ホストのDNS

設定の見直しと設定変更をおこない，ブラックホール経路を元に戻すというインシデント対応を行った．また，OSPF によるブラックホール経路フィルタは簡単で便利なため今後も利用する方針となった．

30

4.2 OSPFによるブラックホール経路フィルタリング

前節の報告で説明したように 201412月 19日のセキュリティインシデントからOSPF を用いたブラックホール経路フィルタによるDDoS攻撃緩和（抑制）を実施し始めた．下記が cisco 製のルータによるブラックホール経路の設定例である．� �

ip route 203.178.143.11 255.255.255.255 Null0 tag 666

!

route-map static-opsf permit 999

match tag 666

set metric 1

set metric-type type-2

!� �

31

5 おわりに本年度もWIDEバックボーンネットワークの安定運用を行ってきた．来年度は，

VXLANの本格運用やOSPF計測の再開など広域運用環境を用いた実験を精力的に行っていく予定である．

6 CopyRight

c©2014 WIDE Project Two Working Group

32