TSUBAME利用手引き

TSUBAME 利用の手引き
東京工業大学学術国際情報センター 2010.04 4.6 版

目次
はじめに ...................................................................................................................................................1
1. システム概要.....................................................................................................................................2
1.1. システム概念図 ..........................................................................................................................2
1.2. ハードウェア概要 ......................................................................................................................4
1.2.1. 演算サーバ Sun Fire X4600 ..............................................................................................4
1.2.2. ClearSpeed社製アクセラレータ .......................................................................................5
1.2.3. NVIDIA社製演算加速装置 .................................................................................................5
1.2.4. 100 ギガビット級ネットワーク ..........................................................................................5
1.2.5. 大規模ストレージ ...............................................................................................................5
1.2.6. 高可用性ストレージ............................................................................................................5
1.2.7. パラメータサーベイ用サーバ(coTSUBAME) .....................................................................6
ソフトウェア概要 .................................................................................................................................7
1.2.8. 演算サーバ ..........................................................................................................................7
1.2.9. 大規模ストレージ ...............................................................................................................8
1.3. ハードウェア構成 ......................................................................................................................9
1.4. ソフトウェア構成 ....................................................................................................................10
1.4.1. ISVアプリケーション .......................................................................................................10
1.4.2. フリーソフトウェア..........................................................................................................11
2. 利用環境..........................................................................................................................................12
2.1. 利用できるリソース.................................................................................................................12
2.1.1. 一般利用可能なシステム...................................................................................................12
2.1.2. リソース制限 ....................................................................................................................13
2.1.3. ユーザアカウント .............................................................................................................13
2.1.4. ディスク領域（ホームディレクトリ，ワークディレクトリ） .........................................14
2.1.5. 端末装置............................................................................................................................17
2.1.6. プリンタ............................................................................................................................17
2.1.7. バックアップ ....................................................................................................................18
2.2. 利用目的別環境 ........................................................................................................................19
2.2.1. 演算ノード(Sun Fire X4600, NEC Express5800/B120a) ................................................19
2.2.2. メディアワークステーション ...........................................................................................20
2.2.3. プロキシーサーバ .............................................................................................................20
3. システムの利用 ...............................................................................................................................21
3.1. ログイン...................................................................................................................................21
3.1.1. リモートログイン .............................................................................................................21
3.1.2. メディアワークステーションのログイン／ログアウト ....................................................22
3.2. パスワード管理 ........................................................................................................................23
3.2.1. パスワード変更方法..........................................................................................................23
3.3. 環境設定...................................................................................................................................23
-i-
3.3.1. 環境設定スクリプト..........................................................................................................23
3.3.2. AP環境設定.......................................................................................................................24
3.3.3. 利用できるシェル .............................................................................................................24
3.3.4. 日本語環境 ........................................................................................................................24
3.3.5. Lustre環境の変更 .............................................................................................................25
3.4. インタラクティブでの利用 ......................................................................................................27
3.4.1. インタラクティブ実行 ......................................................................................................27
3.4.2. X Window Systemの利用 .................................................................................................27
3.4.3. インタラクティブの制限...................................................................................................27
3.5. バッチ処理 ...............................................................................................................................28
3.5.1. ジョブの作成 ....................................................................................................................28
3.5.2. キュー構成 ........................................................................................................................29
3.5.3. 利用可能キューの確認 ......................................................................................................31
3.5.4. ジョブの投入 ....................................................................................................................33
3.5.5. オプションを使用したジョブコントロール ......................................................................33
3.5.6. 並列ジョブ ........................................................................................................................37
3.5.7. 使用メモリサイズの指定と制限........................................................................................38
3.5.8. ジョブの状態確認 .............................................................................................................40
3.5.9. ジョブの削除 ....................................................................................................................41
3.5.10. ジョブの結果確認 .............................................................................................................42
3.5.11. アレイジョブ ....................................................................................................................43
3.5.12. GUI...................................................................................................................................44
3.6. 印刷..........................................................................................................................................45
3.6.1. PCからのプリンタ利用.....................................................................................................45
3.6.2. メディアワークステーション，インタラクティブノードからの利用...............................45
3.7. LTO3 装置の利用.....................................................................................................................48
3.8. プロキシー設定 ........................................................................................................................48
4. プログラミング言語と環境 .............................................................................................................49
4.1. コンパイラ ...............................................................................................................................49
4.1.1. プログラムのコンパイルとリンク ....................................................................................49
4.1.2. コンパイラのバージョン指定 ...........................................................................................49
4.1.3. 標準以外のコンパイラ ......................................................................................................50
4.1.4. ファイルの入出力 .............................................................................................................51
4.1.5. ライブラリの利用 .............................................................................................................51
4.2. 並列化 ......................................................................................................................................52
4.2.1. MPI...................................................................................................................................52
4.2.2. OpenMP ...........................................................................................................................55
4.2.3. pthread.............................................................................................................................56
4.3. 性能解析ツール ........................................................................................................................58
4.3.1. PGPROF...........................................................................................................................59
- ii -
4.3.2. PGDBG.............................................................................................................................60
5. アプリケーション............................................................................................................................61
5.1. ISVアプリケーション ..............................................................................................................61
5.1.1. AVS/Express PCE ............................................................................................................61
5.1.2. ABAQUS ..........................................................................................................................63
5.1.3. ABAQUS CAE .................................................................................................................64
5.1.4. AMBER ............................................................................................................................65
5.1.5. AVS Express Developer ...................................................................................................67
5.1.6. EnSight ............................................................................................................................68
5.1.7. Gaussian ..........................................................................................................................69
5.1.8. Gauss View ......................................................................................................................71
5.1.9. MATLAB ..........................................................................................................................72
5.1.10. MOPAC ............................................................................................................................74
5.1.11. Mathematica....................................................................................................................75
5.1.12. Molpro ..............................................................................................................................77
5.1.13. MD NASTRAN ................................................................................................................78
5.1.14. MD PATRAN....................................................................................................................79
5.1.15. SAS...................................................................................................................................80
5.1.16. Maple ...............................................................................................................................80
5.1.17. LS-DYNA .........................................................................................................................82
5.1.18. ANSYS FLUENT.............................................................................................................82
5.2. ISVアプリケーション(Windows端末専用) ..............................................................................83
5.2.1. Materials Explorer ..........................................................................................................83
5.2.2. Materials Studio ..............................................................................................................83
5.2.3. Discovery Studio Modeling..............................................................................................84
5.3. ISVアプリケーションライセンスの使用状況確認 ...................................................................85
5.3.1. FLEXlmの使用状況確認...................................................................................................85
5.3.2. LmServerの使用状況確認 ................................................................................................88
5.3.3. slimの使用状況確認..........................................................................................................88
5.3.4. MathLMの使用状況確認 ..................................................................................................88
5.3.5. LS-DYNAの使用状況確認 ................................................................................................89
5.4. フリー系アプリケーション ......................................................................................................90
5.4.1. GROMACS .......................................................................................................................90
5.4.2. POV-Ray...........................................................................................................................90
5.4.3. Tinker...............................................................................................................................90
5.4.4. UTChem...........................................................................................................................91
5.4.5. NWChem..........................................................................................................................91
5.4.6. GAMESS ..........................................................................................................................91
5.5. ClearSpeedの利用 ...................................................................................................................93
5.5.1. プログラムソースがある場合の利用方法..........................................................................93
- iii -
5.5.2. プログラムソースが無い場合の利用方法..........................................................................93
5.5.3. SDKによるClearSpeed 実行モジュールの作成 .............................................................94
5.5.4. バッチジョブによるClearSpeed利用................................................................................94
5.5.5. isvアプリケーションでのClearSpeedの利用....................................................................95
5.6. TESLAの利用 ..........................................................................................................................96
6. 電子メール ......................................................................................................................................97
7. 利用申請方法...................................................................................................................................98
8. 利用に関する問い合わせ.................................................................................................................99
9. 改版履歴........................................................................................................................................100
- iv -
はじめに
本書は東京工業大学学術国際情報センターが導入した，TSUBAME(※)の利用の手引きです．
TSUBAME は，Sun 社製「Sun Fire X4600 クラスタシステム」を中心とした，大規模グリッド計

算機環境です．
このシステムは下記のような特徴を有しております．
・全体演算性能（ピーク性能）で 85TFLOPS
・大規模ストレージサービスの実現
・高バンド幅ネットワーク環境
TSUBAME で採用している，オペレーティングシステムは，Linux が中心となっております．
このため，本書では，Linux(UNIX)の一般的な知識をお持ちのユーザを対象にしています．
主な内容は下記の通りです．
・ TSUBAME の紹介／概要
・システム（リソース）の利用環境
・システム（リソース）の利用方法
これらの TSUBAME を通して，利用者の研究活動に一層，寄与できるものと確信しております．
2006.3.31 NEC
(※) TSUBAME の名称について

本システムは，システム導入にあたり名称を公募し，大学院理工学研究科原子核工学専攻修
士 1 年小川慧さん案の TSUBAME に決定いたしました．
命名由来は以下のとおりです．
1. 新規導入される Grid システムは全ノードで力を合わせて最高速を出すことができる．そ
れはキャンパスに集まる学生や研究者同士が互いにディスカッションやコミュニケーシ
ョンしていく中で高めあい，新たな価値を創造していく様子を映し出しているかのようだ．
ところで，鳥は二つの羽を持つ．片方の翼だけでも不足で，二つの翼を持つことで強く羽
ばたいていくことができる．このように協調・協力していくようすを鳥の一種であるツバ
メの二つの羽に重ねた．
2. 本システムは 2006 年春日本最速になることから，春先に見られるスマートですばやい飛
行をするツバメはそれにぴったりである．
3. このスパコンの"巣"から若い"ツバメ"たちが，IT の世界や数値計算のリーダーとしてさら
に，若々しく育っていく夢を込めた．
4. ツバメは大学のシンボルマークにもデザインされている．
2006.4. 学術国際情報センター
-1-
1. システム概要
1.1. システム概念図
TSUBAME は，演算サーバ，ストレージサーバを中心に，以下の通り構成されています．
※ 演算サーバ Sun Fire X4600 は，1CPU＝1Core として表記しています．
-2-
-3-
1.2. ハードウェア概要
1.2.1. 演算サーバ Sun Fire X4600
Sun Fire X4600 サーバは，デュアルコア AMD Opteron プロセ
ッサを 16CPU 搭載しています．
演算サーバは，以下の 3 種類の Sun Fire X4600 で構成されており，合計 657 ノードです．

タイプノード数 CPU クロックメモリ容量/node
A 639 2.4GHz 32GB
B 16 2.6GHz 64GB
C 2 2.6GHz 128GB
バッチノード 651 ノード
インタラクティブノード 6 ノード（タイプ A：633 ノード，タイプ B：16 ノード，
（タイプ A：6 ノード）タイプ C:2 ノード）
InfiniBand
Gigabit Ethernet
大規模ストレージ Thumper
高可用性ストレージ iStorage
総物理容量：約 2PB
総物理容量：約 96TB
/work, /work2
/home
全演算サーバ間は，InfiniBand で接続されています．
全演算サーバとストレージサーバは，InfiniBand および，Gigabit Ethernet で接続されています．
-4-
1.2.2. ClearSpeed 社製アクセラレータ
演算サーバには，ClearSpeed 社製アクセラレータ Dual
CSX600 PCI-X Board が 1 枚ずつ搭載されています．1 枚
で 50GFLOPS の処理能力を有します．
1.2.3. NVIDIA 社製演算加速装置

演算加速装置は NVIDIA 社製 GPU を 4 セット搭載した
「TESLA」のラックマウントタイプ 170 台を各クラスター
ラックに配置して，マトリックス演算を高速に処理します．
1.2.4. 100 ギガビット級ネットワーク

Voltaire 社製 InfiniBand により，システム全体のバイセクションバンド幅
が 1,400Gbps(双方向)を有するネットワーク環境となります．
また，キャンパス内ネットワークである SuperTitanet さらには
SuperSINET，JGN 等に 10Gbps で接続可能な 10GigabitEthernet のインタ
フェースを有しています．
1.2.5. 大規模ストレージ
大規模ストレージは，Thumper 42 台で構成されています．総物理容量は，約 1PB です．
1.2.6. 高可用性ストレージ
高可用性ストレージは，Express5800/120Rh-2 を 2 台と iStorage S1800AT で構成されています．
総物理容量は，約 96TB です．
-5-
1.2.7. パラメータサーベイ用サーバ(coTSUBAME)
coTSUBAME は新型 CPU を使用したパラメータサーベイ用のマシンです．TSUBAME ノードと
比較し CPU 性能が高くメモリも潤沢に備えています．
製品名 NEC SIGMABLADE
Express5800/B120a 16node
CPU Intel Xeon 5550/4C/2.66GHz
8core/node
Memory ECC 付き DDR3-1,066 Registered
DIMM x4SDDC 24GB/node(Core あ
たり 3GB)
Network InfiniBand 4x DDR
OS SLES10SP2
利用にあたっての主な仕様は以下のとおりです．
利用できる課金形態 BES
制限(時間・プロセス数) TSUBAME と同じ
ノードあたりの最大並列数 8
実装メモリ量 24GB
キュー名 cotsubame
マシン構成バッチ 14
インタラクティブ 1
試験ノード 1
-6-
ソフトウェア概要
1.2.8. 演算サーバ
(1) オペレーティングシステム SUSE LINUX Enterprise Server 10 SP 2
演算サーバのオペレーティングシステムは，世界中で最も広く使われて
いる Linux ディストリビューションのひとつである SUSE LINUX
Enterprise Server 10 です．SUSE LINUX Enterprise Server 10 は，Linux
カーネルのバージョン 2.6 を採用しています．
SUSE LINUX Enterprise Server 10 は，セキュアなハイパフォーマンス・コンピューティン
グ環境に対応したスケーラブルで高性能な基盤です．
(2) コンパイラ，デバッガ，開発支援ツール PGI Cluster Development Kit（PGI CDK）

演算サーバには，コンパイラ，デバッガ，開発支援ツール群として，PGI CDK が入っていま
す．
PGI CDK に含まれる主な機能は以下の通りです．
• OpenMP，MPI による並列化に対応した PGI コンパイラ(Fortran, C, C++)
• クラスタ用のデバッガとプロファイラ
• ScaLAPACK ライブラリ
• BLAS，LAPACK ライブラリ
• 豊富なチュートリアルと HPF，OpenMP，MPI のプログラム例
• NVIDIA 製 CUDA 対応の GPU サポートする GPGPU 対応アク
セラレータコンパイラ (Fortran, C) ※PGI 9.0 以降
(3) Voltaire MPI ライブラリ

Voltaire 社製 InfiniBand のノード間制御を行うインタフェース・ライブラリとして，Voltaire
MPI ライブラリを利用できます．
この MPI ライブラリは，MPI 1.2 の規格に準拠しています．
(4) アプリケーション
演算サーバでは，様々な ISV アプリケーション，フリーソフトが利用可能です．詳細は，「1.5
ソフトウェア構成」をご参照ください．
-7-
1.2.9. 大規模ストレージ
複数の Thumper により，Lustre 並列ファイルシステムを利用可能です．
Lustre は，容量，アクセス性能の両面において優れたスケーラビリティを発揮し，容易に大規模
な並列ファイルシステムを構築することが出来るソフトウェアです．
Lustre により，複数台の Thumper のディスク領域を 1 つの大規模仮想ファイルシステムとし，
work 領域として利用いただけます．
-8-
1.3. ハードウェア構成
機器数量ハードウェア構成
Sun Fire X4600
デュアルコア AMD Opteron 880
2.4GHz × 8
タイプ A 639
搭載メモリ容量：32GB
内蔵 HDD：36GB×2（RAID1）
2.6GHz × 8
タイプ B 16
演算サーバ内蔵 HDD：36GB×2（RAID1）
2.6GHz × 8
タイプ C 2
ClearSpeed 657 Dual CSX600PCI-X Board 50GFLOPS
TESLA S1070 170 NVIDIA TESLA GPU X4 / 16GB DDR3 345GFLOPS
Intel Xeon 5550/4C/2.66GHz 8core/node
NEC Express5800/B120a 16
搭載メモリ容量: 24GB
500GB SATA ディスクドライブ 48 本
大規模ストレージ Sun Thumper 42
物理容量：24TB
[サーバ部分]
NEC 64bit Intel Xeon 3.80GHz × 2
2
Express5800/120Rh-2 搭載メモリ容量：6GB
高可用性ストレージ
[ストレージ部分]
NEC 400GB SATA ディスクドライブ 240 本
1
iStorage S1800AT メモリ容量：16GB
物理容量：96TB
Intel XeonTM 3.20GHz × 1
メディア NEC
2 内蔵 HDD：300GB×2（RAID1）
ワークステーション Express5800/120Lh
3.5 インチフロッピーディスクドライブ
CD-ROM 装置/ニューテック製 LTO3 装置
日本語カラー NEC
2 A3 対応カラープリンタ
PS プリンタ Color MultiWriter 9800C
B0 カラーPS プリンタ HP DesignJet 5500ps 2 1067mm(B0)モデル
NEC
WWW サーバ 2 搭載メモリ容量：1GB
Express5800/120Rf-1
内蔵 HDD：146.5GB×2（RAID1）
NEC
DNS 等サーバ 1 搭載メモリ容量：1GB
Express5800/120Rf-1
Intel PentiumD 3.20GHz × 1
認証局システム NEC
3 搭載メモリ容量：512MB
CA，RA，LDAP サーバ Express5800/110Rg-1
Intel XeonTM 3.20DGHz × 1
NEC
管理作業用 WS 1 搭載メモリ容量：1GB
Express5800/120Lh
ログインノード
N1GE マスターデュアルコア AMD Opteron 275
LDAP, License, Backup, 2.2GHz × 2
Sun Fire X4100 11
NFS/DB サーバ搭載メモリ容量：16GB
特定アプリケーション用演内蔵 HDD：36GB×2（RAID1）
算サーバ
-9-
1.4. ソフトウェア構成
1.4.1. ISV アプリケーション
アプリケーション名バージョン概要
6.1-2/7.2-4/8.0-6/ コンパイラ，デバッガ，開発支援ツ
PGI CDK
9.0-1/9.0-3/10.0 ール群
Intel Compiler 10.1.011/11.0.074 インテルコンパイラ(64/32bit 用)
数値演算のための Fortran & C サブ
IMSL（Fortran & C） 6.0/7.0
ルーチンライブラリ
大規模データのクラスタ対応並列可
AVS/Express PCE 7.0.1/7.1.1/7.2
視化ソフトウェア
有限要素法による汎用構造解析プロ
ABAQUS Standard 6.5.6/6.7.1/6.8.4
グラム
有限要素法による汎用構造解析プロ
ABAQUS Explicit 6.5.6/6.7.1/6.8.4
グラム
ABAQUS モデリング/ビジュアライゼ
ABAQUS/CAE 6.5.6/6.7.1/6.8.4
ーション環境
有限要素法による構造解析ソフトウ
MD NASTRAN R2.1
ェア
CAD と CAE 解析ソフトを統合するプ
MD PATRAN R2.1
リ・ポストプロセッサ
03 Rev. C02/D02/E01 分子軌道計算プログラム
Gaussian
09 Rev. A02
Gaussian のためのグラフィカルユー
GaussView 3.0/4.1/5.0
ザーインターフェース
Linda(Gaussian 用) 7.1/7.2/8.2 並列計算プログラミングツール
Molpro 2002.6 非経験的分子軌道計算プログラム
MOPAC 2006 V1 量子化学計算ソフトウェア
モデリングおよび分子力学と動力学
AMBER 8.0/9.0/9.0CS/10 計算シミュレーションプログラムの
パッケージ
Materials Explorer 4.0 分子動力学ソフトウェア
材料分野向け総合シミュレーション
Materials Studio 4.0/4.1/4.3/4.4/5.0
ソフトウェア
タンパク質 3 次元モデリング・機能
Discovery Studio 1.5/1.6/1.7/2.0/2.1/2.5
解析ソフトウェア
AVS/Express Developer 7.0.1/7.1.1/7.2 汎用可視化ソフトウェア
汎用科学技術計算結果可視化ソフト
EnSight 8.0.7(k)/8.2.6(c)/9.0.3(b)
ウェア
SAS 9.1.3 統計解析ソフトウェア
数式処理機能とグラフィック表示機
Mathematica 5.2/6.0/7.0
能を融合した数式処理システム
数値計算，行列解析，信号処理，グ
7.1(R14SP3)/7.2(R2006a)
MATLAB ラフィックス機能を統合したパッケ
7.5(R2007b)/7.8(R2009a)
ージ
Maple 11/12/13 数式処理システム
LS-DYNA 971R3 構造解析
ANSYS FLUENT 6.3.26/12.1 流体計算
- 10 -
1.4.2. フリーソフトウェア
アプリケーション名バージョン概要
NWChem 4.7 計算化学・結晶構造解析ソフトウェア
量子化学計算のソフトウエア・パッケ
UTChem 2004β-a
ージ
Tinker 4.2 分子力場計算プログラム
GROMACS 3.3/3.3.1 分子動力学計算プログラム
POV-Ray 3.6.1/3.5C 3DCG ソフト
22 FEB 2006 (R5) 非経験的分子軌道法プログラム
GAMESS 24 Mar 2007 (R3)
11 Apr 2008 (R1)
ImageMagick 6.2.7 画像表示と画像処理
fftw 3.1.2 C 用のライブラリ
- 11 -
2. 利用環境
2.1. 利用できるリソース
2.1.1. 一般利用可能なシステム
下記のサーバ及びストレージの利用が可能です．
(1) サーバ
ログ CPU 数
サービスノー
インホスト名 OS (Core 備考
(用途) ド数
可否数)
IP アドレス
login ログインノー
○ SLES9 2 8 172.17.75.161
(login1login2) ド
172.17.75.162
tgg075017 インタラクテ
ログインノードから
△ ：ィブ SLES10 6 96
自動ログイン
tgg075022 計算/AP
CS debug ログインノードから
△ tgg072224-225 SLES10 2 32
ノード自動ログイン
tesladebug ログインノードから
△ tgg075053-055 SLES10 3 48
tgg072001-118
tgg072121-223
tgg072226-238
tgg073001-118
バッチ N1 Grid Engine を
× tgg073121-238 SLES10 634 10144
計算/AP 利用したバッチ利用
tgg074001-116
tgg074161-162
tgg075001-016
tgg075023-052
sles9 ログインノードから
△ tgg074117-118 SLES9 2 32
Materials Studio
特定アプリケ
4.0,4.1,Discovery
△ tgg075181 ーション用演 RHEL4 1 4
Studio1.5/1.6/1.7/2.0
算サーバ
用演算サーバ
ログインノードから
自動ログイン
coTSUBAME
△ coTSUBAME001-016 SLES10 16 128 (coTSUBAME001 に
ノード
インタラクティブロ
グイン可能)
media-o LTO3
○ メディア RHEL4 2 4
media-s プリンタ出力
× proxy-o プロキシ RHEL4 1 1
(2) ストレージ／その他
種別（用途）機種容量備考
各演算ノードから
ホーム領域 NEC/iStorage S1800AT 物理容量:96TB
/home として利用
各演算ノードから
ワーク領域 Sun/Thumper 物理容量: 1PB /work, /work2 として利
用
日本語カラー NEC/ 大岡山: prn1-o media-o から印刷可能
ポストスクリプト ColorMultiWriter9800C すずかけ台：prn1-s media-s から印刷可能
- 12 -
プリンタ
B０カラー
大岡山: prn0-o media-o から印刷可能
ポストスクリプト HP/Designjet5500ps
すずかけ台: prn0-s media-s から印刷可能
プリンタ
※1) 目的に応じて，各システムをご利用下さい．
※2) IP アドレスやサービスの変更を実施する場合があります．
各システムのご利用は IP アドレスではなくホスト名を指定してご利用ください．
2.1.2. リソース制限
(1) 演算ノード
インタラクティブノードのリソース制限としては，実行時間，使用メモリ，MPI ジョブのプロ
セス数に制限があります．
バッチノードは，バッチシステムによるリソース制限が実施されています．
詳細は 3 章「システムの利用」をご参照ください．
(2) ストレージ
2010 年 4 月現在，ホーム領域の利用については一利用者あたり 300GB 以内，/work, /work2
については 1TB 以内, /archive, /archive2 については 2TB 以内での利用をお願いしておりま
す．
2.1.3. ユーザアカウント
利用者のユーザ名，パスワード等の情報は LDAP を用いて一元的に管理されています．
全てのマシンで，ユーザ名／パスワード／ログインシェル／ホームディレクトリが透過になります．
ある１つのマシンで利用環境を変更した場合，全てのマシンで同一の変更が実施されます．
下記に主なユーザ情報を示します
ユーザ名変更不可
パスワード変更可能
ログインシェル変更可能
ホームディレクトリ変更不可
- 13 -
2.1.4. ディスク領域（ホームディレクトリ，ワークディレクトリ）
(1) 利用可能なディスク領域
2010 年 4 月現在，利用可能なディスク領域は下記の通りです．
システムの利用状況により増減がある可能性があります．
ディレクトリ名容量備考
/home0 7.4TB
/home1 7.4TB
/home2 7.4TB ユーザホームディレクトリ
/home3 7.4TB ※ /home 配下にシンボリックリンクされています．
/home4 7.4TB ホームディレクトリは，/home/usr?/ユーザ名として
/home5 4.4TB ご利用ください．
/home6 5.6TB
/home7 2.4TB
/home_bk0 1.9TB バックアップ対象ディレクトリ
/work 73TB ワークディレクトリ
/work2 73TB ワークディレクトリ
Gaussian スクラッチディレクトリ
/scrbes1 11.2TB
(novice, bes1 キュー用)
/scrbes2 11.2TB Gaussian スクラッチディレクトリ(bes2 キュー用)
/scrsla1 11.2TB Gaussian スクラッチディレクトリ(sla1,inno1,pino1 キュー用)
/scrsla2 11.2TB Gaussian スクラッチディレクトリ(sla2,inno2,pino2 キュー用)
Gaussian スクラッチディレクトリ
/scrsla3 11.2TB
(RAM64GB,RAM128GB,hpc1,hpc3 キュー用)
/depot1
20TB データ一時保管
/depot2
/archive1 61TB
データライブラリ
/archive2 35TB
(2) ユーザホームディレクトリ /home0～/home7

ホームディレクトリは全てのマシンから NFS 共有されています．
このため，１つのマシンで作成したファイルを転送なしに全てのマシンで利用可能です．
ホームディレクトリは下記のような名前になっています．
/home/usr?/ユーザ名
(3) ワークディレクトリ /work, /work2

ワークディレクトリは全てのマシンから，Lustre(並列ファイルシステム)共有されています．
このため，１つのマシンで作成したファイルを転送なしに全てのマシンで利用可能です．
新規に利用する際には，各自でユーザ名のサブディレクトリを作成してください．
/work への作成方法は以下の通りです．
$ mkdir /work/ユーザ名
/work2 への作成方法は以下の通りです．
$ mkdir /work2/ユーザ名
- 14 -
※注意
本ディレクトリはファイルの長期保存場所ではありません．MPI プログラムや，大規模データ
を出力するプログラムの出力先に利用して下さい．また，バックアップを行っていませんので，
大切なデータは，各自の責任において，必ずバックアップを取るようにしてください．
/work, /work2 は各 1TB に使用容量制限がかかっています．
(4) バックアップ対象ディレクトリ /home0～/home7, /home_bk0

/home0～/home7 および/home_bk0 ディレクトリは，バックアップを行っています．大切なデ
ータ保存にはこの領域をご利用ください．
/home_bk0 を新規に利用する際には，各自でユーザ名のサブディレクトリを作成してください．
作成方法は以下の通りです．
$ mkdir /home_bk0/ユーザ名
(5) スクラッチディレクトリ /scr*

Gussian を始めとする各アプリケーションで使用できるスクラッチファイルが格納されるデ
ィレクトリです．ジョブが実行されるノードによって，スクラッチディレクトリの格納されるデ
ィレクトリが異なるので，ご注意ください．
後述のバッチジョブ投入用コマンド n1ge を使用して Gaussian ジョブを投入する場合は，実
行ノードに応じて n1ge が適切にスクラッチディレクトリを設定しますので，利用者がスクラッ
チディレクトリ（GAUSS_SCRDIR）を設定する必要はありません．
/scr* 配下は，インタラクティブノード(tgg075017～tgg075022)上からアクセスすることがで
きます．以下にアクセス例について示します．
ユーザジョブの実行時に環境変数「$TMPSCR_DIR」が自動的に設定されます．実行スクリプト，
プログラム内にて$TMPSCR_DIR をご指定いただければ，スクラッチディレクトリ(実体)は，
「/scrXXX/ジョブ ID.タスク ID.N1GE_CELL 名.キュー名」
「XXX」・・・{bes1|bes2|sla1|sla2}
に一時ファイルの生成が可能となっております．
平成 21 年度からは Gaussian のスクラッチと同等の扱いとして，ジョブ終了直後には削除せず，

ジョブ終了から一週間の後削除となります．アプリケーションにおいて一時ファイルを作成した
のち，/work などへ移動していただく等の利用が可能となります．
以下に参照例を示します．
[サンプルスクリプトの内容]
$ cat chk_scr.sh
#!/bin/sh
echo "¥$TMPSCR_DIR[$TMPSCR_DIR]"
echo "ls -l ¥$TMPSCR_DIR"
ls -l $TMPSCR_DIR
[n1ge 実行例]
- 15 -
$ n1ge -g 4S080138 -q RAM64GB ./chk_scr.sh
*n1ge> Checking n1ge options....
*n1ge> Checking about 4S080138 group you specified....
*n1ge> < Premium Level 1 >
*n1ge> RUNTIME of this job will be set to 30 minutes.
*n1ge> You should specify it by yourself when you submit jobs as SLA, INNO, PINNO type group.
*n1ge> Checking which tool have the command you specified....
*n1ge> Reading specific configuration file for each tools....
*n1ge> Creating qsub options....
*n1ge> Submitting Job to Cluster......
Your job 228850 ("OTHERS") has been submitted
[実行結果]
$ cat OTHERS.o228850
[Starting Job 228850 on tgg075008]
$TMPSCR_DIR[/gau/228850.undefined.TITECH_SLA.RAM64GB]
ls -l $TMPSCR_DIR
total 0
[Ending Job 228850]
EXIT_CODE:0
※注意点
システム上の取り扱い名は /scr* となっておりますが，df -k コマンドなどで参照した場
合や，システム表示で旧来からの /gau* と見える場合があります．同じものですが，なるべ
く /scr* としてご利用ください．
(6) データライブラリ /archive，/archive2

データライブラリは全てのマシンから，Lustre(並列ファイルシステム)共有されています．この
ため，転送なしに全てのマシンで利用可能です．利用頻度の高いデータを保存してください．新
規に利用する際には，各自でユーザ名のサブディレクトリを作成してください．
作成方法は/work, /work2 と同じです．/archive,/archive2 は, それぞれ 2TB の使用容量制限がか
かっています．
(7) 利用制限
2010 年 1 月よりディスク領域に関して下記のストレージ利用制限を実施しています．
※ 下記制限値を超えるストレージを利用したい場合は，コンピュータシステム担当までご相
談ください．(home 領域を除く)
ストレージ利用制限値
領域警告値強制値猶予期間
home 300GB 303GB 1 週間
work 1TB 1TB 1 週間
work2 1TB 1TB 1 週間
archive 2TB 2TB 1 週間
archive2 2TB 2TB 1 週間
(archive,archive2 についてはテープライブラリの導入により，今後制限が緩和される予定
です)
強制値を超えると，即座にその領域での新規ブロックの割り当て，ファイルの作成ができなく
なります．そのためジョブが強制終了される場合がありますので，ご注意ください．
- 16 -
また，警告値を超えるとログイン時に警告が表示されます．なお，警告値を超えたまま猶予期
間を過ぎると，強制値を超えた場合と同様に，その領域での新規ブロックの割り当て，ファイ
ルの作成ができなくなります．
新規ブロック等の割り当てができなくなった場合は，その領域内のファイルのバックアップを
行うなどして利用量の削減にご協力ください．
○利用量の確認方法:
・ home の場合
$ quota -v
・work の場合
$ lfs quota /work
2.1.5. 端末装置
利用可能な端末装置として，メディアワークステーションが大岡山とすずかけ台に各 1 台設置され
ています．
メディアワークステーションへのログインは，スパコンシステムと同様のアカウントでログイン可
能です．
メディアワークステーションで利用可能な外部メディアは，LTO3 ドライブが利用可能です．
また，各プリンタへの印刷が可能です．
ホスト名設置場所 OS 用途
LTO3
media-o 大岡山 RHEL4
大岡山へのプリンタ出力
LTO3
media-s すずかけ台 RHEL4
すずかけ台へのプリンタ出力
2.1.6. プリンタ
センター内で利用できるプリンタは以下の通りです．
• 日本語カラーポストスクリプトプリンタ
機種プリンタ名設置場所プリンタへ出力可能マシン
media-o
prn1-o 大岡山
NEC tgg075017 ～ tgg075022
ColorMultiWriter9800C media-s
prn1-s すずかけ台
tgg075017 ～ tgg075022
• B0 カラーポストスクリプトプリンタ
機種プリンタ名設置場所プリンタへ出力可能マシン
HP prn0-o 大岡山 media-o
Designjet5500ps prn0-s すずかけ台 media-s
プリンタの主な仕様は以下の通りです．
(1) 日本語カラーポストスクリプトプリンタ
- 17 -
用紙サイズ：A3, B4, A4, B5, A5, レター, 自由サイズ
ファイル形式：
印刷速度：片面カラー A4 31 頁/分両面カラー A4 17 頁/分
：片面モノクロ A4 40 頁/分両面モノクロ A4 22 頁/分
解像度：9600dpi 相当×600dpi 1200dpi×1200dpi
(2) B0 カラーポストスクリプトプリンタ
染料インク UV インク
コ ― ト紙光沢フォト用紙 2 厚手コート紙光沢フォト用紙 2
最高速度 52.86 ㎡/時間 13.66 ㎡/時間 26.76 ㎡/時間 13.66 ㎡/時間
標準画質 17.56 ㎡/時間 9.29 ㎡/時間 - 9.29 ㎡/時間
高画質 9.29 ㎡/時間 7.06 ㎡/時間 9.29 ㎡/時間 7.06 ㎡/時間
最高品質 9.29 ㎡/時間 5.57 ㎡/時間 5.57 ㎡/時間 5.57 ㎡/時間
2.1.7. バックアップ
ユーザが各自でバックアップする方法は，下記の通りです．
(1) メディアワークステーションの LTO3 を利用する．
メディアワークステーションにログインし，tar や cpio 等の標準コマンドが利用可能です．
(2) scp, sftp, ftp を利用して，ファイル転送を実施する
ログインノードでは，各ディレクトリ(/home, /work, /archive) を mount しています．またこ
のマシンでは，scp, sftp, ftp サービスが動作していますので，自身の PC やストレージにファイ
ル転送することが可能です．
ftp によるダウンロードサービスについての詳細は次の URL をご参照ください．
http://www.gsic.titech.ac.jp/~ccwww/tgc/eSATA.pdf
(3) ディスク上の他の領域にコピーを実施する．
別の領域にコピーすることにより，万が一に備えることが可能です．
システムでは，/home_bk0 領域をご用意しています．この領域はシステム側でバックアップを
実施しています．
- 18 -
2.2. 利用目的別環境
ここでは，各マシンや周辺機器の利用目的とその環境について記述します．
2.2.1. 演算ノード(Sun Fire X4600, NEC Express5800/B120a)
演算ノードは主に下記の目的で使用可能です．
(1) インタラクティブジョブの実行（小規模）
• 単体プログラム実行
• コンパイル
• 浮動小数点アクセラレータ（ClearSpeed）の利用
(2) バッチジョブの実行（大規模）
• MPI 並列プログラム実行
• 浮動小数点アクセラレータ（ClearSpeed）の利用
• NVIDIA 社製演算加速装置（Tesla）の利用
(3) ISV やフリーのアプリケーションの実行
• 各種アプリケーションの実行
利用可能なアプリケーションは下記のとおりです．
ISV アプリケーション
PGI CDK
IMSL (Fortran&C)
AVS/Express PCE
ABAQUS Standard
ABAQUS Explicit
ABAQUS/CAE
MD NASTRAN
MD PATRAN
Gaussian
Gauss View
Linda
Molpro
MOPAC
AMBER
Materials Explorer
Materials Studio
Discovery Studio Modeling
AVS/Express Developer
EnSight
SAS
Mathematica
MATLAB
Maple
LS-DYNA
ANSYS FLUENT
フリー系アプリケーション
NWChem
UTChem
Tinker
GROMACS
POV-Ray
GAMESS
- 19 -
2.2.2. メディアワークステーション
メディアワークステーションは下記の目的で利用可能です．
(1) LTO３装置の利用
(2) センターのプリンタへの出力
(3) 画像ファイル形式変換
2.2.3. プロキシーサーバ
プロキシーの設定を行うことで，インターネットの Web ページを参照可能です．
ホスト名 proxy-o.cc.titech.ac.jp
IP アドレス 131.112.14.2
ポート番号 8080
- 20 -
3. システムの利用
3.1. ログイン
3.1.1. リモートログイン
マシンへリモートログインするには ssh コマンドを使用します．
下記マシンへリモートログインすることが可能です．
(1) ログインノード（login.cc.titech.ac.jp）
(2) メディアワークステーション（media-o，media-s）
(3) 学外からのアクセスマシン (login-gw.cc.titech.ac.jp)
※ パスワードに関する注意事項
• 本システムへの初めてのログインの際，パスワードの変更が要求されます．メッセージ
に従い，パスワードの変更を行ってください．
• パスワードの有効期限は 24 週(168 日)です．有効期限が切れた際，パスワードの変更が
要求されます．メッセージに従い，パスワードの変更を行ってください．
ログインノードにログインすると，自動的にインタラクティブノードにログインします．
また，SAS，MOPAC が利用可能なインタラクティブノード，ClearSpeed のデバッグ作業が可能
なインタラクティブノードへのログイン方法は下記です．
例１：ログインノードへリモートログインする場合（通常ターミナル）
$ ssh User-ID@login.cc.titech.ac.jp
$ ssh -l User-ID login.cc.titech.ac.jp
例２：ログインノードへリモートログインする場合（X11 転送を有効）
※-Y：X11 転送を有効にしています．X アプリケーションを使用したい場合は，
このオプションを使用して下さい．(-X を使用する場合もあります)
$ ssh -Y User-ID@login.cc.titech.ac.jp
例３：sles9 を利用可能なインタラクティブノードへリモートログインする場合
$ ssh -t -Y User-ID@login.cc.titech.ac.jp sles9
例４：SAS を利用可能なインタラクティブノードへリモートログインする場合
$ ssh -t -Y User-ID@login.cc.titech.ac.jp sas
例５：MOPAC を利用可能なインタラクティブノードへリモートログインする場合
$ ssh -t User-ID@login.cc.titech.ac.jp mopac
例６：ClearSpeed のデバッグが可能なインタラクティブノードへリモートログインする場合
$ ssh -t User-ID@login.cc.titech.ac.jp csdebug
例７：すずかけ台のメディアワークステーションへリモートログインする場合
- 21 -
$ ssh User-ID@media-s.cc.titech.ac.jp
例８：tesla のデバッグが可能なインタラクティブノードへリモートログインする場合
$ ssh -t User-ID@login.cc.titech.ac.jp tesladebug
例９：coTSUBAME のインタラクティブノードへリモートログインする場合
$ ssh -t User-ID@login.cc.titech.ac.jp cotsubame
3.1.2. メディアワークステーションのログイン／ログアウト
(1) ログイン
下記ログイン画面よりユーザ名，パスワードを入力します．
(2) ログアウト
画面上部の『Action』より『Log out』を選択します．
- 22 -
3.2. パスワード管理
3.2.1. パスワード変更方法
パスワード変更は下記手順で行うことができます．
$ passwd
Changing password for user user0001.
Enter login(LDAP) password: 旧パスワード
New UNIX password:新パスワード
Retype new UNIX password:新パスワード
LDAP password information changed for user0001
passwd: all authentication tokens updated successfully.
『all authentication tokens updated successfully』が出力されると問題なくパスワード変更がで

きています．
3.3. 環境設定
3.3.1. 環境設定スクリプト
(1) 環境設定
基本的な利用において，ユーザ自身による環境設定は，不要です．
ユーザ自身で設定変更を行う場合は，下記の環境設定スクリプトを編集してください．
ログインシェル環境設定スクリプト
bash ~/.bashrc
csh，tcsh ~/.cshrc
sh ~/.profile
設定変更は，アプリケーション実行に必要な設定などを消さないよう，十分注意が必要です．
(2) 確認方法
現在の環境は下記コマンドを入力することで確認できます．
$ printenv ･･･全環境変数の値の参照
$ echo $変数名･･･環境変数の値の参照
- 23 -
3.3.2. AP 環境設定
ログインした時点で設定されているので，ユーザ自身で設定する必要はありません．
3.3.3. 利用できるシェル
本システムでは標準で bash を提供しています．現在のログインシェルは下記コマンドを入力する
ことで確認できます．以下の場合は bash に設定されています．
$ echo $SHELL
/bin/bash
変更可能なシェルとして sh，tcsh，csh があります．

bash を含め，各々のシェルのパスは下記のとおりです．
シェル名パス
sh /bin/sh
bash /bin/bash
csh /usr/bin/csh
tcsh /usr/bin/tcsh
3.3.4. 日本語環境
本システムの言語環境は，en_US.UTF-8 が既定値になっています．
本システムで提供されている日本語化されたコマンドやソフトウェアを使用するためには，ロケー
ルを設定して言語環境を指定して下さい．サポートされているロケールは以下の通りです．
ロケール名使用する文字コード・セット名
ja_JP.eucjp 日本語 EUC
ja_JP.sjis 日本語 Shift-JIS
ja_JP.utf8 日本語 UTF-8
現在の言語環境は下記コマンドを入力することで確認できます．以下の場合は日本語 EUC に設定

されています．
$ locale
LANG=ja_JP.eucjp
･･･
･･･
ロケールは LANG 環境変数で設定します．

ロケールを日本語 UTF-8 に設定する場合
$ export LANG=ja_JP.utf8
ロケールを日本語 EUC に設定する場合
- 24 -
$ export LANG=ja_JP.eucjp
ロケールを英語 C に設定する場合
$ export LANG=C
例えば date コマンド，標準では以下のように表示されます
$ date
Sat Apr 1 00:00:00 JST 2006
ロケールに日本語が選択されている場合，日付時刻を日本語で表示します．
$ date
2006 年 4 月 1 日土曜日 00:00:00 JST
環境によって表示が文字化けする場合があります．その場合，お使いのターミナルソフトのロケー
ル設定を確認してください．
3.3.5. Lustre 環境の変更

/work, /work2 を構成する Lustre サーバは現在，約 1.7TB の OST 群から成り，トータル約 52.6TB を
提供しています．現在，1 つのファイルは 1 つの OST に作成される設定になっているため， 1.7TB を
超えるファイルを作成できません．しかし，ディレクトリ単位でその設定を変更することが出来ます．
以下にその方法を示します．
[設定方法]
/usr/bin/lfs コマンドのサブコマンド setstripe で設定，getstripe で設定の確認ができます．
setstripe，getstripe の使用方法は下記により確認することができます．
$ lfs help setstripe

$ lfs help getstripe
[利用例]
/work/testuser/stripe のストライプカウントを 3 とし，3 台の OST を同時に利用するようにしま
す．この結果，この最大 5.1TB (1.7TB×3) のファイルを作成できるようになります．
(1) Lustre FS 上にディレクトリを作成
$ mkdir -p /work/testuser/stripe
(2) 作成したディレクトリに stripe 設定
- 25 -
$ lfs setstripe /work/testuser/stripe 0 -1 3
=> stripe size はデフォルト値（1MB）

=> stripe start はデフォルト値（Lustre サーバが適当に決めます）
=> stripe count は３
(3) stripe 設定内容を確認

$ lfs getstripe /work/testuser/stripe
OBDS:
0: tgt075121-ost1_UUID ACTIVE
:
表示内容省略
:
/work/testuser/stripe
default stripe_count: 3 stripe_size: 0 stripe_offset: -1
(4) stripe 設定したディレクトリにファイルを作成

$ dd if=/dev/zero of=/work/testuser/stripe/zerofile bs=1024k count=10
10+0 records in
10+0 records out
(5) ファイルデータの配置状態を確認
$ lfs getstripe /work/testuser/stripe/zerofile
OBDS:
:
表示内容省略
:
/work/testuser/stripe/zerofile
obdidx objid objid group
15 2294545 0x230311 0
16 2272520 0x22ad08 0
17 2307219 0x233493 0
=> ３つの ost（15,16,17 番)上にデータが配置されます
- 26 -
3.4. インタラクティブでの利用
本システムでは，一般の UNIX と同様のインタラクティブ環境が利用可能です．本システムにログイ
ンすると，自動的にインタラクティブノード(の一つ)にログインします．
ログイン方法は，「3.1. ログイン」の項を参照して下さい．
3.4.1. インタラクティブ実行
ログインしたインタラクティブノード上で，コンパイル，リンクなどが可能です．アプリケーショ
ンやプログラムの実行は，後述のバッチ処理を利用した方が効率的です．
詳細は，「3.5. バッチ処理」の項を参照して下さい．
$ pgcc myprog.c
$ ./a.out
3.4.2. X Window System の利用

本システムに，X Window System を利用できる環境からログインしている場合は，インタラクテ
ィブノードにある，X Window System アプリケーションを実行することが可能です．
実行例を以下に示します．
$ /usr/X11R6/bin/xclock &
上記のようにすると，ログイン元の X Window System 環境に，xclock が表示されます．
3.4.3. インタラクティブの制限
インタラクティブノード上での資源利用には次の制限があります．
・ CPU 時間は，１プロセスあたり 30 分まで

・メモリサイズは，1 プロセスあたり 4GB まで
・並列実行は 4 並列まで
ただし，これらは利用状況により変更される場合があります．
詳細については，学術国際情報センター研究用計算機システムのホームページを参照して下さい．
http://www.gsic.titech.ac.jp/~ccwww/tgc/tgcreminder.pdf
- 27 -
3.5. バッチ処理
本システムでは，バッチ処理システムを利用することができます．
通常のインタラクティブ処理(コマンドの実行)では，利用者が各々のタイミングでアプリケーショ
ンやコマンドを実行するため，計算機資源の利用において競合が発生する確率が高くなります．
これに比べて，バッチ処理では，投入したジョブはシステムによってスケジューリングされるため，
他のアプリケーション，ジョブの影響を受けることなく，計算機資源を効率良く利用することができ
ます．
バッチ処理システムの利用手順は，以下のようになります．
(1) ジョブの作成
(2) ジョブの投入
(3) ジョブの状態確認
(4) ジョブの結果確認
これらについて，順に説明します．
3.5.1. ジョブの作成
ジョブは，バッチ処理で実行したいコマンドを記述したシェルスクリプトです．これ以降，ジョブ
スクリプトと呼びます．
以下にジョブスクリプトの例を示します．
例ジョブスクリプト myjob.sh の中身
#!/bin/sh
#
# sample jobscript
#
cd $HOME/test
./myprog < input_data
上の例 myjob.sh は，$HOME/test ディレクトリ($HOME は各ユーザのホームディレクトリ)に移
動し，そのディレクトリにあるプログラム myprog を実行するジョブスクリプトです．
このようなコマンドを羅列したファイルをまず作成します．
また，ジョブスクリプトのファイルには，実行権を付与する必要があります．
$ chmod a+x myjob.sh
- 28 -
3.5.2. キュー構成
現在，利用可能なキューは以下の通りです．
構成，投入の可否などは，予算利用状況や運用によって変わります．
2010 年 4 月 7 日現在
キュー名ノード数備考サービス種別
novice 11 2.4GHz 32GB 32CPU(core)/ユーザー無料サービス
sles9 2 旧環境ノード
移行措置
sas 1 SAS 専用 (sles9 内の指定ノード)
mopac 3 mopac 利用キュー（bes2 と共有）
bes1 2.4GHz 32GB
234
bes2 最大 1888CPU まで利用可能
cs1 bes と共有
234
cs2 最大 118CPU まで利用可能ベストエフォートサービス
bes1tes2 bes と共有 (定量ジョブ用)
87
bes2tes2
tsubasa 88 一般利用は調整中
2.66GHz Xeon 8core/node 24GB
cotsubame 14
最大 112CPU まで利用可能
sla1 2.4GHz 32GB
236
sla2 最大 1888CPU まで利用可能
sla1tes2 sla キューと共有
132
sla2tes2
2.6GHz 64GB
RAM64GB 16 性能保証サービス
2.6GHz 128GB (従量ジョブ用)
RAM128GB 2
hpc1 65
(事前予約制)
hpc1tes2 62 hpc1 キューと共有
hpc3 33
(事前予約制)
inno1 2.4GHz 32GB
236
inno2 最大 1888CPU まで利用可能
学外利用
inno1tes2
132 inno キューと共有性能保障サービス
inno2tes2
(従量ジョブ用)
pinno1 2.4GHz 32GB
236
pinno2 最大 1888CPU まで利用可能
※ ベストエフォートと性能保証サービスの割り当てノード数は混雑状況に応じて変更する可能性があります．
※ 無料サービス(sasを除く)内ではユーザーあたり32CPU以下で利用可能です
※ cs1, cs2の制限はプログラムにより変更できます．センターにお問い合わせください．
※ tsubasaキュー利用に当たっては，別途TSUBASA利用の手引きを参照してください．
※ 移行措置のSLES9環境ノードでは最大実行7日，メモリ4GB(interactiveと同じ)に制限されます．
※ cotsubameキュー利用に当たっては，別途coTSUBAME利用の手引きを参照してください．
• ジョブ割り当てと課金
− 無料サービス(必須サービス，無料
novice キューはジョブ実行制限時間が 1 時間)
− ベストエフォートサービス(有料: ジョブ実行時間制限は 7 日以内)
− 性能保証サービス(有料: 従量制のため，時間制限に注意)
− 移行措置の sles9(無料:実行時間制限は 7 日以内，メモリサイズは 4GB)
- 29 -
有料サービスの利用者は適切な課金グループに所属している必要があります．
詳細については学術国際情報センター研究用計算機システムのホームページを参照して下さい．
http://www.gsic.titech.ac.jp/~ccwww/index.html
• プレミアサービス
ジョブの実行時間，待ち順位を選択することがてぎます．詳細につきましては，学術国際情報
センター研究用計算機システムのホームページを参照して下さい．
http://www.gsic.titech.ac.jp/~ccwww/index.html
各キューは，3 つの N1GE グループ毎に管理されます．

① free,bes（略称 free）
novice, bes1/cs1/bes1tes2, bes2/cs2/bes2tes2, mopac
※ tsubasa はここに含まれますが，n1ge の都合により調整中です．
② int
interactive, sas, csdebug, tesladebug
③ sla
sla1, sla2, RAM64GB, RAM128GB, hpc1, hpc1tes2, hpc3, inno1, inno2, pinno1, pinno2,
sla1tes2,sla2tes2,inno1tes2,inno2tes2
システムにどのようなキューが用意されているか確認するには，qlist コマンドを使用します．
qlist は，-a を付加することで N1GE 属性情報を表示します．
$ qlist -a
RAM128GB sla
RAM64GB sla
bes1 free,bes
bes1tes2 free,bes
bes2 free,bes
bes2tes2 free,bes
cotsubame free,bes
cs1 free,bes
cs2 free,bes
csdebug int
hpc1 sla
hpc1tes2 sla
hpc2 sla
hpc2tes2 sla
hpc3 sla
inno1 sla
inno1tes2 sla
inno2 sla
inno2tes2 sla
interactive int
interactive2 int
mopac free,bes
novice free,bes
pinno1 sla
pinno2 sla
- 30 -
sas int
sla1 sla
sla1tes2 sla
sla2 sla
sla2tes2 sla
sles9 int
tesladebug int
tsubasa gcoe
tsubasa_int int
[注意事項]
キューinteractive，sas，csdebug，tesladebug が表示されますが，これらはインタラクティブ用
のキューです．バッチ利用はできませんので，これらのキューにジョブを投入することはできませ
ん．
3.5.3. 利用可能キューの確認
小規模の利用以外は課金対象になりますので，利用者が利用可能なキューの確認を行なってくださ
い．以下の手順で確認できます．
$ qgroup -a
GROUP_NAME TYPE STATUS MAX NJOBS PEND RUN CONSUME AVAILABLE
--------------------------------------------------------------------------------------------
4B080137 BES OK 320(cpu) 6( 56) 0( 0) 6( 56) 160 160(cpu)
4S080138 SLA OK 28800(h) 0( 0) 0( 0) 0( 0) - 27845(h)
---------------------------------------------------------------------------------------
BES GROUP 4 5 6 7 8 9 10 11 12 1 2 3 TOTAL

---------------------------------------------------------------------------------------
4B0801xx 320 320 320 320 320 320 320 320 320 320 320 320 3840
--
[ Running jobs ]
job-ID pl ppri prior et rt(min) name user group state start at running queue slots
----------------------------------------------------------------------------------------------------------------
1410425 1 -700 0.26320 2w 10081 SMP_8_1 suntest 4B080xxx r 10/14 12:54 bes2@tgg072164 8(16)
1410426 1 -700 0.21320 1w 10080 SMP_4_1 suntest 4B080xxx r 10/14 12:55 bes2@tgg072151 4
1410430 3 -100 0.45666 1w 10080 MPI_3_32_1 suntest 4B080xxx r 10/14 12:57 bes2@tgg072165 32(128)
[ Pending jobs ]
job-ID pl ppri prior et rt(min) name user group state submit at requested queue slots
----------------------------------------------------------------------------------------------------------------
1410431 1 -700 0.00000 1w 10080 SMP_16_16 suntest 4B080137 qw 10/14 13:07 bes2 16
この例では，bes1(cs1), bes2(cs2)キューと sla1, sla2 キューを使用することができます．ジョブの

実行予報などを参考に，投入先を指定できます．
また，バッチキューの利用状況を確認する場合は，qstatus コマンドを使用します．
$ qstatus [出力オプション] [出力対象キュー]
[出力オプション]
-node 指定キューの全ノード一覧，及びその状態 (オプション未指定時のデフォルト動作)

- 31 -
-stat 指定キューの状況を表形式で出力
-free 指定キューの空きノード一覧，及びそのサマリー結果
-sum 指定キューのサマリー情報出力
オプション未指定時は"-node"(対象キューノード一覧)の動作となります．
但し出力対象キュー指定が必要です．
[出力対象キュー]
-nocharge novice
-bes bes1,bes2,cs1,cs2,bes1tes2,bes2tes2
-sla sla1,sla2,sla1tes2,sla2tes2
-inno inno1,inno2
-pinno pinno1,pinno2
-sla1all sla1,inno1,pinno1
-sla2all sla2,inno2,pinno2
-slaall sla1,sla2,inno1,inno2,pinno1,pinno2
-hpc hpc1,hpc3
-ram RAM64GB,RAM128GB
-[キュー名] 指定した任意のキュー，複数指定可．例: -novice -bes
出力対象キューが指定されていない場合は，オプション指定が必要です．
各キューの利用状況が表示されますので，投入キューの選択の参考にしてください．
(例) BES キューの全ノード一覧，及びその状態を表示する．

$ qstatus -node -bes
(この指定の場合，"-node"は省略可)
--
HOSTNAME STATUS REST CPUs REST MEM ENABLE-QUEUES
---------------------------------------------------------------
tgg073121 OK 4/16CPU 20/32 GB bes2 mopac
tgg073122 FULL 0/16CPU 16/32 GB
tgg073123 OK 8/16CPU 24/32 GB bes2 mopac
tgg073124 OK 8/16CPU 24/32 GB bes2
tgg073125 OK 16/16CPU 32/32 GB
tgg073126 FULL 0/16CPU 16/32 GB
tgg073127 DISABLE 16/16CPU 28/32 GB
tgg073128 ERROR 16/16CPU 32/32 GB
tgg073129 OK 8/16CPU 16/32 GB bes2
: (略)
tgg074001 OK 2/16CPU 7/32 GB bes1
tgg074002 FULL 0/16CPU 8/32 GB
: (略)
注:「ENABLE-QUEUES」はそのノードに投入できるキュー名です．
上記 tgg073121 と tgg073123 の場合，同一ノードで"bes2"と"mopac"のキューが投入
できる事を表します．
キュー名が出力されてない場合はどのキューも投入できない事を表します．
(例) sla, inno, pinno キューのサマリー情報を表示する

$ qstatus -sum -slaall
--
- 32 -
QUEUE FREE NODE FREE CPU FREE MEMORY USED NODE DOWN NODE DISABLE NODE TOTAL NODE
----------------------------------------------------------------------------------------------
TOTAL 149 2384 CPU 4768 GB 539 3 197
- inno1 15 240 CPU 480 GB 99 0 4 118
- inno2 35 560 CPU 1120 GB 81 0 2 118
- pinno1 15 240 CPU 480 GB 99 0 4 118
- pinno2 35 560 CPU 1120 GB 81 0 2 118
- sla1 14 224 CPU 448 GB 98 0 6 118
- sla2 35 560 CPU 1120 GB 81 0 2 118
注: 同一ノード内の複数キューのサマリー値はそれぞれ同じ値となります
3.5.4. ジョブの投入
バッチ処理システムを利用するには，ジョブスクリプトをジョブとしてキューに投入します．投入
には n1ge コマンド(N1 Grid Engine)を使用します．このコマンドで投入するジョブにはフォアグラ
ウンドとバックグラウンドの 2 つのモードが存在します．以下フォアグラウンドとバックグラウンド
について説明します．
[フォアグラウンド]
標準出力，エラーを，n1ge コマンドを実行したターミナル上へ出力します．
ジョブが終了するまでプロンプトは返りません．
$ n1ge -fore myjob.sh
[バックグラウンド]
標準出力，エラーをファイルへ出力します．
ジョブ投入後，プロンプトが返ります．
$ n1ge myjob.sh
Your job 753 (“jobname”) has been submitted.
3.5.5. オプションを使用したジョブコントロール
n1ge コマンドにはジョブをコントロールするためのオプションが用意されています．3.5.4 節で説
明したフォアグラウンドの指定もオプションの一つです．通常使用されるオプションとしては，ジョ
ブ名，キューの指定，課金グループの指定オプションなどがあります．
次のように n1ge コマンドの後ろに並べて使用します．
$ n1ge -N jobname -q sla2 -g 4S0801xx myjob.sh
Your job 753 (“jobname”) has been submitted.
-N オプションでジョブ名を指定します．
-q オプションで投入先キューを指定します．
-g オプションで所属している課金グループを指定します．
その他のオプションについては，「n1ge -help」を実行すると確認できます．
上の例で，「753」は N1GE グループ毎に一意に割り当てるジョブ ID です．
• 投入キュー，課金グループを指定しない場合，自動的に novice キューに割り当てられます．

32 並列を超えるジョブの場合は，novice キューには投入できません．
- 33 -
-g オプションを使用している場合，課金グループが示すキューに割りあてられます．
投入用コマンド n1ge では以下のようなオプションが利用可能です．

$ n1ge -help
n1ge [n1ge_options....] <program> [options...]
n1ge_options:
-help :: This message.
-verify :: Do not submit just verify.
-acverify :: Output details of the accounting information of the job that tries to submit it.
This option is only effective to submit the job to the SLA type queue.
-smp <cpus> :: Request SMP machines.
<cpus> Specify the number of cpus to run on.
-mpi <cpus> :: Request using message passing interface.
-openmpi <cpus>
:: Request using Open MPI(open source message passing interface implementation).
-linda <cpus> :: Request using linda for Gaussian 03 rev D.02.
-ddi <cpus> :: Request using DDI for GAMESS.
-proc <cpus> :: Request SMP machines.
Use this option only for your original jobs.
this option limits the memory of not the job but each process.
<cpus> Specify the number of cpus(processes) to run on.
-mem <memory size>
:: [MPI Jobs]
<memory size> Specify the size of memory for each process of job.(GBytes)
With -mpi, -openmpi, -ddi options.
[NonMPI Jobs]
<memory size> Specify the size of memory for the job not processes.
ONLY with -smp option.
ex1) "-smp 8 -mem 16" means this job will use 16GB and limit 16GB/job.
ex2) "-mpi 4 -mem 2" means this job will use 2GB*4=8GB memory and limit 2GB/proc.
ex3) "-proc 8 -mem 2" means this job will use 2GB*8=16GB memory and limit 2GB/proc.
-apps_list :: Show Application Name you can specify with -apps or -apps_help option.
-apps <APPS Name>
:: Specify Application Name
<APPS Name> apps_name[,apps_name,...]
-apps_help <APPS Name>
:: Show applicatoin specific help message of n1ge command.
<APPS Name> apps_name
-q <Queue Name>
:: Bind job to the specified queue(s).
<Queue Name> queue[,queue,....]
-mail <Mail Address>
:: Request mail notification when begging, ending
of the job and aborted or suspended the jobs.
<Mail Address> Specify the E-mail Address.
-env <variable_list>
:: Export these environment variables on Execution Hosts.
<variable_list> variable[=value][,variable[=value],....]
-fore :: Executing this job as foreground job.
-noreq :: Define job as NOT Re-queueing.
-paramfile <filename>
:: Specify parameter file of Voltaire MPI.
You can get the sample paramfile as /opt/vltmpi/OPENIB/mpi.pgcc.rsh/doc/param.sample.
You need to use -mpi option together.
-N <JOB NAME> :: Specify Job Name
-hold_jid <Job-ID list>
:: Define jobnet interdependencies
<Job-ID list> {job_id|job_name|reg_exp}[,{job_id|job_name|reg_exp},...]
-divout :: Divide standard output and err stream of N1GE
[default stdout filename]: jobname.oJOB_ID
[default stderr filename]: jobname.eJOB_ID
If you want to specify each filename please use -sgeout,-sgeerr options.
-sgeout <filename>
:: Specify standard output stream path(s) of N1GE
- 34 -
-sgeerr <filename>
:: Specify standard err stream path(s) of N1GE
-g <Group Name>
:: Specify the Group Name.
-rt <runtime(min)>
:: Specify the runtime of the job when you belong to SLA or BES group.
<runtime(min)> In minutes. (1 - 999999)
SLA: Default value is 30 minitus now.
BES: Default value depends on the specified value with -et.
The unit can be selected by specifying the character("h" or "d") following the value.
-rt XX, -rt XXm --> XX[min]

-rt XXh --> XX[hour]
-rt XXd --> XX[day]
-rank0mem <memory size>

:: Specify the memory size of Rank0 processes for MPI jobs. (GBytes)
-stripe <count>
:: Specify the number of stripes for Lustre FS /gau.
This option is available with only Gaussian.
Default value is 1. Max value is 3.
-pl <Premium Level>
:: Specify priority level.
The value that can be selected is 1, 2 and 3.
Hierarchical relationship of job priority is shown as follows.
Priority | default high priority top priority

------------+-------------------------------------------
n1ge option | -pl 1 < -pl 2 < -pl 3
Please refer to the GSIC Web site for a detailed usage of this function.
Default level is 1.
-et <Executable Period>
:: About only SLA and BES type job, the execution time limit will be extended.
The value that can be selected is ...
SLA Type: 1w, 2w, ... 8w. (weeks)

BES Type: 1w, 2w, and 4w. (weeks)
1w = 7 days, 2w = 14 days
4w = 28 days, 8w = 56 days
Please refer to the GSIC Web site for a detailed usage of this function.
Default level is 1w.
-t <n[-m[:s]]>
:: Sprcify Array Job. Specify the number of array job tasks and the index
number which will be associated with the tasks. The index numbers will be
exported to the job tasks via the environment variable SGE_TASK_ID. The
option arguments n, m and s will be available through the environment
variables SGE_TASK_FIRST, SGE_TASK_LAST and SGE_TASK_STEPSIZE.
1 <= n <= 75000

1 <= m <= 75000
n <= m
オプションオプションの引数概要
-help n1ge コマンドの使用方法を表示
-verify 実際にはジョブを投入せず，n1ge コマンドが生成する N1GE コマンドとジョ
ブ・スクリプトを表示
-acverify 実行するジョブの課金情報の詳細を出力します．性能保証サービスのキューへの
投入時のみ有効なオプションです
-smp <cpus> ジョブに必要な CPU 数を指定．同一ノード内でのみ実行
-mpi <cpus> MPI での実行およびジョブに必要な CPU 数を指定
-openmpi <cpus> openMPI での実行およびジョブに必要な CPU 数を指定
-linda <cpus> Gaussian Linda で実行する CPU 数を指定(8 の倍数)
-ddi <cpus> GAMESS を実行する CPU 数
-proc <cpus> 平行実行に必要な CPU 数を指定．同一ノード内でのみ実行
-mem <memory size> 各プロセスのメモリサイズを指定．単位は Gbytes
- 35 -
-apps_list N1GE 環境で実行可能なツールのリストを表示
-apps <APPS Name> 投入するジョブのツール名を指定
バージョン指定やスクリプト投入の際に使用
-apps_help <APPS Name> 指定したツールを n1ge コマンドで実行する際の例を表示
-q <Queue Name> ジョブを実行するキューを指定
-mail <Mail_Address> ジョブの開始，終了，削除および一時停止時に N1GE から指定したアドレスに
メールを送信するかどうかを指定
-env <variable_list> ジョブを実行するために必要な環境変数を指定
-fore ジョブをフォアグラウンド・ジョブ(qrsh)として実行．デフォルトはバックグラ
ウンド・ジョブ(qsub)
-noreq システムの不具合などによりジョブが異常終了した場合，自動でジョブの再投入
を行わせない
-paramfile <filename> Voltaire 社製 MPI の設定ファイルをカスタマイズする場合の指定
-N <JOB NAME> ジョブ名を指定
-hold_jid <Job-ID list> 指定したジョブが終了するまで投入するジョブを実行しない
-divout 標準出力先を特定の場所にする場合の指定
-sgeout <filename> N1GE の出力ファイルの生成先を指定
-sgeerr <filename> N1GE のエラー出力ファイルの生成先を指定
-g <Group Name) 利用者グループ
-rt <run time(min)> SLA または BES のキューグループの実行時間
-rank0mem <memory size> Rank0 の使用するメモリサイズ
-stripe <count> Lustre FS の組み方を指定する
-pl <Premium 使用するプレミアレベルを指定する
Level>
-et <Executable 実行する時間ユニットを指定する
Period>
-t <n[-m[:s]]> アレイジョブの初期値、最終値、増分を指定
オプションを使用した，ジョブコントロールについていくつか紹介します．
(1) いくつかあるジョブを順番に実行させたい（-hold_jid）

-hold_jid オプションを用いると，指定したジョブが終了した後で，自動的に次のジョブが実行
されます．次のように-hold_jid オプションでジョブ ID を指定して実行することで，指定したジ
ョブの終了を待ってから，このジョブがスタートします．
$ n1ge -hold_jid ジョブ ID プログラム
ジョブ ID は，qjobs コマンド等で確認できます．FAQ でも手順を紹介しています．
(2) ジョブが中止しても再実行しない（-noreq）
システムの不具合などによりジョブが異常終了した場合，TSUBAME 側で自動的にジョブの
再投入を行うようになっています．異常終了前にファイルが作成された場合に正常に計算できな
いジョブなど，再投入では計算が上手くいかない場合があります． -noreq オプションを付与す
ることで，ジョブの再投入を行わないように出来ます．
$ n1ge -noreq プログラム
(3) 並列ジョブであるが，rank0 のみ特別な処理をしたい（-rank0mem）

rank0 のプロセスが，他の rank よりも大きなメモリサイズを利用し，-mem オプションでは
対応できないような場合，-rank0mem オプションを利用するのが有効です．
$ n1ge -mpi 9 -mem 2 -rank0mem 28 プログラム
この場合，rank0 で 28GByte，他のプロセスで 2GByte 使用しています．
- 36 -
3.5.6. 並列ジョブ
本システムでは，並列ジョブを実行できます．以下に投入例を示します．
(1) OpenMP，pthread
OpenMP，スレッドなどを使用し，4CPU 使用したい場合，以下のように指定します．
$ chmod a+x parallel.sh
$ n1ge -smp 4 parallel.sh
(2) MPI
MPI を使用し，4CPU 使用したい場合，以下のように指定します．
$ n1ge -mpi 4 プログラム
MPI で各ノードに割り当てられる CPU 数を指定したい場合は以下のように実行します．

$ n1ge -mpi 総 CPU 数:ノード内 CPU 数プログラム
例えば総 CPU 数を 32CPU 要求し，各ノードで使用する CPU 数を 8CPU とする場合は以下
のように指定します．
$ n1ge -mpi 32:8 プログラム
MPI を使用し，RANK=0 で特殊な処理を行い，他よりもメモリ割り当てを増やしたい場合，

計 9CPU 使用する場合，以下のように指定します．
$ n1ge -mpi 9 -rank0mem 10 -mem 2 プログラム
※投入方法に制限がある場合がありますので，事前に確認してください．
ここで MPI プログラムは/opt/vltmpi/OPENIB/mpi.pgcc.rsh/bin ディレクトリ配下に存在する
mpicc, mpif77, mpif90 でコンパイルしたプログラムを使用して下さい．
/opt/vltmpi/OPENIB/mpi.pgcc.rsh/bin にはログイン時に PATH が通っています．
MPI プログラムの箇所はバイナリではなく，シェルスクリプトでも構いません．
但し，そのシェルスクリプト内では mpirun コマンドを実行しないで下さい．
(3) MPI + OpenMP, pthread

ノード間並列に MPI を使用し，ノード内並列を OpenMP または pthread を用いて行いたい場
合は以下のように実行します．
$ n1ge -mpi ノード数 -smp ノード内 CPU 数プログラム
例えば総 CPU 数を 32CPU 要求し，各ノードで使用する CPU 数を 8CPU とする場合は以下
のように指定します．
$ n1ge -mpi 4 -smp 8 プログラム
-mpi のみでのノード内 CPU 数指定と異なり，総 CPU 数は-mpi の引数と-smp の引数を掛け
た値，つまり，この例の場合，4 ノードを使用して，総 CPU 数：32 = 4 × 8 となります．
ここで MPI プログラムは/opt/vltmpi/OPENIB/mpi.pgcc.rsh/bin ディレクトリ配下に存在する
- 37 -
mpicc, mpif77, mpif90 でコンパイルしたプログラムを使用して下さい．
さらにそのプログラム自体が OpenMP または pthread を使用している必要があります．
(4) シングルジョブの同時処理
シングルジョブでも，性能保障キューを使用するような場合には，資源に余裕がある場合があり
ます．この場合，同時処理を行なうことにより，作業効率を向上させることができます．
シングルジョブを 8 本，各 3Gbyte を使用したい場合，以下のように指定します．
$ n1ge -proc 8 -mem 3 parallel.sh
-smp の mem 指定は全体のメモリサイズですが，-proc では 1 ジョブあたりになります．
1 ノード(16CPU)のみを指定でき，他の並列オプションとの併用はできません．また，5 章で紹
介しているアプリケーションには対応いたしません．上記例の場合，parallel.sh 内で並行処理の
指定を記述します．シェルの作り方については FAQ を参照してください．
3.5.7. 使用メモリサイズの指定と制限
本システムでは，使用するメモリ量をジョブ投入時に指定できます．以下に投入例を示します．
OpenMP，スレッドなどを使用し，4Gbyte を使用したい場合，以下のように指定します．
$ n1ge -smp 4 -mem 4 parallel.sh
-smp で並列する場合と，-mpi で並列する場合は指定方法が異なりますので，注意してください．
(1) SMP 並列では，スレッドが使用する総メモリ量を指定します．

(2) MPI 並列では，1 プロセスが使用するメモリ量を指定します．
(3) Linda は 1 プロセスに，SMP が使用するメモリ量を含めて指定します．
(4) SMP と MPI を併用している場合は(3)と同じ扱いになります．
指定量以上のメモリを使用するとジョブが強制終了されます．無指定の場合は 1Gbyte となります．

指定できるメモリサイズの上限はキューによって異なりますので，確認のうえ指定してください．
(1) シングルジョブ時のメモリ指定
プログラムが実際に使用するメモリサイズは，以下の例のように調査して指定します．
① 配列を静的に確保している場合
$ pgsize a.out
:
1161 .strtab
3221238694 Total
この場合，3.22GB ですので，メモリ量は 3.3 として

$ n1ge -mem 3.3 ./a.out
として投入します．
② 配列を動的に確保している場合
- 38 -
この場合は①の方法では判断できませんので，実際にインターラクティブで実行して top
コマンドで実行サイズを確認してください．(VIRT または RES の欄を参照)
実行サイズが判りましたら(a)と同様に指定します．
(2) MPI ジョブ時のメモリ量の指定

Voltaire の通信処理は通信のバッファにメモリを使用しています．ノード内の通信にはプロセ
ス毎のメモリに付加する形でバッファが確保されます．
メモリの使用量は，プログラム内の通信によって変動しますが，目安を以下に示します．
条件 : プログラムの単体実行メモリサイズ 1.4 GB(a.out)
並列実行数 128 (mpi)
メモリサイズの見積もりとして，プログラムの使用メモリ以外に通信バッファを確保する必要
があります．ノード内 16 並列の場合は 500MB，8 並列の場合は 200MB 程度をバッファとし
て使用しますので，この場合，1.4+0.2(8 並列) または 1.4+0.5(16 並列)となります．
したがってジョブの投入は
$ n1ge -mpi 128:8 -mem 1.6 ./a.out
$ n1ge -mpi 128:16 -mem 1.9 ./a.out
となります．ノード内 CPU を無指定(-mpi 128 )の場合は 128:8 の投入として解釈されます．

-smp が付加された場合はノード内は 1 プロセス(-mpi 128:1)になります．
(3) 注意点
上記例の n1ge -mpi128:16 と投入した場合はプロセスあたり 1.9GB ですので，32G 実装です
からちょうどよさそうですが，Voltaire の MPI では，ノード間通信にもメモリが確保されま
す．この場合，ノード間通信用のバッファ領域としては，図 1 に示すように 128 並列時で約
200MB がノード間通信のバッファとして確保されます．そうなりますと，n1ge では-mem 2
と指定した場合，プロセスを実行させるため，実際には少し多めにメモリを割り当てて実行し
ますので，実際には実装メモリを超えてしまいます．この状態では，swap が発生して通信遅
延を招くようになります．このような場合は，-mpi 128 とノード内プロセスを削減するか，
低メモリのパラメータを使用してください．
また，実行するプログラム内の通信が重い場合(通信量が多い，または回数が多いなど)は処理
が一部スワップ化してしまう場合があります．MPI ジョブの場合，プロセスの使用総量がなる
べく 30GB 以内を目安としてください．
- 39 -
1200
ノード内
無指定(:8)
1000 lowmem(:8)
Debug(:8)
combine(:8)
800
使用メモリ量(MB)
無指定(:16)
600
400
200
0
0 50 100 150 200 250 300
並列数(core)
図 1. 1:1通信(sendrecv)におけるメモリ使用量
・図の見方
実験プログラムの本体サイズは 100MB として，各並列サイズで必要とされるメモリ量を図
化しています．使用されるメモリサイズは内容には依存せず，通信相手数にのみ依存します．
・パラメータファイルの利用目安
○64 並列以下
・普通に動作している場合はパラメータの指定は不要です．
・エラーが発生した場合，大並列用パラメータを使用してください．
N1ge .... -paramfile lowmem -mpi 64 ....
○64 並列を超える場合
・大並列用パラメータを使用してください．(無指定でも動作する場合もあります)
n1ge .... -paramfile lowmem -mpi 512 ....
・エラーが発生した場合，大並列専用パラメータを使用してください．
N1ge .... -paramfile lownoSHD -mpi 512 ....
○パラメータファイルの使い分け(開発時，上記ファイルでうまくいかない場合)
・メモリを使用しない代わりに処理時間が長い(3 割程度)
n1ge .... -paramfile debug -mpi 512 ....
・メモリは少々使用するが性能は維持される(*:8 以下でのみ使用)
n1ge .... -paramfile combine -mpi 512:8 ...
3.5.8. ジョブの状態確認
投入したジョブの状態を確認するには，qstat コマンドを使用します．
-u オプションで対象とするユーザを限定します．
- 40 -
$ qstat -u user001
job-ID prior name user state submit/start at queue slots ja-task-ID
------------------------------------------------------------------------------------------------
753 0.50511 jobname user001 r 08/01/2007 15:53:13 novice@tgg075049 8

------------------------------------------------------------------------------------------------
4364 0.55500 LOGIN user001 r 07/20/2007 11:20:11 interactive@tgg075018 1

------------------------------------------------------------------------------------------------
1455 0.55500 TEST user001 r 07/30/2007 12:45:21 sla3@tgg072123 1
※各グループ三段で表示されます．
ジョブ ID「753」のジョブが，novice キューで実行(state が’r’)されていることがわかります．
上の例のように，キューinteractive に投入されているジョブが表示されますが，これは，インタラ
クティブノードを利用している間は必ず存在するジョブです．
qstat コマンドの詳細は，qstat(1)マニュアルページを参照して下さい．
終了したジョブを確認するには，qjobs コマンドの-f オプションを使用します．

$ qjobs -f 2
Following job use "novice bes1 bes2 mopac" queue.
[ Finished Jobs (2 hours ago -> 07/30/2007 16:34:12)]
job-ID type name user state submit time submit host executed queue slots cpu memory
------------------------------------------------------------------------------------------------------
1105507 BACK AMBER user001 DONE 07/25/2007 15:53:07 tgg075017 bes1@tgg074049 8 0.0 60.72
Following job use "avs gridMathematica" queue.

------------------------------------------------------------------------------------------------------
4736 FORE LOGIN user001 DONE 07/29/2007 09:29:48 login2 interact@tgg075001 1 1.0 82.67
Following job use "RAM128GB inno2 RAM64GB pinno2 sla1 pinno3 pinno1 sla2 inno1 sla3 inno3" queue.
------------------------------------------------------------------------------------------------------
1239 BACK ****** ******* DONE 07/30/2007 20:16:00 tgg075020 pinno1@tgg072150 4 0.0 41.23
1237 BACK OTHERS user001 DONE 07/30/2007 20:11:24 tgg075017 inno1@tgg072154 4 0.0 61.55
※各グループ三段で表示されます．
qstat，qjobs ともにユーザが所属しない課金グループのジョブについては，ジョブ名およびユーザ
名が表示されません．
ここで，cpu はジョブが使用した cpu 時間(秒)を示します．また memory はジョブが使用した最大
仮想メモリサイズ(Mbytes)を示しています．
デフォルトで 2 時間以内に終了したジョブを表示します．
3.5.9. ジョブの削除
投入したジョブを，終了を待たず削除するには，キューグループ毎に
free: qdel
(novice, bes[1-2], bes[1-2]tes2, cs[1-2], mopac キュー)
int: qdel_int
- 41 -
(interactive, sas, csdebug キュー)
sla: qdel_sla
(sla[1-2], RAM64GB, RAM128GB, hpc1, hpc3, inno[1-2], pinno[1-2], sla[1-2]tes2,
inno[1-2]tes2 キュー)
を使用します．いずれも，ジョブ ID を指定して削除します．
$ qdel 312
user001 has deleted job 312
また，キューによってコマンド名を変更せずにジョブの削除を行うための qdelete コマンドを用意

しています．
$ qdelete -help
usage: qdelete [-q queue|-c n1ge_group] [options] job_task_list
[-f] force action
[-help] print this help
[-q queue] specify queue
[-c n1ge_group] specify n1ge_group
[-u user_list] delete all jobs of users specified in list
job_task_list delete all jobs given in list
job_task_list job_tasks[,job_tasks,...]
job_tasks [job_id['.'task_id_range]|job_name|pattern][' -t 'task_id_range]
task_id_range task_id['-'task_id[':'step]]
user_list user|pattern[,user|pattern,...]
queue queue
n1ge_group free|bes|int|sla
When you specified "-q" option, system determine "n1ge_group" from queue you specified.
When you specify neither "-q" nor "-c", system will specify "-c free" automatically.
You can refer to "n1ge_group" by executing "qlist -a".
(例) inno1 で実行しているジョブ(Job-ID 1350)を削除する場合

$ qdelete -c sla 1350
または
$ qdelete -q inno1 1350
help に記述致しましたとおり， -q でキューを指定した場合，指定されたキューが所属する N1GE
グループ(SGE_CELL)内のジョブが削除対象となります．
3.5.10. ジョブの結果確認
ジョブが終了すると，そのジョブの実行結果ファイルが得られます．デフォルトの実行結果ファイ
ル名は，「ジョブ名.o ジョブ ID」です．ジョブ ID は N1GE グループ毎に割り当てられる一意の識別
- 42 -
子です．
このファイルには，標準出力の内容と標準エラー出力の内容が出力されます．標準出力と標準エラ
ー出力をそれぞれのファイルに出力したい場合は，ジョブを実行する前に，n1ge の-divout オプショ
ンを利用します．
ファイルの標準的な出力先は，ジョブが実行される現在の作業ディレクトリです．
$ ls
jobname.o312
3.5.11. アレイジョブ
sge(n1ge)ではアレイジョブを扱うことができます．例えば，プログラム内のパラメータ感度解析な
どを実施する場合，パラメータの数字を具体的に変化させて結果の変化を調査します．プログラムよっ
ては，多くのパラメータを持つため，膨大な計算が発生したりします．このような場合に威力を発揮す
るのがアレイジョブです．アレイジョブの投入は次の手順で実施してください．
(1) 投入シェルを作成
> cat jikken.sh
#!/bin/bash
/sample << EndOfFile
$SGE_TASK_ID
EndOfFile
#
※ $SGE_TASK_ID がパラメータ値になります．この例では，プログラム内で要求するパラメー
タ値をヒアドキュメントの形でプログラムに入力しています．
(2) ジョブの投入
用意したシェルを次のように投入します．
> n1ge -t 100-150 ./jikken.sh
*n1ge> Checking n1ge options...
:
Your job-array 6090926.100-150:1 ("OTHERS") has been submitted
※ 投入オプションは -t 開始値-終了値:増分として指定します．上記例( -t 100-150)とした場
合，パラメータの開始値が 100,増分 1，終了値 150 として解釈されます．(:1 の場合は省略可)
パラメータ値は $SGE_TASK_ID という環境変数に設定されますので，この環境変数をプログ
ラムにヒアドキュメントの形で入力してやります．同時実行もありますので，ファイルの形に
する場合は上書きに注意する必要があります．
(3) 実行状況
アレイジョブは次のように表示されます．
> qstat | grep user001
6090926 0.00000 OTHERS user001 qw 10/15/2009 09:04:30 1 100-150:1
この場合，投入したものが全て待ちです．
> qstat | grep user001
6090926 0.16320 OTHERS user001 qw 10/15/2009 09:04:30 1 132-150:1
この場合，最初から 32 個(100-131)が実行されて，残りが表示されます．
(4) 結果
計算結果はジョブ名の後ろにパラメータ数が付いてリストされます．
- 43 -
> ls OTHER*
OTHERS.o6090926.100 OTHERS.o6090926.113 OTHERS.o6090926.126
:
(5) n1ge の他のオプションとの組み合わせ

mpi(openmpi を含む)以外のパラメータと同時利用が可能です．
3.5.12. GUI
本システムでは，ジョブやキューの情報を参照することができる GUI ツールを利用できます．(英
語版のみ)
X Window System が利用できる状態で，以下のように実行します．
$ export LANG=C
$ qmon &
※ qmon は対象としている N1GE グループのみ表示しますので，目的の N1GE グループが異なる
場合は，以下の方法であらかじめ設定を変更します．
(1) free: novice, bes1, bes2, mopac
$ . /n1ge/TITECH_GRID/env/set_free.sh ←sh 系
(source /n1ge/TITECH_GRID/env/set_free.csh) ←csh 系
(2) int: interactive, sas, csdebug, tesladebug
$ . /n1ge/TITECH_GRID/env/set_int.sh ←sh 系
(source /n1ge/TITECH_GRID/env/set_int.csh) ←csh 系
(3) sla: sla1, sla2, inno1, inno2, pinno1, pinno2, RAM64GB, RAM128GB, hpc1, hpc3
$ . /n1ge/TITECH_GRID/env/set_sla.sh ←sh 系
(source /n1ge/TITECH_GRID/env/set_sla.csh) ←csh 系
以下のような画面が表示されます．
詳細は Help を参照して下さい．
[注意事項]
ジョブの投入は，本システムで提供している n1ge コマンドを利用して下さい．
n1ge コマンド以外でのジョブ投入は，ジョブの実行やその結果について保証されません．
- 44 -
3.6. 印刷
センターに設置されたプリンタは，ポストスクリプトファイルの印字のみ可能です．テキスト形式
のファイルを印刷する場合は，a2ps コマンドでポストスクリプト形式のファイルに変換する必要が
あります．
ユーザが利用可能なプリンタについては，「2.1.6 プリンタ」を参照して下さい
3.6.1. PC からのプリンタ利用
手元の PC 環境からプリンタを出力することは出来ません．
3.6.2. メディアワークステーション，インタラクティブノードからの利用
メディアワークステーション media-o，media-s，インタラクティブノード tgg075017～tgg075022
から下記手順で印刷を行います．ただし，prn0-o，prn0-s はメディアワークステーションからのみ
印刷可能です．
(1) 利用可能なプリンタ名
(2) lpr コマンドを使用した印刷
(3) lpq コマンドを使用要求の確認
(4) lprm コマンドを使用した印刷要求の中止
(5) デフォルトプリンタの設定
(1) 利用可能なプリンタ名
設置場所プリンタ名備考
prn0-o_a0 大判ロール紙に A0 で出力
prn0-o_b0 大判ロール紙に B0 で出力
prn1-o_a4 (*) A4 普通紙に出力
大岡山
prn1-o_a4r A4 普通紙に両面・長辺綴じで出力
prn1-o_a3 A3 普通紙に出力
prn1-o_a3r A3 普通紙に両面・長辺綴じで出力
prn0-s_a0 大判ロール紙に A0 で出力
prn0-s_b0 大判ロール紙に B0 で出力
prn1-s_a4 (*) A4 普通紙に出力
すずかけ台
prn1-s_a4r A4 普通紙に両面・長辺綴じで出力
prn1-s_a3 A3 普通紙に出力
prn1-s_a3r A3 普通紙に両面・長辺綴じで出力
（*）プリンタ名を省略したときのデフォルトプリンタ
インタラクティブノード tgg075017～tgg075022 から出力可能なプリンタは，プリンタ名が
「prn1-」で始まるプリンタのみです．
(2) lpr コマンドを使用した印刷

ファイルの内容をプリンタで印刷するには lpr コマンドを使用します．センターで利用できる
プリンタが印刷できるファイルの形式はポストスクリプトファイルのみです．テキストファイル
の印刷方法については，例２を参考にして下さい．
- 45 -
lpr コマンドは，以下のように使用します．
$ lpr [-P<プリンタ名>] file1 file2 ...
オプション説明
-P プリンタ名：印刷先のプリンタ名を指定（省略可能）．省略時は，デフォルトプリンタが
印刷先となります．
例１．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を印刷する場合
$ lpr -Pprn1-o_a4 sample.ps
例２．すずかけ台のカラーPS プリンタにテキストファイル“sample1.txt”を印刷する場合，
環境変数 LANG を変更し，ファイルの変換後に印刷する．
・sh 系環境の場合
$ export LANG=ja_JP.eucjp
$ nkf -e sample1.txt | a2ps -Pprn1-s_a4
・csh 系環境の場合
$ setenv LANG ja_JP.eucjp
$ nkf -e sample1.txt | a2ps -Pprn1-s_a4
ただし，インタラクティブノードの場合は，日本語の含まれたファイルは扱えませんので，環
境変数 LANG の変更および nkf コマンドによる変換は必要ありません．
例３．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を A3 で印刷す

る場合
$ lpr -Pprn1-o_a3 sample.ps
例４．大岡山のカラーPS プリンタにポストスクリプトファイル“sample.ps”を両面長辺綴じ
で印刷する場合
$ lpr -Pprn1-o_a4r sample.ps
例５．大岡山の B0 プリンタにポストスクリプトファイル“sample.ps”を B0 で印刷する場合

$ psresize -pB0 -PA4 sample.ps | lpr -Pprn0-o_b0
(3) lpq コマンドを使用した印刷要求の確認

印刷要求を確認するには lpq コマンドを使用します．
lpq コマンドは，以下のように使用します．
$ lpq [-P<プリンタ名>]
- 46 -
例．印刷要求の確認
$ lpq
prn1-o_a4 is ready and printing
Rank Owner Job File(s) Total Size
active titech 9 (stdin) 19456 bytes
1st titech 10 sample.ps 20855 bytes
2nd titech 11 (stdin) 1024 bytes
3rd titech 12 test.ps 21569 bytes
(4) lprm コマンドを使用した印刷要求の中止

印刷要求を中止するには lprm コマンドを使用します．
lpq コマンドで印刷要求を出力し，中止したいジョブ ID を確認後，lpr コマンドで印刷要求を
中止します．
lprm コマンドは，以下のように使用します．
$ lprm [-P<プリンタ名>] ジョブ ID ...
ジョブ ID：ジョブ ID を指定し，個々のジョブを削除します．
例．前述の(3)でジョブ ID の確認後，印刷要求を中止する場合
$ lprm 9 10 11
(5) デフォルトプリンタの設定
プリンタ関連のコマンドでプリンタ名を省略した場合，プリンタ名 prn1-o_a4（media-o の場
合）が指定されます．ただし，環境変数が設定されている場合は，そこに設定されたプリンタ名
がデフォルトになります．
例．デフォルトプリンタにすずかけ台のカラーPS プリンタを設定する場合
・sh 系環境の場合
$ export PRINTER=prn1-s_a4
・csh 系環境の場合
$ setenv PRINTER prn1-s_a4
- 47 -
3.7. LTO3 装置の利用
メディアワークステーション media-o，media-s に接続されている LTO3 装置を利用することがで
きます．
利用方法は以下のとおりです．
(1) 媒体の挿入
メディアワークステーションの横に設置された LTO3 装置に，媒体を挿入してください．
(2) 媒体への書き込み，読み込み
メディアワークステーションにログインし，tar コマンドや cpio コマンド等により，媒体に書
き込み/読み込みを行います．
デバイスファイル名は，/dev/st0 です．
例．tar コマンドにより，save ディレクトリ配下を書き込む場合
$ tar cvf /dev/st0 ./save
(3) 媒体の取り出し
LTO3 装置前面にある取り出しボタンを押すと，媒体が取り出されます．
取り出しボタン
3.8. プロキシー設定
以下の設定でプロキシーサーバを利用することができます．
ホスト名 proxy-o.cc.titech.ac.jp
IP アドレス 131.112.14.2
ポート 8080
- 48 -
4. プログラミング言語と環境
開発環境として PGI 社製 PGI CDK(Cluster Development Kit)を導入しています．
PGI CDK は，PC クラスタ上で必要なコンパイラ，並列デバッガ等のユーティリティをバンドルし
た PC クラスタ用のソフトウェア開発キットです．特徴としては次のとおりです．
4.1. コンパイラ
4.1.1. プログラムのコンパイルとリンク
コンパイラの利用方法について説明します．pgf95 コマンドにより，Fortran プログラムをコンパ
イル・リンクします．コンパイラは，FORTRAN77 の上位互換であるため，FORTRAN77 で記述さ
れたプログラムでも Fortran90 および Fortran95 で記述されたプログラムでもコンパイルが可能で
す．また，コンパイラの利用方法は，他の言語コンパイラでも同じです．
例１．Fortran プログラム“sample.f”の場合
$ pgf95 sample.f
例２．C プログラム“sample.c”の場合
$ pgcc sample.c
この例の場合，実行オブジェクトファイル a.out が生成されます．
例３．実行オブジェクトファイルを明示的に指定する場合
$ pgf95 -o sample sample.f
● 実行時における注意事項
実行オブジェクトファイルの実行後に，標準エラー出力に「FORTRAN STOP」というメッセー
ジが出力されることがありますが，実行およびその結果について影響はありません．また，このメ
ッセージを抑止したい場合は，環境変数 NO_STOP_MESSAGE を設定して下さい．なお，値は任
意です．
4.1.2. コンパイラのバージョン指定
TSUBAME の PGI コンパイラは 7.2-4 ですが，違うバージョンのコンパイラを使う場合，次のよ
うにすると使用できます．
(１) 指定できるコンパイラは 6 種類用意しています．
/usr/apps/isv/pre_release/pgi6.2.5 (バージョン 6 の最後)
/usr/apps/isv/pre_release/pgi6.1-2 (SLES9 環境時のデフォルト)
/usr/apps/nosupport10/pgi/linux86-64/8.0-6
/usr/apps/nosupport10/pgi/linux86-64/9.0-1 (GPGPU 対応バージョン)
/usr/apps/nosupport10/pgi/linux86-64/9.0-3 (GPGPU 対応バージョン)
/usr/apps/nosupport10/pgi/linux86-64/10.0 (GPGPU 対応バージョン)
※ pgi 6.x は SLES9 環境で使用可能です．
(２) 環境変数の切り替えを行います．指定するパスは上記を確認の上指定してください．
- 49 -
・PGI6.2.5 の場合
$ export PGI=/usr/apps/isv/pre_release/pgi
$ export PATH=/usr/apps/isv/pre_release/pgi/linux86-64/6.2/bin:$PATH
$ export LD_LIBRARY_PATH=/usr/apps/isv/pre_release/pgi/linux86-64/6.2/libso:$LD_LIBRARY_PATH
・PGI8.0-6 の場合
$ . /usr/apps/nosupport10/pgi/pgiset.sh
・PGI9.0-3 の場合
$ . /usr/apps/nosupport10/pgi/pgiset9.sh
・PGI10.0 の場合
$ . /usr/apps/nosupport10/pgi/pgiset10.sh
(３) 簡単なチェックをします．
$ pgf95 -V
pgf95 7.2-4 64-bit target on x86-64 Linux
Copyright 1989-2000, The Portland Group, Inc. All Rights Reserved.
※バージョンが表示されます．確認してください．
現行の MPI ライブラリと不整合が発生する可能性があります．動作を確認の上ご利用ください．
4.1.3. 標準以外のコンパイラ
(1) インテルコンパイラ
インテルコンパイラを利用することができます．これは ISV アプリケーション（MSC.Nastran,
ABAQUS）のユーザサブルーチンをコンパイルすることを主目的として導入されています．通常
のユーザプログラムは PGI 社製 PGI CDK を使用して下さい．
EMT64bit Fortran/C++ コンパイラを使用する際は，以下を実行し，設定します．
＜Fortran コンパイラ＞
・バージョン 11
$ . /usr/apps/isv10/intel/11/bin/ifortvars.sh intel64 ←sh 系
(source /usr/apps/isv10/intel/11/bin/ifortvars.csh intel64) ←csh 系
$ . /usr/apps/isv10/intel/fce/10.1.011/bin/ifortvars.sh ←sh 系
(source /usr/apps/isv10/intel/fce/10.1.011/bin/ifortvars.csh) ←csh 系
＜C++コンパイラ＞
$ . /usr/apps/isv10/intel/11/bin/iccvars.sh intel64 ←sh 系
(source/usr/apps/isv10/intel/11/bin/iccvars.csh intel64) ←csh 系
$ . /usr/apps/isv10/intel/cce/10.1.011/bin/iccvars.sh ←sh 系
(source /usr/apps/isv10/intel/cce/10.1.011/bin/iccvars.csh) ←csh 系
(2) coTSUBAME のコンパイラ

CPU はインテル社の新型ですので，
TSUBAME 上のコンパイラで専用の最適化はできませんが，
PGI では，-tp によりインテル向けの最適化が可能です．また，コンパイラにインテルコンパイラ
を使用したい場合は次のように実行します．
1. インテルコンパイラによるシングルまたは，ノード内並列
以下の手順で操作します．(/work/UNIX/tune の例)
- 50 -
$ ifort -V
Intel(R) Fortran Intel(R) 64 Compiler Professional for applications running
on Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cprof_p_11.0.074
Copyright (C) 1985-2008 Intel Corporation. All rights reserved.
$ icc -V
Intel(R) C Intel(R) 64 Compiler Professional for applications running on
Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cproc_p_11.0.074
$ icc -c wclock.c
$ ifort -fast -O3 -o coTSUi sample10a.f wclock.o
$ ./coTSUi
2. PGI コンパイラの場合
$ pgif95 -V
pgf95 7.2-4 64-bit target on x86-64 Linux -tp penryn-64
Copyright 1989-2000, The Portland Group, Inc. All Rights Reserved.
Copyright 2000-2008, STMicroelectronics, Inc. All Rights Reserved.
$ pgf95 -Minfo=all -fastsse -tp penryn-64 -o coTSU sample10a.f wclock.c

$ ./coTSU
4.1.4. ファイルの入出力
コンパイルとリンクが正常に終了したら，次に実行です．入力データがない場合には，そのまま
a.out を実行すればよいですが，入力データがある場合には，少し注意が必要です．FORTRAN の
WRITE 文，READ 文にユニット番号を指定した場合，fort.nn（nn は，ユニット番号）ファイルか
らの入出力になります．つまり，
write(10,*) → fort.10
read(20,*) ← fort.20
の状態になります．もちろん入力データが存在しない場合には，プログラムの実行はできません．
また，0 番（標準エラー出力），5 番（標準入力），6 番（標準出力）は，予め事前に接続されてい
ます．標準入力と標準出力だけであれば，リダイレクトによる方法でもデータの入出力は可能です．
例．入力データファイル“sample.inp”，出力データファイル“sample.out”の場合
$ a.out < sample.inp > sample.out
4.1.5. ライブラリの利用
リンク時にオプションでライブラリ名を指定することにより，アーカイブファイルを検索してリン
クを行います．lib***.a というライブラリをリンクする場合，***の部分を-l オプションの直後に記述
します．また，コンパイラの利用方法は，他の言語コンパイラでも同じです．
例１．Fortran プログラムで“libblas.a”をリンクする場合
$ pgf95 sample.f -lblas
- 51 -
例２．C プログラムで“libblas.a”をリンクする場合
$ pgcc sample.c -lblas
例３．プライベートなディレクトリにあるライブラリ“libprivate.a”をリンクする場合
$ pgf95 sample.f -L/home/hoge/private -lprivate
4.2. 並列化
並列化には，主に分散並列環境で利用する MPI とメモリ共有並列環境で利用する OpenMP，
pthread があります．
4.2.1. MPI
MPI とは，並列処理アプリケーション用メッセージパッシングライブラリです．メッセージパッシ
ングとは，メッセージと呼ばれる特定のデータ形式の受け渡しとこれらの一元的な管理に基づく通信
手段の一つです．MPI は主に分散環境で，Fortran，C プログラム中から関数，サブルーチンとして
使用されます．MPI を使ったプログラムのコンパイル・リンクには，mpif90（mpicc）コマンドを使
用します．
例１．MPI プログラムをコンパイル・リンクする場合
$ mpif90 -o sample sample.f
例２．MPI の実行オブジェクトファイル“sample”を 2CPU で実行する場合

・インタラクティブノードのみで実行
$ mpirun -np 2 sample
・インタラクティブノード以外で実行
$ n1ge -fore -mpi 2 sample
- 52 -
以下は，円周率を計算する簡単な MPI のプログラム例です．
program compute_pi
implicit none
include 'mpif.h'
integer n,i,myid,numprocs,rc,ierr
double precision w,x,sum,pi,f,a,mypi
! function to integrate
f(a)=4.d0/(1.d0+a*a)
call mpi_init(ierr)
call mpi_comm_rank(mpi_comm_world,myid,ierr)
call mpi_comm_size(mpi_comm_world,numprocs,ierr)
if(myid.eq.0) then
! print *,'Enter number of intervals: '
! read *,n
n=500000000
end if
call mpi_bcast(n,1,mpi_integer,0,mpi_comm_world,ierr)
! calculate the interval size
w=1.0d0/n
sum=0.0d0
do i=myid+1,n,numprocs
x=w*(i-0.5d0)
sum=sum+f(x)
end do
mypi=w*sum
! collect all the partial sums
call mpi_reduce(mypi,pi,1,mpi_double_precision,
&mpi_sum,0,mpi_comm_world,ierr)
! node 0 prints the answer.
if(myid.eq.0) then
print *,'computed pi=',pi
end if
call mpi_finalize(rc)
end program compute_pi
- 53 -
プログラムのコンパイル・リンク
$ mpif90 -o compute_pi compute_pi.f
プログラムの実行
$ mpirun -np 2 compute_pi
あるいは，
$ n1ge -fore -mpi 2 compute_pi
実行結果
computed pi= 3.141592653589621
● MPI における注意事項
(1) fork 関数を使用する場合
fork 関数を使用したプログラムで，まれに不正処理(実行処理が進まない等)が発生する場合が
あります．vfork 関数では同様の現象は発生しませんので，fork 関数を vfork 関数に置き換えて
下さい．
(2) mmap 関数，munmap 関数を使用する場合
通信バッファを mmap 関数で確保，通信，munmap 関数で解放を繰り返す処理が含まれるプ
ログラムで，まれに通信したデータの不整合が発生する場合があります．mmap 関数，munmap
関数を繰り返し使用することは避けて下さい．
(3) coTSUBAME の MPI 並列プログラム
pgi の場合は標準コンパイラと同様にコンパイルします．(ただし，tp をつけます)
$ mpif90 -fastsse -tp penryn-64 -o coTSU sample11a.f wclock.c
インテルコンパイラの場合は以下の手順で操作します．
$ export PATH=/opt/openmpi/1.2.6-V00/pgi/bin:$PATH
$ export LD_LIBRARY_PATH=/opt/openmpi/1.2.6-V00/pgi/lib64:$LD_LIBRARY_PATH
$ export OMPI_FC=ifort
$ export OMPI_CC=icc
$ mpif90 -V
Intel(R) Fortran Intel(R) 64 Compiler Professional for applications running
on Intel(R) 64, Version 11.0 Build 20081105 Package ID: l_cprof_p_11.0.074
$ icc -c wclock.c
$ mpif90 -fastsse sample11a.f wclock.o
$ n1ge -g 4B09xxxx -q cotsubame -openmpi 2 ./a.out
※注意
インテルコンパイラを使っての MPI の使用は正式にはサポートされていませんので，利用に当た
っては事前に動作確認をお願いいたします
(4) MPI2 並列プログラム

MPI-2 規格のサブルーチンを使用したい場合，VolraireMPI では対応できませんので，openmpi を使
用します．次のように環境を切り替えて使用してください．
また，ジョブの投入時には，n1ge で mpi の代わりに openmpi オプションを使用します．
- 54 -
$ export PATH=/opt/openmpi/1.2.6-V00/pgi/bin:$PATH
$ export LD_LIBRARY_PATH=/opt/openmpi/1.2.6-V00/pgi/lib64:$LD_LIBRARY_PATH
$ mpif90 –V
pgf90 7.2-4 64-bit target on x86-64 Linux -tp k8-64e
4.2.2. OpenMP
OpenMP とは，メモリ共有並列環境の並列プログラミング仕様です．Fortran，C プログラム中か
らディレクティブ（指示文）を使用して並列プログラミングを行います．OpenMP を使ったプログラ
ムのコンパイル・リンクには，pgf95（pgcc）コマンドを使用します．
例１．OpenMP プログラムをコンパイル・リンクする場合
$ pgf95 -mp -o sample sample.f
例２．OpenMP の実行オブジェクトファイル“sample”を 2CPU で実行する場合

$ export OMP_NUM_THREADS=2 ← sh 系
(setenv OMP_NUM_THREADS 2) ← csh 系
$ sample
$ n1ge -fore -smp 2 sample
以下は，円周率を計算する簡単な OpenMP のプログラム例です．
program compute_pi
implicit none
integer n,i
double precision w,x,sum,pi,f,a
! function to integrate
f(a)=4.d0/(1.d0+a*a)
n=500000000
! calculate the interval size
w=1.0d0/n
sum=0.0d0
!$omp parallel do private(x),shared(w),reduction(+:sum)
do i=1,n
x=w*(i-0.5d0)
sum=sum+f(x)
end do
pi=w*sum
print *,'computed pi=',pi
stop
- 55 -
end program compute_pi
$ pgf95 -mp -o compute_pi compute_pi.f
$ export OMP_NUM_THREADS=2 ← sh 系
(setenv OMP_NUM_THREADS 2) ← csh 系
$ ./compute_pi
あるいは，
$ n1ge -fore -smp 2 compute_pi
実行結果
computed pi= 3.141592653589814
4.2.3. pthread
pthread とは，メモリ共有並列環境でスレッドレベルでの並列プログラミングの規格です．スレッ
ドの生成や消去など，C プログラム中から関数として使用されます．マルチスレッドプログラムでは
スレッド間でアドレス空間を共有し，複数の CPU で 1 つのプロセスを実行することが可能です．
pthread を使ったプログラムのコンパイル・リンクには，pgcc コマンドを使用します．
例１．pthread プログラムをコンパイル・リンクする場合
$ pgcc -o sample sample.c -lpthread
- 56 -
例２．pthread の実行オブジェクトファイル“sample”を 2CPU で実行する場合
$ ./sample 2
$ n1ge -fore -smp 2 sample
以下は，円周率を計算する簡単な pthread のプログラム例です．
#include <stdio.h>
#include <stdlib.h>
#include "pthread.h"
volatile double pi = 0.0; /* Approximation to pi (shared) */

pthread_mutex_t pi_lock; /* Lock for above */
volatile double intervals; /* How many intervals? */
void *
process(void *arg)
{
register double width, localsum;
register int i;
register int iproc = (*((char *) arg) - '0');
/* Set width */
width = 1.0 / intervals;
/* Do the local computations */

localsum = 0;
for (i=iproc; i<intervals; i+=2) {
register double x = (i + 0.5) * width;
localsum += 4.0 / (1.0 + x * x);
}
localsum *= width;
/* Lock pi for update, update it, and unlock */

pthread_mutex_lock(&pi_lock);
pi += localsum;
pthread_mutex_unlock(&pi_lock);
return(NULL);
}
int
main(int argc, char **argv)
{
pthread_t thread0, thread1;
void * retval;
/* Check command line */

if (argc != 2) {
printf("Usage : %s Num-intervals\n",argv[0]);
exit(0);
}
/* Get the number of intervals */
intervals = atoi(argv[1]);
- 57 -
/* Initialize the lock on pi */
pthread_mutex_init(&pi_lock, NULL);
/* Make the two threads */

if (pthread_create(&thread0, NULL, process, "0") ||
pthread_create(&thread1, NULL, process, "1")) {
fprintf(stderr, "%s: cannot make thread\n", argv[0]);
exit(1);
}
/* Join (collapse) the two threads */

if (pthread_join(thread0, &retval) ||
pthread_join(thread1, &retval)) {
fprintf(stderr, "%s: thread join failed\n", argv[0]);
exit(1);
}
/* Print the result */

printf("computed pi = %.16f\n", pi);
/* Check-out */
exit(0);
}
$ pgcc -o compute_pi compute_pi.c -lpthread
$ ./compute_pi
あるいは，
$ n1ge -fore -smp 2 compute_pi
実行結果
$ computed pi= 3.1415926535896208
4.3. 性能解析ツール
並列プログラムの性能解析ツールとして PGPROF を導入しています．PGPROF は，PGI CDK に
含まれています．OpenMP のスレッドプログラム，分散システム MPI プログラムのプロファイリン
グ機能を提供します．プロファイリング機能は，関数・サブルーチンレベルだけではなく，ループ単
位でのでの計算コスト，通信量などを知ることができます．
また，デバッグツールとして PGDBG を導入しています．PGDEBG は OpenMP スレッドプログ
ラム/MPI プロセスのデバッグを行うためのユーティリティです．
- 58 -
4.3.1. PGPROF
(1) プログラムのコンパイルとリンク
$ pgf95 -Mprof=[func|lines] -o compute_pi compute_pi.f
-Mprof=[func|lines]：何も指定しない場合のデフォルトは，func です．func は関数・サブ
ルーチンレベルのプロファイリングを行います．lines は行単位でのプロファイリングを行
います．
(2) プログラムの実行
$ ./compute_pi
プログラムの実行後，カレントディレクトリに pgprof.out と言うファイルが生成されます．
PGPROF はこのファイルを使用してプロファイリング結果を表示します．
(3) PGPROF の起動

$ pgprof pgprof.out
以下のようにプロファイル状況が表示可能です．
* PGPROF と PGDBG を起動の場合，X windows が必要です．
- 59 -
4.3.2. PGDBG
(1) プログラムのコンパイルとリンク
$ pgf95 -g -o compute_pi compute_pi.f
-g：シンボリック・デバッグ情報を付加した実行モジュールを生成するためのものです．
(2) PGDBG の起動

$ pgdbg compute_pi
以下のようにデバッガ情報が表示可能です．
- 60 -
5. アプリケーション
特定のアプリケーションを利用する場合，そのアプリケーションを利用する環境やライセンスを利
用するために，指定された手順で起動する必要があります．
以下のように指定して，登録アプリケーション名を知ります．
$ n1ge -apps_list <--これにより表示された登録名が起動名になります
ISV アプリケーション利用に当たっては，以下のコマンドにより，最新の情報を得ることができる
ので，ジョブ投入時には参照してください．
$ n1ge -apps_help 登録名
アプリケーションの起動には，フォアグラウンド，バックグラウンドの 2 種類の方法があります．
但し，GUI についてはフォアグラウンドでのみ実行可能となります．
5.1. ISV アプリケーション

5.1.1. AVS/Express PCE
AVS/Express PCE は GUI アプリケーションです．バージョン 7.0.1，7.1.1，7.2 が使用できます．
7.0.1 を使用する際は，旧環境マシンに移動して実行します．(4)旧環境での実行をご確認ください．
AVS/Express PCE を起動するためには，”ssh -X username@login.cc.titech.ac.jp ”コマンドでログ
インして下さい．
(1) アクセス制限の設定
TSUBAME にログインする前に，表示端末上で以下のコマンドを実行してください．
$ xhost +
(2) サンプルデータを用いた実行例（バージョン 7.1.1，7.2）

① 作業ディレクトリを作成します．
tgg075017 admin/sun> mkdir avspce_test
② /work/samples/avs_pce ディレクトリからサンプルデータを取得します．
tgg075017 admin/sun> cd avspce_test/
tgg075017 admin/sun> cp /work/samples/avs_pce/* .
tgg075017 admin/sun> ls
app_extedges.v app_iso.v app_orth.v app_val_loop.v app_volrend.v
app_extface.v app_isoline.v app_orth_grey.v app_vector.v
app_volrend_grey.v
③ AVS/Express PCE の起動
バージョン 7.2 の場合，“para_start クラスタ情報ファイル Display ホスト名ユーザ名”
を実行します．
tgg075017 admin/sun> para_start $PARA_INI 172.17.74.223 sun
バージョン 7.1.1 の場合，“/usr/apps/isv10/avs/para_express_7.1.1/utl/para_start クラスタ
情報ファイル Display ホスト名ユーザ名” を実行します．
tgg075017 admin/sun> /usr/apps/isv10/avs/para_express_7.1.1/utl/para_start $PARA_INI
172.17.74.223 sun
- 61 -
コマンド実行により，以下の GUI 画面が表示されます．
④ “Select File”をクリックし，app_extedges.v ファイルを選択し OK をクリックします．
⑤ “para app”ウィンドウの”Calc Start”ボタンをクリックします．
終了は「File ⇒ Exit」となります．
(3) n1ge での実行方法（バージョン 7.1.1，7.2）

デフォルトではバージョン 7.2 となります．バージョン 7.1.1 を利用する場合は次のように環境変
数をセットします．
$ export AVS_VERSION=7.1.1 bash/ksh/sh の場合
または，
$ setenv AVS_VERSION 7.1.1 csh/tcsh の場合
- 62 -
$ n1ge -fore -g <sla Group> -mpi <CPU> avspce DISP=<display ホスト> \
i=<calc_num_i> j=<calc_num_j> k=<calc_num_k> child_num=<child_num> \
log_dir=<log_dir> data_dir=<data_dir>
GUI アプリケーションのため，バックグラウンドでは利用出来ません．
(4) 旧環境での実行（バージョン 7.0.1）

「sles9 キュー」をご参照ください．
(5) 補足:Display エラーについて

「Error: Can't open display IP アドレス:0.0」というエラーメッセージが表示され，起動できない
場合があります．この場合は，以下の点を確認してください．
・手順通りに実行しているか？
・AVS/Express PCE はポート番号 6000 を利用します．使用端末でこのポートを利用できる状態に
しているか？
5.1.2. ABAQUS
ABAQUS はバージョン 6.5.6，6.7.1, 6.8.4 が使用できます．デフォルトでの実行はバージョン 6.8.4
になります．
(1) 実行方法（バージョン 6.7.1, 6.8.4）

デフォルトではバージョン 6.8.4 となります．バージョン 6.7.1 を利用する場合は次のように環境
変数をセットします．
$ export ABAQUS_VERSION=6.7 bash/ksh/sh の場合
または，
$ setenv ABAQUS_VERSION 6.7 csh/tcsh の場合
¾ 複数 CPU 利用時
$ n1ge -fore -mpi CPU 数 abaqus job=入力ファイル cpus=CPU 数
(※) -mpi で指定する CPU 数と cpus で指定する CPU 数は同じ値にして下さい．
¾ 1CPU のみ利用時
$ n1ge -fore abaqus job=入力ファイル
$ n1ge -mpi CPU 数 abaqus job=入力ファイル cpus=CPU 数
(※) -mpi で指定する CPU 数と cpus で指定する CPU 数は同じ値にして下さい．
$ n1ge abaqus job=入力ファイル
(2) サンプルデータを用いた実行例
- 63 -
tgg075017 admin/sun> mkdir abaqus_test
② abaqus fetch コマンドを使用してサンプルデータを取得します．
tgg075017 admin/sun> cd abaqus_test/
tgg075017 sun/abaqus_test> abaqus fetch job=damage_combine_deg
Abaqus FETCH job damage_combine_deg
Archive: /usr/apps/isv10/abaqus/6.8-4/samples/job_archive/samples.zip
inflating: damage_combine_deg.inp
tgg075017 sun/abaqus_test> ls
damage_combine_deg.inp
③ 取得したデータを用いて，ABAQUS を 4CPU で実行します．
tgg075017 sun/abaqus_test> n1ge -fore -mpi 4 abaqus job=damage_combine_deg cpus=4
*n1ge> The version of ABAQUS you specified is 6.8.
*n1ge> Creating qrsh options....
*n1ge> WARNING: The runtime limit for novice queue is 1 hours.
*n1ge> Adding qrsh options....
Abaqus JOB damage_combine_deg
Abaqus Version 6.8-4
Begin Analysis Input File Processor

5.1.3. ABAQUS CAE

ABAQUS CAE は GUI アプリケーションです．バージョン 6.5.6，6.7.1, 6.8.4 が使用できます．デ
フォルトでの実行はバージョン 6.8.4 になります．
(1) 実行方法（バージョン 6.7.1, 6.8.4）

$ export ABAQUS_VERSION=6.7 bash/ksh/sh の場合
または，
$ setenv ABAQUS_VERSION 6.7 csh/tcsh の場合
$ n1ge -fore abaqus cae
(2) 起動例
- 64 -
次のコマンドを実行します．
tgg075017 sun/abaqus_test> n1ge -fore abaqus cae
*n1ge> The version of ABAQUS you specified is 6.8.
Abaqus License Manager checked out the following license(s):
"cae" version 6.8 from tggls
<4 out of 5 licenses remain available>.

5.1.4. AMBER
AMBER はバージョン 8，9，10 が使用できます．デフォルトでの実行はバージョン 10 になりま
す．
8 を使用する際は，旧環境マシンに移動して実行します．(3)旧環境での実行をご確認ください．
(1) 実行方法（バージョン 9，10）

デフォルトではバージョン 10 となります．バージョン 9 を利用する場合は次のように環境変数を
セットします．
$ export AMBER_VERSION=9 bash/ksh/sh の場合
または，
$ setenv AMBER_VERSION 9 csh/tcsh の場合
¾ 複数 CPU 利用時（1CPU 実行時も含む）
- 65 -
$ n1ge -fore -mpi CPU 数 sander -O -i 入力ファイル -o 出力ファイル
$ n1ge -mpi CPU 数 sander -O -i 入力ファイル -o 出力ファイル
AMBER バージョン 10 では，ClearSpeed が利用できます．
$ n1ge -fore -g BES グループ名 -q cs2 sander.CS -i 入力ファイル -o 出力ファイル -O
$ n1ge -g BES グループ名 -q cs2 sander.CS -i 入力ファイル -o 出力ファイル -O
tgg075017 admin/sun> mkdir amber_test
② /work/samples/amber ディレクトリからサンプルデータを取得します
tgg075017 admin/sun> cd amber_test/
tgg075017 sun/amber_test> cp /work/samples/amber/* .
tgg075017 sun/amber_test> ls
inpcrd mdin prmtop
③ 取得したデータを用いて，AMBER を実行します．
tgg075017 sun/amber_test> n1ge -fore -mpi 8 sander -O -i mdin -o test
*n1ge> The version of AMBER you specified is 10.
*n1ge> Warning: The runtime limit for novice queue is 1 hours.
[mpirund@tgg075037] The maximum size of Virtual Memory => 1048576 kb.
Cleaning up all processes ...
done.
[Ending Job 3560921]
Connection to tgg075037 closed.
tgg075017 sun/amber_test> ls
inpcrd mdin mdinfo prmtop profile_mpi restrt test
tgg075017 sun/amber_test>
(3) 旧環境での実行（バージョン 8）
- 66 -
5.1.5. AVS Express Developer
AVS/Express Developer は GUI アプリケーションです．バージョン 7.0.1，7.1.1，7.2 が使用でき
ます．デフォルトでの実行はバージョン 7.2 になります．
(1) 実行方法（バージョン 7.1.1，7.2）

デフォルトではバージョン 7.2 となります．バージョン 7.1.1 を利用する場合は次のように環境変
数をセットします．
$ export AVS_VERSION=7.1.1 bash/ksh/sh の場合
または，
$ setenv AVS_VERSION 7.1.1 csh/tcsh の場合
$ n1ge -fore run_express
(2) 起動例
tgg075017 admin/sun> n1ge -fore run_express
*n1ge> The version of AVS/Express you specified is 7.2.
AVS/Express Developer Edition

Version: 7.2 fcs linux_64
Project: /usr/apps/isv10/avs/express_7.2 (read-only)
Attempting to connect to license server (172.17.75.167:33333)

Received license from server
Checking hostid 0
- 67 -

5.1.6. EnSight
EnSight は GUI アプリケーションです．バージョン 8.0.7_k，8.2.6_c，9.0.3_b が使用できます．
(1) 実行方法（バージョン 8.0.7_k，8.2.6_c，9.0.3_b）

バージョン 8.0.7_k を利用する場合は次のように環境変数をセットします．
$ export ENSIGHT_VERSION=8.0 bash/ksh/sh の場合
または，
$ setenv ENSIGHT_VERSION 8.0 csh/tcsh の場合
[フォアグラウンド（バージョン 8.0.7_k，8.2.6_c）]
$ n1ge -fore ensight8 -X
(※) OpenGL 環境が整った端末の場合には-X オプションの指定は必要ありません．
(※) EnSight 8.2.6_c の場合には，-X オプションの指定は必要ありません．
[フォアグラウンド（バージョン 9.0.3_b）]
$ n1ge -fore ensight90
(2) 起動例
tgg075017 admin/sun> n1ge -fore ensight8 -X
*n1ge> The version of EnSight you specified is 8.2.6_c
Using CEI_HOME = /usr/apps/isv/ensight/ensight_8.2.6_c/CEI
Using CEI_ARCH = linux_2.6_64
DISPLAY = localhost:11.0
hostname = tgg075033
<Starting with gldriver Mesa64 (Don't use -X for hardware rendering)>
……………………
- 68 -
終了は「File ⇒ Qxit」となります．
5.1.7. Gaussian
Gaussian03 はバージョン E.01，Linda E.01 を利用できます．また，Gaussian09 はバージョン
A.02 を使用できます．
C.02, D.01 を使用する際は，旧環境マシンに移動して実行します．(3)旧環境での実行をご確認くだ
さい．
(1) 実行方法（Gaussian 03 Rev E01）

$ n1ge -fore -smp CPU 数 g03 入力ファイル
$ n1ge -fore g03 入力ファイル
$ n1ge -smp CPU 数 g03 入力ファイル
$ n1ge -linda cpu 数 g03 入力ファイル (ただし，8 の倍数のみ)
$ n1ge -linda cpu 数:SM 数 g03 入力ファイル (SM 数は 1-8,10,12,14,16)
※ 8 を超える指定はノード内 2 プロセスになります
$ n1ge g03 入力ファイル
- 69 -
tgg075017 admin/sun> mkdir gaussian_test
② /usr/apps/isv/gaussian/g03/tests/com ディレクトリからサンプルデータを取得します
tgg075017 sun/gaussian_test> cd gaussian_test
tgg075017 sun/gaussian_test> cp $g03root/g03/tests/com/test000.com .
tgg075017 sun/gaussian_test> ls
test000.com
③ 取得したデータを用いて，Gaussian を 8CPU，2GB メモリで実行します．
tgg075017 sun/gaussian_test> n1ge -fore -mem 2 -smp 8 g03 test000.com
*n1ge> Analyzing Input file for Gaussian....
*n1ge> The revision of Gaussian you specified is E.01.
Saving original input file as test000.com.3065705
real 0m39.745s
user 0m23.492s
sys 0m28.660s
Restoring original input file from test000.com.3065705
(3) 旧環境での実行（バージョン C.02，D.02）

(4) 実行方法（Gaussian 09 Rev A02）

Gaussian 09 のジョブは，g03 の代わりに g09 を用いることで実行できます．
$ n1ge g09 入力ファイル
$ n1ge -smp CPU 数 g09 入力ファイル
$ n1ge -linda cpu 数 g09 入力ファイル (ただし，8 の倍数のみ)
$ n1ge -linda cpu 数:SM 数 g09 入力ファイル (SM 数は 1-8,10,12,14,16)
※ 8 を超える指定はノード内 2 プロセスになります
※ -mem オプションが無い場合は，2GB のメモリを確保します．
- 70 -
5.1.8. Gauss View
Gauss View は GUI アプリケーションです．3.0.9，4.1.2, 5.0.8 が使用できます．デフォルトでの
実行はバージョン 5.0.8 になります．
(1) 実行方法（バージョン 4.1.2, 5.0.8）

$ export GAUSS_VIEW_VERSION=4.1 bash/ksh/sh の場合
または，
$ setenv GAUSS_VIEW_VERSION 4.1 csh/tcsh の場合
$ n1ge -fore gview
(2) 起動例
tgg075017 sun/ gaussian_test > n1ge -fore gview
*n1ge> The version of GaussView you specified is 5.0

- 71 -
5.1.9. MATLAB
バージョン 7.1(R14SP3)，7.2(R2006a)，7.5(R2007b) ，7.8(R2009a)が使用できます．デフォルト
での実行はバージョン 7.8 になります．
7.1 を使用する際は，旧環境マシンに移動して実行します．(3)旧環境での実行をご確認ください．
(1) 実行方法（バージョン 7.2，7.5，7.8）

デフォルトではバージョン 7.8 となります．バージョン 7.2，7.5 を利用する場合は次のように環境
バージョン 7.2 を使用する場合には次のようにします．
$ export MATLAB_VERSION=7.2 bash/ksh/sh の場合
または，
$ setenv MATLAB_VERSION 7.2 csh/tcsh の場合
バージョン 7.5 を使用する場合には次のようにします．
$ export MATLAB_VERSION=7.5 bash/ksh/sh の場合
または，
$ setenv MATLAB_VERSION 7.5 csh/tcsh の場合
バージョン 7.2 ではClearSpeedを利用することができます．詳細は 5.5ClearSpeedの利用(p.93)を
参照してください．
¾ CLI
$ n1ge -fore matlab -nodisplay
¾ GUI
$ n1ge -fore matlab
入力するプログラムファイルを samp.m として，バッチジョブ投入する場合，以下のようになりま
す．
$ n1ge matlab -nodisplay -r samp
(2) 起動例
¾ CLI
CLI モードの起動方法は以下となります．
tgg075017 admin/sun> n1ge -fore matlab -nodisplay
*n1ge> The version of MATLAB you specified is 7.8(R2009a).
< M A T L A B (R) >

Copyright 1984-2009 The MathWorks, Inc.
- 72 -
Version 7.8.0.347 (R2009a) 64-bit (glnxa64)
February 12, 2009
To get started, type one of these: helpwin, helpdesk, or demo.

For product information, visit www.mathworks.com.
>> exit (終了する場合は exit を入力します)

¾ GUI
GUI モードの起動方法は以下となります．
tgg075017 admin/sun> n1ge -fore matlab
*n1ge> Adding qsub options....
¾ バックグラウンド
MATLAB スクリプトファイルを利用して，バックグラウンドジョブの投入は以下となります．
tgg075017 admin/sun> n1ge matlab -nodisplay -r “samp”
*n1ge> Adding qsub options....
Your job 6731638 ("MATLAB") has been submitted
(3) 旧環境での実行（バージョン 7.1）

- 73 -
5.1.10. MOPAC
MOPAC は MOPAC2006V1 を使用できます．
(1) 実行方法
$ n1ge -fore -g BESGROUP mopac2006 入力ファイル
$ n1ge -g BESGROUP mopac2006 入力ファイル
tgg075017 admin/sun> mkdir mopac_test
② /usr/apps/isv10/mopac/x86-64_LINUX/input/mopac ディレクトリからサンプルデータを取
得します
tgg075017 sun/mopac_test> cd mopac_test
tgg075017 sun/mopac_test> cp $MOPAC_HOME/x86-64_LINUX/input/mopac/Test411.dat .
tgg075017 sun/mopac_test> ls
Test411.dat
③ 取得したデータを用いて，MOPAC を実行します．
tgg075017 sun/mopac_test> n1ge -g 4B080137 -fore mopac2006 Test411.dat
*n1ge> Checking about 4B080137 group you specified....
*n1ge> < Premium Level 1 >
Test411.arc Test411.dat Test411.log Test411.out
[注意]
課金サービス（ベストエフォートサービス）を申請していない場合，MOPAC をバッチ実行でき
ません．
- 74 -
5.1.11. Mathematica
バージョン 5.2，6.0，7.0 が使用できます．
5.2 を使用する際は，旧環境マシンに移動して実行します．(3)旧環境での実行をご確認ください．
(1) 実行方法（バージョン 6.0, 7.0）

デフォルトではバージョン 7.0 となります．バージョン 6.0 を利用する場合は次のように環境変数
をセットします．
$ export MATH_VERSION=6.0.2 bash/ksh/sh の場合
または，
$ setenv MATH_VERSION 6.0.2 csh/tcsh の場合
¾ CLI
$ n1ge -fore math
¾ GUI
$ n1ge -fore Mathematica
GUI 利用の場合，バックグラウンドでは利用出来ませんが，CLI 処理をプログラミングして，バッ
クグラウンドの利用可能です．入力するプログラムファイルを samp.m として，結果を samp.out に
出力する場合，以下のように実行します．
$ n1ge math \<samp.m \>samp.out
(2) 起動例
¾ CLI
tgg075017 admin/sun> n1ge -fore math
Mathematica 7.0 for Linux x86 (64-bit)
Copyright 1988-2008 Wolfram Research, Inc.
In[1]:=
…
In[1]:= Quit (終了する場合は Quit を入力します)
¾ GUI
tgg075017 admin/sun> n1ge -fore Mathematica
- 75 -
¾ バックグラウンド
バックグラウンドモードの起動は以下となります．
tgg075017 admin/sun> n1ge math \<samp.m \> samp.out
Your job 4575362 ("Mathematica") has been submitted
(3) 旧環境での実行（バージョン 5.2）

- 76 -
5.1.12. Molpro
Molpro はバージョン 2002.6 を使用できます．
(1) 実行方法
$ n1ge -fore -mpi CPU 数 molpro \< 入力ファイル
$ n1ge -fore molpro \< 入力ファイル
$ n1ge -mpi CPU 数 molpro \< 入力ファイル
$ n1ge molpro \< 入力ファイル
tgg075017 admin/sun> mkdir molpro_test
② /work/samples/molpro ディレクトリからサンプルデータを取得します
tgg075017 sun/> cd molpro_test
tgg075017 sun/mopac_test> cp /work/samples/molpro/molpro.in .
molpro.in
③ 取得したデータを用いて，molpro を実行します．
tgg075017 sun/mopac_test> n1ge -fore -mpi 2 molpro \< molpro.in
MPP nodes nproc

tgg075033 2
……………………
[Ending Job 1691]
- 77 -
5.1.13. MD NASTRAN
MD Nastran はバージョン R2.1 を利用できます．
(1) 実行方法
$ n1ge -fore -mpi CPU 数 nastran 入力ファイル
$ n1ge -fore nastran 入力ファイル
$ n1ge -mpi CPU 数 nastran 入力ファイル
$ n1ge nastran 入力ファイル
tgg075017 admin/sun> mkdir nastran_test
② /work/samples/nastran ディレクトリからサンプルデータを取得します
tgg075017 sun/nastran_test> cd nastran_test
tgg075017 sun/nastran_test> cp /work/samples/nastran/bcell9a.dat .
tgg075017 sun/nastran_test> ls
bcell9a.dat
③ 取得したデータを用いて，Nastran を実行します．
tgg075017 sun/nastran_test> n1ge -fore nastran bcell9a.dat
*n1ge> The version of NASTRAN you specified is R2.1.
MD Nastran V2007.1 (AMD Linux 2.6.5-7.282-smp) Thu May 8 11:17:16 2008
*** SYSTEM INFORMATION MESSAGE (pgm: nastran, fn: estimate_job_requirements)

Starting ESTIMATE, please wait...
*** USER INFORMATION MESSAGE (pgm: nastran, fn: estimate_job_requirements)

Estimated DOF=5308
Estimated memory=32.0MB
Estimated disk=35.9MB
Note: ESTIMATE had some difficulty analyzing this job.

MD Nastran beginning job bcell9a.
tgg075017 sun/nastran_test> ls
bcell9a.DBALL bcell9a.MASTER bcell9a.dat bcell9a.f04 bcell9a.f06 bcell9a.log
- 78 -
5.1.14. MD PATRAN
MD Patran は GUI アプリケーションです．バージョン R2.1 が使用できます．
(1) 実行方法
$ n1ge -fore patran
(2) 起動例
tgg075017 sun/nastran_test> n1ge -fore patran
*n1ge> The version of PATRAN you specified is R2.1.
終了は「File ⇒ Quit」となります．
[注意]
MD Patran R2.1 は n1ge 実行環境においては，ベンダのシステム要件を満たしておりません．
問題が発生する場合は，ベンダのシステム要件内である，(3)旧環境での実行を行うようにして下さ
い．
(3) 旧環境での実行
- 79 -
5.1.15. SAS
SAS はバージョン 9.1.3 が使用できます．
SAS を起動するためには，”ssh -t -Y username@login.cc.titech.ac.jp sas”コマンドでログインして
下さい．
(1) 実行方法
GUI の起動方法は次の通りです．
tgg074117 admin/sun> sas
(※) SAS は N1 Grid Engine での実行はできません．
終了は「ファイル ⇒ 終了」となります．
5.1.16. Maple
Maple はバージョン 11, 12, 13 が使用できます．
(1) 実行方法
デフォルトではバージョン 13 となります．
バージョン 11, 12 を利用する場合は次のように環境変数をセットします．
$ export MAPLE_VERSION=11 bash/ksh/sh の場合
または，
$ setenv MAPLE_VERSION 11 csh/tcsh の場合
バージョン 12 を利用する場合は次のように環境変数をセットします．
$ export MAPLE_VERSION=12 bash/ksh/sh の場合
または，
$ setenv MAPLE_VERSION 12 csh/tcsh の場合
¾ CLI
$ n1ge -fore maple
¾ GUI
$ n1ge -fore xmatlab
- 80 -
$ n1ge maple -s -t \< <INPUTFILE>
(2) 起動例
¾ CLI
tgg075017 admin/sun> n1ge -fore maple
*n1ge> The version of MAPLE you specified is v13.
|\^/| Maple 13 (X86 64 LINUX)
._|\| |/|_. Copyright (c) Maplesoft, a division of Waterloo Maple Inc. 2009
\ MAPLE / All rights reserved. Maple is a trademark of
<____ ____> Waterloo Maple Inc.
| Type ? for help.
> quit
¾ GUI
tgg075017 admin/sun> n1ge -fore xmaple
*n1ge> The version of MAPLE you specified is v13.
- 81 -
5.1.17. LS-DYNA
対応しているのは以下の４種類のモジュールになります
mppdynas ：LS-DYNA 単精度版

mppdynad ：LS-DYNA 倍精度版
mppdynas_dfail ：LS-DYNA 単精度版（延性破壊モデル実装版）
mppdynad_dfail ：LS-DYNA 倍精度版（延性破壊モデル実装版）
（１）実行方法
¾ 標準 LS-DYNA（mppdynas を例とします）
$ n1ge -mpi 4:4 mppdynas i=入力ファイル
¾ 延性破壊モデル実装版 LS-DYNA (mppdynas_dfail を例とします)
$ n1ge -mpi 4:4 mppdynas_dfail i=入力ファイル
¾ MPP 実行後処理用プログラム l2a（l2as を例とします）
$ /usr/apps/isv10/lsdyna/971R3/mod/mpp971_s_R3.44113_PGI_linux86-64_voltaire355.l2a
binout0000
（2）注意点
LS-DYNA は本体に連動した独自のキューイングシステムが動作しています．
ジョブを投入した段階で n1ge のキューイングにカウントされ，LS-DYNA のキューイングシステ
ムに引き渡されます．n1ge システムではこの段階から課金が発生いたします．
ジョブを投入後，LS-DYNAの実行確認(5.3.5節) を実施してください．
5.1.18. ANSYS FLUENT

ANSYS FLUENT はバージョン 6.3.26, 12.1 が使用できます．
(1) 実行方法
デフォルトではバージョン 12.1 となります．
バージョン 6.3.26 を利用する場合は次のように環境変数をセットします．
$ export FLUENT_VERSION=6.3.26 bash/ksh/sh の場合
または，
$ setenv FLUENT_VERSION 6.3.26 csh/tcsh の場合
$ n1ge -mpi 4:4 -fore fluent
$ n1ge -fore fluent
- 82 -
5.2. ISV アプリケーション(Windows 端末専用)
以降のアプリケーションは，クライアント(Windows 端末)からの操作になります．
5.2.1. Materials Explorer
Windows にて，
「スタートメニュー」→「プログラム」から Materials Explorer を起動します．
「アカウント」に以下を登録します．
サーバ: 172.17.75.17～22 のどれか１つ，ポート番号: 10002
“NQS を使用する”にチェックを入れる(実際には NQS ではなく N1GE にジョブ投入します)
キュー名：以下の規則に従い，入力します
novice キュー：-q_novice
bes1,bes2 キュー：-q_bes1_-g_BESGROUP, -q_bes2_-g_BESGROUP
ジョブ名を指定する場合：_-N_ジョブ名を追記
実行モジュール: /usr/apps/isv10/MaterialsExplorer/binLinux64
入力データ: 任意（例えば，/home/usr?/ユーザ名/input）
出力データ: 任意（例えば，/home/usr?/ユーザ名/output）
<キュー名>
bes 課金グループ 4B070000 に所属するユーザが
ジョブ名 TEST として，bes1 に投入する場合，
-q_bes1_-g_4B070000_-N_TEST
と入力します．
<入力データ・出力データ>
ホームディレクトリ(/home/usr?/ユーザ名配下)
もしくは
ワークディレクトリ(/work/users/ユーザ名配下)
を指定してください．
5.2.2. Materials Studio

Windows にて，「スタートメニュー」→「プログラム」から Materials Studio を起動します．
計算を実行する際に「Job Control」タブの「Gateway location」に以下を設定します．
Gateway location: 172.17.75.181_18888 (Materials Studio 4.0 の場合)
ライセンスサーバは 27060@172.17.75.167 となります．
- 83 -
5.2.3. Discovery Studio Modeling
Windows にて，
「スタートメニュー」→「プログラム」から Discovery Studio Modeling を起
動します．実行するサーバを以下のように設定します．
• 「File」→「Change Server...」を選択
• 「Server name」の指定
Server name: 172.17.75.181:9941 (Discovery Studio 1.5 の場合)
- 84 -
ライセンスサーバは 27060@172.17.75.167 となります．
5.3. ISV アプリケーションライセンスの使用状況確認
特定の ISV アプリケーションを利用する場合，そのアプリケーションのライセンスが全て使用され
て利用できない場合があります．ここでは，それらのライセンスの使用状況を確認する方法を示しま
す．
TSUBAME にインストールされている特定の ISV アプリケーションのライセンスは，４種類の
License Server で管理されています．以下に License Server 及びそれに管理されているアプリケー
ション，ライセンス数（トークン数）を示します．
License Server アプリケーションライセンス数／トークン数

MD Nastran 10
MD Patran 10
MATLAB 210
ABAQUS 80
ABAQUS/CAE 5
IMSL 10000
FLEXlm Materials Studio
合計で 40 トークン
Discovery Studio
ClearSpeed 4
INTEL 5
Maple 1
PGI SDK 25
FLUENT 50
AVS/Express Developer 20
LmServer
AVS/Express PCE 2(最大 64 並列まで可能)
Slim EnSight 5
MathLM Mathematica 6000
LSTC LSDYNA 16
License Server により，ライセンスの使用状況を確認する方法が異なります．それぞれのライセン

スの使用状況を確認する方法を次に示します．
5.3.1. FLEXlm の使用状況確認

FLEXlm を License Server として使用するアプリケーションについて，そのライセンスの使用状況
を確認する場合は，以下の手順に従ってください．
(1) TSUBAME にログインします．
(2) lmutil コマンドで使用状況を確認します．

FLEXlm に登録してある全 Feature を表示させる場合は以下を実行します．
$ /usr/apps/isv10/flexlm/lmutil lmstat -a
以下に実行例を示します．
$ /usr/apps/isv10/flexlm/lmutil lmstat -a
- 85 -
lmutil – Copyright I 1989-2006 Macrovision Europe Ltd. And/or Macrovision Corporation. All
Rights Reserved.
Flexible License Manager status on Thu 5/8/2008 11:27
License server status: 27010@tggls

License file(s) on tggls: /licenses/license.dat_27010_MD:
tggls: license server UP (MASTER) v10.8
Vendor daemon status (on tggls):
MSC: UP v10.8
Feature usage info:
Users of DYTRAN: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_Electrical: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_Hexmesh: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_Mesh2D: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_Mesh3D: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_MetalCutting: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_ShapeMemory: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MARC_ViewFactor: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of Mentat: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of Mentat_CMOLD: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of Mentat_ITI_Access: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_NASTRAN: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_ADAMS_Integration: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_Connectors: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_Dynamics: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_Thermal: (Total of 10 licenses issued; Total of 0 licenses in use)
Users of MD_DDAM: (Total of 10 licenses issued; Total of 0 licenses in use)
（後略）
登録してある全 Feature についての総数と使用数が表示されます．
- 86 -
また，特定のデーモンのみを表示したい場合は以下を実行します．
$ /usr/apps/isv10/flexlm/lmutil lmstat －S デーモン名－c ポート番号@tggls
ここでそれぞれのアプリケーションに対応する，デーモン名とポート番号は以下より選択して
ください．
アプリケーション名デーモン名ポート番号
MSC.Nastran，MSC.Patran MSC 27010
MATLAB MLM 27020
ABAQUS，ABAQUS/CAE ABAQUSLM 27030
IMSL VNI 27040
PGI SDK pgroupd 27050
Materials Studio，Discovery Studio msi 27060
ClearSpeed clearsp 27070
FLUENT FluentLm 27090
Intel コンパイラ INTEL 28010
Maple Maplelmg 28020
ABAQUSLM(ABAQUS,ABAQUS/CAE)を選択した場合の実行例を示します．
$ /usr/apps/isv10/flexlm/lmutil lmstat -S ABAQUSLM -c 27030@tggls
lmutil – Copyright I 1989-2004 by Macrovision Corporation. All rights reserved.
Flexible License Manager status on Tue 4/17/2007 17:46
DAEMONs in configuration file: ABAQUSLM

Users of features served by ABAQUSLM:
Users of abaqus: (Total of 80 licenses issued; Total of 5 licenses in use)
“abaqus” v6.6, vendor: ABAQUSLM

floating license
necap tgg075045 /dev/tty (v6.6) (tggls/27030 2517), start Tue 4/17 17:43, 5 licenses
Users of aqua: (Total of 80 licenses issued; Total of 0 licenses in use)
Users of design: (Total of 80 licenses issued; Total of 0 licenses in use)
Users of parallel: (Total of 16384 licenses issued; Total of 0 licenses in use)
Users of cae: (Total of 5 licenses issued; Total of 0 licenses in use)
Users of standard: (Total of 80 licenses issued; Total of 5 licenses in use)
“standard” v6.6, vendor: ABAQUSLM

floating license
necap tgg075045 /dev/tty (v6.5) (tggls/27030 3476), start Tue 4/17 17:43, 5 licenses
Users of explicit: (Total of 80 licenses issued; Total of 0 licenses in use)
Users of foundation: (Total of 80 licenses issued; Total of 0 licenses in use)
- 87 -
5.3.2. LmServer の使用状況確認
LmServer を License Server として使用するアプリケーションは次のものです．
・AVS/Express Developer
・AVS/Express PCE
LmServer を License Server として使用するアプリケーションについて，そのライセンスの使

用状況を確認する場合は，以下の手順に従ってください．
① Web ブラウザから以下の URL へアクセスします．

http://172.17.75.167:33333/STATUS
以下にアクセスした例を示します．
LM Server Status 4/5/07 7:01 PM
Use-limited License: EXPRESS limit: 20 currently used: 1

Use-limited License: EXPRESS_PCE limit: 1 currently used: 0
Client: EXPRESS 131.112.189.134 (131.112.189.134), started:4/5/07 4:59 PM, user:necap, pid:712
5.3.3. slim の使用状況確認

slim を License Server として使用するアプリケーションは次のものです．
・EnSight
slim を License Server として使用するアプリケーションについて，そのライセンスの使用状

況を確認する場合は，以下の手順に従ってください．
① TSUBAME にログインします．
② slimd8_status コマンドで使用状況を確認します．
$ /usr/apps/isv10/ensight/CEI/bin/slimd8_status
$ /usr/apps/isv10/ensight/CEI/bin/slimd8_status
/usr/apps/isv/ensight/CEI/license8/machines/linux_2.6_64/slimd8_status version 8.7.
Getting slimd8 status from host <tggls>:
Feature 'cei' total tokens 375 busy 0 idle 0 free 375
Feature 'ensightgold' total tokens 5 busy 0 idle 0 free 5
5.3.4. MathLM の使用状況確認

一般ユーザは，MathLM を License Server として使用するアプリケーションについて，その
ライセンスの使用状況を確認することができません．
- 88 -
5.3.5. LS-DYNA の使用状況確認
LS-DYNA の使用状況は次のように確認します．
① 環境変数を設定します．
$ export LSTC_LICENSE_SERVER=tggls
② 次のコマンドで実行します．
$ /usr/apps/isv10/lsdyna/license/dyna/lstc_qrun
$ /usr/apps/isv10/lsdyna/license/dyna/lstc_qrun
Running Programs
User Host Program Started # procs

-----------------------------------------------------------------------------
userA 29653@tgg074063 MPPDYNA_971 Tue Mar 31 10:44 8
userB 14033@tgg074046 MPPDYNA_971 Tue Mar 31 10:44 1
userC 14041@tgg074046 MPPDYNA_971 Tue Mar 31 10:44 1
No programs queued
- 89 -
5.4. フリー系アプリケーション
5.4.1. GROMACS
GROMACS はバージョン 3.3 と 3.3.1 を使用できます．3.3 を使用する際は，利用する前に以
下のように環境変数をセットします．
$ export GROMACS_VERSION=3.3 bash/ksh/sh の場合
または，
$ setenv GROMACS_VERSION 3.3 csh/tcsh の場合
無指定の場合は 3.3.1 になります．
Grompp での処理終了後，mdrun の箇所を N1 Grid Engine に投入する方法を示します．

¾ 複数 CPU 利用時 (1CPU 利用時も含む)
$ n1ge -fore -mpi CPU 数 mdrun -s XX.tpr -o XX.trr -c XX.gro -v -g ログファイル \
-np CPU 数
(※) -mpi で指定する CPU 数と-np で指定する CPU 数は同じ値にして下さい．
¾ 複数 CPU 利用時 (1CPU 利用時も含む)
$ n1ge -mpi CPU 数 mdrun -s XX.tpr -o XX.trr -c XX.gro -v -g ログファイル \
-np CPU 数
5.4.2. POV-Ray
¾ 1CPU 利用時
$ n1ge -fore povray [オプション] 入力ファイル [オプション]
$ n1ge -fore -mpi CPU 数 povray [オプション] 入力ファイル [オプション]
¾ 1CPU 利用時
$ n1ge povray [オプション] 入力ファイル [オプション]
$ n1ge -mpi CPU 数 povray [オプション] 入力ファイル [オプション]
【制限事項】
複数 CPU 利用時，並列出力が正常に出力されないため，並列版は 3.5C 版が起動します．
5.4.3. Tinker
¾ CLI
$ n1ge -fore timer
¾ Batch
- 90 -
$ n1ge -fore timer Coordinate_file Repetitions Hessian_Evaluations
例) $ n1ge -fore timer bench1 10 y
$ n1ge timer Coordinate_file Repetitions Hessian_Evaluations
5.4.4. UTChem
$ n1ge -fore -mpi CPU 数 utchem -w スクラッチ先ディレクトリ入力ファイル
$ n1ge -mpi CPU 数 utchem -w スクラッチ先ディレクトリ入力ファイル
5.4.5. NWChem
まず，NWChem 用の環境設定ファイルをホームディレクトリにコピーします．
$ cp /usr/apps/free10/nwchem/4.7/data/default.nwchemrc $HOME/.nwchemrc
次に，作業(スクラッチ)ディレクトリを指定します．指定しない場合は /gau/* に仮に作成さ

れます．この他に，データの一時置き場を指定します．無指定の場合はカレントが選択され
ます．指定する場合はデータに次のように記述してください．
データファイル
start h2o_freq start h2o_freq
→ permanent_dir /work/USER-ID
charge 1 charge 1
: :
ジョブの投入は以下のどちらかの形で行います．
$ n1ge -fore -mpi CPU 数 nwchem 入力ファイル
$ n1ge -mpi CPU 数 nwchem 入力ファイル
5.4.6. GAMESS
バージョン 22 FEB 2006 (R5) ，24 MAR 2007 (R3)と 11Apr 2008(R1)を使用できます．
(1) 実行方法
24 MAR 2007 (R3)を使用する際は，利用する前に以下のように環境変数をセットします．無
指定の場合はバージョン 11Apr 2008(R1)になります．
24 MAR 2007 (R3)を使う場合
$ export GAMESS_VERSION=2007R3 bash/ksh/sh の場合
または，
$ setenv GAMESS_VERSION 2007R3 csh/tcsh の場合
- 91 -
スクラッチディレクトリの設定をします．無指定の場合は /gau/JOB.no/* に自動的に作成さ
れます．/home は指定しないようにお願いいたします．
$ export SCR=/work/USER-ID/scrh
以下のコマンドでジョブを投入します．
プロファイル出力が不要な場合
$ n1ge -ddi CPU 数 rungms 入力ファイル
$ n1ge -ddi 全 CPU 数:ノード内 CPU 数 rungms 入力ファイル
プロファイルを出力したい場合
$ n1ge -ddi CPU 数 rungms_prof 入力ファイル
$ n1ge -ddi 全 CPU 数:ノード内 CPU 数 rungms_prof 入力ファイル
※通常の GAMESS 実行であれば

rungms JOB VERNO NCPUS
と入力されると思いますが，N1GE では rungms の引数として JOB 以下をとりません．
VERNO は不要で NCPUS は-ddi の引数で指定してください．
-ddi num_cpu[:node_cpu]の指定方法は -mpi と同様です．
また，メモリの指定方法は mpi と同じで，プロセスあたりの使用量を指定します．
(2) 旧環境での実行
Gamess のバージョン 22 FEB 2006 を使用する際は，旧環境でのみ利用できます．次のよう
にマシンを移動します．
$ ssh login.cc.titech.ac.jp -t sles9
こののち，
$ /usr/apps/free/gamess/rungms
などとして起動します
- 92 -
5.5. ClearSpeed の利用
ClearSpeed 社製アクセラレータは，現在，以下の条件を満たすプログラムで利用可能です．
・Blas/Lapack ライブラリを利用しているプログラム
・sander.CS (ClearSpeed 社がチューニングしたアプリケーション:シングル)
・MATLAB アプリケーション
・IMSL ライブラリを利用しているプログラム(準備中)
TSUBAME 全ノードに ClearSpeed 社製アクセラレータを搭載していますが，現在は，cs1, cs2, sla1,
sla2, inno1, inno2, pinno1, pinno2 , RAM64GB,RAM128GB の各キューの割り当てノードで
ClearSpeed が利用できます．従って利用可能なバッチキューも上記キューとなります．
また，ClearSpeed アクセラレータを使用するプログラム開発のデバッグ用として，インタラクテ
ィブに利用できる csdebug があります．こちらは，以下のように接続することで利用できます．
$ ssh -t User-ID@login.cc.titech.ac.jp csdebug
5.5.1. プログラムソースがある場合の利用方法
Blas/Lapack ライブラリをダイナミックリンクで参照している場合に以下の方法で利用できます．
(1) コンパイル環境設定
$ source /usr/apps/isv10/clearspeed/3.11/bin/bashrc
(2) CS ライブラリを利用してアプリをリンクします．
$ g++ -lm -lg2c -lpthread -L/usr/apps/isv10/clearspeed/3.11/lib -lcsxl_acml -o sample
sample.c
Fortran の場合
$ pgf90 -lm -lg2c -lpthread -L/usr/apps/isv10/clearspeed/3.11/lib \
-L/usr/apps/isv10/pgi/linux86-64/7.2/libso -lcsxl_acml -o pre_lapack.cs pre_lapack.f
(3) 実行環境の設定
$ export CS_HOST_BLAS=/usr/apps/isv10/pgi/linux86-64/7.2/libso/libacml.so
$ export CS_BLAS_HOST_ASSIST_PERCENTAGE=10
CS_BALS_HOST_ASSIST_PERCENTAGE で設定する値は通常の CPU を使う割合を
0～100 の範囲で指定します．0 は，Clear Speed を最大利用します．100 は Clear Speed を利用
しません．通常は，5～15 で利用します．
(4) 実行(csdebug キュー)

$ csreset -A -v
$ ./sample [options]
5.5.2. プログラムソースが無い場合の利用方法
(1) 環境変数の設定
- 93 -
$ export LD_PRELOAD=/usr/apps/isv10/clearspeed/3.11/libcsxl_acml.so
※CS_BALS_HOST_ASSIST_PERCENTAGE：5.5.1.3)を参照
(2) 実行
$ csreset -A -v
$ ./program [options]
5.5.3. SDK による ClearSpeed 実行モジュールの作成

ここでは，サンプルプログラムのコンパイルから実行までの手順を示します．
(1) 環境変数の設定
※csdebug キューを使用します．
(2) コンパイル(サンプルプログラムを使用)
$ cp -fr /usr/apps/isv10/clearspeed/3.11/examples/sdk/sinewave .
$ cd sinewave
$ cscn sinewave_mono.cn
※ソースプログラムの拡張子は *.cn ，実行モジュールの拡張子は *.csx になります．
(3) 実行
$ csreset -A -v
$ csrun ./a.csx
0.0000000
0.032719083
:
Return value = 0
詳細は clearspeed 利用の手引き(TSUBAME 上またはオープン入出力室)を参照してください．
5.5.4. バッチジョブによる ClearSpeed 利用

ユーザプログラムの場合には，基本的に，プログラムに合わせて環境変数設定，ClearSpeed 最初
化，実行コマンドの順で投入シェルスクリプトを用意して，n1ge でジョブを投入します．利用でき
るキューは cs1, cs2 と SLA 系キューとなります．例として，ClearSpeed ライブラリがリンクされた
プログラム(ソースがある場合の例)の投入方法を説明します．
(1) 投入シェルを準備
$ cat go.sh
#!/bin/sh
source /usr/apps/isv10/clearspeed/3.11/bin/bashrc
- 94 -
export CS_HOST_BLAS=/usr/apps/isv10/pgi/linux86-64/7.2/libso/libacml.so
export CS_BLAS_HOST_ASSIST_PERCENTAGE=10
csreset -A -v
./a.out
(2) 実行 (登録グループにより選択)
¾ シングルプログラムの場合
$ n1ge -g BES グループ -q cs2 go.sh ※BES グループでは-q cs1,2 が必要です．
$ n1ge -g SLA グループ -rt 時間 go.sh ※SLA グループでは-rt を忘れずに．
¾ MPI プログラムの場合
$ n1ge -g BES グループ -q cs2 -mpi ノード数 go.sh
$ n1ge -g SLA グループ -mpi ノード数 -rt 時間 go.sh
5.5.5. isv アプリケーションでの ClearSpeed の利用

(1) MATLAB
Matlab 7.2 では ClearSpeed を使用した計算が行なえます．以下の手順で実施します．
$ source /n1ge/TITECH_GRID/tools/bin/n1ge_bin/apps_rc/MATLAB.7.2.rc
$ export PATH=/usr/apps/isv10/matlab/7.2/bin:$PATH
$ matlab_csx_test
また，バッチ処理も次のようにして実行できます．
実行シェル
$ cat matlab_ex.sh
source /n1ge/TITECH_GRID/tools/bin/n1ge_bin/apps_rc/MATLAB.7.2.rc
export PATH=/usr/apps/isv10/matlab/7.2/bin:$PATH
source /usr/apps/isv10/clearspeed/3.11/bin/bashrc
matlab_csx_test -nodisplay -r sample # sample.m は Matlab プログラム
キューへの投入
$ n1ge -g BES グループ -q cs2 matlab_ex.sh
(2) Mathematica
Mathematica 5.2 では ClearSpeed を使用した計算が行なえます．以下の手順で実施します．
$ source /n1ge/TITECH_GRID/tools/bin/n1ge_bin/apps_rc/Mathematica.5.2.rc
$ math_csx
(3) AMBER
AMBER 10 では ClearSpeedを使用した計算が行なえます．5.1.4 AMBER (p.65)を参照してく
ださい．
- 95 -
5.6. TESLA の利用
TESLA 演算加速器は，TSUBAME の以下のキューに属するノードから利用可能になっています．
該当ノードにおいて，CUDA ツールキットを用いて開発した独自の GPU プログラムや，BLAS, FFT
ライブラリの CUDA 対応版である CUBLAS, CUFFT ライブラリを利用したプログラムの実行が可
能となっています．ベストエフォートキューにつきましては，システムの安定運用の為に，事前に申
請により登録されたプログラムのみ実行可能となっています．登録に関しては TESLA 利用の手引き
を参照してください．
・ tesladebug (インタラクティブ実行)
・ sla1tes2, sla2tes2,inno1tes2,inno2tes2 (性能保障キュー)
・ bes1tes2, bes2tes2 (ベストエフォートキュー)
・ hpc1tes2
(1) tesladebug ノードログイン方法
tesladebug ノードは TESLA を利用するプログラムの開発・デバッグの為に用意されています．こ
ちらは以下のように接続することでインタラクティブで利用できます．
$ ssh -Y -t User-ID@login.cc.titech.ac.jp tesladebug
(2) 開発環境
開発に必要なコンパイラドライバ及びライブラリを含む CUDA ツールキットは /opt/cuda2.3 以
下にインストールされています．ツールキットの利用に必要な環境変数は tesladebug ノードへのロ
グイン時に自動的に設定されます．また，各種の CUDA サンプルプログラムのソース・実行形式を
含む CUDA SDK が /usr/apps/nosupport10/NVIDIA_CUDA_SDK 以下に用意されています．
(例 1) CUDA ツールキットによる tesladebug ノードでのプログラムのコンパイル
$ nvcc myprog.cu -o myprog
(例 2) CUBLAS ライブラリを利用するプログラムのコンパイル
$ gcc -I/opt/cuda2.3/include -L/opt/cuda2.3/lib64 -o myprog myprog.c -lcublas
(例 3) CUFFT ライブラリを利用するプログラムのコンパイル
$ gcc -I/opt/cuda2.3/include -L/opt/cuda2.3/lib64 -o myprog myprog.c -lcufft
(3) バッチジョブ投入方法
sla?tes2, bes?tes2 キューへのジョブの投入は通常のプログラムと同様に TESLA 用キュー名を指
定して実行します．bes?tes2 キューに投入する場合は，事前に申請によりプログラムの登録がなされ
ていないとエラーとなります．登録に関しては TESLA 利用の手引きを参照してください．
$ n1ge -q sla?tes2 -g SLA グループ (他 n1ge オプション) myprog
$ n1ge -q bes?tes2 -g BES グループ (他 n1ge オプション) myprog
TESLA 利用の詳細は GSIC Web 上の TESLA 利用の手引きを参照してください．
- 96 -
6. 電子メール
2007 年 4 月より東京工業大学情報基盤 (東工大ポータル) 共通メール (@m.titech.ac.jp) のサービ
ス開始にともない，TSUBAME で提供してまいりました研究用メールサービス (@o.cc.titech.ac.jp
および @n.cc.titech.ac.jp) を東工大ポータル共通メールに統合することになりました．
- 97 -
7. 利用申請方法
本システムの利用申請，登録内容変更のページへは，下記 URL よりリンクされております．
URL：http://www.gsic.titech.ac.jp/~ccwww/index.html
(センターページの「TSUBAME を使いたい」をクリックしてください．
申請内容に変更などが発生した場合は
URL：https://gsicriyou.cc.titech.ac.jp/UZUserMenu.htm
から手続きを行なってください．
- 98 -
8. 利用に関する問い合わせ
本センターでは，システムについての質問や相談などの問い合わせを E-Mail で受け付けています．
お問い合わせの際は，下記のあて先までお送りください．
＜お問い合わせ先＞
東京工業大学学術国際情報センター
E-Mail：soudan@cc.titech.ac.jp
また，下記 URL にセンターからのお知らせ等掲載しております．定期的にご参照ください．

URL：http://www.gsic.titech.ac.jp/
お問い合わせのメールには，以下の点を記載するようにしてください．
− 氏名，所属，学年
− 返信するためのメールアドレス
− やりたいこと
− 使用しているマシン（ホスト）名
− その計算機上で使用しているログイン名
− 参照すべきファイルの場所（回答する側がアクセスできるようにしておいてください）
− （あれば）エラーメッセージ
− 問題が起こったときの具体的な操作
− 緊急性
なお，デバッグの依頼などは受け付けておりません．ご注意ください．
- 99 -
9. 改版履歴
版数年月日該当項目概要説明
初 2006.03.31 全項目新規作成

1.2.1 CPU，Core の表記統一
1.5.1 AP 名，バージョン修正
3.5.2 キュー情報追記
3.5.3 ジョブの状態確認方法追記
1.1 2006.04.07 3.5.6 並列ジョブ投入方法追記
3.6.2(1)(2) プリンタ名，コマンド名追記
3.7 LTO3 装置の利用方法追記
4.2.1,4.2.2,4.2.3 実行コマンドの修正
4.4 各 AP の実行方法追記
4.4.1(1) AVS/Express PCE のアクセス制限設定追記
1.2 2006.04.25 ②並列版の実行方法追記
4.4.2②⑤
⑤NWChem の実行方法追記
3.5.6.(2)(3)
1.3 2006.05.15 n1ge コマンドにおける-mpi オプションの変更
3.5.7
2.1.3(3) work ディレクトリの使用方法追記
1.4 2006.06.02
3.5.1 他ジョブスクリプトへの実行権付与方法追記
全項目システムの名称を「TSUBAME」に変更
はじめに TSUBAME の名称に関する説明追加
2.1.4 work 領域の構成変更反映
1.5 2006.08.18 3.5.2，3.5.3 キュー構成の変更反映
3.5.8 n1ge オプション追記
4.4.1(16) データ格納場所追記
8 手引の更新履歴追記
1.6 2006.08.28 3.5.2 キュー構成の記述ミスを修正
2.1.4 ディスク構成の記述変更(運用変更)
3.5.2 , 3.5.9 キュー構成の記述変更(運用変更)
1.7 2006.11.15
3.5.8 メモリ制限の記述の追加
その他用例を実際の使用にあわせて修正
1.4 CPU 記述の統一
1.5.1,1.5.2 新規アプリの追加
2.1.2,3.4.3 リソースの制限
2.1.4 ディスク領域の構成変更による修正
1.8 2007.03.15 3.5.2 キュー構成の記述変更(運用変更: 課金)

3.5.7 MPI 時の ranl0mem の記述追加
3.5.9 n1ge オプションの増加記述
4.4.1(11) Mathematica のバッチ処理記述の追加
4.4.1(16) Materials Explorer のアカウント登録方法追記
- 100 -
1.1 全体システム概念図の更新
1.2.2 ClearSpeed の記述を修正
1.5.1 Discovery Studio Modeling に v1.6 を追加
1.5.2 DALTON を削除
2.1.1 構成変更による修正
2.1.4 構成変更による修正
2.1.7 バックアップ対象から/work_bk を削除
2.2 メールサービスの削除
1.9 2007.05.08
2.2.1(3) DALTON を削除
3.5.2 キュー構成修正
3.5.4 ジョブの状態確認の方法を変更
3.5.5 ジョブの削除の方法を変更
3.5.10 実行方法修正
4.1.1 インテルコンパイラの紹介を追加
4.4.1(18) Server Name 設定方法追記
5 サービス終了により，削除．
2.0 2007.05.08 4 章の独立アプリケーション(4.4 節)を 5 章として独立
3.5.8 メモリサイズの指定変更と説明の補強
2.1 2007.05.21
3.5.3 キューの確認を追加
2.2 2007.08.14 全般キュー構成の変更，ソフトウエアの更新
3.3.5 Lustre 環境の変更
2.3 2007.08.27 5.1.2 ABAQUS 6.7.1 の利用方法の追加
5.1.3 ABAQUS 6.7.1 の利用方法の追加
2.1.4 /work ポリシーの追加
2.4 2007.09.21 3.5.3 利用可能キューの確認
5.1. 新バージョンの利用方法を追加
5.1.9 MATLAB 7.1 の利用方法の追加
5.1.13 MSC/NASTRAN 2007.0(2007r1) の利用方法の追加
2.5 2007.11.16
5.1.14 MSC/PATRAN 2006(2006r1) の利用方法の追加
5.1.6 EnSight 8.2.6_c の利用方法の追加
3.5.8 Proc オプションの追記
2.6 2007/11/26 5.1.8 GaussView 4.1.2 の利用方法の追加
5.4.1 GROMACS 3.3.1 の追記
- 101 -
Gamess 24 MAR 2007R3 の追記とプロファイル出

5.4.6
力有無の選択
2.7 2007/12/14 4.1.2 , 4.1.3 コンパイラのバージョンと他社コンパイラの追記
5.5.3 Clear speed 用コンパイラの記述
5.1.4 Sander.CS の追記
1.5.1 , 4.1.3 インテルコンパイラのバージョン更新
2.8 2008/01/29 3.5.8 proc オプション例の修正
5.2.2 MaterialsStudio の利用方法の追加
5.4.5 Nwchem のディレクトリ指定
2.9 2008/02/18
5.4.6 GAMESS の SCR 指定
3.0 2008/04/03 全般アプリケーションのデフォルト変更
5.1.1 , 5.1.5 AVS/Express 7.2 の利用方法の追加
3.1 2008/05/08 5.1.13 MD NASTRAN の利用方法の追加
5.1.14 MD PATRAN の利用方法の追加
5.1.7 Gaussian 03 Rev. E01 利用方法を追加
3.2 2008/05/19
5.1.16 Maple 11 利用方法を追加
3.3 2008/05/27 5.4.6 Gamess 11Apr2008(R1)利用方法を追加
2008/05/29 3.5.2 HPC キュー
3.4
2008/06/12 3.5.9 MPI 時のメモリ指定について
オプションを使用したジョブコントロール更新
3.5 2008/07/01 3.5
項目説明順序の並べ替え
3.6 2008/07/25 5.1.4 AMBER 10 の利用方法の追加
1.1.2 ClearSpeed ノード更新
2.1.4 ディスク構成更新
3.5.2,3.5.3 キュー構成更新
3.7 2008/0/26 5.1.4 sand.CS 投入更新
5.1.9 Matlab 更新
ClearSpeed 利用更新，バッチ投入追加，Matlab 追
5.5
加
4.0 2008/11/4 全般 TSUBAME 1.2 対応
5.2.2 Materials Studio 4.3 の追加
2008/12/11 5.2.3 Discovery Studio 2.1 の追加
4.1
5.5 ClearSpeed 記述の更新
2008/12/26 5.6 TESLA の利用の更新
3.5.7 MPI パラメータファイルの記述修正
4.2 2009/01/16
5.1.17 注意の追記
4.3 2009/04/01 全般平成 21 度年新運用に対応
ABAQUS 6.8.4 の利用方法の追加
5.1.2,5.1.3,5.1.9,
4.4 2009/05/18 MATLAB 7.8 の利用方法の追加
5.1.12
Molpro 2002.6 の利用方法の追加
全般キュー構成変更に対応(sla3 廃止，hpc3 新設)
4.5 2009/08/21 5.1.6 EnSight 9.0.3(b)の利用方法追加
5.1.7 Gaussian 09 Revision A.02 の利用方法追加
Openmpi の記述追加(漏れ)
2009/11/12 3.3
PGI コンパイラの利用の但し書きを追加
4.1.2
- 102 -
2.1.2,2.1.4 データライブラリ「archive2」の記述を追加
5.1.1 AVS/Express PCE の n1ge 利用方法の追加
2010/01/06 5.1.8 Gauss View 5.0.8 の利用方法の追加
5.2.2 Materials Studio 5.0 の利用方法の追加
5.2.3 Discovery Studio 2.5 の利用方法の追加
2010/03/01 4.1.2 PGI 9.0-3/10.0 の追加
全般平成 22 度年新運用に対応
4.6 2010/04/01
3.5.11 アレイジョブ追記
- 103 -
TSUBAME 利用の手引き
初版 2006 年 04 月 01 日
改訂 2010 年 04 月 01 日
作成日本電気株式会社
監修東京工業大学学術国際情報センター
本稿に関するお問い合わせは，soudan@cc.titech.ac.jp 宛にメールをお送りください．

TSUBAME利用手引き

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

TSUBAME利用手引き

Uploaded by

Copyright:

Available Formats

TSUBAME 利用の手引き

東京工業大学学術国際情報センター 2010.04 4.6 版

TSUBAME は，Sun 社製「Sun Fire X4600 クラスタシステム」を中心とした，大規模グリッド計

TSUBAME で採用している，オペレーティングシステムは，Linux が中心となっております．

これらの TSUBAME を通して，利用者の研究活動に一層，寄与できるものと確信しております．

(※) TSUBAME の名称について

演算サーバは，以下の 3 種類の Sun Fire X4600 で構成されており，合計 657 ノードです．

バッチノード 651 ノード

インタラクティブノード 6 ノード （タイプ A：633 ノード，タイプ B：16 ノード，

（タイプ A：6 ノード） タイプ C:2 ノード）

1.2.3. NVIDIA 社製演算加速装置

1.2.4. 100 ギガビット級ネットワーク

(2) コンパイラ，デバッガ，開発支援ツール PGI Cluster Development Kit（PGI CDK）

(3) Voltaire MPI ライブラリ

ANSYS FLUENT 6.3.26/12.1 流体計算

(2) ユーザホームディレクトリ /home0～/home7

(3) ワークディレクトリ /work, /work2

(4) バックアップ対象ディレクトリ /home0～/home7, /home_bk0

(5) スクラッチディレクトリ /scr*

平成 21 年度からは Gaussian のスクラッチと同等の扱いとして，ジョブ終了直後には削除せず，

(6) データライブラリ /archive，/archive2

『all authentication tokens updated successfully』が出力されると問題なくパスワード変更がで

$ echo $変数名 ･･･環境変数の値の参照

変更可能なシェルとして sh，tcsh，csh があります．

現在の言語環境は下記コマンドを入力することで確認できます．以下の場合は日本語 EUC に設定

ロケールは LANG 環境変数で設定します．

ロケールを日本語 EUC に設定する場合

例えば date コマンド，標準では以下のように表示されます

3.3.5. Lustre 環境の変更

$ lfs help setstripe

(1) Lustre FS 上にディレクトリを作成

(2) 作成したディレクトリに stripe 設定

=> stripe size はデフォルト値（1MB）

(3) stripe 設定内容を確認

(4) stripe 設定したディレクトリにファイルを作成

3.4.2. X Window System の利用

・ CPU 時間は，１プロセスあたり 30 分まで

各キューは，3 つの N1GE グループ毎に管理されます．

BES GROUP 4 5 6 7 8 9 10 11 12 1 2 3 TOTAL

この例では，bes1(cs1), bes2(cs2)キューと sla1, sla2 キューを使用することができます．ジョブの

-node 指定キューの全ノード一覧，及びその状態 (オプション未指定時のデフォルト動作)

(例) BES キューの全ノード一覧，及びその状態を表示する．

(例) sla, inno, pinno キューのサマリー情報を表示する

• 投入キュー，課金グループを指定しない場合，自動的に novice キューに割り当てられます．

投入用コマンド n1ge では以下のようなオプションが利用可能です．

-rt XX, -rt XXm --> XX[min]

-rank0mem <memory size>

Priority | default high priority top priority

SLA Type: 1w, 2w, ... 8w. (weeks)

1 <= n <= 75000

(1) いくつかあるジョブを順番に実行させたい （-hold_jid）

(3) 並列ジョブであるが，rank0 のみ特別な処理をしたい（-rank0mem）

MPI で各ノードに割り当てられる CPU 数を指定したい場合は以下のように実行します．

MPI を使用し，RANK=0 で特殊な処理を行い，他よりもメモリ割り当てを増やしたい場合，

(3) MPI + OpenMP, pthread

ここで MPI プログラムは/opt/vltmpi/OPENIB/mpi.pgcc.rsh/bin ディレクトリ配下に存在する

(1) SMP 並列では，スレッドが使用する総メモリ量を指定します．

指定量以上のメモリを使用するとジョブが強制終了されます．無指定の場合は 1Gbyte となります．

この場合，3.22GB ですので，メモリ量は 3.3 として

(2) MPI ジョブ時のメモリ量の指定

となります．ノード内 CPU を無指定(-mpi 128 )の場合は 128:8 の投入として解釈されます．

job-ID prior name user state submit/start at queue slots ja-task-ID

job-ID prior name user state submit/start at queue slots ja-task-ID

終了したジョブを確認するには，qjobs コマンドの-f オプションを使用します．

インタラクティブノード 6 ノード（タイプ A：633 ノード，タイプ B：16 ノード，

（タイプ A：6 ノード）タイプ C:2 ノード）

$ echo $変数名･･･環境変数の値の参照

(1) いくつかあるジョブを順番に実行させたい（-hold_jid）