バイオグリッド基盤システム

東田　学(大阪大学サイバーメディアセンター　応用情報システム研究部門 )

　本年度より大阪大学サイバーメディアセンターを中心とし、文科学省科学技術振興費主要５分野の研究開発委託事業におけるIT プログラム「スーパーコンピュータネットワークの構築」の一環として、バイオグリッド・プロジェクトに着手している。本バイオグリッド・プロジェクトは、バイオサイエンスとIT (情報技術) を融合し、バイオサイエンス分野の研究の飛翼的な発展と、そのために真に有用な情報技術の開発を主目的とするプロジェクトである。
　本プロジェクト内では、バイオ関連データベースの連携技術の開発、タンパク質 の結晶データの遠隔収集、脳機能 解析の高速化などを目的とする数多くのプロジェクトが現在推進されている。それらのプロジェクトが、それぞれの研究基盤を構築するために用いている技術がグリッドである。
　グリッドは、多様に異なるアーキテクチャを持つ計算機や科学計測機器といったインターネット上の計算資源の動的な集約を可能にする。すなわち、研究者らは、グリッドによって計算資源の地理的分散にとらわれず膨大な計算力を手に入れることができる。それだけでなく、科学計測機器からのデータ収集、解析、解析結果の分析というプロセスをネットワークを介して行うことができる。

導入システムの概要

　本プロジェクトでは、プロジェクト推進の中核計算機資源となる「バイオグリッド基盤システム」を2002年3月に整備した。契約ベンダーはNECである。
　一般的に、演算性能を追求する計算グリッド・システム(Computational Grid System) では、多数の同一構成コンピュータを汎用ネットワークにて接続するホモジニアスな構成をとることが多い。並列演算においては、各ノードの性能が均一であることがプログラマから期待されていることが多いからである。
　一方、本システムは、バイオ・インフォマティックスに必要とされる計算グリッドの機能要件の多様性に答えるために、それぞれの用途に適した特性を持つ中小規模の 算グリッドを混成したヘテロジニアスな4システムによって構成される。
　納入当初は、システム#1、#2、#4 を、サイバーメディアセンター吹田本館に設置し、システム#3を基礎工学 (豊中) に設置していたが、サイバーメディアセンター豊中新棟落成後、システム#2 と#3を新棟に移設している。
　以下、各システムの特徴を述べる。

１．グリッド・システム#1

グリッド・システム#1 (写真-2、3) は、メモリを高速にアクセスできる 演算性能プロセッサを複数有する計算ノードをコンベンショナルなネットワーク構成で密結合することによって、容易に性能を引き出しやすいシステムとして 定された計算グリッド・システムである。
　計算クラスタを構成するためのシステムエリア・ネットワーク用途に特化したネットワーク・インターフェイスMyrinet-2000 によって広帯域(双方向、合 4Gbps) かつ低遅延に密結合している。
　Myrinet-2000 によって結合される8 つの計算ノード(NEC 製Express 5800/ISS) は、Dual Xeon 2.2GHz(512KB On-Die Cache) プロセッサを搭載しており、4.5GB の主記憶と70GB のSCSI ローカル・ストレージを有する。さらに、Myrinet-2000 以外にも、ネットワーク・ストレージ通信用と他のグリッド・システムとの通信用のGigabit Ethernet インターフェイスを有し、複数プロセッサによるシステム処理能力に見合った通信帯域を提供している。

２．グリッド・システム#2

グリッド・システム#2 (写真-4、5) は、多数の計算ノードを複数のFast Ethernet によって多点結合したクラスタ・システムであり、柔軟なサブシステムへの分割や、トランキング結合による高帯域データ交換が可能である。この構成は、バイオインフォマティクスに要求される大規模データの分散解析に適したものである。
　本システムを構成する78 台の計算ノード(NEC製Express 5800/BladeServer) は、Dual Pentium III-S1.4GHz (512KB On-Die Cache) プロセッサを搭載しており、1GB の主記憶と160GB のUltra ATA100 ローカル・ストレージを有する。システム全体のストレージ容量は12TB にもなり、その大容量を156 プロセッサによって分散処理することが可能である。本システムは、ベンダーからの提案に際して、ブレードサーバと呼ばれる新しい枠組みのサーバ・ハードウェア構成による提案が行われた。13 のラックマウント筐体それぞれに6 台のブレードサーバ・ボードがアドオンされており、省スペースと省エネルギーに貢献している。
　各ブレードサーバは6 本のFast Ethernet によって多点接続されているため、配線要件が非常にシビアであったが、ベンダーの努力によって非常に美しく配線されて納入された。これは美的な問題だけではなく、メンテナンスの容易さの点でも重要である。運用においては、多数のFast Ethernet 接続を生かして、柔 なパーティショニングの設定を行えるようになっている。また、SCore オペレーティングシステムにより、複数のFast Ethernet を束ねて通信することができ、Gigabit Ethernet に遜色ない実効帯域を提供している。
　昨今では、Gigabit Ethernet スイッチの価格も低下しているため、このような構成は、配線コストとの兼ね合いで価格訴求性が低下しているが、10GbEが普及するようになれば再評価されうるネットワーク構成手法である。

３．グリッド・システム#3

グリッド・システム#3 は、古典的な共有メモリ型サーバ・システムである。計算ノードAlphaServerGS80 は、Quad Alpha 1GHzプロセッサを搭載し64GBという広大な共有メモリを有する。大規模データベース検索において汎用的に高性能を達成可能なシステムとして設定された。

４．グリッド・システム#4

グリッド・システム#4 (写真-6) は、クラスタ型ファイルサーバでる。
　3台のサービス・ノード(NEC製Express 5800140Ra-4) は、それぞれがDual Pentium III Xeon700Mhz プロセッサと2GB の主記憶を有し、トータルでは15TB のネットワーク・ストレージを提供する。それぞれが、システム#1、#2、#3に専用のGigabitEthernet回線で接続されている。

(写真-6: システム#4 の一台の背面、下がアレイディスク、上の4台は各システムを相互接続するGbEスイッチ)

これらのシステムはSCoreやGlobusなどのグリッド基盤ソフトウェアによって運用され、本センターのスーパーコンピュータ・システムSX-5/128M8や本年度新しく導入されたデータ・グリッド・システム、さらに本プロジェクトの各拠点の計算グリッド・システムなどとともにグローバルなグリッド・システムの一を構成する。

おわりに

グリッドは現在もまだ開発途上の技術であり、今後解決しなければならない課題も多く残されている。バイオグリッド・プロジェクトでは、それらの課題を解決することのできる有用なグリッド技術が成果として強く求められており、そのために、日々実証ベースの研究開発が本センターで推進されている。また、本プロジェクトを通した人材育成や、本プロジェクトの成果に基づく新産業の導出によりわが国の産業界へのフィードバックへの期待も大きい。
　詳細はバイオグリッドプロジェクトホームページ
http://www.biogrid.jp/を参照されたい。