エクサ時代のPCクラスタとは？──「第十三回PCクラスタシンポジウム」1日目レポート

現在、世界のスーパーコンピュータの演算性能ランキング「TOP500」を見ると、XeonなどPCサーバーの要素技術をベースにしたシステムが上位に並んでいる。

日本の「PCクラスタコンソーシアム」は、PCやPCサーバーのクラスタによってスーパーコンピュータ級の高速計算処理を実現する「PCクラスタ」について、2001年から活動している団体だ。このPCクラスタコンソーシアムによる「第十三回PCクラスタシンポジウム」が、2013年12月12日、13日に、東京・秋葉原で開催された。

写真1：オープニングに立つ、PCクラスタコンソーシアム会長の石川 裕氏（東京大学）。

オープニングに立ったPCクラスタコンソーシアム会長の石川裕氏（東京大学）は、エクサ（FLOPS）の言葉が聞こえてきて、2020年には出てくると言われていることについて「『そのときにPCクラスタはどうなるか』を今回のひとつのテーマにしたい」と語った。この言葉のように、1日目には、エクサ時代のPCクラスタに関連した基調講演とパネル討論が開かれた。ここでは、この1日目の模様をレポートする。

TSUBAMEの実績と次世代に向けた挑戦

エクサ時代を睨んだ基調講演として、世界トップクラスのスーパーコンピュータ「TSUBAME」プロジェクトのリーダーである東京工業大学の松岡聡氏が登壇。「TSUBAME 2.0から2.5への進化、3.0への道」と題して、TSUBAME 2.0で採ったアプローチや利用例、現在のTSUBAME 2.5およびTSUBAME-KFCのアプローチ、さらにエクサ時代に向けた「TSUBAME 3.0」のプランなどが語られた。

写真2：基調講演は「TSUBAME」プロジェクトのリーダーである東京工業大学の松岡聡氏。

2006年のTSUBAME 1.0は、PCサーバー技術の延長線上にあるクラスタ技術の集大成として開発され、TOP500で当時アジア1位の性能を記録。その成果を元に、2010年に作られたTSUBAME 2.0は、わが国初のTFLOPSスーパーコンピュータとなった。

TSUBAME 1.0からTSUBAME 2.0に向けて、重視したのが電力削減だと松岡氏は語る。そのため、メニーコアを本格的に導入し、GPUやSSD、デュアルノードInfiniBandなどの技術を、各Thinノードに投入。このThinノードはHP SL390sベースだ。当時はメーカーに「これらをこんな小さいノードに入れるなんて」と言われたが、なんとか説得したと、笑って説明した。

TSUBAME 2.0はTOP500で日本1位となったが、同時に電力あたりの性能を競うGreen500ランキングにおいて、実運用スーパーコンピュータで世界1位となった。これについて、「ノートPCと比べて3倍省エネ」と松岡氏は主張し、「震災後の電力削減のときに、スーパーコンピュータの電源を消せという声があったが、そのほうが電力が無駄になると答えた」というエピソードを語った。

ここで松岡氏が、TSUBAME 2.0を科学などで利用した例を紹介した。TSUBAMEは「みんなのスパコン」をコンセプトに、基礎数学から防災、ものづくりまで、幅広い応用されている。

まず紹介された「金属材料の機械的強度のシミュレーション」は、鋳造のときの複雑な構造の3次元結晶をマイクロメートル単位でシミュレーションするものだ。これは、ACMのGordon Bell Prizeと文部科学大臣賞を受賞したという。

また、「Lattice-Boltzmann-LES with Coherent-structure SGS model」は、微少構造をシミュレーションする計算。例として、「東京の10km×10kmの地域を1mの格子で区切って気流シミュレーション」するという様子がグラフィカルにデモされた。これにより、都市計画において、高層ビルの壁を気流が上る様子などまでシミュレーションできるという。

さらに、同じ技術を使った、東海・東南海・南海3連動地震の大規模波動伝播シミュレーションや、乗用車の周囲の気流を4mmの解像度でシミュレーションするところ、TOTOとの共同研究により非常に複雑な3次元形状の便器の水流シミュレーションなども紹介された。TOTOでは実際に、風呂やトイレの設計にTSUBAMEのシミュレーションを使った製品作りを始めているという。

医療関連の分野では、アステラス製薬と提携してデング熱の特効薬の創薬にTSUBAMEによるタンパク質解析を利用している研究が紹介れた。また、臓器シミュレーションとして、心臓を拍動させて血液を流すシミュレーションも紹介された。約100億の自由度がある計算で、これもGordon Bell Awardを受賞した。

続いて、TSUBAME 2.0の改良型である2.5への変更点が紹介された。GPUを最新のモデルにし、電源やエアフロー、ミドルウェアなどを改良して、「関係各社がかなり苦労して実現した」という。その結果、前述した3D結晶シミュレーションや格子気流、創薬などの計算で、2～3倍の性能を実現した。さらに消費電力も約10～20%削減したという。

その次は、次世代モデルであるTSUBAME 3.0の出番だ。そのひとつの要素として、「1000倍の電力効率」をテーマに、文科省との「Ulgra-greenスパコンプロジェクト」で研究されている。具体的な研究としては、ボードを冷却油に浸して運用する油浸冷却を採用。シングルノードのプロトタイプを減て、NEC LX20Reベースのサーバーを高密度で積んだラックをコンテナに油浸で設置した「TSUBAME-KFC」が動作している。松岡氏は「名前は『KFC』ですが、TSUBAMEであってニワトリではありません。油につかっていますが、衣は付いていません」と紹介して会場の笑いをとった。

現状のTSUBAME-KFCではPUEが1.15。これは冷却油を冷却するための水ポンプの消費電力が想定より大きく、これを改善することを計画しているという。さらに、TOP500とGreen500に向けたチューニングを行ない、2013年11月のGreen500ランキングで1位を獲得した。

TSUBAME 3.0のもうひとつの要素が「Extreme Big Data」だ。松岡氏は、「いまの『ビッグデータ』はあまり大きくない」と主張。具体的には、環境サンプルからひたすら多くのゲノムを集めて生態系をシミュレーションする「metagenomics」の分野を紹介し、「いまは京やTSUBAMEでないとできないが、これが普通になる」と述べた。

そのTSUBAME 3.0は2016年上期に登場する予定。電力当たり性能で2.0の20倍の性能を見こ。「将来的にはエクサフロップスも達成できる可能性があるが、それが2020年までにできるかどうかはわからない」と松岡氏は語った。さらに、10億並列における信頼性の研究についても言及。「だいたい10倍ぐらいの信頼性が必要になる」として、ハードウェアだけではなくソフトウェアの技術も用いれば達成できるだろうと語った。

エクサ時代にPCクラスタは生き延びることができるか？

パネル討論では、「エクサ時代のPCクラスタ」と題し、これからのスーパーコンピューティングのアーキテクチャがどの方向に進み、その中でPCクラスタがどうなっていくかについて討論が行なわれた。佐藤三久氏（筑波大学/理化学研究所）をモデレータに、松岡聡氏（東京工業大学）、牧野淳一郎氏（東京工業大学/理化学研究所）、久門耕一氏（株式会社富士通研究所）、米村崇氏（株式会社日立製作所）、中田登志之氏（日本電気株式会社）がパネリストとして集まった。

写真3：パネル討論のお題は「エクサ時代のPCクラスタ」。

まず、テーマに関してパネリストが一人ずつ簡単にプレゼンした。

日立の米村氏は、2005年と2010年のPCクラスタの状況をまとめ、そこから外挿した2015年と2020年のPCクラスタを語った。2005年は、CPUがようやくデュアルコアになりメモリがDDR2になったところで、当時日立が使っていたPOWER5のほうが高速だったという。2010年にはCPUがマルチコア、メモリがDDR3、InfiniBandがFDRになり、GPGPUのアクセラレータが普及して、Peta FLOPS級のPCクラスタがが次々に登場した。ただしボトルネックのひとつとして、CPUを経由したGPUとの通信があるという。

その先の2015年については、CPUが10コア以上、メモリがDDR4やHMC（Hybrid Memory Cube）、InfiniBandがEDR、アクセラレータがCPUとのメモリ共有やホスト不要の直接接続になると予想した。さらに、ここまでの性能上昇トレンドのグラフを伸ばして、2020年にはCPUが24コア、CPU性能が3.84TFLOPS、GPU性能が25TFLOPSという数字を紹介した。そして、期待できる点としてHMCでメモリのB/F（演算性能あたりのメモリバンド幅）低下が防げるだろうことを、懸念点としてジョブの最適な並列化への要求や開発環境の充実度を挙げた。

NECの中田氏は、ソフトウェア寄りの部分について語った。まず、応用分野としてはHPCに加えてビッグデータを挙げ、コンピュータノードとデータノードのヘテロ構成の組み合わせの可能性を唱えた。また、開発環境については、Pythonなどのスクリプト系からの並列ライブラリの利用や並列コンパイラについて語った。

さらに、ジョブ特性については、バースト的な並列処理とシリアル処理の混合について説明。それに対応したスケジューラを実際にNECの北米研究所で開発したことを紹介した。Xeon Phi搭載ワークステーションを使い、CPU利用率が低い場合も散発的なこともあるというジョブの特性を想定。そのためにはインテリジェントなスケジューラが必要になるとし、アプリケーションとOSの間に開発した「COSMIC」スケジューラを設け、性能評価した結果を紹介した。

富士通研の久門氏は、PCクラスタの位置づけを中心に語った。まず、PCクラスタの利点として、コモディティCPUを利用するためCPU計算コストを世界が負担してくれると指摘。さらに、Intelのマルチメディア処理がHPCと同じ方向に向いていたことを挙げた。OSについても、Linuxベースであることによる、OS開発量の削減や、共通プラットフォームによるアプリケーションの共通化を挙げ、「多くの人が参加できる形で技術を共有して発展してきたのがPCクラスタ」だと語った。

それに対し、エクサ時代になると、消費電力がより課題となり必然的にアクセラレータが重要になってくることや、インターコネクトをCPUが直接アクセスできるようにするためSoC化などが必要になると語り、「京とPCクラスタはだいたい同じアーキテクチャだったが、エクサ時代のスーパーコンピュータはPCクラスタとは異なるアーキテクチャになるのでないか」と述べた。

さらに、アクセラレータが複数機種あると、ひとつのアーキクチャだったPCクラスタの良さが失われれるとも指摘し、「PCクラスタがなくなる？」「PC向けCPUはメニーコア化が進んでインターコネクト不要に？」といった仮説を提示した。

東工大の牧野氏は、まずスカラーやベクタのHPCアークテクチャの進化をまとめたうえで、プロセッサのハードウェア境界の変化がシステムの変化になったと述べた。そのうえで、マイクロプロセッサのアーキテクチャがベクタプロセッサの進化を25年遅れで追っており、ただし1チップなので共有メモリの段階にあるとし、エクサ時代に向けて進化していくと1チップの中で分散メモリ並列機レベルに移行する必要があると主張した。

その一方で、DRAMの微細化の限界からオフチップメモリの時代が終わるとして、SRAMのオンチップになるのではないか、大規模マシンが有利になり計算センターの時代に回帰するのではないかという仮説を披露した。

東工大の松岡氏は、久門氏や牧野氏とは反対に、「PCクラスタは世界を征服する」とPCクラスタ楽観論を語った。まず、「クラスタはpoor man'sスパコン」「エクサスパコン > クラスタ？」という図式を「スパコン都市伝説」として斬り、「エクサスパコン will be a クラスタ」と主張した。また、TOP500ランキングの上位20のうち11がクラスタであることを挙げ、「アクセラレータなど形は変わるとしても、これはエクサ時代になっても変わらないだろう」と語った。さらに、現代のクラスタスーパーコンピュータは最先端技術の固まりであり、そこから携帯電話までの汎用技術に応用されていくだろうとした。

一方、そこでの課題として、牧野氏の指摘とも関連し、オンチップメモリからオフチップメモリ、フラッシュメモリまでメモリの階層化が進むことを指摘。どうやってバンド幅の違いを吸収していくかのアルゴリズムの研究が重要になると語った。その実例として、気象庁の気象予測モデル「ASUCA」を乗せて、内部メモリがいっぱいになると急に性能が落ちるという状態からアルゴリズムをチューニングした例を紹介。「これらを支えるのがソフトウェアのエコシステム」と語った。

こうしたプレゼンを受けて、パネル討論が行なわれた。牧野氏が提起したメモリの微細化の限界の問題について、久門氏は「MRAMであればまだ1桁ぐらいはいける」と意見を述べた。それに対しては、MRAMは登場してからなかなか来ないという意見や、松岡氏の言うように容量が大きく遅いメモリと階層化するのが現実的という意見も出された。また、会場からメモリは常に動き続けるため電力の問題があるという指摘がなされると、その面でもDRAM以外へのシフトが必然ではないかという意見も出た。

また、中田氏はプレゼンで触れたプログラミングの話に続いて、ビッグデータ屋の人はCを使わないため、スーパーコンピュータに乗せるにはフロントエンドを高級言語にしてバックエンドやライブラリが頑張る必要があると語った。これについて会場から「20年ぐらい前からMATLABでスパコンという話はあったが、まだ実現していない」という声が出ると、松岡氏は「TSUBAMEではMATLABやRでプロトタイピングする方法は一部でやっている。ただし、ちょっと手て書き換えると速くなるのに、というところはある」と紹介した。

松岡氏は返す刀で久門氏に反論として、IntelやAMDがSoCに進出してきており、PCやPCサーバーのCPUもSoC化していく可能性があるのではないか、さらに自分でSoCを作るようになると使われるかもしれないと意見を語った。久門氏は、反論と言いつつ同じような意見であると受け、さらにCPUをソフトで再現するソフトIPコアについても触れた。モデレータの佐藤氏が、SoC化により垂直統合になるのかと疑問を示すと、久門氏は、コストメリットの点でHPCクラスタも垂直統合に向かっていると指摘した。

最後に、各パネリストがメッセージを語った。米村氏は、かつてPCクラスタは身近にある材料をHPCに使っていたのが、HPC向けに作るようになった変化について語った。中田氏は、垂直統合の中でのソフトウェアの重要性を述べた。久門氏は、言語系やコンパイラ系がうまくやらないとうまくいかないので、頑張ってほしいと語った。牧野氏は、ハードウェアにプログラミング言語を合わせるのは限度があるというのがこの20年間でわかった結果で、言語にあわせてハードウェアを設計する方向もあるのではないかと指摘した。松岡氏は、サーバーはマイナス市場だが、HPCは成長市場で、だからベンダーが付いてくるとポジティブに語った。これらを受けて、モデレータの佐藤氏は、PCクラスタの定義やバックグラウンドが変わってきていることを指摘して、討論会を締めくくった。（了）

この記事を、以下のライセンスで提供します：CC BY-SA
これ以外のライセンスをご希望の場合は、お問い合わせください。