1,024ノード／32,768コアのスーパーコンピューターを構築

「超先端材料超高速開発基盤技術プロジェクト」は、国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）が主導し、先端素材高速開発技術研究組合と産業技術総合研究所（産総研）が共同で取り組む国家プロジェクトです。同組合には日本を代表する材料メーカー18社から研究者が参画し、産総研を集中拠点として研究開発を加速させています。
同プロジェクトは、さくらインターネットのクラウドサービス「高火力コンピューティング」を採用。さくらインターネットの「石狩データセンター」に計1,024ノード／32,768コアというスーパーコンピューターを構築し、5年間の月額課金モデルでシステムを利用しています。

日本のモノづくりの競争力を高める超先端材料開発のスピード化

18社が事業化を目指す研究開発分野には、半導体材料、誘電材料、超高性能ポリマー、超高性能触媒、ナノカーボンなどがあります。いずれも、日本のモノづくりの競争力を左右する戦略分野です。画期的な省エネ性能を発揮する機能性材料、多種類の機能を兼ね備える複合材料など、まだ世の中にない新材料を、従来の常識を超えたスピードで生み出すための共通基盤技術の開発が進められています。

一方、産総研は日本で最大規模の国立研究開発法人として、産業界で様々なイノベーションを創出しています。本プロジェクトでは、計算科学チームの研究開発を支えるスーパーコンピューターの設計・構築もリードしました。

「本プロジェクトでは、私たちが培ってきた『計算材料設計（コンピュテーショナルデザイン）基盤技術』の知見を提供し、計算科学チームを全面的に支援していきます」（産総研 機能材料コンピュテーショナルデザイン研究センター 八瀬清志博士）

「ワーキンググループを編成し、多様なシミュレーションを実行するためのシステムがどうあるべきか徹底的に検討しました。最も重視したのは、必要な性能を持続的に提供するための安定性・信頼性です。研究者全員が満足する性能を確保しつつ、実績ある技術で汎用性の高いスーパーコンピューターを構築することを基本方針としました」（同センター 物性機能数理設計手法開発チーム チームリーダーの大谷実博士）

高火力コンピューティングからスーパーコンピューターを利用

「ユーザーの視点からは、研究者がシステム管理から解放されて研究開発に専念できることが最も大きいですね。クラウド型でありながら、本プロジェクトの研究者が計算リソースを占有できることも重要です」（大森氏）

「産総研としては、さくらインターネットのデータセンター設備と、高水準な運用管理体制を利用できる点を高く評価しました。自前で構築・運用するよりも、また他のベンダーの提案よりも、品質・コスト・導入期間すべての面で優位性があったのです」（大谷氏）

高性能計算用途に特化したさくらインターネットの「高火力コンピューティング基盤」は、北海道石狩市にある自社データセンターに構築されました。「石狩データセンター」は、PUE 1.11～1.21という優れたエネルギー効率を達成しており、都市型データセンターとの比較で冷却にかかる消費電力を半減させることができるなど優れた特長を備えています。

「石狩データセンターでは、ホスティングや専用サーバー向けに10,000台以上のサーバー環境を運用しています。本プロジェクトの1,024サーバーノードの運用に必要なラック、電気・空調設備、運用管理体制・技術者まで、『石狩データセンター』の既存設備とリソースをフルに活用しています」（さくらインターネット 臼井宏典）

これまでのスーパーコンピューターは、利用者が自前の資産として必要な機材を調達し、構築・運用を行う方法が主流でした。しかし、スーパーコンピューターとその関連施設の運用には電力や高価な電源設備が必要となります。電力消費量および資産管理コストの増加を回避するためにも、コンピューターリソースをクラウド型のサービスとして利用できるメリットが注目されています。

2Uに4ノードを収容するマルチノードサーバーを採用

◎1サーバーノードあたりインテル® Xeon® プロセッサー E5-2697A v4（16コア）を2基搭載

◎1サーバーノードあたり256GBメモリ搭載、ディスクレス（ストレージからOS起動）

◎計算ノードを1,024ノードで構成し、1ペタフロップス以上の論理演算性能を有すること
設計・構築を担当したティーモステクノロジックの枡田英樹氏は、提案のポイントを次のように説明します。「日本ヒューレット・パッカードのマルチノードサーバー『HPE Apollo 2000 System』を軸に、128計算ノード×8グループ（計1,024ノード）でスーパーコンピューター全体を構成しています。128計算ノード間はInfiniBand EDR（100ギガビット/秒）による密結合、8つのグループ間は疎結合としました。これは、複数の研究者が同時に利用しても、効率良く計算結果を得られるようにするための工夫です」

本プロジェクトには18社から研究者が参画しており、24時間365日途切れることなく計算処理をこなします。混雑状況に応じて8グループを使い分けることで、研究者の使い勝手を向上させながら計算稼働率を高めることができるのです。また、プロジェクトと連携する大学・機関もスーパーコンピューターを利用しますので、異なる場所から安全にアクセスでき、安定的に稼働するクラウド環境が不可欠でした。

「スーパーコンピューターをクラウドサービスとして安心してご利用いただくために、万全の運用保守体制を作り込みました。24時間365日の稼働監視を行い、何らかの問題が発生したときは、日本ヒューレット・パッカードとさくらインターネットの技術者が連携して速やかに解決する手順を確立しています」（臼井）

超先端材料開発の大幅なスピード化へ

「超先端材料超高速開発基盤技術プロジェクト」のスーパーコンピューターは、計画通り2017年4月1日に稼働を開始しました。設計と構築を主導した大谷氏は、さくらインターネットとティーモステクノロジックの技術力と進捗管理を高く評価します。

「実質的に3ヵ月程度で、1,024ノードの物理環境構築から性能検証、本番稼働までを完遂することができました。システムが大規模になるほど問題発生の可能性は高まるものです。膨大な機器で構成されるこの巨大システムを、ほぼノートラブルで稼働できたことは正直なところ驚きです」

スーパーコンピューターの利用を開始した先端素材高速開発技術研究組合 計算科学チームの研究陣は、それぞれ次のように抱負を語りました。

「ロボットへの応用を視野に、有機材料を利用した軽く柔らかくしなやかなアクチュエーター材料の開発を目指しています。スーパーコンピューターの高い性能を活かせば、研究開発の大幅なスピード化が可能です」（田頭健司博士）

「高分子材料と無機材料を組み合わせ、それぞれの特性を兼ね備えた複合材料を開発することが目標です。スーパーコンピューターは性能が高いので、幅広い条件を同時にシミュレーションでき、研究のスピードアップに役立っています」（齋藤健博士）

「自社主力製品の大幅な高性能化を目指して、半導体デバイスへ利用可能な複合材料の開発にチャレンジしています。超高性能のスーパーコンピューターでありながら、特別なスキルがなくても使えることが嬉しいですね」（永井裕希氏）

「カーボンナノチューブと高分子材料を組み合わせた高性能材料の開発を目指しています。自社のクラスターシステムとは桁違いの性能を使えるチャンスを活かしていきたいと思います」（本田隆博士）

「カーボンナノチューブが持つ高強度、超軽量、高電気伝導特性をさらに強化する研究に取り組んでいます。省エネルギー社会の実現に向けて貢献していきたいと考えています」（大谷紀子博士）