ネットアシスト開発チームの yu-kinjo です。この度、さくらインターネット様のご厚意も有り、さくらのクラウド石狩リージョンなども稼働する「さくらインターネット 石狩データセンター」の見学に参加させていただきました。
石狩データセンターとは
北海道 石狩の石狩データセンターでは、さくらのクラウドをはじめとするさくらインターネット様のサービスが提供されています。データセンターの設計から実際に稼働するサービスまで全てさくら様が設計・構築する垂直統合型の施設になっている他、石狩の冷涼な気候を利用し、サーバー機器などの冷却コストを低減しているのが大きな特色です。
今回はこのデータセンターの生い立ち、設計、実際の設備機器などを、詳しい解説も交えながらご案内いただきました。もちろんデータセンターという事で、現地の写真や、より詳細な部分をお伝えする事は難しいのですが、概要などをお伝えできたらと思います。
電力と冷却
データセンターといえば、実際にサーバーが立ち並ぶラックのイメージが思い浮かびますが、データセンターを運営するうえで大きなテーマとなる物は「電力」と「冷却」になり、それは石狩データセンターでも例外ではありません。
「電力」の面では、高圧の受電設備、配電設備、UPS、非常用発電設備など、サーバー機器を稼働させる・させ続けるための電力設備のご紹介を頂きました。北海道では2018年に起きた「北海道胆振東部地震（ほっかいどういぶりとうぶじしん）」において、実際に外部からの電力供給が途絶える事態も経験しており、当時、非常用発電設備をどう活用してその事態を乗り切ったのか、といった実際の経験に基づく興味深いお話をお伺い出来ました。他には電力ロスの少ない直流電流で動作するサーバー（HVDC）等も有り、通常の交流電源ユニットとは異なる直流電源ユニットや電源ケーブルは初めて拝見いたしました。
「冷却」の面では、一言に冷涼な気候を利用すると言っても、どうやってその冷気を取り込むのか、壁面から・天井から・ホットアイル/コールドアイルの分離など様々な手法の中からどうやってサーバーに導くか、夏場には猛暑日や湿度もありその場合にどう対処するか等を説明頂きました。これらは一度設計してそれで完成ではなく、新しいサーバールーム、新しい棟と新しくなるにつれて新しい方式の検討と導入が行われており、同じデータセンターでありながらどんどん仕組みが変わっていく造りになっています。さくら様のより良い形を目指していく研究と熱意、柔軟性を実感する事が出来ました。
GPUサーバー群
GPUサーバーというと、最近はAIの学習・推論目的のサーバーが思い浮かびますが、さくら様では10年にわたりGPUサーバーを提供している実績が有ります。今回はその最新のNVIDIA製GPUであるH100が実際に稼働するサーバーも見せていただく機会を頂きました。
一般的なサーバーとは異なる高レベルの電力消費密度のGPUサーバー群は、膨大な廃熱と稼働音を発しており、普通のサーバーとはインフラ運用上も別物である事をその身で体験出来ました。これは電力と冷却という先のテーマにも直結する部分であり、これからの時代のデータセンター運営の難しさも感じられます。
空冷の限界を超えて水冷による冷却を実現した、最新のコンテナ型のデータセンター群も紹介いただきました。仮想化技術のコンテナではなく、荷物を運ぶあの物理的なコンテナです。ここは元々は通常の建屋型のデータセンター棟が経つ予定でしたが、計画変更によりGPUサーバーを集積するコンテナ型のデータセンターが建てられたとの事です。コンテナ型データセンターではサーバーが稼働するコンテナ、電力設備、冷却塔などそれぞれの機能がブロックのように分かれてつながっています。コンテナ型のデータセンターは実際にこの目で見るのは初めてで、新鮮な印象でした。ここもまた、あらかじめ余白を残した設計・計画により柔軟に対応が行われた結果として印象深かったです。
他にもデータセンターならではのセキュリティ設備、機器類のキッティングの為の部屋、故障し役目を終えたサーバーやスイッチが眠る部屋など、サーバーが稼働するラックだけではない様々なものを拝見させていただき、いずれも興味深い物でした。
さくらインターネット様の試行錯誤と改善
全体として印象に残ったのは、繰り返しにはなりますが、余白を残した設計・計画による柔軟な計画変更であったり、冷却方式をより改善された新しい形で試していく試行錯誤と改善です。データセンターは決して建物と機器を用意して終わりの物ではなく、さくらインターネット様の様々な研究と改善により運営されている事を知り、感銘を受けました。
さくらインターネット様の研究成果である、さくらのクラウドをはじめとしたさくら様提供サービスについて、さくらのクラウドラボでもよりその魅力や技術を発信出来ていけたらと感銘を受け、それに対して引き続き取り組んでいければと存じます。
また、このような機会を頂き、非常に丁寧で大ボリュームの紹介と説明をしていただいたさくらインターネット様へ御礼申し上げます。
