コンピューティングは、特に過去 30 年間で劇的に変化しました。 IDC によると、Web およびモバイル アプリケーションの台頭とコンテンツ作成ツールのコモディティ化により、エンドポイントのコンテンツ消費とコンテンツ作成が少なくとも XNUMX 倍に増加しました。そのため、今日の企業は、一般的に保存されているペタバイト単位のデータからより多くの価値を引き出そうとしています。アプリケーション層とインフラストラクチャ層で動作する真のセルフサービス クラウドは、今や数十億ドル規模のビジネスとなっています。センサー ネットワークやその他のマシン間のインタラクションにより、データの移動とストレージがさらに飛躍的に増加することが予想されます。しかし、データとコンテンツの両方の使用法におけるこのような大きな変化にもかかわらず、容量とプロセッサ能力の増加を除けば、一般的なストレージ アーキテクチャは過去 XNUMX 年間にわたって基本的に変わっていません。私たちはテラバイト向けに設計されたアーキテクチャを使用して、マルチペタバイト規模での計算を試みています。
コーポレートマーケティング担当副社長、Leo Leung 氏 Scality
コンピューティングは、特に過去 30 年間で劇的に変化しました。 IDC によると、Web およびモバイル アプリケーションの台頭とコンテンツ作成ツールのコモディティ化により、エンドポイントのコンテンツ消費とコンテンツ作成が少なくとも XNUMX 倍に増加しました。そのため、今日の企業は、一般的に保存されているペタバイト単位のデータからより多くの価値を引き出そうとしています。アプリケーション層とインフラストラクチャ層で動作する真のセルフサービス クラウドは、今や数十億ドル規模のビジネスとなっています。センサー ネットワークやその他のマシン間のインタラクションにより、データの移動とストレージがさらに飛躍的に増加することが予想されます。しかし、データとコンテンツの両方の使用法におけるこのような大きな変化にもかかわらず、容量とプロセッサ能力の増加を除けば、一般的なストレージ アーキテクチャは過去 XNUMX 年間にわたって基本的に変わっていません。私たちはテラバイト向けに設計されたアーキテクチャを使用して、マルチペタバイト規模での計算を試みています。
Software-Defined Storage (SDS) は、ストレージがまさに他のコンピューティング サービスの 60 つとなる、より柔軟なストレージ モデルを約束します。アプリケーションの変更やシステムのスケールアップやスケールダウンの際に、データとサービスがより自由に流れる必要があるため、ハードウェアの独立性はこのアーキテクチャの一部です。 SDS は、独自のクローズド アプライアンスにデータ管理機能を組み込むのではなく、この機能をハードウェアから切り離し、データに焦点を当てた機能を実現し、自然にハードウェアにまたがります。時間の経過に伴う他のインフラストラクチャのコモディティ化パターン (ソフト スイッチなど) と同様に、このデカップリングによって、今日のストレージ アプライアンス内に含まれるマージン (XNUMX%) の膨張も明らかになります。
SDS はマルチペタバイト規模で展開されることが多いため、可用性が極めて高く、既知の障害シナリオに介入する必要がありません。アプリケーション インターフェイスは、既存のアプリケーションと、新しい Web およびモバイル ベースのアプリケーションの両方に対してフレンドリーである必要があります。パフォーマンスは強力で、直線的に拡張可能で、混合ワークロードに適している必要があります。データ保護やデータ回復などのサービスは、同じレベルのダイナミズムとスケーリングを考慮して設計する必要があります。
これは、物理ハードウェアに完全に結び付けられ、独自のアプライアンスの限られた範囲内に可用性、データ アクセス、パフォーマンス、管理、耐久性の機能が組み込まれているレガシー ストレージ アーキテクチャとは大きく対照的です。これらのレガシー アーキテクチャは、前述の各次元にわたってより小規模なスケール向けに設計されています。
SAN は、データへの低遅延アクセスには依然として優れたアプローチですが、大規模なスケールには不向きです
SAN は、専用のローカル ネットワークを介してストレージと接続するための最も基本的な方法として設計されました。これは小さな論理ボリューム内のデータのブロックを制御しますが、データが何であるかについてのコンテキストはなく、データの整理、カタログ化、構造化はアプリケーションに完全に依存します。設計上、SAN は規模、インターフェイス、範囲が制限されており、専用のネットワーク インフラストラクチャがあるため通常はコストが高くなります。
ファイルは依然として主流であり、NAS は主力ですが、大規模な課題に直面しています
NAS は、ローカルにネットワーク接続されたストレージとインターフェイスする方法としても設計されていますが、ファイル システムとファイルの形式でより多くの構造を提供します。ファイル システムには、ファイル階層とファイル アクセスの管理に使用されるローカルの内部構造に基づいた自然な制限があります。管理されたファイル階層内の情報により、システム内のコンテンツについてはより基本的な認識が行われますが、それは完全に物理ストレージ コントローラーにローカライズされます。また、設計により、NAS システムの規模と範囲は制限されています。クラスター化された NAS システムは、テクノロジーの拡張性を拡張しますが、物理コントローラー (10 番台の番号) と、ファイル階層とファイルを追跡するために使用される中央データベースに関連する自然な制限もあります。
オブジェクト ストレージはスケールに対応していますが、ワークロードのサポートが非常に制限されています
オブジェクト ストレージは、多くの場合、ローカル ファイル システム上やローカル ファイル システム全体で追加の抽象化を作成するテクノロジーです。これは、システム内のデータが、グローバル名前空間全体で (ブロックやファイルではなく) オブジェクトとして管理され、各オブジェクトに一意の識別子が付けられることを意味します。この名前空間は数百台のサーバーにまたがることができるため、SAN モデルや NAS モデルよりも簡単に容量を拡張できます。
ただし、オブジェクト ストアでは、アプリケーションを特定の種類の HTTP API に書き換える必要があり、パフォーマンスは通常、Write Once Read Many (WORM) または Write Once Read Never シナリオに制限されるため、アプリケーションのサポートが基本的に制限されています。このパフォーマンスの欠如は、限られたメタデータ ノードのセットをトラフィックに強制的に通過させるアーキテクチャが原因であり、イレイジャー コーディングなどのサービスを使用すると、これらの限られたノードにオーバーヘッドが追加される場合があります。
Software-Defined Storage は大規模なスケール向けに総合的に設計されています
Software-Defined Storage は、ストレージ機能を特定のハードウェアから完全に切り離し、その結果、より柔軟な導入、拡張性、アクセス性、運用を可能にする新しいアプローチです。
SDS の分離により、ソフトウェアがハードウェアを独立して活用し、ユースケースに基づいて容量、パフォーマンス、アクセシビリティを独立して拡張できるようになります。このタイプのカスタマイズは、この目的のために専用のハードウェア コンポーネントを備えたハイエンドの従来型ストレージ以外では不可能であり、最終的には依然として柔軟性と全体的なスケールが制限されます。
また、ストレージ機能をハードウェアから切り離すことにより、ハードウェアとソフトウェアの例外処理を低信号対雑音スタックに組み合わせたアプライアンスのトラブルシューティングを行う必要がなくなり、システム全体の問題を特定しやすくなります。
SDS ストレージ サービスは、ソフトウェアとハードウェアの基本的な分離を超えて、物理的な境界を越えることができる容量、可用性、耐久性、およびアクセシビリティのサービスを提供することにより、分離を活用します。 SDS の共通の属性は、オブジェクト ストレージを使用して、一意のオブジェクトのほぼ無制限の名前空間を作成することです。これは、設計上の基本的な規模制限がある論理ユニット番号 (LUN) やファイル システムの管理単位を超えています。これにより、新しい管理単位を追加することなく、物理容量を追加するだけで SDS システムを拡張できます。
SDS システムの可用性も、SDS ノード間のプライベート ネットワーク スペースを活用することで大幅に向上します。ほとんどの SAN および NAS システムの限定されたアクティブ/パッシブ コントローラー構成やスケールアウト NAS のクラスター構成の代わりに、SDS システムはドメイン内の数千のアドレスに拡張し続けることができます。さらに、SDS システムは高度なルーティング アルゴリズムを利用して、大規模なトポロジや複数の障害シナリオに直面した場合でも応答を保証することもできます。これは、単純なケーブル配線ミスによりアレイ全体がダウンする可能性がある従来のストレージの単純なスイッチ ファブリックやデイジー チェーンをはるかに超えています。
従来のストレージ システムの耐久性は、1 つまたは 2 つのディスクの偶発的な障害に対応するように設計されており、ほぼ即時の交換が必要になります。ペタバイト規模のシステムでは、ディスクの数は数百から始まり、多くの場合数千に増加します。平均故障間隔 (MTBF) が高くても、複数のディスクが常にダウンします。 SDS システムは、多くの障害やさまざまな障害ドメインを想定して設計されています。これらは、分散保護スキームと非常に高速な再構築のための分散容量と処理を自然に活用します。これは、ディスクの再構築や他のストレージ サービス中に重大なボトルネックが発生するスケールアップ アーキテクチャのデュアル コントローラー スキームと比較して、大規模な場合には必要です。
従来のストレージ システムでは、アクセシビリティはそれほど重要ではありませんでした。アプリケーション サーバーまたはメインフレームは、いくつかの成熟したプロトコルを備えたローカルのストレージ固有のネットワーク上にありました。共有イーサネット ネットワークとパブリック アクセスとプライベート アクセスの混合は、現在では標準となっています。 SDS システムは、より広範な一連の要件をサポートする必要があります。 Web ベースからイーサネット ベースのアクセスまで、ネットワーク ベースのストレージ リソースからアプリケーション サーバー上のローカル リソースとして展開されるまで、SDS はそれらすべてをサポートする必要があります。
この記事全体で示したように、従来のストレージは高度に特殊化されており、典型的な大企業全体で機能とデータが多数サイロ化されています。これは運用の観点から見て非常に非効率であるだけでなく、スケールメリットも生まれず、データの共有と再利用の機会が大幅に制限されます。
SDS は、永続的なものからステートレスなものまで、シンプルなものから高度にインタラクティブで意味的に豊富なものまで、さまざまなプロトコルを使用して、アプリケーション統合要件の大部分を満たすように設計されています。これにより、ファイルが小さいか大きいか、異なる保護要件、異なるプロトコルのニーズがあるかに関係なく、ストレージがアプリケーションに対する一般的なサービスとなる汎用環境が実現します。これにより、NAS、オブジェクト、テープ ストレージ間の現在の境界が崩壊し、ハイパースケール プレーヤーが長年享受してきた活用力が解放され、接続が数十億のエンドポイントに拡大した世界に向けてストレージ サービスが更新されます。
要約すると、アプリケーションと要件は劇的に変化しました。全データの 90% が過去 XNUMX 年間に作成されたものです。私たちはまさにペタバイトの時代に突入しており、エクサバイトが目前に迫っています。ペタバイト規模の苦痛とデータ価値の向上の追求は、数十年にわたる従来のアプローチが設計限界に達し圧倒される中、新しいアプローチを検討するきっかけとなっています。
著者紹介:
レオ・レオンをフォローできます Twitterで または彼のウェブサイトをご覧ください techexpectations.org.
