エッジ コンピューティングの急速な成長により、データの生成と収集が前例のないレベルで急増しています。科学研究ステーション、監視システム、産業施設などの仮設施設では、多くの場合、円滑な運用のために迅速なデータ収集と転送が必要です。ただし、ハードウェアのコストが高いことと、信頼性が高く効率的なデータ ストレージの必要性が、これらのプロジェクトにとって大きな課題となる可能性があります。 Amazon AWS Storage Optimized Snowball をカスタム仮想マシンと組み合わせることで、この問題に対する革新的なソリューションが提供されます。
エッジ コンピューティングの急速な成長により、データの生成と収集が前例のないレベルで急増しています。科学研究ステーション、監視システム、産業施設などの仮設施設では、多くの場合、円滑な運用のために迅速なデータ収集と転送が必要です。ただし、ハードウェアのコストが高いことと、信頼性が高く効率的なデータ ストレージの必要性が、これらのプロジェクトにとって大きな課題となる可能性があります。 Amazon AWS Storage Optimized Snowball をカスタム仮想マシンと組み合わせることで、この問題に対する革新的なソリューションが提供されます。
AWS Snowball Edge は 2 つのコアデバイスタイプで利用できます。 Snowball Edge Compute Optimized は、より多くのコンピューティング (vCPU、DRAM) と GPU 機能を備え、より高いパフォーマンスのワークロードに適しています。Snowball Edge Storage Optimized は、より多くのストレージを備え、大規模なデータ移行や容量重視のワークロードに適しています。 Snowball を注文する際の最初の要件は、Snowball Edge Storage Optimized ソリューションに完全に適合していました。
Snowball を使用して移動することを検討しているとき 100兆回の円周率計算 クラウドに移行するには、少し過剰な注文をしてしまいました。データ移行用に調整された 80TB Snowball を 2 台注文しましたが、必要なのは 2 台だけでした。そこで XNUMX つ目では、ECXNUMX インスタンスをリモート設定で動作させることができるかどうかを確認したいと思いました。これは、出荷前に Snowball を構成して顧客が ECXNUMX をすぐに使用できる状態でアプライアンスを受け取る場合には簡単なセットアップ オプションですが、事後に現場で再構成するのは不可能ではありませんが、少し面倒です。
この記事では、VM の構成とそれを Snowball にサイドロードする方法について詳しく説明します。 そのセクションにスキップしたい場合は、ここをクリックしてください。
Amazon AWS Storage Optimized Snowball の背景と概要
Amazon AWS Storage Optimized Snowball は、AWS クラウドとの間で大量のデータを移動するプロセスを簡素化し、高速化するように設計された、堅牢でポータブルかつ安全なデータ転送ソリューションです。この専用デバイスは、高速データ転送と短期エッジ ストレージを必要とするユースケース向けに特別に設計されており、ネットワーク接続が限られているかまったくない一時的な設置や場所に最適です。
高度なストレージ機能、暗号化、および耐改ざん機能を備えた Storage Optimized Snowball は、従来の方法と比較してデータ転送コストを大幅に削減しながら、安全かつ効率的なデータ移行を保証します。この革新的なアプライアンスを活用することで、組織はエッジ環境でのデータ収集と保存の課題を克服し、クラウドでのシームレスなデータ統合と分析への道を開くことができます。
ストレージ最適化 Snowball は、データ転送とストレージの強力なソリューションとなるいくつかの重要な機能を備えています。
- 大容量ストレージ: 最大 80 TB のストレージ容量を備えた Storage Optimized Snowball は、大規模なデータ移行タスクを簡単に処理でき、さまざまなユースケースやデータ集約型アプリケーションに対応します。
- 高速データ転送: 高速 40 Gbps ネットワーク接続を備えた Snowball は、迅速かつ効率的なデータ転送を可能にし、データ移行に必要な時間を短縮します。
- データのセキュリティ: Snowball は業界標準の暗号化プロトコル (256 ビット AES など) を使用して、転送中と保存中のデータを保護し、移行プロセス全体を通じてデータの機密性と整合性を確保します。
- 頑丈な設計: 過酷な環境に耐えるように設計された Storage Optimized Snowball は、頑丈で耐候性の設計を特徴としており、さまざまな条件や一時的な設置での使用に適しています。
- エッジ コンピューティング機能: Snowball の組み込みコンピューティング機能により、ユーザーはエッジ コンピューティング ワークロードを実行し、デバイス上でデータを直接処理できるため、遅延が削減され、リアルタイム分析が可能になります。
- AWS Greengrass の統合: Snowball には AWS Greengrass がプリインストールされており、AWS Lambda や他の AWS サービスとのシームレスな統合が可能になり、エッジ処理と分析が可能になります。
- 簡単な導入と管理: Storage Optimized Snowball は、直感的でユーザーフレンドリーなインターフェイスにより、デバイスのセットアップ、データ転送、追跡のプロセスを簡素化し、あらゆる規模の組織のデータ移行タスクを合理化します。
Amazon AWS Storage Optimized Snowball は、従来のデータ転送方法と比較して、大幅なコスト削減と効率性のメリットを提供します。 Snowball の大容量ストレージと高速データ転送機能を利用することで、組織はデータ移行に必要な時間と帯域幅を大幅に削減でき、時間とリソースの両方を大幅に節約できます。
さらに、Snowball の堅牢な設計とエッジ コンピューティング機能により、追加のハードウェア投資やオンサイト インフラストラクチャの必要性がなくなり、一時的な設置やエッジ プロジェクトのコストがさらに削減されます。さらに、AWS サービスとのシームレスな統合により、データ管理と分析が合理化され、全体的な生産性と運用効率が向上します。
そして、前述したように、私たちは AWS Snowball Edge Storage Optimized デバイスを 2 つ注文しましたが、Amazon には、よりコンピューティング負荷が高く、これから説明するサイドローディング プロセスを必要としないように設計された Snowball があります。私たちは単に「追加の」デバイスを持っていて、それを設計された快適さの範囲の外にどれだけ押し出せるかを試したかっただけです。
カスタム仮想マシンをストレージに最適化された Snowball にサイドローディングする
必ず最後までお読みになることをお勧めします Amazon公式ブログ このプロセスについて。ここでの手順は、特定の構成とそれをどのように実行できたかに基づいています。
2016 年に AWS Snowball Edge が初めて導入されたとき、デバイス上で Amazon Elastic Compute Cloud (Amazon EC2) インスタンスを実行したいユーザーは、注文プロセス中に Amazon Machine Image (AMI) を指定する必要がありました。デバイスは、選択された AMI に基づいて Amazon EC2 インスタンスの起動をサポートします。ただし、AMI を更新したり、新しいワークロード、問題解決、新機能の有効化のために別の AMI に切り替えたりするには、AMI の更新のためにデバイスを AWS に返却し、返送されるのを待つ必要がありました。
その後、このプロセスは合理化されました。ここでの手順の一部は参考用であり、Amazon の記事から直接使用できるため、詳細は指定しませんが、チェックリストのようなものを提供します。
- Snowball にロードする VM をワークステーション上に作成します。
- ハイパーバイザーをインストールします。 Amazon の指定に従って Oracle VirtualBox を使用することにしました。ただし、Windows ベースのホストを使用したため、プロセスに若干の違いがあります。
- ゲスト OS をインストールします。入手と操作が簡単だったので、Ubuntu 22.04 を選択しました。インストールしたら、更新を行って DHCP が有効になっていることを確認し、今すぐ SSH/RDP アクセスのテストを開始することをお勧めします。
- ディスク サイズを選択するときは、後の手順で RAW ディスク ファイルに変換されるため、選択するディスクが大きくても小さくても、すべての領域を Snow デバイスにロードする必要があることに注意してください。
- ハード ディスク上で仮想ディスク .vdi ファイルを見つけ、その場所をファイル名とともにコピーします。
- VirtualBox のインストール フォルダーに移動します。私たちの場合は、「C:\Program Files\Oracle\VirtualBox」を右クリックし、「Open Powershell Window Here」をクリックします(Windows 固有のその他のコマンドは Amazon の記事で参照できます)。
- 前に作成した .vdi ファイルのパスとこのコマンドを参考にして、独自の .vdi ファイルを作成します。 (Windows版はこちら)
.\VBoxManage.exe clonehd "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.vdi" "C:\Users\Jordan\VirtualBox VMs\SnowballUbuntu\SnowballUbuntu.raw" --format raw
- .raw イメージを Snow デバイスにロードします。
- VM インポート/エクスポート プロセスの IAM ロールと関連ポリシーを設定して、イメージ インポートのための IAM アクセス許可を作成します。
- ローカル VM インポート/エクスポート サービスがデバイス上の Amazon S3 からスナップショットをダウンロードするために必要なアクセス許可を付与する IAM ポリシーを作成します。
- ポリシーを作成した後、信頼ポリシーを含む IAM ロールを作成し、Snowball VM Import/Export がそのロールを引き受けられるようにします。
- 前に作成したポリシーを IAM ロールにアタッチして、VM インポート/エクスポートがデバイス上の S3 バケットに保存されているイメージにアクセスできるようにします。
- イメージをスナップショットとしてインポート
- Snowball ダッシュボード ページに戻り、[コンピューティングの開始] パネルで [開始する] を選択します。
- 「スナップショット」を選択し、次に「スナップショットのインポート」を選択して、生のイメージをスナップショットとしてインポートし始めます。
- 「スナップショットのインポート」ページで、必要な説明を入力し、前に作成した IAM ロールを指定します。
- S3 を参照して RAW イメージ ファイルを見つけて選択し、インポート リクエストを送信します。
- イメージのサイズに応じて、スナップショットのインポートが完了するまでに数分かかります。
- 完了すると、状態に「完了しました。」と表示されます。
- スナップショットからAMIを登録する
- スナップショットからAMIを登録するには、先ほど作成したスナップショットIDを選択し、「イメージの登録」をクリックします。
- AMI の名前と説明を入力し、ルート ボリューム デバイスを /dev/sda1 のままにして送信します。
- スナップショットが AMI として登録され、そこから EC2 インスタンスを起動できるようになります。
- Snow デバイスで EC2 インスタンスを起動します。
- AMI から EC2 インスタンスを起動するには、Snowball ダッシュボード ページに戻り、[インスタンス] を選択します。
- 「インスタンスの起動」をクリックし、AMI 名と目的のインスタンス タイプを入力します。
- パブリック IP アドレスの割り当てでは、新しいアドレス (VNI) を作成するか、既存のアドレスを使用するか、まったく割り当てないかを選択します。
- キー ペアに関しては、必要な公開キーをすでにイメージに追加している場合はキー ペアを添付しないことを選択するか、既存のキー ペアを作成/使用することを選択します。
- 「Launch」をクリックして EC2 インスタンスを初期化します。
- EC2 インスタンスが起動して実行されたら、AWS の他の EC2 インスタンスと同じ方法でアクセスします。
カスタム仮想マシンを AWS Snowball Edge などのデバイスにサイドローディングするプロセスは複雑で困難に見えるかもしれませんが、多くのメリットがあるため、この努力には十分な価値があります。デバイスの注文後に AMI をサイドロードすることは可能ですが、AMI がすでにロードされているデバイスを選択すると、すぐに使用できる事前構成されたアプライアンスが提供されることに注意することが重要です。
エッジ データ収集にカスタム仮想マシンを利用すると、いくつかの大きな利点が得られます。カスタマイズにより、組織は仮想マシンを特定のユースケースに合わせて調整し、パフォーマンスと効率を最適化できます。特殊なアプリケーションを統合することで、組織はエッジで直接データ処理と分析を合理化し、待ち時間を短縮し、リアルタイムの意思決定を強化できます。
これらのサイドロードされたカスタム仮想マシンが提供する柔軟性と適応性の向上により、組織は進化するニーズやデータ収集要件の予期せぬ変化に迅速に対応できるようになります。カスタム仮想マシンを AWS Snowball Storage Optimized Edge などのエッジ デバイスにサイドロードすることで、組織はエッジ コンピューティングの可能性を最大限に活用し、多様な環境でのデータ収集と処理のニーズを効率的に管理できます。
エッジでの迅速なデータ収集の実装
データ収集用に Storage Optimized Snowball を設定するには、特定のデータ収集タスクと要件を処理するようにデバイスを構成する必要があります。 Snowball Edge デバイスの堅牢な機能を活用することで、組織は接続が断続的な環境や遠隔地で大量のデータを収集して処理できます。
デバイスのブロック ストレージと Amazon S3 互換のオブジェクト ストレージにより、ユーザーは大量のデータを安全に保存、管理、効率的に転送できます。プロジェクトの要件に応じて Snowball Edge をカスタマイズすることで、組織はデータ収集プロセスを最適化し、独自のニーズと目標を満たすことができます。
カスタム仮想マシンとデータ収集ツールを統合することで、エッジでのデータ収集プロセスがさらに合理化されます。特殊なアプリケーションやフレームワークを組み込むことで、組織は Snowball Edge デバイス上でデータを直接処理および分析できるため、待ち時間が短縮され、リアルタイムの意思決定が強化されます。
この統合により、さまざまなデータ収集ツールとカスタム仮想マシン間のシームレスな連携が可能になり、効率的なデータ処理と管理が保証されます。さらに、Amazon S3 とのデータ転送と同期を最適化することで、組織は Amazon のクラウド インフラストラクチャが提供するスケーラブルで安全なストレージの恩恵を受けることができます。
このプロセスにより、収集されたデータの Snowball Edge デバイスから Amazon S3 へのシームレスな転送が容易になり、データをさらなる分析や長期保存にすぐに利用できるようになります。これにより、エッジでの迅速なデータ収集と処理をサポートする、信頼性が高く効率的なデータ管理エコシステムが促進されます。
スニーカーネットのアドバンテージ
多くのシナリオでは、Sneaker-net や、Storage Optimized Snowball などのデバイスを使用して物理的にデータを転送する方が、インターネット経由でデータを転送するよりも高速になる可能性があります。これは、帯域幅が制限され、遅延が長く、接続が不安定なリモートまたは一時的なインストールに特に当てはまります。
例としては、遠隔地にある研究ステーション、一時的なイベント会場、さらには災害復旧現場などがあります。 AWS Snowball を使用して大量のデータを転送することで、組織は低速または信頼性の低いインターネット接続の制約を回避し、データを迅速かつ安全に Amazon S3 に転送して、さらなる処理と分析を行うことができます。
S3 に保存されたデータは、AWS エコシステムが提供する固有のスケーラビリティと柔軟性の恩恵を受けます。データ量が増加しても、組織は高価なインフラストラクチャ投資を必要とせずに、ストレージ容量を簡単に調整して要件の変化に対応できます。
さらに、S3 は、Amazon Athena、Amazon Redshift、Amazon SageMaker などの幅広い AWS サービスとシームレスに統合し、組織が強力な分析ツールや機械学習ツールを使用してデータを分析、処理し、洞察を引き出すことができるようにします。この統合により、最終的に組織はデータに基づいた意思決定を行い、成長とイノベーションのための新たな機会を獲得できるようになります。
閉じた思考
Amazon AWS Storage Optimized Snowball をカスタム仮想マシンと組み合わせると、エッジでの迅速なデータ収集のための強力でコスト効率の高いソリューションが提供されます。一時的なインストールでは、S3 が提供するセキュリティ、拡張性、統合の容易さの恩恵を受けながら、大量のデータを効率的に収集して保存できるようになりました。この革新的なアプローチを採用することで、組織はハードウェア コストを大幅に削減し、データ管理を合理化し、データから新しい洞察を引き出すことができます。
このプロセスに対する私たちのアプローチは少し後進的であり、作業を容易にするために注文時に EC2 インスタンスを構成するのが理想的ですが、AWS が Snowball アプライアンスで「創造的な柔軟性」を実現していることを知ってうれしいです。ただし、実際には、ワークロードがコンピューティング集中型である場合、AWS は最大 104 個の vCPU、416 GB の DRAM、および 28 TB のフラッシュを備えた Snowball Edge Compute Optimized を提供します。また、分析が必要な場合は、GPU を搭載した Snowball も提供しています。エッジデータ収集に関して、AWS は大量のオプションを提供しており、どの Snow デバイスが最適かを見つけるのも楽しみの XNUMX つです。
StorageReview と Wayne Duso による AWS Snow ポッドキャスト
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード