エッジでの科学研究 – 大容量ストレージにより AI による洞察が加速されます

Solidigm P5336 SSD は、AI および機械学習アルゴリズムのデータ集約型要件をエッジでサポートすることで、新たな研究のフロンティアを開拓します。

科学研究が技術力の限界まで急速に進歩する時代において、大容量ストレージの重要性はますます顕著になっています。強力な深空オブジェクト キャプチャ リグ、一連の Solidigm P5336 61.44TB QLC SSD、および新しいお気に入りの頑丈な Dell PowerEdge XR7620 サーバーを装備して、急速に急増するデータ要件を管理するための堅牢でコスト効率の高いストレージの必要性を検討しています。エッジベースの AI 加速科学研究。

エッジデータキャプチャ

近年、科学およびデータ コンピューティングは大きな変化を遂げ、従来の集中型コンピューティング モデルから、よりダイナミックなエッジ コンピューティングの領域に移行しています。この変化は、単なるコンピューティングの好みの変化ではなく、現代のデータ処理探索の進化するニーズと複雑さへの対応です。

本質的に、エッジ コンピューティングとは、集中型のデータ処理ウェアハウスに依存するのではなく、データが生成される場所の近くでデータを処理することを指します。この変化は、リアルタイムのデータ処理と意思決定が重要な分野でますます重要になっています。エッジ コンピューティングは、科学研究、特に迅速なデータ収集と分析が必要な分野において魅力的です。

エッジ コンピューティングを推進する要因

科学研究におけるエッジ コンピューティングへの移行には、いくつかの要因があります。まず、現代の科学実験によって生成されるデータの膨大な量は驚異的です。分析のために大量のデータセットを中央サーバーに送信する従来のデータ処理方法は、非現実的で時間のかかるものになりつつあります。

次に、リアルタイム分析の必要性がこれまで以上に高まっています。多くの研究シナリオでは、処理のためにデータを転送するのに時間がかかるため、データが古くなってしまう可能性があるため、即時のオンサイト分析が不可欠になります。

最後に、より高度なデータ収集テクノロジーにより、同様に高度なデータ処理機能の開発が必要になりました。エッジ コンピューティングは、強力なコンピューティング機能をデータ ソースに近づけることでこのニーズに応え、科学研究の効率と有効性を高めます。

この記事でエッジ コンピューティングに焦点を当てた科学研究は、最新の洗練されたセンサーによって収集された生データをできるだけ多く保存することに特に関心を持っています。エッジで NVIDIA L4 などのアクセラレータを使用してキャプチャされたデータをリアルタイムで監視および分析すると、概要が提供されます。それでも、将来のより詳細な分析のためにすべてのデータを取得して保存することに代わるものはありません。ここが超高密度の場所です Solidigm QLC SSD お入りください。

セットアップ

天体や夜空の広範囲の画像を撮影する天体写真は、エッジ コンピューティングから大きな恩恵を受ける分野の代表的な例です。伝統的に、天体写真は忍耐の訓練であり、意味のあるデータを抽出するには長時間の露光と画像の後処理が必要でした。過去に私たちが見ていたのは、 NUC クラスターを使用してプロセスを高速化します。 さあ、次のレベルに進む時が来ました。

エッジサーバー

耐久性の高いものを使用しました デル PowerEdge XR7620 エッジのコアサーバープラットフォームとして。これらの最適化されたサーバーは、奥行きが短く、コンパクトなフォームファクタのデュアルソケットであり、高速化を重視したソリューションを提供します。一般的なエッジ サーバーとは異なり、XR7620 サーバーは、産業オートメーション、ビデオ、POS 分析、AI 推論、エッジ ポイントデバイス アグリゲーションなど、最も要求の厳しいワークロードをサポートすることで、AI/ML の急速な成熟に対応します。

Dell PowerEdge XR7620 の主な仕様

仕様の完全なリストについては、こちらの完全なレビューをご覧ください。 デル PowerEdge XR7620.

この Dell PowerEdge サーバーは単なるテクノロジーではありません。野生が提供する最も過酷な条件に耐えるように作られています。氷点下の気温、うなる風、そして「遠隔」という言葉が控えめな表現のように思える孤立感を考えてみてください。しかし、不利な状況にも関わらず、このシステムは有能かつ不屈であることが証明され、最先端のプロセッサーと驚異的なデータ分析能力の力で研究を推進しました。

耐久性の高いサーバーを使用すると、サーバーを安全かつ暖かく保つというプレッシャーが軽減されます。それは演出だけではありません。また、安全な場所から人里離れた寒くて孤立した場所まで、歯がガタガタするようなドライブにサーバーが耐えられることも重要です。

望遠鏡

このテストでは、都市の光の侵入的な輝きから遠く離れた、人里離れた荒野の中心部にある五大湖沿いの場所を選択しました。当社の天体写真撮影装置の中心となるのは、Celestron Nexstar 11 インチ望遠鏡です。 F/1.9 の絞りと 540 mm の焦点距離を備えたこの望遠鏡は、暗い場所での天体写真撮影に最適で、深空の探査に驚くべき詳細を提供します。荒野の深遠な静けさの中で、この望遠鏡は見張り役として立っており、そのレンズは天に向けられており、天体の光景を捉える準備ができています。

ワンショットカメラ

Nexstar には、ZWO ASI6200MC Pro ワンショット カラー カメラが付属しています。天体写真のみを目的として設計されたこのカメラは、高解像度で色彩豊かな天体の画像をレンダリングできます。ワンショット カラー カメラを選択すると、イメージング プロセスが簡素化され、追加のフィルターを必要とせずに XNUMX 回の露光でフルカラー画像をキャプチャできます。この機能は、シンプルさと効率が最優先される人里離れた荒野では非常に貴重です。

ZWO ASI6200MC Pro は、SONY IMX455 CMOS センサーを搭載した専用設計の天体写真カメラで、フルフレーム センサー全体で 62 メガピクセルの優れた解像度を提供します。 3.76μmのピクセルサイズを誇り、フル解像度で最大3.51FPSのフレームレートで詳細かつ広大な天体キャプチャを可能にします。

カメラには統合冷却システム (制御された 30 段階熱電気クーラー) が搭載されており、センサーの温度を下げて周囲温度より 35 °C ～ 256 °C 低い温度を維持することで最適なパフォーマンスを確保し、電子ノイズを低減してより正確な画像を実現します。 。ローリング シャッター、広い露出範囲、大容量の 3MB DDRXNUMX バッファなどの機能を備えたこのカメラは、アマチュアとプロの天文学者の両方に卓越した品質の画像を提供するように設計されています。

現在、Starlink を使用すると、人里離れた荒野で信頼性の高いデータ接続を維持することはそれほど困難ではありません。この衛星ベースのインターネット サービスは、データの送信とリアルタイムの更新の受信に不可欠な高速データ接続を提供しますが、大量のデータ セットを研究室に送信するには帯域幅にかなりの制限があります。

大容量ストレージ

天体写真のすべてのサブフレームを保存することは、天文学の知識を進歩させるために不可欠な豊富な情報を解き放つため、研究者にとって非常に重要です。各サブフレームは、詳細な分析と理解に不可欠な天体現象の漸進的な変化やニュアンスを捉えることができます。これにより、ノイズ低減によって画質が向上し、検証のための冗長性を提供し、エラー修正とキャリブレーションを支援することでデータの信頼性が保証されます。

さらに、61.44TB Solidigm D5-P5336 ドライブを採用しています。

私たちの主な関心は、手動分析や従来の方法では見逃される可能性のあるパターンや洞察を明らかにするために、機械学習や AI などの高度な計算技術の適用を可能にする包括的なデータセットを取得することです。これらのサブフレームを維持することにより、研究が将来にわたって保証され、進化する技術による再処理が可能になります。また、長期にわたる研究と共同作業の歴史的記録でもあり、非常に貴重な資料となります。

StorageReview の革新的なアプローチ

私たちは、産業や小売のユースケースなどの典型的な市場だけでなく、エッジ コンピューティングとその重要性をカバーする限界を押し広げてきました。キットを遠隔地に持ち込み、天体写真の画像キャプチャと編集のすべての段階を文書化することは、AI が生活のさまざまな側面でどのように私たちに恩恵をもたらすかを理解するのに役立ちます。私たちのことを思い出していただけるかもしれません エクストリームエッジのレビュー 昨年は、人工光が画像に影響を与えることを心配することなく、砂漠にリグを設置して夜空を撮影しました。

特に大容量ストレージと計算効率が最重要視されるエッジにおいて、天体写真の限界を押し上げる探求の中で、画像デコンボリューションへの新しいアプローチは、前例のない鮮明さで宇宙を捉える私たちの能力に革命をもたらしています。この目標を達成するために、画像のデコンボリューション プロセスに従来から関連付けられていたアーティファクトを大幅に削減する画期的な畳み込みニューラル ネットワーク (CNN) アーキテクチャを導入しました。

天体写真における中心的な課題は、大気の干渉、マウントやガイドの誤差、観測機器の制限によってもたらされる歪みと闘うことにあります。補償光学によりこれらの問題は軽減されましたが、コストが高く複雑であるため、多くの天文台は困難に直面しています。画像デコンボリューションは、画像を明確にするために点像分布関数 (PSF) の効果を推定および逆転するプロセスであり、天文学者の武器庫における重要なツールです。ただし、Richardson-Lucy や統計的デコンボリューションなどの従来のアルゴリズムでは、多くの場合、追加のアーティファクトが発生し、画像の忠実度が損なわれます。

Vikramaditya R. Chandra とのコラボレーションのために提案された革新的なソリューションをご利用ください。これは、天文画像復元用に特別に設計された、カスタマイズされた CNN アーキテクチャです。このアーキテクチャは、驚くべき精度で PSF を推定するだけでなく、深層学習技術によって強化された Richardson-Lucy デコンボリューション アルゴリズムを適用して、アーティファクトの導入を最小限に抑えます。私たちの研究は、私たちが撮影した画像とハッブルレガシーアーカイブからの画像でこのモデルをトレーニングすることにより、既存の方法論よりも優れたパフォーマンスを実証し、アーティファクトのない天体画像への明確な道筋を示しています。

このアーキテクチャの中心となるのはデュアルフェーズ アプローチです。最初に畳み込みニューラル ネットワークが PSF を推定し、次にそれが修正された Richardson-Lucy アルゴリズムで使用されて画像をデコンボリューションします。第 2 フェーズでは、残留アーティファクトを特定して除去するようにトレーニングされた別のディープ CNN を採用し、出力画像が可能な限り元の天体に忠実であることを保証します。これは、「リンギング」などの不要な効果を引き起こす可能性があるガウスぼかしなどの過度の単純化テクニックを使用せずに実現されます。

このモデルの重要性は、天体写真における直接の応用を超えて広がります。処理能力とストレージ容量が重視されるエッジ コンピューティングの場合、この新しい CNN アーキテクチャの効率と有効性は、高忠実度イメージングの新時代を約束します。膨大な量の光学データをエッジで処理および保存できるため、研究に新たな可能性が開かれ、業界全体の観察キャンペーンにおけるリアルタイム分析と意思決定が可能になります。

私たちの研究室で行われているデコンボリューション技術の進歩は、あらゆるタイプのイメージングにおいて極めて重要な瞬間を迎えています。ディープラーニングを革新的に活用することで、私たちはデジタル画像のさらなる可能性を解き放つ瀬戸際に立っています。これは、これまで最上位の構成のみに限定されていた鮮明さと精度で宇宙を捉えることで実証されています。私たちはこのモデルを私たちの研究室でかなり長い間トレーニングしてきましたので、近いうちに完全なレポートが発表されることに注目してください。

これが天体写真にとって何を意味するか

天体画像復元のための従来のデコンボリューション技術を超える新しい畳み込みニューラル ネットワーク (CNN) アーキテクチャの進歩は、天体写真における極めて重要な発展を示しています。ノイズやゴースト画像などのアーチファクトが発生することが多い従来の方法とは異なり、CNN アプローチはこれらの問題を最小限に抑え、より鮮明で正確な天体画像を保証します。

この技術により画像の鮮明さが向上し、天体観測からのより正確なデータ抽出が可能になります。ディープラーニングを活用することで、天体写真の忠実度が大幅に向上し、画像処理における妥協を最小限に抑えながら、宇宙に対するより深い洞察を得る道が開かれます。

エッジベースの AI 加速科学研究における 2 つの推論ユースケース

データの処理および処理方法は、科学研究、特に天体写真などの大規模なデータの取得と分析が必要な分野において極めて重要な役割を果たします。私たちは、エッジで生成された膨大なデータセットを管理および解釈するために、デルが提供する大容量 Solidigm ストレージ ソリューションと高度な計算インフラストラクチャを活用した 2 つの一般的な推論ユース ケースを検討することにしました。

事例1：スニーカーネットアプローチ

スニーカー ネット アプローチは、大容量ストレージ デバイス上でローカルにデータをキャプチャし、これらのストレージ メディアを中央のデータ センターまたは処理施設に物理的に輸送する、古くからあるデータ転送方法です。この方法は、ネットワーク接続が不足していたり​​、ネットワーク接続が遅かったりするためにデータを手動で移動していたコンピューティングの初期の時代を思い出させます。エッジベースの AI を活用した科学研究において、このアプローチは、帯域幅の制限や信頼性の低いインターネット接続によってリアルタイムのデータ送信が妨げられるシナリオで有益となる可能性があります。

スニーカー ネット アプローチの主な利点は、そのシンプルさと信頼性にあります。大容量 SSD は大量のデータを保存できるため、インターネットに継続的に接続しなくても大規模なデータセットを安全に転送できます。この方法は、従来のインターネット サービスから遠く離れた荒野など、天体写真撮影が頻繁に行われる遠隔地または困難な環境で特に有利です。

ただし、Sneaker Net のアプローチには重大な制限もあります。最も明白なのは、物理的な輸送に時間がかかり、データから導き出される潜在的な洞察が妨げられるため、データの処理と分析が遅れることです。また、輸送中にデータの損失や損傷が発生するリスクも高まります。さらに、この方法はエッジ コンピューティングが提供できるリアルタイムの分析と意思決定の可能性を活用していないため、タイムリーな洞察と介入を逃す可能性があります。

ケース 2: エッジ推論

エッジ推論は、科学研究におけるデータ処理に対するより現代的なアプローチを表しており、特に AI を活用したプロジェクトのニーズに適しています。このプロセスでは、フィールドでデータをキャプチャし、NVIDIA L4 を搭載したエッジ サーバーを利用して、ファーストパス推論を実行します。この方法では、データが生成されるとすぐに分析できるため、暫定的な結果に基づいてリアルタイムの意思決定とデータ収集戦略の迅速な調整が可能になります。

エッジ サーバーは、フィールド調査でよく遭遇する困難な条件で動作するように設計されており、AI および機械学習アルゴリズムに必要な計算能力をデータ ソースで提供します。この機能は、天体写真セッション中にキャプチャされた膨大なデータセットから特定の天文現象を識別するなど、即時データ分析が必要なタスクにとって非常に重要です。

エッジ推論の利点は多岐にわたります。データ処理の待ち時間が大幅に短縮され、瞬時の洞察と調整が可能になります。このリアルタイム分析により、収集されたデータの品質と関連性が向上し、研究活動がより効率的かつ効果的になります。また、エッジ推論によりデータ送信の必要性が減り、重要な通信の帯域幅が節約されます。

ただし、エッジ推論には課題もあります。エッジ コンピューティング インフラストラクチャの初期セットアップとメンテナンスは複雑でコストがかかる場合があり、ハードウェアとソフトウェアへの多額の投資が必要になります。エッジ コンピューティング システムを効果的に管理および運用するには、専門知識も必要です。

さらに、エッジ推論ではデータ送信の必要性が軽減されますが、それでも長期間のデータ保存とさらなる分析のための方法が必要であり、ローカル処理と中央データ分析を組み合わせたハイブリッドアプローチが必要です。コンピューティング、ストレージ、GPU テクノロジーの向上により、これらの課題はそれほど問題ではなくなりつつあります。

スニーカー ネット アプローチとエッジ推論はどちらも、エッジベースの AI 加速科学研究で生成される膨大なデータセットを管理するための貴重な方法を提供します。これらの方法のどちらを選択するかは、リアルタイム分析の必要性、現場での計算リソースの可用性、データ転送のロジスティック上の考慮事項など、研究プロジェクトの特定の要件によって異なります。テクノロジーが進歩するにつれて、これらの課題に対する革新的な解決策の可能性により、最先端の科学研究の効率と有効性がさらに向上することが約束されています。

極端な環境条件

テクノロジーの限界を押し広げ、その限界を理解するという進化を続ける当社の取り組みの一環として、Dell PowerEdge XR7620 サーバーと Solidigm QLC SSD を使用した独自のテストの旅に着手しました。いかなるテクノロジーにおいても、指定された動作パラメータを逸脱することは推奨されておらず、保証が無効になったり、さらに悪いことに機器の故障につながる可能性があることに注意してください。ただし、科学的好奇心のため、また機器の堅牢性を真に把握するために、私たちは慎重に作業を進めました。

このプロジェクトのテストは、容赦ない吹雪の中で気温が -15°C 以下にまで下がる厳しい冬の中で実施されました。これらの条件は、ほとんどの電子機器、特にデータ集約型タスク用に設計された高度なサーバー ハードウェアや SSD にとって、通常の動作環境をはるかに超えています。目標は、そのような気象条件がもたらす極度の寒さと湿気に直面したときのサーバーとストレージのパフォーマンスと信頼性を評価することでした。

驚くべきことに、サーバーと SSD は両方とも問題なく動作しました。動作への悪影響、データの破損、ハードウェアの誤動作はありませんでした。このようなテスト条件下でのこの並外れたパフォーマンスは、これらのデバイスの構築品質と回復力について雄弁に物語っています。耐久性の高い設計を備えた Dell PowerEdge XR7620 と、高度なテクノロジを備えた Solidigm SSD は、データセンターの快適な範囲をはるかに超えた環境ストレス要因に耐えることができることを証明しました。

このテストは機器の耐久性と信頼性を示していますが、推奨仕様を超えてハードウェアを動作させることを推奨するものではありません。これは、これらのデバイスが処理できるものの限界を調査するために設計された制御された実験でした。私たちの調査結果は、重要なアプリケーション、特に状況が予測不可能で理想から程遠い可能性があるエッジ コンピューティング シナリオにおいて、高品質で耐久性のあるハードウェアを選択することの重要性を再確認しています。

閉じた思考

QLC NAND が有意義な方法で市場に登場して以来、私たちは大容量エンタープライズ SSD に夢中になってきました。ほとんどのワークロードは、業界で考えられているほど書き込み集中型ではありません。これは、エッジでのデータ収集に関してはさらに当てはまります。エッジデータの収集と推論のユースケースには、まったく異なる一連の課題があります。

ここで説明した天体写真のユースケースと同様に、データセンターで見られるものと比較すると、通常は何らかの形で制限されます。当社の研究やエッジ AI の取り組みと同様、デルのサーバーにはベイが 4 つしかないため、データをキャプチャするにはこれらのベイを最大限に活用する必要があります。私たちが検討した他のエッジの使用法と同様に、 自動運転、停止することなくより多くのデータを収集する機能が不可欠です。

大容量エンタープライズ SSD、特に QLC NAND テクノロジーのユニークなアプリケーションに関する調査の結論は、エッジでのデータ収集と処理へのアプローチ方法における極めて重要な変化を強調しています。テストで使用した SSD は、その容量とパフォーマンスの測定基準により特に興味深いものとして際立っており、これまでストレージ機能によって制限されていた新しい研究の可能性を可能にします。

天体写真プロジェクトによってカプセル化された、エッジ データの収集と推論のユース ケースの複雑さを通過する私たちの旅は、データ センターを超えたストレージ ニーズの微妙な理解を明らかにします。このようなプロジェクトでは、宇宙の断片であるキャプチャされたデータのすべてのバイトが価値を持ちます。天候や時間の制約があるため、大規模なストレージ アレイやラックに機材を積み上げるという贅沢は、いつでも利用できるわけではありません。

このシナリオは天体写真に特有のものではなく、さまざまなエッジ コンピューティング アプリケーションや研究分野に反映されています。ここでは、膨大な量のデータを即座に取得して分析することが最も重要です。多くの業界にとって、データオフロードの中断は贅沢であり、余裕があり、正当化することもできません。 SSD は、その膨大なストレージ容量によってこのジレンマを解決します。データをオフロードするために頻繁に停止することなく、長期間のデータ収集が可能になり、研究プロセスの継続性と完全性が保証されます。

これらの大容量 SSD は、AI および機械学習アルゴリズムのデータ集約型要件をエッジで直接サポートすることで、新たな研究のフロンティアを開拓します。この機能はリアルタイムのデータ処理と推論にとって非常に重要であり、収集されたデータに基づいて即時の洞察とアクションを可能にします。予備分析に基づいてデータキャプチャのパラメータを調整する場合でも、複雑なアルゴリズムを適用して天文発見のために天体のノイズをフィルタリングする場合でも、これらの SSD の役割は誇張することはできません。

Solidigm SSD は単なるストレージ ソリューションではなく、イノベーションを実現します。これらは、エッジ コンピューティング特有の課題に対処する上での飛躍的な進歩を表し、可能性の限界を押し上げる研究努力を促進します。エッジベースの AI を活用した科学研究を通じて、広大な宇宙と世界の複雑さを探求し続けるにつれて、堅牢かつ効率的で大容量のストレージ ソリューションの重要性はますます高まるでしょう。これらのテクノロジーは、現在の研究ニーズをサポートするだけではありません。彼らは未来を予測し、将来の発見のための基礎を築きます。

ソリッドダイムAI

このレポートは Solidigm によって後援されています。このレポートで表明されているすべての見解や意見は、検討中の製品に対する当社の公平な見解に基づいています。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード