邊緣科學研究—大容量儲存實現人工智慧加速洞察

Solidigm P5336 SSD 透過支援邊緣人工智慧和機器學習演算法的資料密集需求，開啟了新的研究前沿。

在科學研究快速推進到技術能力邊緣的時代，大容量儲存的意義日益凸顯。配備強大的深空物體捕獲裝置、一組 Solidigm P5336 61.44TB QLC SSD 以及我們最喜歡的堅固耐用的 Dell PowerEdge XR7620 伺服器，我們探索了對強大、經濟高效的存儲的需求，以管理快速爆炸的數據需求基於邊緣的人工智慧加速科學研究。

邊緣資料擷取

近年來，科學和資料運算經歷了巨大的轉變，從傳統的集中式運算模型過渡到更動態的邊緣運算領域。這種轉變不僅是計算偏好的變化，也是對現代資料處理探索不斷變化的需求和複雜性的回應。

從本質上講，邊緣運算是指在資料產生位置附近處理數據，而不是依賴集中式資料處理倉庫。這種轉變在即時數據處理和決策至關重要的領域越來越重要。邊緣運算在科學研究中非常引人注目，尤其是在需要快速資料收集和分析的學科中。

推動邊緣運算的因素

有幾個因素推動了科學研究向邊緣運算的發展。首先，現代科學實驗產生的數據量驚人。傳統的資料處理方法涉及將大量資料集傳輸到中央伺服器進行分析，變得不切實際且耗時。

其次，對即時分析的需求比以往任何時候都更加明顯。在許多研究場景中，傳輸資料進行處理所需的時間可能會導致資料過時，因此即時現場分析至關重要。

最後，更複雜的資料收集技術需要開發同樣複雜的資料處理能力。邊緣運算透過讓強大的運算能力更接近資料來源來滿足這項需求，從而提高科學研究的效率和效果。

科學研究是本文的邊緣運算重點，它特別感興趣的是盡可能保留現代複雜感測器收集的原始數據。使用邊緣的 NVIDIA L4 等加速器即時監控和分析捕獲的數據並提供摘要。儘管如此，捕獲和保存所有數據以供未來進行更深入的分析是無可取代的。這就是超密集的地方 Solidigm QLC 固態硬碟 進來吧。

在setUp

天文攝影是捕捉天體和大片夜空影像的實踐，是從邊緣運算中受益匪淺的領域的典型例子。傳統上，天文攝影是一門需要耐心的學科，需要較長的曝光時間和對影像進行大量的後處理才能提取有意義的數據。過去我們看過 使用 NUC 集群加速此過程。 現在，是時候將其提升到一個新的水平了。

邊緣伺服器

我們使用了堅固耐用的 戴爾 PowerEdge XR7620 作為邊緣的核心伺服器平台。這些優化的伺服器是短深度、雙插槽、緊湊的外形，並提供以加速為重點的解決方案。與典型的邊緣伺服器不同，XR7620 伺服器可滿足 AI/ML 快速成熟的需求，支援最嚴苛的工作負載，包括工業自動化、視訊、銷售點分析、AI 推理和邊緣點設備聚合。

戴爾 PowerEdge XR7620 主要規格

有關規格的完整列表，請在此處查看我們的完整評論： 戴爾 PowerEdge XR7620.

這款 Dell PowerEdge 伺服器不僅僅是一項技術。它的設計能夠承受野外最惡劣的條件。想像一下零度以下的氣溫、呼嘯的狂風，以及讓「偏遠」這個詞顯得輕描淡寫的隔離。但儘管困難重重，事實證明它是有能力且不屈不撓的，以其最先進的處理器的力量和強大的數據分析能力為研究提供了動力。

擁有堅固耐用的伺服器可以消除保持伺服器安全和溫暖的壓力。這不僅僅是舞台表演；同樣重要的是，伺服器能夠承受從安全位置到偏僻寒冷偏僻地點的令人牙齒嘎嘎作響的驅動。

望遠鏡

在這次測試中，我們選擇了五大湖沿岸的一個地點，位於偏遠荒野的中心地帶，遠離城市燈光的侵入。我們天文攝影設備的核心是星特朗 Nexstar 11 吋望遠鏡。這款望遠鏡具有 F/1.9 光圈和 540 毫米焦距，非常適合低光條件下的天文攝影，為深空探索提供非凡的細節。在荒野的深邃寂靜中，這台望遠鏡就像一個哨兵，它的鏡頭對準天空，準備捕捉天體奇觀。

一鍵相機

Nexstar 隨附 ZWO ASI6200MC Pro 拋棄式彩色相機。這款相機專為天文攝影而設計，可渲染高解析度、色彩豐富的天體影像。選擇一次性彩色相機可簡化成像過程，在一次曝光中捕捉全彩影像，無需額外的濾鏡。此功能在偏遠荒野中非常寶貴，因為簡單性和效率至關重要。

ZWO ASI6200MC Pro 是一款專門設計的天文攝影相機，配備 SONY IMX455 CMOS 感光元件，在全片幅感光元件上提供令人印象深刻的 62 萬像素解析度。它擁有 3.76μm 的像素尺寸，可在全解析度下以 3.51FPS 的最大幀率進行詳細而廣闊的天體捕捉。

該相機具有整合冷卻系統（可調節的兩級熱電冷卻器），可將溫度保持在低於環境水平30°C-35°C 的範圍內，從而降低感測器的溫度，從而確保最佳性能，同時減少電子雜訊以獲得更精確的影像。這款相機具有捲簾快門、寬曝光範圍和大容量 256MB DDR3 緩衝區等功能，旨在為業餘和專業天文學家提供卓越品質的影像。

如今，借助 Starlink，在偏遠荒野中維持可靠的數據連接不再那麼具有挑戰性。這種基於衛星的互聯網服務提供高速數據連接，對於傳輸數據和接收即時更新至關重要，但在將大量數據集發送回實驗室時存在相當大的頻寬限制。

大容量存儲

保留天文攝影中的每個子框架對於研究人員來說至關重要，因為它釋放了推進天文學知識所需的大量資訊。每個子幀都可以捕捉天體現象的增量變化和細微差別，這對於詳細分析和理解至關重要。這種做法透過降噪來提高影像品質，並透過提供驗證冗餘以及幫助糾錯和校準來確保資料可靠性。

此外，我們還使用 61.44TB Solidigm D5-P5336 驅動器

我們的主要興趣是擁有一個全面的數據集，能夠應用機器學習和人工智慧等先進計算技術，以發現手動分析或傳統方法中可能遺漏的模式和見解。保留這些子框架還可以使研究面向未來，允許使用不斷發展的技術進行再處理。它也是長期研究和協作努力的歷史記錄，使其成為寶貴的資源。

StorageReview 的創新方法

我們已經突破了邊緣運算及其重要性的極限，而不僅僅是針對工業和零售用例等典型市場。將我們的工具包帶到偏遠地區並記錄天文攝影影像擷取和編輯的所有階段，有助於我們了解人工智慧如何在生活的許多不同方面使我們受益。您可能還記得我們的 極限邊緣評論 從去年開始，我們在沙漠中建造了設備來捕捉夜空，而不必擔心人造光會影響我們的影像。

為了突破天文攝影的界限，特別是在大容量儲存和運算效率至關重要的邊緣，一種新穎的影像反捲積方法正在徹底改變我們以前所未有的清晰度捕捉宇宙的能力。為了實現這一目標，我們引入了突破性的捲積神經網路 (CNN) 架構，該架構顯著減少了傳統上與影像反捲積過程相關的偽影。

天文攝影的核心挑戰在於克服大氣乾擾、安裝和引導誤差以及觀測設備的限制所帶來的失真。自適應光學已經緩解了這些問題，但其高昂的成本和複雜性讓許多天文台陷入困境。影像反捲積是估計和反轉點擴散函數 (PSF) 的影響以澄清影像的過程，是天文學家的重要工具。然而，Richardson-Lucy 和統計反捲積等傳統演算法經常會引入額外的偽影，從而降低影像的保真度。

輸入與 Vikramaditya R. Chandra 合作提出的創新解決方案：專為天文圖像恢復而設計的客製化 CNN 架構。該架構不僅以極高的精度估計 PSF，而且還應用了透過深度學習技術增強的 Richardson-Lucy 反捲積演算法，以最大限度地減少偽影的引入。我們的研究透過使用我們捕捉的圖像和哈伯遺產檔案中的圖像來訓練模型，證明了優於現有方法的性能，為獲得無偽影天文圖像提供了一條清晰的道路。

這個架構的核心是雙階段方法：最初，卷積神經網路估計 PSF，然後在修改後的 Richardson-Lucy 演算法中使用它來對影像進行反捲積。第二階段採用另一個深度 CNN，經過訓練可以辨識並消除殘留偽影，確保輸出影像盡可能真實反映原始天文物體。這是在不使用高斯模糊等過度簡化技術的情況下實現的，高斯模糊也會帶來不必要的效果，例如「振鈴」。

該模型的重要性超出了其在天文攝影中的直接應用。對於處理能力和儲存容量至關重要的邊緣運算，這種新穎的 CNN 架構的效率和有效性有望開啟高保真成像的新時代。在邊緣處理和儲存大量光學數據的能力為研究開闢了新的可能性，允許在整個行業的觀測活動中進行即時分析和決策。

我們實驗室所採用的反捲積技術的進步標誌著所有類型成像的關鍵時刻。透過創新地利用深度學習，我們即將釋放數位影像的額外潛力，這裡透過以以前僅為最高端配置保留的清晰度和精度捕捉宇宙來證明。我們已經在實驗室訓練這個模型相當長一段時間了，所以請盡快關注完整的報告。

這對天文攝影意味著什麼

用於天文影像復原的新型捲積神經網路（CNN）架構相對於傳統反捲積技術的進步標誌著天文攝影的關鍵發展。與經常引入雜訊和重影影像等偽影的傳統方法不同，CNN 方法最大限度地減少了這些問題，確保了更清晰、更準確的天體影像。

該技術增強了影像清晰度，並允許從天文觀測中提取更精確的數據。透過利用深度學習，我們顯著提高了天文攝影的保真度，為更深入地了解宇宙鋪平了道路，同時在影像處理方面做出了最小的妥協。

基於邊緣的人工智慧加速科學研究中的兩個推理用例

資料處理和處理方法在科學研究中發揮關鍵作用，特別是在需要大量資料擷取和分析的領域，例如天文攝影。我們決定研究兩個常見的推理用例，利用戴爾提供的高容量 Solidigm 儲存解決方案和先進的運算基礎設施來管理和解釋在邊緣產生的大量資料集。

案例一：運動鞋網法

Sneaker Net 方法是一種歷史悠久的數據傳輸方法，涉及在大容量儲存設備上本地捕獲數據，然後將這些儲存媒體物理傳輸到中央數據中心或處理設施。這種方法讓人想起早期的計算，當時由於缺乏網路連線或網路連線速度較慢，需要手動移動資料。在基於邊緣的人工智慧加速科學研究中，這種方法在即時資料傳輸因頻寬限製或不可靠的網路連線而受到阻礙的情況下非常有用。

Sneaker Net 方法的主要優點在於其簡單性和可靠性。高容量 SSD 可以儲存大量數據，確保在沒有持續網路連線的情況下也能安全傳輸大型資料集。這種方法在天文攝影經常發生的偏遠或具有挑戰性的環境中特別有利，例如遠離傳統網路服務的偏遠荒野地區。

然而，Sneaker Net 方法也有很大的限制。最明顯的是數據處理和分析的延遲，因為物理運輸需要時間，阻礙了從數據中得出潛在的見解。運輸過程中資料遺失或損壞的風險也會增加。此外，這種方法沒有利用邊緣運算可以提供的即時分析和決策的潛力，可能會錯過及時的見解和介入。

案例 2：邊緣推理

邊緣推理代表了科學研究中更現代的資料處理方法，特別適合人工智慧加速專案的需求。此過程涉及捕獲現場數據並利用配備 NVIDIA L4 的邊緣伺服器來執行首次推理。此方法允許在產生資料時立即對其進行分析，從而能夠根據初步結果進行即時決策並快速調整資料擷取策略。

邊緣伺服器設計用於在現場研究中經常遇到的挑戰性條件下運行，在資料來源處提供人工智慧和機器學習演算法所需的運算能力。此功能對於需要立即資料分析的任務至關重要，例如在天文攝影過程中捕獲的大量資料集中識別特定的天文現象。

邊緣推理的優點是多方面的。它顯著減少了數據處理的延遲，允許即時洞察和調整。這種即時分析可以提高捕獲數據的品質和相關性，使研究工作更有效率和有效。邊緣推理也減少了資料傳輸的需求，節省了基本通訊的頻寬。

然而，邊緣推理也帶來了挑戰。邊緣運算基礎設施的初始設定和維護可能非常複雜且成本高昂，需要在硬體和軟體方面進行大量投資。還需要專業知識來有效管理和操作邊緣運算系統。

此外，雖然邊緣推理減少了資料傳輸需求，但它仍然需要一種長期資料儲存和進一步分析的方法，需要採用本地處理與中央資料分析相結合的混合方法。由於運算、儲存和 GPU 技術的改進，這些挑戰已不再是問題。

Sneaker Net 方法和邊緣推理都為管理基於邊緣的人工智慧加速科學研究中產生的大量資料集提供了有價值的方法。這些方法之間的選擇取決於研究項目的具體要求，包括即時分析的需要、現場計算資源的可用性以及數據傳輸的後勤考慮。隨著技術的進步，針對這些挑戰的創新解決方案的潛力有望進一步提高邊緣科學研究的效率和有效性。

極端環境條件

我們不斷致力於突破技術界限並了解其局限性，因此我們開始了對 Dell PowerEdge XR7620 伺服器和 Solidigm QLC SSD 的獨特測試之旅。值得注意的是，不建議冒險超出任何技術的指定操作參數，否則可能會導致保固失效，或者更糟的是，導致設備故障。然而，出於科學好奇心並真正掌握我們設備的堅固性，我們謹慎行事。

我們對該項目的測試是在嚴酷的冬季進行的，在無情的暴風雪中氣溫驟降至 -15°C 及以下。這些條件遠遠超出了大多數電子設備的正常操作環境，尤其是為資料密集型任務設計的複雜伺服器硬體和 SSD。目標是評估伺服器和儲存在面臨此類天氣條件的極端寒冷和潮濕時的效能和可靠性。

值得注意的是，伺服器和 SSD 的運作都沒有出現任何問題。其操作沒有受到任何不利影響，沒有資料損壞，也沒有硬體故障。在此類測試條件下的卓越性能充分說明了這些設備的建造品質和彈性。戴爾PowerEdge XR7620採用堅固耐用的設計，而Solidigm SSD則採用先進技術，事實證明它們能夠承受遠遠超出資料中心舒適範圍的環境壓力。

雖然展示了設備的耐用性和可靠性，但此測試不應被視為對在建議規格之外操作硬體的認可。這是一項受控實驗，旨在探索這些設備處理能力的極限。我們的研究結果重申了為關鍵應用選擇高品質、耐用的硬體的重要性，特別是在條件可能不可預測且遠非理想的邊緣計算場景中。

關閉的思考

自從 QLC NAND 以有意義的方式進入市場以來，我們就一直對高容量企業級 SSD 著迷。大多數工作負載並不像業界所認為的那樣是寫入密集型的；對於邊緣資料收集更是如此。邊緣資料收集和推理用例面臨一系列完全不同的挑戰。

就像我們在這裡闡述的天文攝影用例一樣，與資料中心中的情況相比，它們通常在某種程度上受到限制。與我們的研究和邊緣人工智慧工作一樣，戴爾伺服器只有四個托架，因此需要最大限度地利用這些托架來捕獲我們的數據至關重要。與我們研究過的其他邊緣用途類似，例如 自動駕駛，不間斷地捕捉更多數據的能力至關重要。

我們對大容量企業級 SSD（尤其是 QLC NAND 技術）獨特應用的探索得出的結論，強調了我們在邊緣收集和處理數據的方式發生了關鍵轉變。我們在測試中使用的 SSD 因其容量和效能指標而顯得特別有趣，為先前受儲存能力限制的新研究提供了可能性。

我們透過天文攝影專案封裝的邊緣資料收集和推理用例的複雜性，揭示了對資料中心之外的儲存需求的細緻入微的理解。在這樣的專案中，捕獲的每個位元組的資料（宇宙的一個片段）都具有價值。由於天氣和時間的限制，寬敞的儲存陣列和機架上的齒輪架並不總是可用。

這種情況並非天文攝影所獨有，而是在各種邊緣運算應用和研究學科中都有體現。在這裡，動態捕獲和分析大量數據至關重要。對許多產業來說，中斷資料卸載是一種奢侈，既無法承受，也不合理。 SSD 憑藉其強大的儲存容量解決了這個難題。它們允許延長數據收集時間，而無需頻繁停下來卸載數據，從而確保研究過程的連續性和完整性。

這些大容量 SSD 透過直接在邊緣支援人工智慧和機器學習演算法的資料密集要求，開闢了新的研究前沿。此功能對於即時數據處理和推理至關重要，可以根據收集的數據立即獲得見解並採取行動。無論是根據初步分析細化資料擷取參數，或是應用複雜演算法過濾天體雜訊以實現天文發現，這些 SSD 的作用都不容小覷。

Solidigm SSD 不僅僅是儲存解決方案，而且是創新的推動者。它們代表著解決邊緣運算獨特挑戰的飛躍，促進了突破可能界限的研究工作。隨著我們透過基於邊緣的人工智慧加速科學研究不斷探索浩瀚的空間和錯綜複雜的世界，強大、高效和大容量的儲存解決方案的重要性只會越來越大。這些技術不僅支持當前的研究需求；他們預測未來，為未來的發現奠定基礎。

固體人工智慧

本報告由 Solidigm 贊助。 本報告中表達的所有觀點和意見均基於我們對所考慮產品的公正看法。

參與 StorageReview

電子通訊 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱