多年來，StorageReview 一直是最大的獨立審查企業 IT 的渠道。 這是我們第一次不得不講述一個正在進行的審查如何在沒有發表的情況下結束的故事。 之前有幾次供應商要求我們不要發布評論，但評論總是有效。 然而，這個故事明顯不同，因為我們遇到了 Nutanix 的一組新行為。 總結是這樣的； Nutanix 發送了一個 NX-8150 集群進行審查，我們的測試揭示了性能問題，Nutanix 在六個月內進行了多次軟件更新以提高性能，XNUMX 月他們要求使用更新的基於 Haswell 的系統更新我們的集群，我們同意了，Nutanix 然後回溯並拒絕發送承諾的替代品。
8 年 2015 月 XNUMX 日更新：Nutanix 解決方案和性能工程全球總監 Lukas Lundell 的回复 在我們的論壇上. 該聲明包含已更正的不准確言論。
多年來，StorageReview 一直是最大的獨立審查企業 IT 的渠道。 這是我們第一次不得不講述一個正在進行的審查如何在沒有發表的情況下結束的故事。 之前有幾次供應商要求我們不要發布評論，但評論總是有效。 然而，這個故事明顯不同，因為我們遇到了 Nutanix 的一組新行為。 總結是這樣的； Nutanix 發送了一個 NX-8150 集群進行審查，我們的測試揭示了性能問題，Nutanix 在六個月內進行了多次軟件更新以提高性能，XNUMX 月他們要求使用更新的基於 Haswell 的系統更新我們的集群，我們同意了，Nutanix 然後回溯並拒絕發送承諾的替代品。
這段簡短的歷史本身就是一個簡單的事實，但為了向我們的讀者充分披露，我們認為最好提供所發生事情的全部細節。 歷史對於理解 Nutanix 在這種情況下的運作方式很重要，而且對於理解他們的態度如何對那些在日益擁擠和復雜的超融合解決方案世界中航行的人產生不利影響也很重要。 在向我們交付系統之前，我們就我們的測試能力和方法進行了多次對話。 我們於 8150 年 20 月 2015 日在現場 Nutanix 代表的協助下首次部署了 Nutanix NX-XNUMX 集群。
@BMBeeler @nutanix 4節點集群剛到！ pic.twitter.com/KwXzZUAE7u
— 凱文·奧布萊恩 (@TestLabNut) 2015 年 1 月 8 日
初始測試以帶有 Nutanix OS (NOS) 4.0.2.2 的 VMmark 為中心。 對於大多數 VMmark 運行，我們從 10 個圖塊的中等數據集開始，以感受系統的行為。 在這種情況下，多次嘗試 10 塊瓷磚而沒有獲得及格分數。 為了支持我們的測試，Nutanix 表示有意複製 VMmark 環境，還建議使用一個數據存儲而不是多個。 Nutanix 還指出，Storage vMotion 會對性能造成影響，這在正常客戶部署中可能不會出現。 用於超融合的最終 VMmark 環境從中吸取了一些技巧，並為單個 Deploy LUN 使用了一個單獨的 SAN。
VMmark 是一種基礎架構工作負載，旨在測試計算、存儲和網絡資源在大規模虛擬化環境中的性能。 它通過應用程序負載以及 VM 到 VM 流量和 vMotion 活動的網絡來強調計算和存儲。 VMmark 的詳細分類以及磁貼的組成部分是 可在這裡.
對於運行 ESXi 的超融合平台，這可以被認為是最好的基準之一，因為它強調了集群的所有組件，並直接顯示了在性能開始受到影響之前解決方案的 VM 密集程度。 Nutanix 不同意這個基準測試，聲稱它受 CPU/內存限制。 然而不幸的是，Nutanix 從未復制他們自己的 VMmark 測試設置來親眼看看情況並非如此。
到 4.1.1 月底，該集群升級到 NOS XNUMX，其中一個交付成果是提高了性能。 我們嘗試使用 系統平台，此時 Nutanix 表達了對超融合系統的正確部署的擔憂。 我們在這裡暫停了測試，以便將 Nutanix 的反饋整合到我們針對超融合系統的所有數據庫測試配置文件中。 我們還決定等待即將推出的新 NOS 軟件修訂版。
4.1.2 月，集群升級到 NOS 4.1.3。 Nutanix 表示希望從我們之前對早期軟件的測試中重做測試，我們不得不這樣做。 再次嘗試了一些測試，但隨著 6.0 和 ESXi 6.0 的支持即將到來，我們選擇暫停測試以允許 Nutanix 獲得更高效的管理程序和 ESXi XNUMX 中的其他升級的好處。
XNUMX 月，Nutanix 舉行了他們的第一屆年度會議 .NEXT。 在活動中，Nutanix 表現出他們對性能測試感到不安的跡象。 此時，VMware Virtual SAN 集群已進入實驗室進行審查，這進一步使 Nutanix 對性能測試採取防禦措施。 然而，Nutanix 的性能工程師確實在活動中提供了廣泛的建議； 其中許多建議已納入我們測試超融合系統的最佳實踐中。
當月晚些時候，Nutanix 將集群升級到 NOS 4.1.3，支持 ESXi 6.0。 再次執行 Sysbench 測試。 這個軟件版本和我們更新的 sysbench 測試配置很有前途； 我們能夠將 Sysbench 性能提高一倍，達到每個節點 600TPS，並且每個節點之間的事務平衡非常好。 出現了一些延遲峰值，但這些似乎並未影響整個集群事務計數。 使用應用程序進行測試會引入諸如文件系統和系統內存緩存等合成測試不會顯示的元素。 儘管 Nutanix 是 Sysbench 測試方法的貢獻者，但它不同意我們的數據庫測試過程。 他們的解決方案是使用 vdbench（合成工作負載生成器）部署一個輕量級 VM，並對其進行監控以查看它是否滿足某個級別的已定義工作負載參數。
當我們進入 8150 月時，Nutanix 要求我們返回 NX-XNUMX 集群，並指導他們希望我們審查基於 Haswell 的集群， 他們表示這將提供比基於 Ivy Bridge 的硬件更高的性能. 我們接受了這個提議，因為很明顯 NX-8150 的銷售窗口即將結束。 談話的基調在這一點上迅速轉變。 NX-8150 離開 StorageReview 實驗室後，所有討論都回到了創建測試計劃的第一點。 Nutanix 要求我們執行他們的測試計劃，但 Nutanix 概述的所有測試都是合成的，而不是基於應用程序的。 測試必須由 Nutanix 的性能工程師“確定”，然後才能繼續進行。 承諾更換 NX-8150 的新設備被擱置； 在新的測試計劃達成一致之前，Nutanix 拒絕發貨。
在我們反復進行測試的過程中，Nutanix 建議向我們提供他們自己的低規格 VSAN 平台和 Nutanix NX-3460-G4（每個節點 4 個 HDD 和 2 個 SSD）。 我們拒絕接受低端配置，並且拒絕在未經供應商批准或參與的情況下測試競爭對手系統的想法。 我們再次推動類似硬件的測試，但遇到了來自 Nutanix 的障礙。
3460 月底，Nutanix 提供了最後一次硬件報價，要求向我們發送 NX-4-GXNUMX 集群，以便我們審查界面和軟件。 該提議首次明確指出，如果我們接受該集群，我們將無法對其運行任何類型的性能工作負載。 電子郵件摘錄：
歡迎大家發布Nutanix Prism界面截圖，當然是為了支持以上的評測。 我們懇請您為 Nutanix 提供在發布前 72 小時查看 Nutanix 產品（硬件和軟件）的所有描述和評論的機會，以進行事實核查。 （我們希望這與您現有的審核流程一致）
在我們努力完成性能測試計劃的同時，我們要求您不要進行任何測試來衡量 Nutanix 產品的性能或在 Nutanix 平台上運行的任何應用程序（包括測試軟件）的性能。 具體來說，我們要求您不要使用任何定制開發或商業測試工具來衡量性能，包括但不限於 Sysbench、VMmark、IOmeter 和 Open LDAP。
我們將繼續與您真誠合作，共同製定詳細的測試計劃（包括方法論和測試工具），用於未來對Nutanix產品性能的評估。 在我們達成共同商定的計劃之前，我們要求您不要對 Nutanix 產品進行任何性能測試，也不要發布先前性能測試的結果。
我們也選擇拒絕此提議，因為我們相信我們在讀者群中的可信度取決於要講述的完整故事，而不僅僅是供應商要求的亮點。 此外，Nutanix 目前提出的測試計劃適用於學習系統和表徵輕量級行為，但並未顯示客戶在初始部署後需求增長時的期望。
最終，Nutanix 向我們發送了一個集群，準備好使用我們在共享存儲平台上使用的廣為人知的行業工具進行測試，直截了當地說“......你可以為測試瘋狂。” 一旦 Nutanix 發現他們的 NX-8150 可以與其他硬件/軟件解決方案進行比較，他們就收回了設備，除非符合他們的條件，否則不會運送新設備。 我為允許這種情況發生而受到指責。 我認為提供更新版本的評論對我們的讀者來說會更好。 遺憾的是，這並沒有發生。 Nutanix 現在的立場是 他們的測試計劃應該是超融合標準，考慮到他們的測試計劃主要利用綜合測試工具並且不強調集群性能，這有點令人驚訝。
不過，圍繞超融合測試的優點和最佳實踐，這是一場更長時間的辯論，我們很高興有這樣的辯論。 雖然現在，我們不會對 Nutanix 進行審查，但我們將繼續與該領域的許多其他人一起推進，他們對現實世界的應用程序測試和獨立評估持開放態度。
8 年 2015 月 XNUMX 日更新：來自 Nutanix 的 Lukas Lundell 的聲明 可以在我們的論壇中查看. 該聲明最初包含有關運送給 StorageReview 的 Nutanix NX-8150 內的 SSD 容量的不准確細節。 盧卡斯此後更正了該評論。
