StorageReview è da molti anni il più grande punto di analisi indipendente dell'IT aziendale. Per la prima volta dobbiamo raccontare la storia di come una revisione in corso si è conclusa senza essere pubblicata. Ci sono stati diversi casi in cui ci è stato chiesto di non pubblicare una recensione di un venditore in precedenza, ma le recensioni sono sempre state pubblicate. Questa storia è tuttavia significativamente diversa, poiché abbiamo riscontrato una nuova serie di comportamenti da parte di Nutanix. Il riassunto è questo; Nutanix ha inviato un cluster NX-8150 per la revisione, i nostri test hanno rivelato problemi di prestazioni, Nutanix ha effettuato diversi aggiornamenti software in sei mesi per migliorare le prestazioni, a giugno hanno chiesto di aggiornare il nostro cluster con i nuovi sistemi basati su Haswell, abbiamo concordato, Nutanix ha poi fatto marcia indietro e ha rifiutato di inviare le sostituzioni promesse.
AGGIORNAMENTO 8 agosto 2015: risposta di Lukas Lundell, direttore globale delle soluzioni e dell'ingegneria delle prestazioni presso Nutanix nei nostri forum. Questa affermazione includeva osservazioni inesatte che da allora sono state corrette.
StorageReview è da molti anni il più grande punto di analisi indipendente dell'IT aziendale. Per la prima volta dobbiamo raccontare la storia di come una revisione in corso si è conclusa senza essere pubblicata. Ci sono stati diversi casi in cui ci è stato chiesto di non pubblicare una recensione di un venditore in precedenza, ma le recensioni sono sempre state pubblicate. Questa storia è tuttavia significativamente diversa, poiché abbiamo riscontrato una nuova serie di comportamenti da parte di Nutanix. Il riassunto è questo; Nutanix ha inviato un cluster NX-8150 per la revisione, i nostri test hanno rivelato problemi di prestazioni, Nutanix ha effettuato diversi aggiornamenti software in sei mesi per migliorare le prestazioni, a giugno hanno chiesto di aggiornare il nostro cluster con i nuovi sistemi basati su Haswell, abbiamo concordato, Nutanix ha poi fatto marcia indietro e ha rifiutato di inviare le sostituzioni promesse.
Questa breve storia di per sé è un semplice fatto, ma nell’interesse di una completa divulgazione ai nostri lettori, riteniamo che sia meglio fornire tutti i dettagli di ciò che è accaduto. La storia è importante per comprendere non solo il modo in cui Nutanix ha operato in questo caso, ma anche il modo in cui il suo atteggiamento potrebbe influenzare negativamente coloro che navigano nel mondo sempre più affollato e complesso delle soluzioni iperconvergenti. Prima di consegnarci i sistemi, abbiamo avuto numerose conversazioni sulle nostre capacità e metodologia di test. Abbiamo implementato per la prima volta il cluster Nutanix NX-8150 il 20 gennaio 2015, assistiti da un rappresentante Nutanix in loco.
@BMBeeler @nutanix Cluster a 4 nodi appena arrivato! pic.twitter.com/KwXzZUAE7u
— Kevin O'Brien (@TestLabNut) Gennaio 8, 2015
Test iniziali incentrati su VMmark con Nutanix OS (NOS) 4.0.2.2. Con la maggior parte delle esecuzioni di VMmark iniziamo con un set di dati di fascia media di 10 riquadri per avere un'idea del comportamento del sistema. In questo caso sono state tentate più volte 10 tessere senza ottenere un punteggio positivo. Per supportare i nostri test, Nutanix ha indicato l'intenzione di replicare un ambiente VMmark e ha anche suggerito l'uso di un datastore invece di molti. Nutanix ha inoltre indicato che Storage vMotion avrebbe un calo di prestazioni che potrebbe non essere riscontrato nelle normali implementazioni dei clienti. L'ambiente VMmark finalizzato per l'iperconvergente ha preso spunto da questo e ha sfruttato una SAN separata per la singola LUN di distribuzione.
VMmark è un carico di lavoro dell'infrastruttura progettato per testare il funzionamento delle risorse di elaborazione, storage e rete in un ambiente virtualizzato su larga scala. Sottolinea l'elaborazione e lo storage attraverso il carico di applicazioni, nonché il networking con il traffico da VM a VM e le attività vMotion. Una ripartizione dettagliata di VMmark e di ciò che costituisce una tessera disponibile qui.
Per le piattaforme iperconvergenti che eseguono ESXi, questo potrebbe essere considerato uno dei migliori benchmark in quanto mette a dura prova tutti i componenti del cluster e mostra direttamente quanto sia densa di macchine virtuali una soluzione prima che le prestazioni inizino a risentirne. Nutanix non è d'accordo con questo benchmark sostenendo che è vincolato a CPU/memoria. Sfortunatamente, Nutanix non ha mai replicato la propria configurazione di test VMmark per verificare di persona che non è così.
Verso la fine di gennaio, il cluster è stato aggiornato al NOS 4.1.1, con un risultato finale con prestazioni migliorate. Abbiamo provato a testare utilizzando banco di sistema, a quel punto Nutanix ha espresso preoccupazione sulla corretta implementazione dei sistemi iperconvergenti. Abbiamo interrotto qui i test per integrare il feedback di Nutanix in tutti i nostri profili di test dei database per sistemi iperconvergenti. Abbiamo anche deciso di attendere una nuova revisione del software NOS in arrivo.
A maggio il cluster è stato aggiornato al NOS 4.1.2. Nutanix ha espresso il desiderio di ripetere i test precedenti sui software precedenti, cosa che abbiamo accettato. Anche in questo caso sono stati tentati alcuni test, ma con il supporto 4.1.3 ed ESXi 6.0 in arrivo, abbiamo deciso di sospendere i test per consentire a Nutanix di usufruire dei vantaggi dell'hypervisor più efficiente e di altri aggiornamenti in ESXi 6.0.
A giugno Nutanix ha tenuto la sua prima conferenza annuale, .NEXT. Durante l'evento, Nutanix ha mostrato segni di disagio nei confronti dei test delle prestazioni. A questo punto un cluster VMware Virtual SAN era arrivato in laboratorio per la revisione, il che ha ulteriormente messo Nutanix sulla difensiva riguardo ai test delle prestazioni. Gli ingegneri delle prestazioni di Nutanix hanno tuttavia offerto un'ampia consulenza durante l'evento; molti di questi suggerimenti sono stati inseriti nelle nostre migliori pratiche per testare i sistemi iperconvergenti.
Nel corso del mese Nutanix ha aggiornato il cluster al NOS 4.1.3, con supporto per ESXi 6.0. Il test Sysbench è stato eseguito nuovamente. Questa revisione del software e la nostra configurazione di test sysbench aggiornata erano promettenti; siamo riusciti a raddoppiare le prestazioni di Sysbench portandole a 600TPS per nodo, con un eccellente equilibrio delle transazioni tra ciascun nodo. Si sono verificati alcuni picchi di latenza, ma non sembrano aver influito sul conteggio complessivo delle transazioni del cluster. I test con le applicazioni introducono elementi come il filesystem e la memorizzazione nella cache della memoria di sistema che i test sintetici non mostreranno. Pur collaborando alla metodologia di test Sysbench, Nutanix non era d'accordo con il nostro processo di test del database. La loro soluzione è distribuire una VM leggera utilizzando vdbench (generatore di carico di lavoro sintetico) e monitorarla per vedere se soddisfa un certo livello di parametri del carico di lavoro definiti.
Quando siamo passati a luglio, Nutanix ci ha chiesto di restituire il cluster NX-8150 con la guida che avrebbero voluto che recensissimo un cluster basato su Haswell, che secondo loro avrebbe offerto prestazioni più elevate rispetto all'hardware basato su Ivy Bridge. Abbiamo accettato l'offerta perché era chiaro che l'NX-8150 si stava avvicinando alla fine del periodo di vendita. A questo punto il tono delle conversazioni cambiò rapidamente. Dopo che gli NX-8150 furono fuori dal laboratorio StorageReview, tutte le discussioni tornarono al punto di partenza sulla creazione di un piano di test. Nutanix ci ha chiesto di eseguire il loro piano di test, tuttavia tutti i test delineati da Nutanix sono sintetici anziché basati su applicazioni. I test dovevano essere “definiti” dagli ingegneri delle prestazioni di Nutanix prima di andare avanti. La nuova attrezzatura promessa per sostituire gli NX-8150 è stata sospesa; Nutanix si rifiuta di effettuare la spedizione finché non verrà concordato un nuovo piano di test.
Durante la nostra buona fede avanti e indietro durante i test, Nutanix ci ha suggerito di spedirci la propria piattaforma VSAN con specifiche inferiori e un Nutanix NX-3460-G4 (4x HDD e 2x SSD per nodo). Abbiamo rifiutato di accettare la configurazione di fascia bassa e ci siamo opposti all’idea di testare il sistema di un concorrente senza l’approvazione o il coinvolgimento di quel fornitore. Ancora una volta abbiamo spinto per testare con hardware comparabile, ma abbiamo incontrato ostacoli da parte di Nutanix.
A fine luglio Nutanix ha fatto l'ultima offerta di hardware, chiedendoci di inviarci il cluster NX-3460-G4 per poterne revisionare interfaccia e software. L'offerta affermava esplicitamente per la prima volta che, se avessimo accettato il cluster, non avremmo potuto eseguire alcun carico di lavoro prestazionale di alcun tipo contro di esso. Estratto dell'e-mail:
Siete invitati a pubblicare screenshot dell'interfaccia Nutanix Prism, ovviamente, per supportare la valutazione di quanto sopra. Ti chiediamo gentilmente di fornire a Nutanix l'opportunità di rivedere tutte le descrizioni e i commenti del prodotto Nutanix (hardware e software) 72 ore prima della pubblicazione a scopo di verifica dei fatti. (Ci auguriamo che ciò sia coerente con il processo di revisione esistente)
Mentre lavoriamo per finalizzare il piano di test delle prestazioni, ti chiediamo di non condurre alcun test che misuri le prestazioni del prodotto Nutanix o le prestazioni di qualsiasi applicazione (incluso il software di test) in esecuzione sulla piattaforma Nutanix. Nello specifico, ti chiediamo di non utilizzare strumenti di test commerciali o sviluppati su misura per misurare le prestazioni, inclusi ma non limitati a Sysbench, VMmark, IOmeter e Open LDAP.
Continueremo a collaborare con te in buona fede per sviluppare congiuntamente un piano di test dettagliato (inclusi metodologia e strumenti di test) per la valutazione futura delle prestazioni dei prodotti Nutanix. Fino a quando non avremo un piano concordato di comune accordo, ti chiediamo di non intraprendere alcun test sulle prestazioni del prodotto Nutanix o di pubblicare i risultati di test sulle prestazioni precedenti.
Abbiamo deciso di rifiutare anche questa offerta, poiché crediamo che la nostra credibilità nei confronti dei lettori dipenda da una storia completa da raccontare, piuttosto che solo dai punti salienti richiesti da un fornitore. Inoltre, il piano di test attualmente proposto da Nutanix va bene per apprendere il sistema e caratterizzare i comportamenti leggeri, ma non mostra cosa possono aspettarsi i clienti man mano che le loro richieste crescono dopo l’implementazione iniziale.
Alla fine Nutanix ci ha inviato un cluster pronto da testare con strumenti di settore ben compresi che utilizziamo su piattaforme di storage condivise, dicendo letteralmente "...puoi impazzire con i test". Non appena Nutanix ha scoperto che i suoi NX-8150 potevano essere confrontati con altre soluzioni hardware/software, ha ritirato l'attrezzatura e non avrebbe spedito nuove attrezzature a meno che non fosse stato alle loro condizioni. Mi prendo la colpa per aver permesso che ciò accadesse. Ho pensato che offrire una versione più recente della recensione sarebbe stato meglio per i nostri lettori. Purtroppo ciò non è accaduto. Nutanix ora detiene una posizione tale il loro piano di test dovrebbe essere lo standard iperconvergente, il che è in qualche modo sorprendente dato che il loro piano di test sfrutta principalmente strumenti di test sintetici e non mette a dura prova le prestazioni del cluster.
Si tratta però di un dibattito più lungo, di cui siamo lieti di avere, sui meriti e sulle migliori pratiche per i test iperconvergenti. Per ora, però, non avremo una recensione su Nutanix, ma continuiamo ad andare avanti con molti altri nel settore che sono aperti ai test delle applicazioni nel mondo reale e alla valutazione indipendente.
AGGIORNAMENTO 8 agosto 2015: una dichiarazione di Lukas Lundell di Nutanix può essere visualizzato nei nostri forum di discussione qui. Questa dichiarazione originariamente conteneva dettagli imprecisi riguardo alla capacità dell'SSD all'interno del Nutanix NX-8150 spedito a StorageReview. Lukas da allora ha corretto quel commento.
Iscriviti alla newsletter di StorageReview
