Mellanox SX6036 è il secondo switch gestito Mellanox ad aggiungersi al rack in Laboratorio aziendale StorgeReview. L'SX6036 è progettato per la connettività leaf top-of-rack, la creazione di cluster e il trasporto di traffico LAN e SAN convergente. L'InfiniBand Subnet Manager integrato può supportare una struttura InfiniBand composta da un massimo di 648 nodi. Sebbene abbiamo riscontrato che 1GbE, 10GbE e 40GbE sono interconnessioni interessanti in laboratorio, ci sono momenti in cui è sufficiente solo un po' più di potenza per garantire che lo storage costituisca il collo di bottiglia in termini di throughput e latenza, e non la struttura della rete. A tal fine stiamo sfruttando lo switch InfiniBand e le relative apparecchiature su array di storage di fascia alta e situazioni in cui non c'è solo bisogno di velocità, la velocità è un requisito per fare affari.
Mellanox SX6036 è il secondo switch gestito Mellanox ad aggiungersi al rack in Laboratorio aziendale StorgeReview. L'SX6036 è progettato per la connettività leaf top-of-rack, la creazione di cluster e il trasporto di traffico LAN e SAN convergente. L'InfiniBand Subnet Manager integrato può supportare una struttura InfiniBand composta da un massimo di 648 nodi. Anche se abbiamo riscontrato che 1GbE, 10GbE e 40GbE sono interconnessioni interessanti in laboratorio, ci sono momenti in cui è sufficiente solo un po' più di potenza per garantire che lo storage costituisca il collo di bottiglia in termini di throughput e latenza, e non la struttura della rete. A tal fine stiamo sfruttando lo switch InfiniBand e i relativi dispositivi su array di storage di fascia alta e situazioni in cui non c'è solo bisogno di velocità, la velocità è un requisito per fare affari.
Il Cluster-in-a-Box di StorageReview con tre server Romley, lo switch Mellanox SX6036 e il EchoStreams FlacheSAN2
Il sistema di switch SX6036 di Mellanox fa parte della soluzione di interconnessione Mellanox end-to-end del nostro laboratorio, che include anche il nostro switch Ethernet Mellanox SX1036 10/40. L'SX1036 condivide gran parte del design e del layout con l'SX6036; come l'SX1036, l'SX6036 è uno switch 1U a 36 porte. L'SX6036 offre fino a 56 Gb/s di larghezza di banda bidirezionale completa per porta o complessivamente 4.032 Tb/s di larghezza di banda non bloccante, con una latenza da porta a porta di 170 ns.
La tecnologia FDR InfiniBand di Mellanox utilizza la codifica 64b/66b e aumenta la velocità di segnalazione per corsia a 14 Gb/s se utilizzata con cavi Mellanox approvati. Se utilizzato con gli adattatori ConnectX-3 designati, l'SX6036 supporta anche FDR10, una velocità dati InfiniBand non standard. Con FDR10 ciascuna corsia di una porta 4X esegue una velocità in bit di 10.3125 Gb/s con una codifica 64b/66b, risultando in una larghezza di banda effettiva di 40 Gb/s, ovvero il 20% di larghezza di banda in più rispetto a QDR.
Caratteristiche principali dell'SX6036
- 36 porte FDR (56 Gb/s) in uno switch 1U
- Capacità di switching aggregata di 4 TB/s
- Conforme a IBTA 1.21 e 1.3
- Supporto FDR/FDR10 per la correzione degli errori in avanti (FEC)
- 9 corsie virtuali: 8 dati + 1 gestionale
- MTU da 256 a 4Kbyte
- Database di inoltro lineare con 4 voci da 48K
Caratteristiche imminenti
Mellanox ha inoltre annunciato una suite di funzionalità che sarà abilitata tramite futuri aggiornamenti. Questi aggiornamenti riguarderanno:
- Instradamento da InfiniBand a InfiniBand
- Supporta fino a 8 partizioni multiple di switch
- Routing adattivo
- Controllo della congestione
- Port mirroring
Adattatore VPI ConnectX-3
Abbiamo abbinato l'SX6036 alle schede adattatori ConnectX-3 VPI di Mellanox. Queste schede ConnectX-3 supportano la connettività fabric InfiniBand, Ethernet e Data Center Bridging (DCB) per fornire una soluzione di interconnessione flessibile con funzionalità di rilevamento automatico. FlexBoot di ConnectX-3 consente ai server di avviarsi da destinazioni di archiviazione remote tramite InfiniBand o LAN.
Gli adattatori di interconnessione del protocollo virtuale ConnectX-3 supportano i protocolli RDMA basati su OpenFabrics e utilizzano IBTA RoCE per fornire servizi RDMA su Ethernet Layer 2.
Per completare la nostra configurazione di rete Mellanox end-to-end, utilizziamo le soluzioni di cablaggio Mellanox QSFP nel nostro laboratorio per le nostre esigenze InfiniBand. Per interfacciare gli adattatori InfiniBand da 56 Gb/s al nostro switch SX6036, disponiamo di cavi QSFP passivi da 0.5 M, 1 M e 3 M da utilizzare a seconda di quanto strettamente sono raggruppate le apparecchiature.
Sopra è mostrato il connettore QSFP (Quad Small Form-factor Pluggable), che utilizziamo per collegare apparecchiature InfiniBand da 40 GbE o 56 Gb/s.
Caratteristiche principali dell'adattatore VPI ConnectX-3
- Conforme alla specifica InfiniBand IBTA 1.2.1
- 16 milioni di canali I/O
- MTU da 256 a 4Kbyte, messaggi da 1Gbyte
- Latenza del ping MPI di 1μs
- Fino a 56Gb/s InfiniBand o 40 Gigabit Ethernet per porta
- Sincronizzazione dell'orologio di precisione
- QoS basato su hardware e controllo della congestione
- Incapsulamento Fibre Channel (FCoIB o FCoE)
- Incapsulamento Ethernet (EoIB)
- RoHS-R6
- Virtualizzazione I/O basata su hardware
- IOV a radice singola
- Più code per macchina virtuale
- QoS migliorato per vNIC
- Supporto per VMware NetQueue
Offload e accelerazione della CPU
Connect-X offre offload della CPU per l'elaborazione del protocollo e il sovraccarico dello spostamento dei dati come RDMA e semantica di invio/ricezione. CORE-Direct alleggerisce il sovraccarico delle applicazioni come la trasmissione e la raccolta di dati, nonché le routine di comunicazione di sincronizzazione globale. L'accelerazione della comunicazione GPU elimina la duplicazione non necessaria dei dati interni per ridurre i tempi di esecuzione. Le applicazioni che utilizzano il trasporto TCP/UDP/IP beneficiano di motori di offload stateless basati su hardware che riducono il sovraccarico della CPU del trasporto IP.
Adattatori Connect-X VPI:
- MCX353A-QCBT QDR singolo 40Gb/s o 10GbE
- MCX354A-QCBT Doppio QDR 40Gb/s o 10GbE
- MCX353A-FCBT FDR singolo 56Gb/s o 40GbE
- MCX354A-FCBT Doppio FDR 56Gb/s o 40GbE
Progetta e costruisci
Questo interruttore può essere installato in qualsiasi rack standard da 19 pollici con profondità da 40 cm a 80 cm. Il lato di alimentazione dello switch include un modulo di alimentazione hot-swap, un coperchio cieco quando non è dotato di un alimentatore ridondante e il vano ventola hot-swap.
Il lato connettore dello switch presenta 36 porte QSFP, LED di sistema e porte di connessione di gestione.
Sono disponibili cinque interfacce relative alla gestione:
- 2 connettori Ethernet da 100 M/1 Gb etichettati “MGT”
- 1 porta USB per aggiornare software o firmware.
- 1 connettore etichettato “CONSOLE” per il collegamento al PC host.
- 1 connettore a banana I2C lato alimentazione per uso diagnostico e riparativo
MSX6036 è disponibile con profondità standard (MSX6036F-1SFR e MSX6036T-1SFR) o con profondità ridotta (MSX6036F-1BRR e MSX6036T-1BRR) con opzioni di flusso d'aria in avanti e inverso. Mellanox offre kit binari lunghi e corti per SX6036. Sia l'interruttore standard che quello corto possono essere montati utilizzando il kit guida lunga, mentre il kit corto funziona solo con l'interruttore corto.
Potenza
Lo switch è dotato di supporto per il rilevamento automatico per alimentatori da 100-240 V CA. Come tutte le soluzioni SwitchX QSFP di Mellanox, SX6036 è progettato per cavi attivi, con una potenza massima per modulo di 2 W. Il consumo energetico tipico dell'FDR è di 231 W con cavi attivi o 126 W con cavi passivi.
Lo switch SX6036 è disponibile con un alimentatore installato in fabbrica. È necessario aggiungere un alimentatore ridondante per supportare la sostituzione hot-swap. L'unità di alimentazione primaria (PS1) si trova sul lato destro del pannello laterale di alimentazione, mentre PS2 sul lato sinistro. Con due alimentatori installati, è possibile estrarre uno degli alimentatori mentre lo switch è operativo. Per estrarre un alimentatore, rimuovi il cavo di alimentazione, quindi premi il rilascio del fermo mentre tiri verso l'esterno la maniglia dell'alimentatore. Per installare un alimentatore, far scorrere l'unità nell'apertura finché non si inizia a sentire una leggera resistenza, quindi continuare a premere finché l'alimentatore non è completamente inserito. Quando l'alimentatore è installato correttamente, il fermo scatterà in posizione e sarà possibile collegare il cavo di alimentazione.
Raffreddamento
L'SX6036 offre un'unità ventola ridondante con funzionalità hot-swap ed è disponibile con configurazioni per due possibili direzioni del flusso d'aria. Per estrarre il modulo ventola, è necessario spingere entrambi i fermi l'uno verso l'altro mentre si estrae il modulo dall'interruttore. Se si rimuove la ventola mentre lo switch è alimentato, l'indicatore di stato della ventola per il modulo in questione si spegnerà una volta rimossa la ventola.
Per installare un modulo ventola, inserirlo nell'apertura finché non si inizia a sentire una leggera resistenza, quindi continuare a premere finché non si inserisce completamente e l'indicatore di stato della ventola corrispondente diventa verde quando l'interruttore è acceso.
Management
Come con l'SX1036, la prima volta che si configura l'SX6036, è necessario stabilire una connessione DB9 alla porta RJ-45 della console dello switch utilizzando il cablaggio in dotazione con il software di emulazione terminale sul PC host per abilitare le funzioni di gestione remota e web . Mellanox offre due soluzioni per la gestione dell'SX6036. MLNX-OS offre la gestione dello chassis per gestire firmware, alimentatori, ventole, porte e altre interfacce, nonché la gestione integrata della sottorete. SX6036 può anche essere abbinato a Unified Fabric Manager (UFM) per gestire ambienti informatici InfiniBand scalabili.
MLNX-OS include CLI, WebUI, SNMP e software di gestione dello chassis e software di gestione IB (OpenSM). Il gestore sottorete SX6036 InfiniBand supporta fino a 648 nodi. (Mellanox consiglia il suo Unified Fabric Manager per i fabric che includono più di 648 nodi.) InfiniBand Subnet Manager rileva e applica configurazioni relative al traffico di rete come QoS, instradamento e partizionamento ai dispositivi del fabric. Ciascuna sottorete necessita che un gestore sottorete sia in esecuzione nello switch stesso (basato su switch) o su uno dei nodi connessi alla struttura (basato su host).
Conclusione
Lo switch InfiniBand Mellanox SX6036 da 56 Gb è un componente principale di Laboratorio aziendale di StorageReview, abbinandolo alle schede di interfaccia e al cablaggio Mellanox per fornirci un tessuto InfiniBand completo ad alta velocità. Con nuovo array di archiviazione flash integrando interconnessioni IB da 56 Gb, l'attrezzatura di rete Mellanox ci fornisce la struttura portante di cui abbiamo bisogno per rivedere e stressare adeguatamente gli array di storage più veloci. Con l’aumento delle interconnessioni, lo storage rappresenta il nuovo collo di bottiglia delle prestazioni. Resta sintonizzato mentre cerchiamo di bilanciare l'equazione con un set in espansione di array e server che sperano di stressare la struttura InfiniBand.
Pagina del prodotto dello switch InfiniBand Mellanox SX6036
Pagina del prodotto dell'adattatore VPI ConnectX-3
