Meta har designat, byggt och distribuerat sin hårdvara i några av de största datacentren i över 14 år. År 2009, efter snabb tillväxt, kallades ingenjörer in för att ompröva sin infrastruktur för att stödja den massiva interna tillväxten av data, människor och resurser när Facebooks ingenjörer påbörjade resan för att designa ett energieffektivt datacenter med mjukvara, servrar, hårdvara, kylning , och makt. De har nu bidragit med Grand Canyon Storage System till OCP som nästa standard för bulklagring.
Meta har designat, byggt och distribuerat sin hårdvara i några av de största datacentren i över 14 år. År 2009, efter snabb tillväxt, kallades ingenjörer in för att ompröva sin infrastruktur för att stödja den massiva interna tillväxten av data, människor och resurser när Facebooks ingenjörer påbörjade resan för att designa ett energieffektivt datacenter med mjukvara, servrar, hårdvara, kylning , och makt. De har nu bidragit med Grand Canyon Storage System till OCP som nästa standard för bulklagring.
Den nya anläggningen var 38 procent mer energieffektiv att bygga och 24 procent billigare i drift än företagets tidigare anläggningar. Facebook bestämde sig för att dela sin framgång med den globala ingenjörsgemenskapen. Så 2011 inleddes Open Compute Project Foundation (OCP) för att öka innovationstakten för nätverksutrustning. Allt från generella servrar, GPU-servrar, lagringsenheter och rackdesigner kom ur OCP-samarbetsmodellen och tillämpas utanför datacentret, vilket hjälper till att utveckla telekomindustrin och avancerad infrastruktur.
Så det var bara passande att Meta använde OCP Global Summit för att ta deltagare genom den senaste lagringsservern och JBOD som heter Grand Canyon, och en ny single socket-server kallad Barton Springs. Designen för Grand Canyon kom från kravet att bygga en bättre och snabbare lagringsserver.
Motivationen bakom den nya servern var baserad på följande:
- Högre CPU-prestanda per plats
- Förbättrat chassi för att stödja täta enheter (upp till 2025-2026-ish tidsram)
- Effektivitet
- Bibehåll flexibilitet (ORv3, modulärt CPU-kort)
- Design med komponenter med längre livslängd
Designen för Grand Canyon ökade modulariteten för att förlänga uppgraderingsbarheten och livslängden för det nya chassit.
| Komponent | Beskrivning |
| CPU | Intel Xeon "Cooper Lake" SOC |
| Boot Drive | M.2 Solid state (2280 formfaktor Hyperscale NVMe Boot SSD-specifikation) |
| DIMM | 1 DDR4 DIMM per kanal vid 4 kanaler upp till 3200MT/s |
| PCH | Intel PCH-kretsuppsättning |
Den nya lagringsservern består av två lagringsnoder som stöder 36 x 3.5" hårddiskar i en enda låda. Grand Canyon använder Barton Springs 1-socket server med några imponerande specifikationer. Ytterligare flexibilitet har införlivats i det nya chassit, vilket gör att systemet kan byggas i tre konfigurationer.
Det första konfigurationsalternativet är en fristående dubbellagringsserver som inkluderar två beräkningsnoder och 72 hårddiskar där alla enheter är påslagna hela tiden för snabbare dataåtkomst.
Den andra konfigurationen är en enda lagringsserver med en enda beräkningsnod som också kan användas som en huvudnod. Den här konfigurationen ansluter till två av JBOD-chassierna, vilket är den tredje konfigurationen och inte har en beräkningsnod, och stöder upp till 216 hårddiskar.
Varje konfiguration har olika populationer för modulerna i systemet, som illustreras i sprängvyn ovan. En nyckelfaktor i denna design är hur lätt det är att komma åt alla komponenter från framsidan eller toppen av chassit.
Grand Canyon vs. Bryce Canyon (tidigare generation)
| Bryce Canyon | Grand Canyon | |
| Compute | 16 Core | 26 Core |
| SpecIntRate | 1 | 1.87 (turbo aktiverad) |
| DRAM-kapacitet, BW per CPU | 2x 32GB DDR4, 33GB/s | 4x 16GB DDR4, 93GB/s |
| Starta SSD per dator | 256 GB | 256 GB |
| Data SSD per dator | 2x2TB m.2 | 2x2TB E1.S 9.5 mm (Uppgraderbar kapacitet |
| Drives per chassi, Drives per Compute | 72, 36 | 72, 36 |
| NIC | 50 Gbps, Single-host, OCP2.0 | 50 Gbps, Single-host, OCP 3.0 (kan uppgraderas till 100 Gbps) |
Grand Canyon Storage System Strukturell designförbättringar
Med antalet hårddiskar i detta chassi och potentialen för vibrationer från fläktarna, gjorde Meta förbättringar av att använda vibrationsdämpande funktioner, både strukturella och akustiska, för att möjliggöra tät hårddiskkapacitet och förhindra att fläktvibrationer passerar igenom till höljet.
Meta-ingenjörer använde ett surrogat för att mäta vibrationer och nådde ut till hårddiskleverantörer för att jämföra fördelarna med vibrationsdämpningen som används vid design av Grand Canyon-chassit.
Fläktsystemet modifierades för att inkludera en persienn som stängs om en fläkt stängs av, vilket förhindrar förlust av luftflöde över systemet. Detta säkerställer korrekt kylning i hela chassit, även i händelse av en fläktbortfall.
Grand Canyon-systemet använder den senaste IOC och Expanders från Broadcom som inkluderar SAS Gen4-funktioner, är interoperabel med SAS och SATA hårddiskar, och tillhandahåller hårdvaru- och firmwarekompatibilitet för kommandovaraktighetsgränser på SAS/SATA hårddiskar, samt hårddiskar med dubbla ställdon.
Stödjande dokumentation
För information om surrogathårddiskar byggda för Grand Canyon-karakterisering, hänvisa till detta föredrag.
För information om surrogathårddiskar, förbättringar och standardisering, gå med i OCP HDD Dynamics arbetsflödet.
För mer information om funktioner av intresse för Meta, kolla inHDD-funktioner för framtida session här.
Specifikationen kan ses på GitHub Repository (OpenBMC).
Grand Canyon-systemen är tillgängliga från Wiwynn, kallade SV/ST7000G4 i deras produktguide.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
