Speicherinnovation in Aktion: Film- und TV-Workflows verändern

Die NAB 2024 wurde mit großem Flair eröffnet, als Zehntausende Besucher in das Las Vegas Convention Center strömten, um sich über die neueste Technologie für Medien- und Unterhaltungsprofis zu informieren. Im Laufe der vielen Jahre der NAB hat sich ein Mieter nie verändert – digitale Dateien werden immer wichtiger und Teams benötigen einen schnelleren Zugriff darauf sowohl im Rechenzentrum als auch im Außendienst.

Die NAB 2024 wurde mit großem Flair eröffnet, als Zehntausende Besucher in das Las Vegas Convention Center strömten, um sich über die neueste Technologie für Medien- und Unterhaltungsprofis zu informieren. Im Laufe der vielen Jahre der NAB hat sich ein Mieter nie verändert – digitale Dateien werden immer wichtiger und Teams benötigen einen schnelleren Zugriff darauf sowohl im Rechenzentrum als auch im Außendienst. Glücklicherweise hat die Technologie entscheidende Fortschritte gemacht, wie z. B. SSDs mit 61.44 TB, die die Komplexität von M&E-Workloads lösen können.

Die Arbeit an einem Film oder einer Fernsehsendung stellt eine andere Belastung für den Speicher dar, als es normalerweise im Rechenzentrum der Fall ist. Teams am Set benötigen sofortigen Zugriff auf das Rohmaterial für die Wiedergabe, die Vorvisualisierung von VFX in Echtzeit, die Überprüfung der Kontinuität und die Transkodierung. Letzteres ist am speicherintensivsten. Es ist nicht ungewöhnlich, Filmmaterial schneller als in Echtzeit zu verarbeiten und gleichzeitig neues Filmmaterial von den Kameras zu laden. Anschließend müssen diese riesigen Dateien und ihre kleineren Proxy-Gegenstücke zurück zu einem Posthaus transportiert werden, wo sie in Langzeitspeichersysteme aufgenommen und dem Postproduktionsteam zur Verfügung gestellt werden können.

CheetahRAID RAPTOR für die Datenspeicherung am Set

Um Kreativprofis bei diesem laufenden Unterfangen zu unterstützen, hat CheetahRAID den perfekten Edge-Server für die Datenspeicherung am Set konfiguriert. Der CheetahRAID RAPTOR ist ein robuster 2U-Server mit geringer Tiefe, der sich durch drei Laufwerkskanister auszeichnet, die jeweils vier SSDs unterstützen. Nach dem Filmen können die Kanister entnommen und zur schnellen Einnahme an eine Poststation geschickt werden. Für dieses Projekt enthält jeder Kanister 4x Solidigm P5336 61.44 TB SSDs, die für eine unglaubliche Dichte sorgen. Das sind fast 250 TB Roh-Flash pro Kanister.

Die Lösung nutzt die Graid SR-1010 GPU-basierte RAID-Karte und zugehörige Software, um einen Hochgeschwindigkeitszugriff auf den Speicher zu ermöglichen. Dies ist von entscheidender Bedeutung, da die Graid-Karte den Großteil der RAID-Verwaltung von der CPU des Servers übernimmt und diese für wichtigere Arbeiten freigibt. Da der AMD EPYC 7003-Prozessor im CheetahRAID-Server integriert ist, ist es von größter Bedeutung, ihn für die Ausführung von Anwendungsaufgaben zur Verfügung zu haben.

Der Server verfügt über eine NVIDIA 100GbE-Netzwerkkarte, um den Speicher mit professionellen Workstations zu teilen. Für diesen Test paaren wir Zwillinge HP Z4 Rack G5 Rack-Workstations, jeweils mit einer 100-GbE-NIC, die direkt mit dem Server verbunden ist. Damit dürften wir einen theoretischen Durchsatz von etwa 12.5 GB/s pro Workstation erreichen. Unglaublicherweise steht jedem System fast ein dreiviertel Petabyte Speicher zur Verfügung.

Um jedoch zuverlässig diese hohe Geschwindigkeit an jede Workstation zu liefern, muss ein robustes Protokoll vorhanden sein, das nicht nur Datenbewegungen, sondern Datenbewegungen in dieser Größenordnung verarbeiten kann. Hierzu nutzt das System Fusion File Share von Tuxera. Fusion File Share ermöglicht es dem auf Linux basierenden CheetahRAID-Speicherserver, SMB-Freigaben für Workstations bereitzustellen. Es ist deutlich schneller als die ursprüngliche Linux-Implementierung des SMB-Servers, Samba. Und es geht auch nicht nur um den reinen Durchsatz; Der Bearbeitungsprozess reagiert viel empfindlicher auf die Latenz, sodass bereits geringfügige Störungen zum Absturz von Bearbeitungsprogrammen führen können.

Warum Fusion File Share?

Fusion File Share von Tuxera ist ein leistungsstarkes, skalierbares verteiltes Dateisystem, das den Zugriff auf unstrukturierte oder dateibasierte Daten über ein Netzwerk ermöglicht. Es bietet Unterstützung für das Server Message Block (SMB)-Protokoll von Microsoft für öffentliche Cloud-Plattform-as-a-Service (PaaS)-Angebote, Software-Defined-Storage-Lösungen (SDS), High-Performance-Computing-Anwendungen (HPC) und Netzwerke der Enterprise-Klasse -angeschlossener Speicher (NAS). Fusion verfügt über alle aktualisierten Sicherheits- und SMB-Funktionen, um anspruchsvollen Unternehmensanforderungen gerecht zu werden.

Tuxeras Fusion File Share zeichnet sich als Alternative zu herkömmlichen SMB-Serverlösungen wie Samba aus, die auf hohe Leistung und Skalierbarkeit ausgelegt sind. Seine modulare und Multithread-Architektur steigert den I/O-Durchsatz, minimiert die CPU-Auslastung, reduziert den Speicherbedarf und unterstützt die gleichzeitige Verwaltung mehrerer Verbindungen. Durch die Nutzung von SMB-Multichannel, Komprimierung und SMB über RDMA (Remote Direct Memory Access) beseitigt Fusion wirksam häufige Engpässe und bietet eine Lösung, bei der hoher Durchsatz, geringe Latenz und effiziente Ressourcennutzung im Vordergrund stehen. RDMA over Converged Ethernet (RoCE) oder SMB Direct ermöglicht es Datenpaketen außerdem, die CPU-Verarbeitung vollständig zu umgehen, wodurch Latenz und CPU-Last weiter reduziert werden und die Gesamtleistung verbessert wird.

Die Skalierbarkeit von Fusion ist eine seiner Kernstärken. Die Scale-Out-Funktion für Dateifreigaben ermöglicht die dynamische Anpassung von SMB- und Dateiserverknoten, um den sich ändernden Anforderungen von Unternehmen gerecht zu werden. Ergänzt wird dies durch ein robustes Fehlertoleranz-Framework, das transparentes Failover und kontinuierliche Verfügbarkeit umfasst, um einen unterbrechungsfreien Dienst auch bei Serverausfällen oder Wartungsaktivitäten sicherzustellen. Darüber hinaus gewährleistet Fusions Unterstützung des neuesten SMB 3.1.1-Protokolls neben früheren Versionen eine umfassende Kompatibilität und Interoperabilität über verschiedene Netzwerkeinstellungen hinweg.

Fusion File Share bietet einen optimierten und sicheren Ansatz für die Datenverwaltung. Es erleichtert die Kapazitätsplanung mit Quotenunterstützung, bietet detaillierte Benutzerprüfungen und Zugriffsprotokolle und ermöglicht dynamische Freigabekonfigurationen ohne Systemneustarts. Es unterstützt mehrere Authentifizierungsmechanismen, darunter Kerberos, LDAP und NTLM, und lässt sich nahtlos in Windows ACL und Active Directory integrieren, um die Sicherheit zu erhöhen und die Verwaltung zu vereinfachen. Dieser umfassende Funktionsumfang macht Tuxeras Fusion zu einer äußerst zuverlässigen und effizienten Wahl für Unternehmen, die von ihren SMB-Serverlösungen eine überlegene Leistung und Skalierbarkeit erwarten.

Samba vs. Fusion-Dateifreigabeleistung

Der CheetahRAID RAPTOR-Speicherserver basiert auf einem AMD EPYC Gen3-Motherboard mit einem Sockel, auf dem eine 24-Kern-7443P-CPU mit 256 GB DDR4-RAM läuft. Der Server verfügt über drei Kanister, die den Speicher von vier SSDs (insgesamt 12 SSDs) beherbergen. In jedem Behälter befinden sich 4x Solidigm P5336 61.44 TB SSDs. Diese Laufwerke nutzen direkte NVMe-Verbindungen zum Motherboard über native NVMe-Riser.

Der Server verwendet Graid SupremeRAID SR-1010 für die RAID-Verwaltung. Um Daten über das Netzwerk weiterzuleiten, gibt es eine NVIDIA Connect-X 6 Dx Dual-Port-100-GbE-Karte. Diese Karte bietet eine Bandbreite von bis zu 200 GB kombiniert über beide Ports, sodass wir innerhalb und außerhalb unserer Netzwerkstruktur bis zu 20 GB/s erreichen können. Auf dem Speicherserver läuft Ubuntu 22.04.4 LTS.

Wir nutzten zwei HP Z4 Rack G5 Workstations als Lastgeneratoren in unserer Testumgebung. Jedes System verfügte über Intel Xeon W16-5X-CPUs mit 2465 Kernen und 128 GB DDR5-RAM. Sie bieten auch NVIDIA RTX 5000 Ada-GPUs und NVIDIA ConnectX-6 Dx 100GbE-NICs an, um sie zu Videobearbeitungs-Kraftpaketen zu machen. Die Systeme wurden mit Windows Server 2022 konfiguriert. Es ist erwähnenswert, dass HP Windows Server und 100-GbE-NICs nicht direkt unterstützt, bei diesen Tests jedoch keine Probleme auftraten.

Die Hochgeschwindigkeits-Netzwerkstruktur verbindet sie über 100-GbE-Verbindungen mit dem CheetahRAID Raptor und bietet jedem Client eine 10-GB/s-Verbindung zum gemeinsamen Speicher. Mit 12 Solidigm P61.44 QLC SSDs mit 5336 TB in einem Graid-Speicherpool könnten wir mit jedem Host ein riesiges Volumen von 613 TB teilen.

Um den Nutzen der Fusion-Software von Tuxera zu messen, haben wir 1 MB sequentielle Lese- und Schreibbandbreite und Latenz von jedem Client verglichen, der gleichzeitig mit dem CheetahRAID-Speicherhost interagiert. Wir haben auf jedem Client vier FIO-Jobs verwendet, die jeweils die Leistung einer 50-GB-Datei messen. Insgesamt ergab das einen Speicherbedarf von 400 GB. Unsere Basislinie wurde mit Samba Version 4.15.13 im Vergleich zu Fusion über TCP und erneut mit Fusion unter Nutzung von RDMA-Offload gemessen.

Die Basislinie der Samba-Lesebandbreite für jede HP Z4 Rack G5-Workstation betrug 4 GB/s und 3.8 GB/s, also insgesamt 7.8 GB/s. Bei einer sequentiellen Schreiblast haben wir 2.4 GB/s und 2.6 GB/s gemessen, also insgesamt 5 GB/s. Die durchschnittliche Leselatenz betrug 17.23 ms, die durchschnittliche Schreiblatenz lag bei 26.6 ms.

Der Wechsel zur Fusion-Software von Tuxera hatte enorme Auswirkungen, da auf Kundenseite keine Änderung erforderlich war. Mit Blick auf das TCP-Protokoll haben wir 11.1 GB/s und 11.1 GB/s von jedem Client gemessen, was uns eine Lesebandbreite von 22.2 GB/s ergibt. Dies war die Grenze der 100-GbE-Verbindung zu jedem Host. Bei der Schreibbandbreite haben wir 5.7 GB/s und 5.8 GB/s gemessen, also insgesamt 11.5 GB/s. Die Leselatenz betrug durchschnittlich 6 ms, während die Schreiblatenz 11.65 ms betrug.

Fusion File Share von Tuxera unterstützt neben TCP auch RDMA. Wir haben das Fusion-RDMA-Protokoll gemessen, das uns eine Lesebandbreite von 11.6 GB/s und 11.6 GB/s für jeden Host oder 23.2 GB/s lieferte. Die Schreibbandbreite betrug 5 GB/s und 5.2 GB/s, also insgesamt 10.2 GB/s. Die Leselatenz betrug in diesem Setup 5.8 ms, während die Schreiblatenz 13.2 ms betrug.

Der Vergleich von Samba mit Fusion zeigte enorme Vorteile für die Windows-Clients. Die Lesebandbreite stieg um fast das Dreifache, wobei die Latenz nur 3 Prozent der von Samba gebotenen Leistung betrug. Auch die Schreibbandbreite verbesserte sich um das 33-fache, wobei die Latenz nur 2.3 Prozent dessen betrug, was wir mit Samba gemessen haben.

Riesige SSDs halten mit M&E Schritt

Riesige SSDs wie die 61.44 TB große P5336 von Solidigm bringen erhebliche Vorteile für die Medien- und Unterhaltungsbranche, wo Geschwindigkeit und Zuverlässigkeit für die Verarbeitung großer Dateien wie hochauflösender Videos, komplexer Grafiken und umfangreicher Audiospuren von entscheidender Bedeutung sind. Im Gegensatz zu herkömmlichen HDDs (Festplattenlaufwerken) bieten SSDs schnellere Datenzugriffszeiten, höhere Lese-/Schreibgeschwindigkeiten und höhere E/A-Vorgänge pro Sekunde. Dieser Leistungsvorsprung ermöglicht effizientere Bearbeitungs-, Rendering- und Verarbeitungsabläufe und reduziert die Zeit, die zum Laden und Arbeiten mit großen Mediendateien benötigt wird, erheblich. Das Fehlen beweglicher Teile in SSDs erhöht ihre Zuverlässigkeit und Haltbarkeit und macht sie weniger anfällig für mechanische Ausfälle und Datenverlust (kritische Bedenken beim Umgang mit wertvollen Medieninhalten).

Der Einsatz dichter SSDs in Medienproduktions- und Postproduktionsumgebungen rationalisiert Arbeitsabläufe und ermöglicht Echtzeitbearbeitung, Farbkorrektur und Effektverarbeitung ohne Einbußen bei Qualität oder Effizienz. Diese Laufwerke können problemlos mehrere 4K-Videostreams verarbeiten, sodass keine Proxydateien oder Platzhalter mit niedriger Auflösung erforderlich sind. Darüber hinaus vereinfacht der kompakte Formfaktor von SSDs in Kombination mit ihren hohen Speicherkapazitäten die Datenverwaltung, indem sie die Speicherung ganzer Projekte auf einem einzigen Laufwerk oder einem minimalen Array ermöglichen und so den Zugriff auf und die Verwaltung großer Datenmengen erleichtern.

Über die Leistungs- und Kapazitätsvorteile hinaus tragen massive SSDs durch ihren geräuschlosen Betrieb, die geringere Wärmeabgabe und die Energieeffizienz zu einer günstigeren Produktionsumgebung bei. Diese Funktionen sind besonders in dicht besiedelten oder mobilen Bearbeitungsräumen von Vorteil, in denen Geräuschminimierung und Kühlung ein ständiges Anliegen sind. Die Energieeffizienz von SSDs senkt nicht nur die Betriebskosten, sondern sorgt auch für einen kühleren und ruhigeren Arbeitsplatz – was die Gesamtproduktivität und den Komfort von Medienprofis steigert. Im Wesentlichen verändern massive SSDs die Medien- und Unterhaltungslandschaft und ermöglichen schnellere, zuverlässigere und effizientere Produktionsprozesse, die mit der steigenden Nachfrage nach hochwertigen digitalen Inhalten Schritt halten können.

Bridge Digital ist ein großer Fan

Bei unseren eigenen Tests mit dem CheetahRAID-Rig konnten wir beeindruckende Vorteile für M&E-Workloads feststellen. Aber wir wollten eine andere Meinung von der Branche, um zu sehen, ob unsere Erkenntnisse mit denen übereinstimmen, die knietief in die Datenverwaltung am Set vertieft sind. Wir haben uns an unseren Freund Richie Murray gewandt, Gründer und Präsident von Bridge Digital.

Bridge Digital ist ein Unternehmen mit Fachkenntnissen in digitalen Video-Workflows und den Technologien, um diese besser funktionieren zu lassen.
Sie helfen Erstellern und Eigentümern digitaler Inhalte beim Aufbau einer Infrastruktur, um ihre Videoressourcen effektiv zu erstellen, zu verwalten, zu verteilen und zu monetarisieren. Die Lösungen von Bridge Digital decken den gesamten digitalen Medienworkflow ab – von der Aufnahme bis zur endgültigen Bereitstellung.

Richie merkt an: „Leistung, Kompatibilität und Supportfähigkeit haben für unsere Kunden höchste Priorität. Genau das vereint diese Lösung. Die Portabilität der Daten, die das CheetahRAID-System bietet, ist in der Branche unübertroffen, ohne dabei auf die Geschwindigkeit und Zuverlässigkeit weniger „schiffsfreundlicher“ Hardware verzichten zu müssen.“

Richie fuhr fort: „Fusion File Share ist leistungsfähiger und vollständig kompatibel mit vorhandenen vernetzten Kreativ-Workstations. Darüber hinaus tragen die massiven Solidigm-SSDs gepaart mit der RAID-Implementierung von Graid zu der Idee bei, dass „diese Lösung mehr ist als die Summe ihrer Teile“. Die kombinierte Lösung ist für moderne M&E-Aufgaben äußerst überzeugend.“

Schlussfolgerung

Die sequenziellen Geschwindigkeiten von Tuxeras Fusion File Share eignen sich hervorragend zum schnellen Auslagern und Überprüfen von Filmmaterial, insbesondere bei Aufnahmen mit vielen Kameras. Schnelle Speicherung ist für den Einsatz am Set kein Unbekannter, und Geschwindigkeit allein wird nicht viel beeindrucken, aber die Fähigkeit, vernetzt zu sein und mehrere Systeme gleichzeitig ohne Verlangsamung auszulagern, ist ein besonderer Arbeitsablauf, in dem sich Tuxera Fusion auszeichnet.

Meistens ist der limitierende Faktor am Set nicht der Speicher, sondern die Kameramedien, und dieser Engpass wird problematisch, insbesondere wenn man mit einer zweistelligen Anzahl von Kameras zu tun hat. Es ist nicht ungewöhnlich, dass mehrere Systeme mehrere Karten gleichzeitig auf unabhängige Laufwerke auslagern, die dann entweder am Set auf einem identischen Master-Laufwerkspaar oder im Posthouse auf ihren Servern konsolidiert werden müssen.

Die Möglichkeit, viele Systeme mit demselben Tuxera Fusion-Speicherpool zu vernetzen und gleichzeitig ohne Verlangsamung auszulagern, spart enorm Zeit. Noch wichtiger ist, dass ein Standard-NAS bei Verwendung von Samba Schwierigkeiten damit hätte, diesen gemeinsam genutzten Speicher effizient mit vielen Clients zu skalieren, sodass Auslagerung, Transkodierung, Verwaltung, Überprüfung und Qualitätskontrolle für alle gleichzeitig erfolgen könnten.

Wir haben uns zwar mit den Vorteilen befasst, die diese Lösung am Set bietet, es ist aber auch wichtig zu verstehen, dass dies alles mit einer sehr geringen Komplexität verbunden ist. Der CheetahRAID-Server, die Solidigm-QLC-SSDs, das RAID-Management von Graid Technologies und das Tuxera-Protokoll lassen sich alle sehr einfach in einer Basis-Linux-Installation konfigurieren. Die gesamte Lösung lässt sich in wenigen Minuten und nicht in Stunden zusammenstellen und vereint erstklassige Technologien für M&E-Experten.

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed