Das in Taiwan ansässige Unternehmen Tyan ist in der Unternehmens-IT als Hersteller von Serverplattformen bekannt. Im Juni 2021 wurden die neuesten Blade-Server vorgestellt, darunter der hier getestete Transport SX TS65-B8253. Dieser 2U-Rackmount-Server mit zwei Sockeln ist für die Cloud-Speicherung gedacht und unterstützt 12 Hot-Swap-fähige 3.5-Zoll-LFF-Laufwerke, darunter vier NVMe U.2-Laufwerke. Es läuft auf AMDs 7003 EPYC Prozessoren und unterstützt 8 DIMMs pro Prozessor.
Das in Taiwan ansässige Unternehmen Tyan ist in der Unternehmens-IT als Hersteller von Serverplattformen bekannt. Im Juni 2021 wurden die neuesten Blade-Server vorgestellt, darunter der hier getestete Transport SX TS65-B8253. Dieser 2U-Rackmount-Server mit zwei Sockeln ist für die Cloud-Speicherung gedacht und unterstützt 12 Hot-Swap-fähige 3.5-Zoll-LFF-Laufwerke, darunter vier NVMe U.2-Laufwerke. Es läuft auf AMDs 7003 EPYC Prozessoren und unterstützt 8 DIMMs pro Prozessor.
Tyan Transport SX TS65-B8253 Spezifikationen
Das konkrete Modell, das wir testen, ist der Transport SX TS65-B8253T65V10E4HR-2T, das höherwertige der beiden, die Tyan in der Transport SX TS65-B8253-Reihe anbietet. Hier ist, was es in Bezug auf die Zahlen zu bieten hat. (Überspringen Sie die Tabelle für die zusammengefasste Version.)
TYAN Barebones TS65B8253T65V10E4HR-2T | |
Formfaktor | 2U-Rackmontage (25.59 x 17.32 x 3.43 Zoll, HWD) |
Gewicht | 66 Pfund brutto; 42 Pfund netto |
Hauptplatine | TYAN S8253GM4NE-2T |
Prozessor(en) | Bis zu (2) AMD EPYC 7002/7003-Serie (SP3-Sockel); jede CPU bis zu 240 Watt cTDP und 64 Kerne |
Memory | (16) DDR4-3200 DIMM-Steckplätze (8 pro CPU); unterstützt insgesamt bis zu 4 TB mit (8) Kanälen |
Unterstützung der Laufwerks-Backplane | SAS 12 Gbit/s, SATA 6 Gbit/s, NVMe |
Laufwerkseinschübe | (12) LFF SATA 6 Gbit/s vorne, einschließlich (4) NVMe; (2) SFF SATA 6 Gbit/s auf der Rückseite |
Labor-Stromversorgungen | 1+1 CPRS 1200 Watt, 80 PLUS Platinum |
PCIe-Erweiterungssteckplätze | (7) PCIe Gen4-Steckplätze; (1) x8 Low-Profile, (2) x8 volle Höhe/halbe Länge, (1) x16 volle Höhe/halbe Länge und (3) x16 Low-Profile. |
Netzwerk-Controller | Intel I210/Intel X550; Realtek RTL8211E PHY |
Onboard-Grafik | Aspeed AST2500 |
Serververwaltung | Aspeed AST2500 IPMI 2.0-kompatibler Baseboard-Management-Controller |
Kühlung: | (3) Hot-Swap-fähige 80-mm-Lüfter |
Frontpanel-E / A | (2) USB 3.2 Gen1 Typ-A |
LEDs an der Vorderseite | (1) UID, (2) LAN, (1) Systemereignis |
Rückseitige E / A | (2) USB 3.2 Gen1 Typ-A, (1) seriell, (1) VGA 15-polig (maximale Auflösung 1920 x 1200), (2) 10 GbE, (2) GbE, (1) GbE dediziert für IPMI |
Die Spezifikationen enthalten einige Überraschungen, was nicht schlecht ist. Diese 2U-Rackmount-Server mit zwei Sockeln sind die Grundpfeiler von Rechenzentren und bieten durch ihre Erweiterungsmöglichkeiten ein gutes Preis-Leistungs-Verhältnis. Davon zeugen die sieben PCIe-Steckplätze des Transport SXTS65-B8253, von denen drei über eine vorinstallierte Riser-Karte verfügen. Vier der Steckplätze sind x16-Steckplätze (drei Low-Profile-Steckplätze und einer in voller Höhe/halber Länge), während die anderen drei x8-Steckplätze (ein Low-Profile-Steckplatz und zwei in voller Höhe/halber Länge) sind. Karten voller Länge werden nicht unterstützt.
Allerdings ist die Speichererweiterung des Transport SX TS65-B8253 auf acht DIMM-Steckplätze pro CPU (insgesamt 16) beschränkt; Vorausgesetzt, Sie können sich extrem teure 256-GB-DIMMs leisten, liegt die Speicherobergrenze bei 4 TB. Einige konkurrierende Server (wird in Kürze besprochen) bieten 32 DIMM-Steckplätze. Für unsere Tests haben wir (16) 16-GB-DDR4-3200-DIMMs für insgesamt 256 GB im Achtkanalmodus installiert.
Aber die Speichererweiterung ist eigentlich das, worum es beim Transport SX TS65-B8253 geht. Im Guten wie im Schlechten verpflichtet es Sie zu LFF-Laufwerken; Tyan bietet keine alternative Konfiguration mit SFF-Laufwerken an. Wenn Ihr Nutzungsszenario jedoch keine zwei CPUs erfordert, unterstützt der 2U-Transport SX TS65A-B8036 mit einem Sockel 26 SFF-Frontlaufwerke. Erwähnenswert ist auch der Transport SX TS65-B8036 (beachten Sie das Fehlen eines „A“ im Modellnamen); Es ist 2U groß und bietet Platz für 12 LFF-Laufwerke wie unser Testgerät Transport SX TS65-B8253, verfügt aber nur über einen Sockel.
Für das Betriebssystem verfügt der Transport SX TS65-B8253 über zwei 2.5-Zoll-SFF-Laufwerke auf der Rückseite; Das Motherboard verfügt über keine M.2-Steckplätze. Seine Netzwerkports bestehen aus drei GbE-Ports (von denen einer für IPMI reserviert ist) und zwei 10GbE-Ports; Das „2T“ am Ende der SKU unseres Modells fügt Letzteres hinzu. Sie können ein deutliches Plus sein, da der Transport SX TS65-B8253 keinen OCP-Steckplatz hat; Für zusätzliche Netzwerkfunktionen müssten Sie auf einen PCIe-Steckplatz verzichten.
Für die Serververwaltung knüpft der Transport SX TS65-B8253 an den von Tyan an TSM+ webbasierte Suite; siehe die Screenshots unten. Dies ist bestenfalls eine leichtgewichtige Suite, allerdings nicht mehr als andere White-Box-Plattformen. Um mehr Software zu erhalten, müssen Sie auf eine Servermarke mit mehr Out-of-Band-Verwaltungsoptionen umsteigen, obwohl die meisten mit höheren Kosten verbunden sind.
Tyan Transport SX TS65-B8253 Wettbewerb
Ein 2U-Server mit zwei Sockeln, der die EPYC-Prozessoren der dritten Generation von AMD unterstützt, ist ein beliebtes Angebot unter Blade-Server-Herstellern. Um nur einige zu nennen: Dell Power Edge R7525, HPEs ProLiant DL385 Gen10, und Gigabytes R282-Z96 unterstützen auch 12 Hot-Swap-fähige LFF-Laufwerke wie das Transport SX TS65-B8253, verfügen jedoch über doppelt so viele DIMM-Steckplätze (32; 16 pro Prozessor). Sowohl HPE als auch Dell verfügen über einen PCIe-Steckplatz mehr als der Transport SX TS65-B8253, also insgesamt acht, während der Dell auch über einen OCP 3.0-Steckplatz verfügt. Das Gigabyte verfügt nur über vier PCIe-Steckplätze, verfügt jedoch sowohl über einen OCP 2.0- als auch einen OCP 3.0-Steckplatz.
Obwohl dieser grundlegende Überblick über die Hardware die Feinheiten außer Acht lässt, zeigt er, dass der Transport SX TS65-B8253 über konkurrenzfähige Erweiterungsmöglichkeiten verfügt. Seine größte Schwäche ist, wie bereits erwähnt, die Unterstützung von nur 16 DIMMs, aber angesichts der Ausrichtung auf Cloud-Speicher ist das kein großes Versäumnis.
Tyan Transport SX TS65-B8253 Design und Bau
Der TS65-B8253 sieht so aus, wie man es von einem 2U-Blade-Server erwarten würde. Auf der Vorderseite befinden sich zwei USB 3.2 Gen 1 Typ-A-Anschlüsse sowie die erwarteten Tasten (Power, Reset und zwei UID) und Status-LEDs. Was hier dominiert, sind natürlich die 12 LFF-Buchten.
Das hellere Blau, das für die Laufwerksspalte ganz links und das unterste Laufwerk in der zweiten Spalte von links verwendet wird, zeigt die vier NVMe U.2-unterstützenden Schächte an. Dank der werkzeuglosen Halterungen ist das Ein- und Auswechseln von Laufwerken ganz einfach.
Auch die Konnektivität auf der Rückseite ist bekannt, darunter zwei weitere Typ-A-Anschlüsse, ein VGA-Videoausgang, ein serieller Anschluss und fünf Ethernet-Anschlüsse – drei GbE (einer davon wiederum für IPMI) und zwei 10GbE.
Die 1200-Watt-Netzteile sind auf der linken Seite gebündelt und daneben befinden sich die beiden 2.5-Zoll-SFF-Hot-Swap-Schächte. Da das schon alles ist, was es zu sehen gibt, gehen wir hinein. Die obere Abdeckung lässt sich mit minimalem Aufwand abnehmen. Die drei 80-mm-Lüfter des Servers sind sofort sichtbar. Sie unterstützen Hot-Swapping.
Der Luftstrom verläuft in einem bewundernswert geraden Schuss von vorne nach hinten. Die erste Station sind die beiden CPU-Kühlkörper. Für unsere Tests haben wir zwei 64-Kern-EPYC-7763-Chips verbaut.
Die 16 DIMM-Steckplätze sind vorhersehbar in vier Vierergruppen unterteilt, eine Gruppe auf jeder Seite jedes Prozessors.
Wenn wir uns der Rückseite nähern, werden die vier PCIe-Gen4-Steckplätze des Motherboards sichtbar, von denen einer x8 und die anderen drei x16 sind. Die restlichen drei sind, wie bereits erwähnt, Teil der mitgelieferten Riser-Karte, die gerade unten auf diesem Foto sichtbar ist.
Darüber hinaus ist die Verkabelung ordentlich und entsprechend abgebunden.
Und damit ist die Tour abgeschlossen. Kommen wir nun zum Leistungstest, dem wichtigsten Teil dieser Rezension.
Tyan Transport SX TS65-B8253 Leistung
Wir haben unseren Transport SX TS65-B8253 mit folgenden Komponenten konfiguriert:
- Zwei AMD EPYC 7763 64-Core/128-Thread-Prozessoren (2.45 GHz Basis, 3.5 GHz Turbo, 240 W cTDP)
- 256 GB DDR4-3200-Speicher über (16) 16-GB-DIMMs
- Vier SK Hynix PE8010 3.84 TB PCIe Gen4 Solid-State-Laufwerke
- VMWare ESXi 7.0u2
- CentOS-Linux 8.2
SQL Server-Leistung
Das Microsoft SQL Server OLTP-Testprotokoll von StorageReview verwendet den aktuellen Entwurf des Benchmark C (TPC-C) des Transaction Processing Performance Council, einen Online-Transaktionsverarbeitungs-Benchmark, der die Aktivitäten in komplexen Anwendungsumgebungen simuliert. Der TPC-C-Benchmark kommt der Messung der Leistungsstärken und Engpässe der Speicherinfrastruktur in Datenbankumgebungen näher als synthetische Leistungsbenchmarks.
Jede SQL Server-VM ist mit zwei vDisks konfiguriert: einem 100-GB-Volume für den Start und einem 500-GB-Volume für die Datenbank und Protokolldateien. Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 64 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt. Während unsere zuvor getesteten Sysbench-Workloads die Plattform sowohl in Bezug auf Speicher-I/O als auch in Bezug auf die Kapazität ausgelastet haben, prüft der SQL-Test die Latenzleistung.
SQL Server-Testkonfiguration (pro VM)
- Windows Server 2012 R2
- Speicherbedarf: 600 GB zugewiesen, 500 GB genutzt
- SQL Server 2014
- Datenbankgröße: Maßstab 1,500
- Virtuelle Client-Auslastung: 15,000
- RAM-Puffer: 48 GB
- Testdauer: 3 Stunden
- 5 Stunden Vorkonditionierung
- 30-minütiger Probezeitraum
Wir haben eine Gesamtlatenz von nur 1 ms über vier VMs des Transport SX TS65-B8253 gemessen.
Sysbench MySQL-Leistung
Unser erster Benchmark für lokale Speicheranwendungen besteht aus einer Percona MySQL OLTP-Datenbank, die über SysBench gemessen wird. Dieser Test misst die durchschnittliche TPS (Transaktionen pro Sekunde), die durchschnittliche Latenz und auch die durchschnittliche 99. Perzentil-Latenz.
Jede Sysbench-VM ist mit drei vDisks konfiguriert: eine für den Start (~92 GB), eine mit der vorgefertigten Datenbank (~447 GB) und die dritte für die zu testende Datenbank (270 GB). Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 60 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt.
Sysbench-Testkonfiguration (pro VM)
- CentOS 6.3 64-Bit
- Percona XtraDB 5.5.30-rel30.1
- Datenbanktabellen: 100
- Datenbankgröße: 10,000,000
- Datenbankthreads: 32
- RAM-Puffer: 24 GB
- Testdauer: 3 Stunden
- 2 Stunden Vorkonditionierung von 32 Threads
- 1 Stunde 32 Threads
Mit Sysbench OLTP verzeichneten wir einen Gesamtwert von 27,016 TPS; Die VMs reichten von 3,342 TPS bis 3,413 TPS, eine enge Gruppierung. Letztendlich wurde die Leistung leicht beeinträchtigt, da nur 4 NVMe-SSDs für die I/O-Ansteuerung zur Verfügung standen, obwohl unterschiedliche Workloads eine unterschiedliche Verteilung des zu berechnenden Speichers erfordern.
Die durchschnittliche Latenz in Sysbench war ebenfalls eng auf die acht VMs verteilt und lag zwischen 9.39 ms und 9.57 ms.
Zusammenfassend lässt sich sagen, dass die Sysbench-Werte für das 99. Perzentil im ungünstigsten Fall beeindruckend niedrig waren und zwischen 16.26 ms und 16.96 ms lagen.
VDBench-Workload-Analyse
Wenn es um das Benchmarking von Speichergeräten geht, sind Anwendungstests am besten und synthetische Tests stehen an zweiter Stelle. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten darstellen, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, Konkurrenzlösungen direkt miteinander zu vergleichen.
Diese Workloads bieten eine Reihe unterschiedlicher Testprofile, die von „Vier-Ecken“-Tests über allgemeine Tests der Datenbankübertragungsgröße bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen. Alle diese Tests nutzen den gemeinsamen vdBench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Computing-Testcluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf einer Vielzahl von Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten.
Profile:
- 4K Random Read: 100 % Read, 128 Threads, 0-120 % Iorate
- 4K Random Write: 100 % Schreiben, 128 Threads, 0-120 % Iorate
- 64K sequentielles Lesen: 100 % Lesen, 32 Threads, 0-120 % Leserate
- 64K Sequentielles Schreiben: 100 % Schreiben, 16 Threads, 0-120 % Iorate
- Synthetische Datenbank: SQL und Oracle
- VDI-Vollklon- und Linked-Clone-Traces
An erster Stelle steht der 4K-Random-Read-Test, bei dem der mit vier PCIe-Gen65-SSDs ausgestattete Transport SX TS8253-B4 bis zu etwa 100 Million IOPS unter 1 µs blieb; Die Latenz erreichte ihren Höhepunkt bei 883 µs bei 2,158,810 IPS.
Als nächstes gelang es dem Server im 4K-Zufallsschreibtest, unter 100 µs zu bleiben, bis etwa 1.14 Millionen IPS erreicht waren. Danach erreichte er sein Maximum bei 1,540,708 IPS mit einer Latenz von 723 µs.
Kommen wir nun zu den sequentiellen 64K-Tests. Hier im Lesetest startete der Transport SX TS65-B8253 mit 1,780 MB/s oder 28,473 IOPS und 172 µs und erreichte die Spitze bei 18,857 MB/s oder 301,707 IOPS und 407 µs Latenz.
Beim sequentiellen 64K-Schreibtest lag der letzte Datenpunkt des Transport SX TS65-B8253 unter 200 µs bei 135 µs bei 5,331 MB/s; Der höchste Durchsatz betrug 6,935 MB/s oder 110,997 IOPS bei einer Latenz von 950 µs.
Als nächstes folgen unsere SQL-Workloads, SQL, SQL 90-10 und SQL 80-20. Beginnend mit SQL zeigte der Transport SX TS65-B8253 eine einigermaßen lineare Leistung, beginnend bei 105,848 IOPS bei 80 µs Latenz und Spitzenwert bei 8,266 MB/s und 119.7 µs.
Ähnliche Ergebnisse lieferte es im SQL 90-10-Test; Der Transport SX TS65-B8253 begann bei 694 MB/s (88,808 IOPS) mit 83 µs und erreichte seinen Höhepunkt bei 6,934 MB/s (887,533 IOPS) mit 142 µs Latenz.
Die Zahlen blieben auch im letzten Test, SQL 80-20, konstant und begannen bei 645 MB/s (82,498 IOPS) bei einer Latenz von 77 µs und erreichten 6,439 MB/s (824,183 IOPS) bei einer Latenz von 150 µs.
Als nächstes folgen unsere Oracle-Workloads: Oracle, Oracle 90-10 und Oracle 80-20. Der Transport SX TS65-B8253 erreichte einen Spitzenwert von 761,125 IOPS mit einer Latenz von 160 µs.
Die Oracle 90-10-Ergebnisse waren ähnlich; Der Spitzenwert lag bei 751,129 IOPS bei 116 µs.
Schließlich startete der Transport SX TS80-B20 im Oracle 65-8253-Test immer noch unter 80 µs und stieg auf 122–123 µs, wo er zwischen 670,549 IOPS und 710,651 IOPS erreichte.
Unser letzter Benchmark ist der VDI-Klontest, Full und Linked. Beim VDI Full Clone (FC) Boot erreichte der Transport SX TS65-B8253 671,375 IOPS mit einer Latenz von 184 µs.
Bei der VDI FC-Erstanmeldung war die Latenz zunächst sehr hoch, bevor sie allmählich abfiel. es erreichte 163,302 IOPS bei einer Latenz von 683 µs.
Beim VDI FC Monday Login sehen die Ergebnisse besser aus: Sie beginnen unter 300 µs, erreichen dann ihren Höhepunkt bei etwa 700 µs und fallen dann auf knapp über 100 µs ab. Der Spitzenwert von 136,382 IOPS trat bei 429 µs auf.
Bei den Linked Clone (LC)-Tests zeigte sich, dass der Transport SX TS65-B8253 im Boot-Test konstanter war, die Latenz bei etwa 200 µs lag und einen Spitzenwert von 278,780 IOPS (7,286 MB/s) erreichte.
Die Latenz begann bei der VDI LC-Erstanmeldung hoch, pendelte sich jedoch ein und endete bei 94,454 IOPS bei 381 µs.
Der letzte Test ist der VDI LC Monday Login, bei dem der Transport SX TS65-B8253 erneut mit einer hohen Latenz startete, bevor er sich einpendelte und gegen Ende noch einmal anstieg. Die höchsten IOPS lagen bei 105,854 bei 570 µs.
Schlussfolgerung
Der Transport SX TS65-B8253 von Tyan erfüllt seine vorgesehene Rolle als Cloud-Speicherserver einigermaßen gut. Dieser 2U-Server mit zwei Sockeln basiert auf den EPYC 7003-Prozessoren von AMD und unterstützt bis zu 12 Hot-Swap-fähige LFF-Laufwerke, von denen vier NVMe U.2 unterstützen. In unserem Test fielen uns das klare und wartungsfreundliche Design sowie alle üblichen Anschlüsse, Tasten und LEDs auf. Die mitgelieferte Verwaltungssoftware ist leichtgewichtig, erfüllt aber wesentliche Funktionen. Es erledigt also die Arbeit in Bezug auf KVM-Zugriff, Fernsteuerung der Stromversorgung und BIOS-Updates, übernimmt jedoch keine Out-of-Band-Verwaltungsbereiche wie die Speicherkonfiguration.
Einer der potenziellen Nachteile dieses Servers besteht darin, dass er nicht in einer alternativen Konfiguration mit SFF-Speicher verfügbar ist. Dafür bietet Tyan seinen 2U Transport SX TS65A-B8036 an, der jedoch nur eine CPU unterstützt. Ein weiterer potenzieller Nachteil besteht darin, dass es auf nur 16 DIMM-Steckplätze beschränkt ist, obwohl die Speicherobergrenze immer noch bei stolzen 4 TB liegt, vorausgesetzt, Sie verwenden 256-GB-DIMMs, was nicht die günstigste Option ist. Ein weiterer Grund ist, dass dem Transport SX TS65-B8253 kein OCP-Mezzanine-Steckplatz zur Verfügung steht. Wenn Sie jedoch zusätzliche Netzwerkanschlüsse benötigen, bietet er auch sieben PCIe-Steckplätze. Dabei geht es um Gehäuseoptimierungen, und die Plattform wurde lediglich so konzipiert, dass sie eine Schnittstelle gegenüber einer anderen optimal nutzt.
Für Leistungstests haben wir den Transport SX TS65-B8253 durch unsere Anwendungs-Workload-Analyse laufen lassen, einschließlich SQL Server-Latenz und Sysbench sowie VDBench. Bei der SQL Server-Latenz wurde eine aggregierte durchschnittliche Latenz von nur 1 µs zurückgegeben. Im Sysbench verzeichneten wir insgesamt 27,016 TPS, eine durchschnittliche Latenz von 9.48 µs und eine Latenz von 16.55 µs im Worst-Case-99.-Perzentil-Test, alles sehr gute Zahlen.
Bei unseren SQL-Tests haben wir ein Maximum von 1.06 Millionen IOPS bei der SQL-Workload, 888 KB bei SQL 90-10 und 824 KB bei SQL 80-20 beobachtet. Inzwischen haben wir in unseren Oracle-Tests 761 IOPS bei der Oracle-Workload, 751 bei Oracle 90-10 und 711 bei Oracle 80-20 festgestellt. In VDBench haben wir 2.22 Millionen IOPS beim 4K-Lesen, 1.63 Millionen beim 4K-Schreiben, 309K beim 64K-Lesen und 213K beim 64K-Schreiben aufgezeichnet. Schließlich erreichte der Transport SX TS65-B8253 in unseren VDI-Full-Clone-Tests 671 IOPS beim Booten, 163 beim ersten Login und 137 beim Montag-Login; Die Linked-Clone-Zahlen für diese Benchmarks betrugen 279, 94 und 106 IOPS.
Letztendlich bedeutet die Unterstützung des Tyan Transport SX TS65-B8253 für dichten Speicher und zwei Epyc-Gen3-CPUs, dass er eine starke Leistung erbringen kann, was durch die verbleibende Sysbench-Leistung deutlich wird. Der einzige Punkt, der ihn von höheren Zahlen in diesem Test abhält, wären mehr NVMe-Schächte. Tyan ging mit dem 12-Bay-Design einen Kompromiss zwischen Speicherdichte und Speicherleistung ein, was nicht wirklich gut oder schlecht ist, sondern nur etwas, das man verstehen sollte. Insgesamt ist dies eine gute Wahl als Cloud-Speicher oder Big-Data-Server mit viel Flexibilität für Leistungsanwendungen.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | LinkedIn | Instagram | Twitter | Facebook | TikTok | RSS Feed