Testbericht zum GPU-Server von OVHcloud in den USA

In der sich ständig weiterentwickelnden Landschaft der Entwicklung künstlicher Intelligenz (KI) hat Cloud-Training die Art und Weise revolutioniert, wie KI-Modelle erstellt, verfeinert und bereitgestellt werden. Cloud-Training, eine Methode zum Trainieren von KI-Modellen mithilfe einer Remote-Cloud-Infrastruktur, bringt viele Vorteile mit sich, die die KI-Entwicklung in neue Bereiche der Skalierbarkeit, Effizienz und Zugänglichkeit treiben.

In der sich ständig weiterentwickelnden Landschaft der Entwicklung künstlicher Intelligenz (KI) hat Cloud-Training die Art und Weise revolutioniert, wie KI-Modelle erstellt, verfeinert und bereitgestellt werden. Cloud-Training, eine Methode zum Trainieren von KI-Modellen mithilfe einer Remote-Cloud-Infrastruktur, bringt viele Vorteile mit sich, die die KI-Entwicklung in neue Bereiche der Skalierbarkeit, Effizienz und Zugänglichkeit treiben.

Durch die Nutzung der Leistungsfähigkeit von Cloud Computing können Unternehmen und Entwickler eine Reihe von Vorteilen nutzen, die den KI-Schulungsprozess rationalisieren und Innovationen auf bisher unerreichbare Weise beschleunigen. Von müheloser Skalierbarkeit bis hin zur speziellen Hardware-Nutzung – Cloud-Training versetzt KI-Anwender in die Lage, komplexe Herausforderungen agil zu meistern und das volle Potenzial ihrer Modelle auszuschöpfen.

Wer ist OVHcloud US?

Obwohl kein bekannter Name, bietet OVHcloud US, die in den USA ansässige Tochtergesellschaft der OVH Group, Bare-Metal-Server, gehostete Private Cloud- und Hybrid-Cloud-Lösungen an. Ihre Lösungen decken alles ab, von dedizierten Servern für Videospiele über maßgeschneiderte gehostete private Cloud-Dienste für große Unternehmen bis hin zu allem dazwischen. In diesem Test werden wir ihre Public-Cloud-Rechendienste untersuchen, insbesondere die GPU-Cloud mit NVIDIA Tesla V100S-GPUs. Diese GPU-Instanzen sind für alles konzipiert, was von der Parallelverarbeitung profitieren würde, sei es grundlegendes maschinelles Lernen, generative KI oder spezifisches KI-Modelltraining.

Eines der wichtigsten Dinge, die wir heute betrachten möchten, sind die Vorteile der Cloud-basierten GPU-Verarbeitung gegenüber lokalen Lösungen. Für beides gibt es sicherlich Argumente, aber OVHcloud US bietet einige überzeugende Gründe, in die Cloud zu wechseln, selbst wenn es nur um den Einstieg in Ihre persönliche oder geschäftliche KI-Reise geht.

Das Hauptverkaufsargument ist zweifellos der Preis. Ab 0.88 US-Dollar pro Stunde für einen einzelnen Tesla V100S mit 32 GB VRAM, 14 virtuellen Kernen und 45 GB Arbeitsspeicher ist es möglich, Tausende von Stunden an Zyklen zu nutzen, bevor man auch nur annähernd die Kosten einer lokalen Lösung erreicht. Hinzu kommt das Kosten-Nutzen-Verhältnis der Ergänzung bestehender interner GPU-Maschinen durch Cloud-basierte Instanzen für Dinge wie gelegentliches Umschulen von KI-Modellen.

Die GPU-Angebote von OVHcloud US sind in die folgenden Instanzen unterteilt:

*neu veröffentlicht

OVHcloud US GPU-Server-Hardware

Werfen wir einen genaueren Blick auf die Hardwareoptionen, die OVHcloud US bietet. Das Herzstück der GPU-Instanzen ist die NVIDIA Tesla V100S, eine für die Datenverarbeitung optimierte GPU mit 32 GB HBM2-Speicher. Während die neueren Tesla A100 diese GPUs in erster Linie abgelöst haben, bietet der V100S immer noch eine hervorragende Leistung und ein hervorragendes Preis-Leistungs-Verhältnis.

Der wichtigste Aspekt dieser Instanzen ist, dass sie cloudbasiert sind, sodass sie keine Systeme, die Sie möglicherweise vor Ort haben, binden, was sie zu einer idealen Lösung für „Einrichten und Vergessen“-Workflows macht. Diese GPUs werden über PCI-Passthrough ohne Virtualisierungsschicht direkt an die Instanz geliefert, sodass jede Karte dediziert für Ihre Arbeit genutzt werden kann.
Auf der CPU-Seite wird nicht angegeben, welche spezifischen SKUs Sie erhalten, aber sie garantieren mindestens 2.2 GHz auf allen Kernen, was für die meisten Anwendungen schnell genug ist. Unser spezieller Fall berichtete, dass uns ein Intel Xeon Gold 6226R mit 14 seiner 32 Threads zur Verfügung stand. Die Anzahl der virtuellen Kerne reicht von 14 bis 56.

OVHcloud US bietet verschiedene Optionen mit schnelleren CPUs an, wenn Ihr Anwendungsfall dies erfordert. Die Speicheroptionen reichen von 45 GB bis 180 GB, was für die meisten GPU-fokussierten Arbeitsabläufe ausreichend sein sollte. Dasselbe gilt für den Speicher, mit Kapazitäten von 300 GB bis hin zu einem dedizierten 2 TB NVMe-Laufwerk.

OVHcloud US GPU-Server – Beliebte KI-Anwendungsfälle

Entwicklung

Das Einrichten und Ausführen einer Instanz ist schnell genug und kostengünstig genug, sodass OVHcloud selbst für Gelegenheitsentwickler ein überzeugendes Argument darstellt, mit einer anständigen GPU herumzuspielen. Theoretisch könnten Sie alle Ihre Trainingsdaten lokal erstellen, sie auf den Cloud-Datenanbieter Ihrer Wahl laden, eine Instanz einrichten und mit dem Training/Feinabstimmung verschiedener online verfügbarer Modelle beginnen.

Durch strenge Tests dieses Szenarios haben wir eine Reihe anspruchsvoller Lösungen entwickelt Lama Geschmacksrichtungen durch Verwendung des Alpaca-Codes und umgerechneter Huggingface-Gewichte. Diese Geschmacksrichtungen können nahtlos auf Ihrem Gerät zubereitet, bequem auf Google Drive hochgeladen, mühelos auf die Instanz heruntergeladen und fachmännisch verfeinert werden. Jetzt arbeiten wir mit den Modellen mit niedrigeren Parametern, um in die 32 GB VRAM zu passen, die wir hatten, und es war immer noch eine viel handlichere Option, als zu versuchen, eine vergleichbare Karte wie eine RTX8000 zu kaufen, um sie ins Heimlabor zu werfen.

Kleine Unternehmen könnten diese Strategie nutzen, um einem Entwickler oder Team jetzt Zugriff auf GPU-Computing zu ermöglichen, anstatt auf Hardware oder umfangreiche Budgetgenehmigungen zu warten.

Inferenz

Der V100S ist eine großartige GPU zum Ableiten von LLMs, die in seinen Speicher passen. Während sich die Inferenzzeiten von denen unterscheiden, die Sie mit Diensten wie ChatGPT erhalten würden, bringt der Kompromiss den Vorteil mit sich, dass Sie Ihr eigenes privates Modell betreiben können. Wie üblich fallen für den Betrieb eines Cloud-Dienstes mit 24/7-Verfügbarkeit Kosten an, aber es würde Monate dauern, bis die Instanz zum aktuellen Preis von 0.88 US-Dollar pro Stunde läuft, um annähernd die Infrastruktur zu erreichen, die dafür vor Ort erforderlich ist.

Bilderkennung

Eindrücke aus der Praxis

Das OVHcloud US-Portal war von Anfang an intuitiv und die Einrichtung einfach. Erstellen Sie ein Konto, fügen Sie eine Zahlungsmethode hinzu, erstellen Sie einige SSH-Schlüssel, wählen Sie die Instanz aus, schnappen Sie sich ein Red Bull und übertragen Sie SSH auf Ihre neue GPU-Box. Wir haben Ubuntu Server verwendet, es sind jedoch auch andere Optionen für Linux-Versionen und -Varianten verfügbar, darunter Fedora, Arch, Debian CenOS, AlmaLinux und Rocky.

Es besteht auch die Möglichkeit, verschiedene Betriebssystem-Images zu installieren, die Apps wie Docker enthalten.

Als wir den US-GPU-Server von OVHcloud ausprobierten, empfanden wir die Erfahrung als unglaublich benutzerfreundlich und reaktionsschnell. Das Einrichten der Instanz war ein Kinderspiel und der Zugriff auf die GPU-Ressourcen verlief praktisch nahtlos. Ob beim Testen komplexer Modelle für maschinelles Lernen oder bei der Bewältigung umfangreicher Datenverarbeitungsaufgaben – die GPU-Instanzen von OVHcloud US zeigten eine bemerkenswerte Leistung.

Darüber hinaus ermöglichte uns die Flexibilität bei der Skalierung der Ressourcen, die Umgebung an unsere spezifischen Bedürfnisse anzupassen. Von der Benutzeroberfläche bis zur zugrunde liegenden Hardware wurde alles darauf ausgelegt, einen reibungslosen und effizienten Arbeitsablauf zu ermöglichen. Die Unterstützung verschiedener beliebter KI-Frameworks in Kombination mit der Leistung der NVIDIA Tesla V100S-GPUs machte unsere Experimente sowie das Modelltraining und die Inferenzierung nicht nur möglich, sondern auch äußerst effektiv.

Die Möglichkeit, unsere internen Ressourcen mit diesen cloudbasierten Lösungen zu erweitern, bestätigte, dass OVHcloud US eine attraktive Option ist, sowohl für Einsteiger, die ihre ersten Schritte in der KI machen, als auch für erfahrene Profis, die nach zuverlässigen und kostengünstigen Lösungen suchen.

Wir haben einige Benchmarks durchgeführt, um die CPU-Zuteilungsleistung und die V100-Implementierung zu testen. Zuerst kam der Blender-CLI-Benchmark und dann unser Lieblings-CPU-Benchmark, Y-Cruncher.

Die t2-45le-Instanz lieferte beim Testen Ergebnisse, die ihren Spezifikationen entsprachen, und zeigte keine Überraschungen bei ihren Leistungsmetriken. Wenn der V100 an Bord ist, ist es offensichtlich, dass er intensive Inferenzaufgaben bewältigen kann und sogar cloudbasierte Schulungsvorgänge sowohl hinsichtlich der Leistung als auch der Kosten effektiv unterstützt.

Abschließende Gedanken

Wie bei allem in der Unternehmens-IT gibt es Vor- und Nachteile. Dasselbe gilt auch für Cloud-Trainings-KI. Cloud-Training mit OVHcloud US GPU-Servern bietet Skalierbarkeit, Kosteneffizienz und beschleunigte Entwicklung und öffnet die Tür zu Innovation und Experimenten. Spezialisierte Hardware, globale Zugänglichkeit und nahtlose Zusammenarbeit machen cloudbasierte KI bereit für bahnbrechende Entdeckungen.

Diese Vorteile bestehen neben den Realitäten der Datensicherheitsbedenken und der Netzwerkstabilität. Angesichts der möglicherweise steilen Lernkurve sollte das Cloud-Training für KI mit Vorsicht angegangen werden und Unternehmen darauf aufmerksam machen, einen strategischen Kurs festzulegen, der auf ihre individuellen Bedürfnisse und Prioritäten abgestimmt ist.

Obwohl wir nur den spezifischen GPU-Server erwähnt haben, verfügt OVHcloud US über ein umfassendes Serviceangebot. Insgesamt war der Support freundlich und sie haben nach unserer ersten Anmeldung nachgefragt, ob wir Hilfe benötigten. Das Portal war intuitiv, einfach zu bedienen und zu verstehen und das System funktionierte genau wie erwartet. Der einzige Nachteil könnte das Fehlen von Regionen sein, aber das wird angesichts der Kosten und der Einfachheit leicht übersehen. OVHcloud US erhält eine solide Empfehlung und geht in unsere Tasche als potenzieller Cloud-Anbieter für zukünftige Projekte, die außerhalb des Labors durchgeführt werden müssen oder nur ein wenig zusätzliche Leistung gemietet werden müssen, um einen Job zu erledigen.

Während wir uns in dieser dynamischen Landschaft zurechtfinden, ist es wichtig, das Cloud-Training für KI mit einer ausgewogenen Perspektive anzugehen, die Chancen zu nutzen und gleichzeitig die Herausforderungen pragmatisch anzugehen. Der Weg zur KI-Exzellenz, der von Einfallsreichtum und Praktikabilität geprägt ist, wird durch das Verständnis des komplexen Zusammenspiels dieser Vor- und Nachteile und die Entwicklung von Strategien geprägt, die Ersteres nutzen und Letzteres abmildern.

OVHcloud USA

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed