Mit welchen Test-Workloads lassen sich AWS, Azure und Google AI am besten vergleichen?

Die besten Test-Workloads für den Vergleich von AWS, Azure und Google AI bestehen aus einer Mischung aus verwalteter LLM-Inferenz, Einbettung und Abruf, Feinabstimmung oder Training sowie Stapelverarbeitung, wobei jede mit identischen Eingabeaufforderungen, Modellen und Regionseinstellungen ausgeführt wird. Zusammen zeigen sie, wie sich Latenz, Durchsatz und Kosten je nach Anbieter unterscheiden. Verwenden Sie in jeder Cloud dieselben Daten und Erfolgskriterien, da der Vergleich sonst seinen Wert verliert.

Die richtige Zusammensetzung hängt davon ab, was Sie in der Produktion ausführen möchten. In diesem Artikel wird erläutert, was einen fairen Benchmark ausmacht, welche Workloads ausgewählt werden sollten, welche Kennzahlen erfasst werden müssen und wie man die Kosten vergleicht und genügend Tests durchführt, um den Ergebnissen vertrauen zu können.

Was macht eine KI-Benchmark-Workload cloudübergreifend fair?

Ein fairer KI-Benchmark-Workload verwendet in jeder Cloud dieselbe Modellklasse, dieselben Eingabedaten, denselben Regionstyp und dieselben Erfolgskriterien. Wenn Sie eine dieser Variablen ändern, messen Sie den Unterschied in Ihrer Konfiguration und nicht den Unterschied zwischen AWS, Azure und Google. Die Kontrolle steht an erster Stelle, die Messung an zweiter Stelle.

Beachten Sie diese Regeln, bevor Sie irgendetwas ausführen:

  • Ordne das Modell zu: Vergleichen Sie Gleiches mit Gleichem. Wenn ein Anbieter ein proprietäres Modell anbietet, fügen Sie ein offenes oder gemeinsames Modell hinzu, das auf allen drei Plattformen verfügbar ist, damit Sie eine neutrale Vergleichsgrundlage haben.
  • Daten korrigieren: Verwenden Sie für jeden Durchlauf einen Prompt-Satz, einen Dokumentenkorpus und eine Begrenzung der Ausgabelänge.
  • Bereich ausrichten: Führen Sie Tests in vergleichbaren Regionen durch, die sich in der Nähe Ihrer Nutzer und Daten befinden, da die Netzwerkentfernung die Latenz beeinflusst.
  • Dokumentieren Sie die Konfiguration: Notieren Sie sich Instanztypen, Kontingente, Sicherheitsfilter und Caching-Einstellungen, da jeder dieser Faktoren das Ergebnis beeinflusst.
  • Definieren Sie Erfolg von vornherein: Einigen Sie sich zunächst auf Qualitätskriterien wie beispielsweise die Richtigkeit der Antworten, bevor Sie Aspekte wie Geschwindigkeit oder Preis berücksichtigen.

Auch die Preismodelle unterscheiden sich je nach Anbieter. Notieren Sie sich daher vor Beginn, wie die einzelnen Anbieter ihre Leistungen abrechnen. So vermeiden Sie Überraschungen, wenn Sie zum Kostenvergleich kommen.

Mit welchen Test-Workloads lassen sich Cloud-KI-Plattformen am besten vergleichen?

Die aussagekräftigsten Test-Workloads sind die Echtzeit-Inferenz mit großen Sprachmodellen (LLM), die „Retrieval-Augmented Generation“ (RAG), die Stapelverarbeitung von Dokumenten, das Fine-Tuning sowie Sprach- oder Bildverarbeitungsaufgaben. Diese Auswahl deckt die wichtigsten Anwendungsbereiche generativer KI in Unternehmen ab und zeigt auf, in welchen Bereichen die einzelnen Cloud-Anbieter gute bzw. schlechte Leistungen erbringen.

Echtzeit-Inferenz und Chat-Workloads

Senden Sie einen festen Satz von Abfragen mit unterschiedlichen Parallelitätsstufen und messen Sie, wie die einzelnen Plattformen darauf reagieren. Dieser Benchmark zur Inferenzlatenz zeigt, wie sich der Dienst unter realistischer Nutzerlast verhält, auch zu Spitzenzeiten.

RAG und Einbettungs-Workloads

Indizieren Sie denselben Dokumentensatz auf jeder Plattform und führen Sie anschließend identische Abfragen darauf durch. Auf diese Weise werden die Einbettungsgeschwindigkeit, die Leistung der Vektorsuche und die Antwortqualität gemeinsam getestet, was der Funktionsweise vieler Unternehmensassistenten entspricht.

Ergänzen Sie diese beiden um einen Batch-Job, der über Nacht Tausende von Dokumenten zusammenfasst, einen Feinabstimmungslauf an einem kleinen, festen Datensatz sowie eine multimodale Aufgabe wie Bildklassifizierung oder Transkription. Wählen Sie die Workloads aus, die Ihrer Roadmap entsprechen, und nicht einfach alle verfügbaren Workloads.

Inwiefern unterscheiden sich verwaltete KI-Dienste von reinen GPU-Infrastrukturtests?

Managed-AI-Dienste wie Amazon Bedrock, Azure OpenAI Service und Google Vertex AI werden pro Token oder pro Anfrage abgerechnet und verbergen die Hardware. Bei reinen GPU-Tests erfolgt die Abrechnung pro Instanzstunde, wobei Hardware, Treiber und Skalierung offengelegt werden. Man führt für beide Arten separate Benchmarks durch, da sie unterschiedliche Fragen beantworten.

Managed Services testen, wie schnell Ihr Team Ergebnisse liefern kann und wie vorhersehbar die Kosten pro Anfrage sind. GPU-Tests zeigen, wie effizient Sie die von Ihnen kontrollierte Hardware nutzen können, und belohnen dabei Ihre Fähigkeiten zur Optimierung. Ein verwalteter Endpunkt mag pro Aufruf teurer erscheinen, kostet aber insgesamt weniger, wenn man den Entwicklungsaufwand und die ungenutzte Kapazität mit einbezieht.

Wenn Sie erwägen, eine eigene Plattform aufzubauen, sollten Sie beide Szenarien durchspielen und die Ergebnisse in separaten Tabellen festhalten. Die Vermischung eines Preises pro Token mit einem Preis pro Stunde in einem Diagramm führt zu irreführenden Schlussfolgerungen.

Welche Kennzahlen sollten für jede Arbeitslast gemessen werden?

Erfassen Sie Latenz, Durchsatz, Qualität, Zuverlässigkeit und Kosten für jede Arbeitslast. Erfassen Sie bei der Inferenz die Zeit bis zum ersten Token, die Gesamtantwortzeit und die Anzahl der Token pro Sekunde. Erfassen Sie beim Abruf die Indizierungszeit und die Antwortgenauigkeit. Erfassen Sie beim Training die Zeit bis zum Abschluss und die Kosten pro Durchlauf.

Verwenden Sie diesen Kernsatz an Kennzahlen:

  1. Latenz: Geben Sie die Werte für p50, p95 und p99 an, nicht nur den Durchschnittswert, da die Latenz am Ende des Verteilungsbereichs die Benutzererfahrung beeinflusst.
  2. Durchsatz: Erfassen Sie die Anzahl der Anfragen oder Token pro Sekunde bei verschiedenen Parallelitätsstufen.
  3. Qualität: Die Ergebnisse werden anhand einer Referenzmenge bewertet, entweder durch menschliche Überprüfung oder mithilfe eines konsistenten automatisierten Bewertungssystems.
  4. Zuverlässigkeit: Verfolgen Sie Fehlerquoten, Drosselungsereignisse und Kontingentgrenzen.
  5. Kosten: Erfassen Sie den gesamten Rechnungsbetrag pro Workload, einschließlich Datenübertragung und Speicherung.

Qualität ist genauso wichtig wie Geschwindigkeit. Ein schnelleres Modell, das weniger aussagekräftige Ergebnisse liefert, geht im Vergleich nicht als Sieger hervor.

Wie lassen sich die KI-Kosten bei AWS, Azure und Google miteinander vergleichen?

Vergleichen Sie die KI-Kosten, indem Sie die Gesamtkosten pro Einheit nützlicher Leistung berechnen – beispielsweise die Kosten pro 1.000 bearbeitete Anfragen –, anstatt die Listenpreise miteinander zu vergleichen. Berücksichtigen Sie dabei Token-Gebühren, Rechenleistung, Speicherplatz, Netzwerkkosten und Support und dividieren Sie diese Summe durch ein qualitätsbereinigtes Ergebnis. So erhalten Sie einen fairen Vergleich der Cloud-KI-Kosten.

Listenpreise sind irreführend, da Rabatte, verbindliche Ausgaben, reservierte Kapazitäten und kostenlose Kontingente je nach Vertrag variieren. Kennzeichnen Sie alle Testressourcen einheitlich, damit Sie die Ausgaben pro Workload und pro Anbieter zuordnen können. Normalisieren Sie Währungen und Abrechnungszeiträume und halten Sie die Preisannahmen in einem gemeinsamen Dokument fest.

Hier ist, wo FinOps-Verfahren Mehrwert für KI-Workloads schaffen. Die Wirtschaftlichkeit pro Einheit, die Kostenverteilung und klare Zuständigkeiten machen aus einem einmaligen Benchmark-Vergleich einen wiederholbaren Entscheidungsprozess. Ein Benchmark fließt zudem in Portfolioentscheidungen ein, da er aufzeigt, welche KI-Initiativen zu akzeptablen Kosten einen Mehrwert liefern, was wiederum strategisches Portfolio-Management.

Wie viele Testläufe sind erforderlich, um zuverlässige Ergebnisse zu erhalten?

Führen Sie jede Workload mindestens fünf- bis zehnmal pro Plattform durch, verteilt auf verschiedene Tage und Uhrzeiten, und geben Sie den Medianwert sowie die Streuung an. Ein einzelner Durchlauf reicht nicht aus, um echte Unterschiede von normalen Schwankungen zu unterscheiden, die durch gemeinsam genutzte Infrastruktur, Traffic-Spitzen und Modellaktualisierungen verursacht werden.

Befolgen Sie diese Vorgehensweisen, um die Zuverlässigkeit der Ergebnisse zu gewährleisten:

  • Fügen Sie eine Aufwärmphase ein und verwerfen Sie diese anschließend, damit Kaltstarts die Zahlen nicht verfälschen.
  • Führen Sie Tests sowohl während der Geschäftszeiten als auch in ruhigen Phasen durch, um Lastschwankungen zu erfassen.
  • Wiederholen Sie den vollständigen Benchmark nach einigen Wochen, da die Anbieter ihre Modelle und Hardware regelmäßig aktualisieren.
  • Geben Sie die Spannweiten und Perzentile an und kennzeichnen Sie alle Ergebnisse, bei denen die Abweichung zwischen den Anbietern geringer ist als die Schwankung von Durchlauf zu Durchlauf.

Wenn zwei Plattformen in Bezug auf diese Kennzahl Ergebnisse liefern, die innerhalb der statistischen Streuung liegen, sollten Sie sie in dieser Hinsicht als gleichwertig betrachten und Ihre Entscheidung stattdessen anhand der Kosten, der Governance oder der Integrationsmöglichkeiten treffen.

Wie FinOps beim Vergleich von AWS, Azure und Google AI hilft

Wir helfen Ihnen dabei, einen technischen Benchmark in eine finanziell fundierte Entscheidung umzuwandeln, die Sie verteidigen können. Technische Teams messen Geschwindigkeit und Qualität, während die Finanzabteilung fragt, welche Kosten bei großem Maßstab anfallen. Wir bringen beide Sichtweisen zusammen, sodass Sie KI-Plattformen anhand ihres geschäftlichen Nutzens und nicht nur anhand von Leistungsdiagrammen vergleichen können.

Das tun wir für Sie:

  • Entwickeln Sie einen fairen Benchmark-Ansatz mit vereinbarten Arbeitslasten, Kennzahlen und Tags zur Kostenverrechnung.
  • Erstellen Sie Modelle für Stückkosten, wie beispielsweise Kosten pro Anfrage oder pro gelöstem Fall, für AWS, Azure und Google.
  • Kombinieren Sie Cloud- und On-Premise-Ansichten, damit Sie Managed-AI-Lösungen, Cloud-GPUs und Ihre eigene Hardware gegeneinander abwägen können.
  • Legen Sie Verantwortlichkeiten, Zuständigkeiten und einen regelmäßigen Überprüfungsrhythmus fest, damit die KI-Ausgaben auch nach der Testphase unter Kontrolle bleiben.
  • Schulen Sie Ihre Teams in den Bereichen Finanzen, IT und Technik darin, auf der Grundlage derselben Daten zu arbeiten.

Möchten Sie Cloud-KI-Plattformen fundiert vergleichen? Nehmen Sie Kontakt mit uns auf und wir helfen Ihnen dabei, einen Maßstab zu entwickeln, der eine klare und kostenbewusste Entscheidung ermöglicht.

Sein Wert
Datenschutz-Übersicht

Diese Website verwendet Cookies, damit wir dir die bestmögliche Benutzererfahrung bieten können. Cookie-Informationen werden in deinem Browser gespeichert und führen Funktionen aus, wie das Wiedererkennen von dir, wenn du auf unsere Website zurückkehrst, und hilft unserem Team zu verstehen, welche Abschnitte der Website für dich am interessantesten und nützlichsten sind.