Die Leistung beschreibt, wie schnell die Karte Energie verbraucht. Um eine ganze Aufgabe zu bewerten, braucht man auch die Zeit. Ein kürzerer Lauf mit höherer Leistung kann weniger Energie verbrauchen als ein längerer mit niedrigerer Leistung. Wattwerte sollten deshalb zusammen mit Antwortzeit und erledigter Arbeit betrachtet werden.
Diese Serie misst die NVIDIA RTX PRO 6000 Blackwell Max-Q beim Betrieb von Sprachmodellen. Wir verwenden GPU-Messwerte, keinen Stromzähler an der Steckdose. CPU, RAM, Laufwerke, Lüfter und Netzteilverluste sind nicht enthalten. Unsere gemeinsame LLM-Methodik beschreibt die Berechnungsregeln.
Watt und Wattstunden kurz erklärt
Ein Watt (W) misst Leistung. Eine Wattstunde (Wh) misst die über einen Zeitraum verbrauchte Energie. Beispielsweise ergeben konstante 100 W über zwei Stunden 200 Wh. Dies ist ein Rechenbeispiel, keine Messung unseres Servers. Eine Kilowattstunde, kurz kWh, entspricht 1000 Wh.
Das Diagramm vergleicht die mittlere Kartenleistung für drei Modelle. Eine separate Stundentabelle zeigt den längeren Betrieb. Zur Energieberechnung berücksichtigen wir Dauer und Änderungen zwischen den Messwerten. Ein konfiguriertes GPU-Leistungslimit bedeutet nicht, dass die Karte den ganzen Tag genau diesen Wert aufnimmt.
Leistungsaufnahme bei Antworten dreier Modelle
Die Bezeichnungen 8B, 32B und 72B beschreiben die Modellgröße in Milliarden Parametern. Q4_K_M ist eine kompaktere Speicherform, erläutert in unserem KI- und GPU-Glossar.
| Modell und Format | GPU-Leistung während der Antworten, Stichprobenmittelwert |
|---|---|
| Qwen3-8B Q4_K_M | 299.5 W |
| Qwen3-32B Q4_K_M | 300.0 W |
| Qwen2.5-72B-Instruct Q4_K_M | 300.0 W |
Der erste Vergleich verwendet dieselbe kürzere Eingabe, jeweils eine Antwort und fünf Wiederholungen pro Modell. Angegeben ist der Mittelwert der Leistungsmesswerte innerhalb der gemessenen Antworten, ohne Laden des Modells und anfängliches Aufwärmen. Verglichen werden vollständige Modellkonfigurationen, nicht isoliert die Anzahl der Parameter.
Unter dieser Last lag die GPU-Leistung aller drei Konfigurationen ähnlich bei etwa 300 W. Die Antwortdauer unterschied sich jedoch: Die jeweiligen Mediane betrugen 1.5 s, 5.5 s und 11.6 s. Ähnliche Leistung bedeutet daher nicht dieselbe Energie für die erledigte Arbeit. Vergleichen Sie bei der Modellwahl Wartezeit und Richtigkeit der Antworten auf Ihre eigenen Fragen, statt allein nach Watt zu entscheiden.
Was geschieht im längeren Betrieb?
Nur Antwortintervalle
Zunächst fassen wir den langen 32B-Lauf zusammen. Die Dauer reicht von der ersten gemessenen Anfrage bis zur letzten Antwort. Energie und mittlere Leistung beziehen sich jedoch nur auf Intervalle mit gemessenen Antworten, ohne Pausen zwischen den Runden.
| Gemessene Dauer | GPU-Energie in Antwortfenstern | GPU-Leistung in Antwortfenstern, zeitgewichteter Mittelwert |
|---|---|---|
| 240.3 min | 1200.7 Wh | 300.0 W |
Volle Stunden einschließlich Pausen
Die folgende Tabelle unterteilt denselben Lauf in vier volle Stunden und zeigt die zeitliche Verteilung der Kartenlast.
| Vollständige verstrichene Teststunde | Zeitgewichtete mittlere GPU-Leistung | GPU-Energie in dieser Stunde |
|---|---|---|
| 1 | 300.0 W | 300.0 Wh |
| 2 | 300.0 W | 300.0 Wh |
| 3 | 300.0 W | 300.0 Wh |
| 4 | 300.0 W | 300.0 Wh |
Über die vier vollständigen Stunden verbrauchte allein die Karte etwa 1.2 kWh. Auf eine Dezimalstelle gerundet erscheinen die Stundenwerte identisch; die Datendatei enthält die exakten Werte. Die vollständige Messung dauerte etwas länger als vier Stunden. Deshalb entspricht die Energie ihrer Antwortfenster nicht exakt der Summe dieser vier Zeilen.
Die Stundenfenster beginnen mit der ersten gemessenen Anfrage im langen Qwen3-32B-Lauf. Jedes umfasst eine volle Stunde verstrichener Zeit einschließlich kurzer Lücken zwischen Runden. Das unterscheidet sich von den oben beschriebenen Intervallen ausschließlich aktiver Antworten. Die mittlere Stundenleistung wird aus Energie und tatsächlicher Fensterdauer berechnet.
Der Server schloss einen vierstündigen Test zur Anfragebearbeitung ab. Die Temperatur blieb in der gemessenen Konfiguration stabil. Dieses Ergebnis beschreibt diesen Lauf, nicht eine ununterbrochen volle GPU-Auslastung oder identische Geschwindigkeit jeder Antwort.
Wie hilft das in der Praxis?
Vergleichen Sie bei der Planung einer Auftragswarteschlange die Energie mit der Zeit bis zu einem brauchbaren Ergebnis. Ein schnell fertig werdendes Modell kann die Karte für eine andere Aufgabe oder eine geringere Last freigeben. Lange Dokumente und gleichzeitige Anfragen erzeugen zudem ein anderes Lastprofil als gelegentliche kurze Fragen.
Beispielsweise könnte ein Stapel Support-Tickets vom Anfang bis zum Abschluss des gesamten Stapels gemessen werden. Der Vergleich zweier Konfigurationen erfordert dieselben Aufgaben und eine Prüfung der Antwortkorrektheit. Dieser Artikel rechnet synthetische Tokenzahlen nicht in Energie „pro korrekt verarbeitetem Dokument“ um.
Diese Beobachtungen helfen, Infrastruktur und Anwendungsverhalten auseinanderzuhalten. Höhere GPU-Leistung ist nicht automatisch ein Problem, ebenso wenig beweist niedrigere Leistung eine höhere Effizienz. Entscheidend ist der Kontext: Was hat die Karte getan und wie lange dauerte die Arbeit?
Wie sieht es mit den Stromkosten des ganzen Servers aus?
Um die Kosten der gesamten Maschine zu berechnen, braucht man eine separate Leistungsmessung und den tatsächlichen Strompreis. Das Addieren von Komponentenlimits ersetzt dies nicht. GPU-Messwerte werden nicht als Gesamtverbrauch des Servers dargestellt.
Der sinnvollste Vergleich verbindet Energie, Dauer und Ergebnis derselben Aufgabe. Hier liefern wir Messungen des GPU-Anteils unter einer definierten Last. Der API-Antworttest ergänzt Wartezeiten und Anfragezahlen; unser CPU-Artikel erklärt die Arbeit des Hauptprozessors. Angebot ansehen oder Ihre geplante Rechenaufgabe beschreiben.
Technische Details
Gemeinsame Einstellungen und zwei Zeitbezüge
Der kurze CORE-1.1-Vergleich verwendet Qwen3-8B Q4_K_M, Qwen3-32B Q4_K_M und Qwen2.5-72B-Instruct Q4_K_M. Die Leistungstabelle verwendet 2048 Eingabe-Tokens, 256 Ausgabe-Tokens, eine Anfrage und einen Slot mit einer Zuweisung von 8704 Tokens. Jedes Szenario hat eine vollständige Aufwärmrunde und fünf Messrunden. Die Leistung stammt aus nvidia-smi-Messwerten innerhalb der Vereinigung der Antwortfenster, nicht aus der gesamten Prozesslaufzeit.
Die Dauerlast betrifft ausschließlich 32B: 8192 Eingabe-Tokens, vier gleichzeitige Anfragen und vier Slots mit einer Gesamtzuweisung von 34816 sowie 256 Ausgabe-Tokens. Das Messintervall reicht von der ersten gemessenen Anfrage bis zur letzten abgeschlossenen Antwort. Laden, Aufwärmen und abschließendes Abkühlen liegen außerhalb.
Energie und Vollständigkeit der Telemetrie
Wir integrieren zeitgestempelte Leistungsmesswerte mit der Trapezregel. Verfügbare Messwerte müssen die Fenstergrenzen umschließen; keine Lücke darf größer als drei Sekunden sein. Bei fehlender Abdeckung ist die Energie nicht verfügbar: Das erlaubt weder Hochrechnung noch den Ersatz durch das Leistungslimit der Karte.
Vier Stundenfenster werden separat ab Beginn der Messarbeit berechnet. Die zeitgewichtete mittlere Leistung ist Energie geteilt durch Fensterdauer, kein Durchschnitt früherer Diagramme. Energie innerhalb aktiver Antwortfenster und Energie über das gesamte verstrichene Intervall haben unterschiedliche Bedeutungen, besonders bei Pausen zwischen Aufgaben.
Qualitative Kriterien zur thermischen Bewertung werden vor dem Dauerlauf festgehalten. Der erfolgreiche Abschluss der Anfragen ersetzt nicht die Prüfung der Telemetrie und ihrer Vollständigkeit. Numerische Temperaturen werden im Artikel nicht dargestellt.
Daten und Umgebung
Die aktuellen Zahlen stammen aus dem CORE-JSON. Die vier Stunden und die thermische Bewertung sind in einer separaten Analyse dieses Laufs dokumentiert. CSV- und Diagrammdaten stehen unten bereit. Historische Datensätze behalten ihre eigene Methodik im Archiv und fließen nicht in die neuen Mittelwerte ein.
Umgebung: Rocky Linux 10.2, NVIDIA 595.91.07, llama.cpp b11146, konfiguriertes Leistungslimit 300 W und automatisches Kühlprofil GPU300WAuto. Die Bedeutung der Messwerte folgt der NVIDIA-SMI-Dokumentation. Das Ergebnis betrifft die gemessene Karte und die Aufgaben, nicht den Stromverbrauch der gesamten Infrastruktur.