Ein Modell auf der GPU oder auf GPU und CPU verteilt?

Dasselbe Modell kann auf der GPU laufen oder seine Arbeit auf Karte, CPU und System-RAM verteilen. Wir messen, wie viel GPU-Speicher dadurch frei wird und wie sich die Antwortzeit verändert. Zusammen helfen diese Ergebnisse, eine für Ihre Aufgabe passende Verteilung zu wählen.

VRAM ist der Speicher der Grafikkarte; RAM ist der Systemspeicher. Die Verlagerung eines Teils der Arbeit von der GPU auf die CPU nennen wir hier Offloading. Dadurch wird RAM nicht zu einer weiteren Grafikkarte: Der Prozessor führt einen Teil der Berechnungen aus, und das Modell benötigt deren Ergebnisse.

Ein Modell, drei Arten der Arbeitsverteilung

Die Referenzkonfiguration ist Qwen2.5-72B-Instruct Q4_K_M auf der GPU. „72B“ bedeutet ungefähr 72 Milliarden Modellparameter, nicht Gigabyte; Q4_K_M speichert sie kompakter mit reduzierter Genauigkeit. Zwei weitere Varianten erhöhen den Anteil von CPU und RAM. Modelldateien, Format, Hardware, Eingabetext und Ausgabelänge bleiben unverändert. Der Vergleich zeigt damit die Wirkung unterschiedlicher Arbeitsverteilung innerhalb desselben Modells.

Die neue Reihe verwendet unsere gemeinsame CORE-1.1-Methodik: vollständiges Aufwärmen und fünf gemessene Antworten pro Eingabelänge. Ihre Fälle liefern zugleich die Grundlage für die Artikel zu CPU-Nutzung und Systemspeicher, sodass diese Vergleiche zusammenpassen.

GiB ist eine bei Systemmessungen verwendete Speichereinheit; sie unterscheidet sich vom dezimalen GB.

Die Zeiten betreffen 2048 und 8192 Eingabe-Tokens mit 256 Ausgabe-Tokens, jeweils eine Anfrage. Ein Token ist ein Textfragment, nicht zwingend ein ganzes Wort. Der Median ist der mittlere von fünf Messwerten. VRAM- und Prozess-RAM-Spitzen stammen aus Antwortfenstern beider Eingabelängen; sie müssen nicht gleichzeitig auftreten.

Bei der mittleren Verteilung sank die VRAM-Spitze fast um die Hälfte, von 43.9 auf 22.5 GiB. Der Prozess-RAM stieg und die Antworten dauerten länger. Bei der kürzeren Eingabe brauchte eine typische Antwort etwa 4.2 min statt 11.6 s auf der GPU. Noch mehr CPU-Arbeit senkte die VRAM-Spitze auf 12.2 GiB, verlängerte diese Antwort jedoch auf etwa 6.1 min. Beide CPU-unterstützten Konfigurationen benötigten bei der längeren Eingabe mehr Zeit.

Dieses Modell passte ohne Arbeitsaufteilung auf die getestete Karte. Für schnelle interaktive Nutzung sprechen diese Messungen deshalb für den Verbleib auf der GPU. CPU und System-RAM sparen tatsächlich VRAM, verursachen auf diesem Server aber erhebliche Mehrzeit. Erwägen Sie diese Option, wenn begrenzter Speicher ein größeres Hindernis ist als das Warten auf eine eingereihte Aufgabe, und prüfen Sie zuvor, ob die gemessenen Zeiten zu Ihrer Anwendung passen.

Was sollten Sie aus dem Vergleich mitnehmen?

Beginnen Sie mit der vollständigen Antwortzeit für die kürzere Eingabe. Sie vergleicht die Wartezeit für dieselbe Anzahl Ausgabe-Tokens. Betrachten Sie danach die längere Eingabe: Es ist mehr Material zu verarbeiten, sodass sich das Ergebnis auch bei unveränderter Ausgabelänge ändern kann.

Bewerten Sie die VRAM-Ersparnis zusammen mit dieser Zeit. Freier Speicher kann helfen, wenn das gewünschte Modell sonst nicht auf die Karte passt. Das belegt nicht automatisch, dass ein weiterer Dienst den freigewordenen Speicher nutzen kann. Dabei würden sich Anwendungen GPU, CPU und RAM teilen; dies untersucht der Test nicht.

Prozess-RAM ist ebenso relevant. Die Tabelle verwendet PSS: dem Modellprogramm zugerechneter Speicher, bei dem gemeinsam genutzte Bereiche anteilig verteilt werden. Er zeigt einen Teil des serverseitigen Aufwands, nicht den gesamten Speicherbedarf des Systems. Das Laden kann mehr Platz benötigen als das Antworten. Die Addition zweier Spitzenspalten ergibt deshalb keine minimale Serverkonfiguration.

Warum sagt mehr RAM keine schnellere Antwort voraus?

Speicherkapazität beschreibt, wie viele Daten abgelegt werden können. Die Ausführungsgeschwindigkeit hängt auch von Prozessor, Speicherbandbreite und Berechnungsverteilung ab. Zusätzlicher RAM kann die Unterbringung eines Modells erleichtern, sagt ohne Messung aber keine kürzere Antwort voraus.

Denken Sie an den Unterschied zwischen Platz für Dokumente und der Geschwindigkeit, mit der jemand sie verarbeitet: Mehr Ablageplatz nimmt Arbeit auf, erledigt sie aber nicht. Bei CPU-Ausführung zählt die gesamte Konfiguration. Wir übertragen gemessene Zeiten nicht allein anhand von Gigabyte auf einen anderen Prozessor oder eine andere Speicheranordnung.

Live-Gespräch oder Warteschlange?

Ein Mitarbeiter mit einem Assistenten wartet nach jeder Frage. Ein sinnvoller Ausgangspunkt ist ein auf die GPU passendes Modell, gemessen an den eigenen Beispielen. Prüfen Sie dann, ob ein größeres oder anders verteiltes Modell einen Nutzen bietet, der die zusätzliche Wartezeit rechtfertigt.

Eine eingereihte Aufgabe, deren Ergebnis später abgeholt wird, hat andere Prioritäten. Die Aufteilung auf GPU und RAM ist eine Option, wenn der Zugriff auf ein bestimmtes Modell wichtiger ist. Nächtliche Entwürfe von Dokumentzusammenfassungen zur späteren Prüfung sind ein möglicher Einsatz. Das ist ein Anwendungsvorschlag, kein hier durchgeführter Genauigkeitstest zur Dokumentenanalyse.

Der separate 235B-Artikel erklärt, wie wir eine deutlich größere Konfiguration mit beiden Speicherarten testen. Er ist keine vierte Variante dieses Vergleichs: Modell und Architektur ändern sich.

Wie wählen Sie Einstellungen für Ihr Projekt?

Bereiten Sie eine kurze Frage, ein typisches Dokument und den längsten tatsächlich erwarteten Text vor. Legen Sie auch eine akzeptable Antwortzeit fest. So bewerten Sie brauchbare, abgeschlossene Arbeit statt allein den erfolgreichen Programmstart.

Passt das Modell nicht auf die GPU, kommen CPU-/RAM-Aufteilung, ein kompakteres Gewichtsformat oder ein anderes Modell infrage. Ein Format- oder Modellwechsel erfordert eine erneute Antwortprüfung. Tokens pro Sekunde allein sagen nicht, welche Option die Aufgabe am besten löst.

Suchen Sie eine Konfiguration, die zum benötigten Zeitpunkt eine ausreichend gute Antwort liefert, nicht einfach die geringste VRAM-Nutzung. Andere Modelle ansehen, den Server kennenlernen oder Ihr Modell und die akzeptable Wartezeit beschreiben. Unser KI- und GPU-Glossar erklärt die Fachbegriffe.