System-RAM und Cache: Wie viel Speicher benötigt ein LLM-Server?

RAM und VRAM erfüllen unterschiedliche Aufgaben. Eine einzelne Zahl neben einem Modell kann deshalb den Speicherbedarf eines Servers nicht beschreiben. VRAM befindet sich auf der GPU. System-RAM dient auch der Anwendung, der Dokumentendatenbank und Linux selbst. Selbst wenn die Modellberechnung auf der Karte läuft, benötigen diese Komponenten weiterhin Speicher.

Die CORE-1.1-Reihe trennt das Laden des Modells von der anschließenden Antwortgenerierung. Wir vergleichen GPU-residente Modelle mit Konfigurationen, die einen Teil der Berechnung auf CPU und System-RAM ausführen. Unsere gemeinsame LLM-Benchmark-Methodik definiert den Messumfang. Einheitliche Regeln helfen festzustellen, wann Speicher benötigt wird und was jeder Zähler tatsächlich abbildet.

Speicher beim Start und während der Antworten

Die Tabelle trennt die höchste beobachtete Prozessspeicherbelegung beim Laden von der Belegung während der Antwortgenerierung. Zusätzlich zeigt sie den niedrigsten verfügbaren Gesamt-RAM während dieser Antworten. Damit werden unterschiedliche Fragen beantwortet: Die erste betrifft ein Programm, die zweite die Reserven für das System und weitere Dienste. Verfügbarer RAM enthält auch Cache, den das System zurückgewinnen kann — keinen separaten Pool, der zum Prozessspeicher addiert werden sollte.

GiB ist eine Speichereinheit für Systemmessungen und unterscheidet sich vom dezimalen GB. Das B im Modellnamen steht dagegen für Milliarden Parameter, nicht für eine Speichermenge. Q4, Q8 und MXFP4 bezeichnen Speicherformate dieser Parameter. Unser KI- und GPU-Glossar erklärt das Grundprinzip einer kompakteren Darstellung, genannt Quantisierung.

Beim selben 72B-Q4-Modell betrug die höchste Prozess-RAM-Belegung während der Antworten 1.2 GiB auf der GPU gegenüber 22.7 oder 33.0 GiB nach Verlagerung eines Teils der Berechnung auf die CPU. Das Laden der GPU-Konfiguration erreichte 41.3 GiB. Modellvorbereitung und spätere Antworten müssen deshalb getrennt geplant werden. Die VRAM-Nutzung reduzierte den dem Prozess zugerechneten RAM während der Antworten. Das bedeutet aber nicht, dass der übrige Speicher anderen Anwendungen ohne Geschwindigkeitseinbußen zugewiesen werden kann: Die verfügbaren Reserven enthalten auch rückgewinnbaren Dateicache.

Die Antwortmesswerte umfassen beide Eingabelängen — 2048 und 8192 Tokens — mit je fünf Messrunden. Laden, Aufwärmen und Pausen zwischen Runden sind ausgeschlossen. Die Ladespalte hat einen eigenen Messumfang. Addieren Sie diese Spitzenwerte nicht: Sie können zu unterschiedlichen Zeitpunkten aufgetreten sein, und einige Zähler können sich überschneidende Daten beschreiben.

Das in der Tabelle verwendete PSS rechnet einem Prozess Speicher samt proportionalem Anteil gemeinsamer Bereiche zu. Ein niedriger Wert bedeutet nicht, dass der komplette Server nur so viel RAM benötigt. Enthält eine kurze Phase keine Stichprobe, ist der fehlende Messwert kein Nullverbrauch.

Was muss tatsächlich in den Speicher passen?

Stellen Sie sich einen Assistenten für Fragen zu Unternehmensdokumenten vor. Neben dem Modellserverprogramm können Suchdienst, Datenbank und Aufgabenwarteschlange auf der Maschine laufen. Die Anwendung hält auch aktuelle Anfragetexte und Ergebnisse vor, bevor sie diese speichert oder an Nutzer zurückgibt. Dateiimporte bringen zusätzliche Arbeit, die sich mit Gesprächen überschneiden kann.

Dies ist ein Beispiel zur Anwendungsplanung, keine in unserem Versuch gemessene Dienstesammlung. Es hilft bei einer sinnvollen Bestandsaufnahme: Was läuft dauerhaft, was während Importen und welche Aufgaben können sich überschneiden? Prüfen Sie die Speicherreserven für diese Kombination, statt die Modelldateigröße mit der Nutzerzahl zu multiplizieren.

Berücksichtigen Sie auch die Arbeitsphasen: Laden des Modells, Bereitschaft ohne Anfragen und Antwortgenerierung. Jede kann andere Speicherreserven erfordern.

Belegter Speicher bedeutet nicht immer, dass kein Platz mehr frei ist

Linux nutzt RAM auch als Dateicache: Daten bleiben für eine mögliche erneute Verwendung verfügbar. Ein Teil dieses Speichers kann für andere Zwecke zurückgewonnen werden, sodass ein kleiner Wert für „freien RAM“ irreführend sein kann.

Unterscheiden Sie den einem bestimmten Prozess zugerechneten Speicher vom Speicher, der dem Gesamtsystem zur Verfügung steht. PSS beschreibt den Prozess, während MemAvailable abschätzt, wie viel RAM das System neuer Arbeit anbieten kann, ohne Daten in Swap, einen unterstützenden Bereich auf einem Laufwerk, auszulagern. Keiner der Zähler ersetzt den anderen.

„Verfügbar“ bedeutet nicht „ohne Kosten frei“. Die Rückgewinnung von Dateicache kann dazu führen, dass das Modell Dateien erneut vom Laufwerk lesen muss. Ein hoher MemAvailable-Wert verspricht daher nicht, dass zusätzliche Anwendungen die Antwortzeiten unverändert lassen.

Addieren Sie Prozessspeicher und den gesamten Dateicache nicht einfach als zwei getrennte Modellkosten: Teilweise beschreiben sie dieselben Daten. Anlass zur Untersuchung ist nicht allein viel „belegter RAM“, sondern der Verlust verfügbarer Reserven zusammen mit Verzögerungen oder der Auslagerung von Daten.

Warum kann ein zweiter Start schneller sein?

Wurden Dateien kürzlich gelesen, können Daten noch im RAM liegen. Ein späterer Start nutzt dann Speicher, statt alles erneut von NVMe zu lesen. Selbst eine Prüfsummenprüfung der Modelldatei kann den Cache vor dem Programmstart aufwärmen.

Dies erklärt die Funktionsweise des Dateicaches; die Beschleunigung eines zweiten Starts wurde in dieser Reihe nicht separat gemessen.

Ein Praxisbeispiel ist der Neustart eines Dienstes nach einer Einstellungsänderung, wenn derselbe Server das Modell bereits verwendet hat. Das unterscheidet sich vom ersten Start nach Einrichtung der Maschine. Dokumentieren Sie beim Vergleich die Ausgangsbedingungen und trennen Sie Ladezeit von späteren Antwortzeiten. Ein schneller Neustart allein beweist weder Laufwerksgeschwindigkeit noch minimale RAM-Anforderungen.

Kann mehr RAM ein größeres Modell ermöglichen?

Er kann helfen, wenn die Engine Daten und Berechnung auf GPU und CPU verteilen kann. Der physische Speicher der Karte wird dadurch nicht größer. Unser Vergleich desselben 72B-Modells auf GPU und mit RAM stellt Speicherbedarf und Antwortzeit nebeneinander. Der 235B-Modelltest beschreibt eine separate größere Konfiguration mit beiden Speicherarten.

Erwägen Sie eine solche Aufteilung, wenn der Betrieb eines bestimmten Modells wichtiger ist als die kürzeste Wartezeit. Dokumentenanalyse im Hintergrund hat beispielsweise andere Anforderungen als ein Live-Gespräch mit einem Assistenten. Dies sind Planungsbeispiele, keine zusätzlichen Benchmark-Ergebnisse. Für die Auswahl bleiben konkrete Modellversion, Eingabelängen und akzeptable Bearbeitungszeit erforderlich. Mehr System-RAM allein garantiert keine schnellere Textgenerierung.

Wie planen Sie Reserven für Ihre Anwendung?

Prüfen Sie den Start, eine repräsentative Anfrage und den gleichzeitigen Betrieb der umgebenden Dienste. Beobachten Sie Prozess- und Systemspeicher zusammen mit Anwendungsverzögerungen. Wiederholen Sie dies mit Dokumentenimporten oder anderer tatsächlich anfallender Hintergrundarbeit.

Fazit: Planen Sie RAM-Reserven für die gesamte Anwendung einschließlich ihrer anspruchsvollsten Phasen. So passen Sie die Konfiguration an reale Arbeit an. Die Kapazität der Karte selbst behandeln wir in unserem Vergleich mit 96 GB VRAM.

Serverkonfiguration ansehen oder das Modell und die gemeinsam geplanten Dienste beschreiben. Das KI- und GPU-Glossar erklärt die Begriffe.