Sie müssen nicht das gesamte Fachvokabular kennen, um Ihre Idee zu beschreiben. Dieses kurze Glossar erklärt, was eine KI-Anwendung benötigt und was die Zahlen in unseren Tests bedeuten.
GPU und CPU
Eine GPU, also ein Grafikprozessor, kann viele ähnliche Berechnungen parallel ausführen. Das macht sie neben Grafikanwendungen auch für KI-Modelle nützlich. Die CPU ist der Hauptprozessor des Servers: Sie führt Betriebssystem und Anwendungen aus und übernimmt einen Teil der Datenvorbereitung. So wird die Arbeit aufgeteilt.
LLM und Bezeichnungen wie 8B, 32B und 72B
Ein LLM ist ein großes Sprachmodell: Software, die für die Arbeit mit Text trainiert wurde. Parameter sind beim Training erlernte Zahlenwerte, die das Verhalten des Modells beeinflussen. Das B im Modellnamen steht für Milliarden dieser Parameter, nicht für Gigabyte Speicher. Mehr Parameter garantieren nicht automatisch bessere Antworten für jede Aufgabe.
MoE: ein Modell mit Experten
Ein Mixture-of-Experts-Modell verteilt einen Teil der Berechnungen auf Module, die Experten genannt werden. Für jeden neuen Textabschnitt arbeitet nur eine Auswahl davon — ähnlich wie ein Team, das eine Aufgabe bestimmten Personen zuweist. Dies beschreibt die Arbeitsaufteilung und belegt nicht, dass das Modell wie ein Mensch denkt. Weniger aktive Parameter können den Rechenaufwand verringern, die übrigen Modelldaten müssen jedoch weiterhin verfügbar sein. Die Anzahl aktiver Parameter beschreibt daher nicht den gesamten Speicherbedarf des Modells.
Token
Ein Token ist ein Textbaustein, mit dem das Modell arbeitet: ein Wort, ein Wortteil oder ein Zeichen. Tausend Tokens entsprechen daher nicht zwangsläufig tausend Wörtern. Die Anzahl hängt von Sprache, Inhalt und dem Verfahren ab, mit dem das Modell Text zerlegt.
Kontext
Der Kontext ist der Text, den ein Modell für eine Antwort verwendet: Anweisungen, eine Frage, Dokumente und der Gesprächsverlauf. Das Kontextlimit umfasst auch Platz für die generierte Antwort. Ein längerer Kontext kann mehr Speicher und Zeit benötigen. Unsere Messungen für unterschiedliche Eingabelängen ansehen.
RAM und VRAM
RAM ist der Arbeitsspeicher des Servers; VRAM ist der Speicher auf der GPU. Beide bilden keinen gemeinsamen Speicherpool. Im VRAM müssen mehr als nur Modelldaten Platz finden: Das laufende Modell benötigt auch Arbeitsspeicher. Gemessene Konfigurationen vergleichen und die Rolle des RAM kennenlernen.
API
Eine API ermöglicht die Kommunikation zwischen Programmen. Ihre Anwendung sendet dem Modell eine Aufgabe und erhält das Ergebnis, ohne dass jemand manuell in einem Chatfenster arbeiten muss. Unser Ratgeber zur privaten API enthält ein funktionsfähiges Beispiel.
TTFT: Zeit bis zum ersten Token
TTFT misst die Zeit bis zum Empfang des ersten generierten Tokens. Sie unterscheidet sich von der Zeit bis zur vollständigen Antwort. Manche Modelle erzeugen zunächst Reasoning-Inhalte, die eine Anwendung nicht als Antwort anzeigt. Bei diesen Modellen unterscheiden wir zwischen dem ersten Token und dem ersten sichtbaren Teil der endgültigen Antwort für den Nutzer.
Tokens pro Sekunde, Prefill und Decode
Tokens pro Sekunde beschreiben die Geschwindigkeit der Textverarbeitung. Prefill verarbeitet die Eingabe; Decode erzeugt die aufeinanderfolgenden Teile der Antwort. Die Rate einer einzelnen Anfrage unterscheidet sich vom Gesamtdurchsatz mehrerer Anfragen: Diese Kennzahlen sind nicht austauschbar.
Parallelität
Parallelität bezeichnet die Anzahl gleichzeitig laufender Aufgaben. Vier gleichzeitige Anfragen bedeuten kein Limit von vier Benutzerkonten. Mehr parallele Aufgaben können den Gesamtdurchsatz erhöhen, während einzelne Nutzer länger warten müssen.
Median und Streuung
Der Median ist der mittlere Wert, nachdem die Messungen aufsteigend sortiert wurden. Bei fünf Versuchen ist es der dritte Wert; bei einer geraden Anzahl nehmen wir den Mittelwert der beiden mittleren Werte. Er hilft, eine typische Dauer zu beschreiben. Auch kürzeste und längste Dauer sind relevant: Ihre Spannweite zeigt, wie stark sich die Versuche unterschieden. Das arithmetische Mittel aller Ergebnisse ist eine andere Kennzahl — die Summe geteilt durch die Anzahl der Messungen. Unsere Tabellen benennen die verwendete Kennzahl.
Aufwärmlauf im Benchmark
Ein Aufwärmlauf ist eine Proberunde mit Anfragen vor Beginn der Messung. Er bereitet das Programm auf die Arbeit vor und trennt das Verhalten bei der ersten Nutzung von späteren Anfragen. Antworten aus dem Aufwärmlauf zählen nicht zu den gemessenen Runden. Auch die Ladezeit des Modells wird separat ausgewiesen.
Prozess-RAM: RSS und PSS
RSS beschreibt den von einem Prozess, also einem laufenden Programm, belegten RAM. PSS berücksichtigt gemeinsam genutzte Speicherseiten und rechnet dem Prozess einen anteiligen Wert zu. Keine dieser Zahlen beschreibt den gesamten RAM-Verbrauch des Servers. Betriebssystem, Dateicache und andere Programme benötigen ebenfalls Speicher. Der höchste beobachtete Messwert ist keine garantierte Mindestspeicheranforderung für den produktiven Einsatz der Anwendung.
JSON, Format und Antwortabgleich
JSON ist eine strukturierte Darstellung von Daten, zum Beispiel {"region":"EU"}. Eine Anwendung kann genau dieses Objekt ohne zusätzliche Erläuterungen verlangen. Deshalb prüfen wir Format und Antwortwerte getrennt. Ein Modell kann gültiges JSON mit einer falschen Zahl liefern. Es kann auch einen für Menschen lesbaren Namen mit einem zusätzlichen Punkt ausgeben, der nicht exakt dem von der Anwendung erwarteten Wert entspricht. Die Quote exakter Treffer ist kein allgemeines Maß für die Intelligenz eines Modells.
In unseren Tabellen setzt ein exakter Werttreffer auch das richtige Format voraus. Eine Antwort, die bereits die erste Prüfung nicht besteht, wird nicht umgedeutet oder korrigiert.
Quantisierung und Q4_K_M
Quantisierung stellt die Zahlenwerte eines Modells mit geringerer Genauigkeit dar. Das kann Dateigröße und Speicherbedarf reduzieren. Q4_K_M ist ein solches Format. Ein Formatwechsel kann Geschwindigkeit und Antwortqualität beeinflussen; Vergleiche sollten deshalb die genaue Modellversion nennen.
KV-Cache
Der KV-Cache ist Arbeitsspeicher, der Informationen über bereits verarbeiteten Text speichert. Er hilft, nicht für jedes neue Token alles erneut berechnen zu müssen. Seine Kapazität wird bei langen Dokumenten und mehreren gleichzeitigen Anfragen wichtiger.
Offloading: Arbeit aufteilen
Beim Offloading werden Teile der Berechnungen oder Daten zwischen CPU und GPU verlagert. Ein Modell kann beispielsweise GPU-VRAM und den RAM des Servers gemeinsam nutzen. Dadurch wird System-RAM nicht zu ebenso schnellem GPU-Speicher: Kapazität und Geschwindigkeit müssen getrennt geprüft werden.
Unser Vergleich desselben Modells mit unterschiedlicher Verteilung misst die Auswirkungen auf die Antwortzeit. Der Test des größeren 235B-Modells wendet diesen Ansatz auf ein Mixture-of-Experts-Modell an.
Von den Begriffen zu Ihrem Anwendungsfall
Unsere LLM-Testmethodik verknüpft diese Begriffe: Was wir messen, welche Ergebnisse vergleichbar sind und wie wir nützliche Antworten bewerten. Die genauen Messeinstellungen stehen weiterhin in den technischen Details des jeweiligen Artikels.
Beginnen Sie damit, was Ihre Anwendung leisten soll, wie viel Text sie verarbeiten muss und wie viele Aufgaben sie gleichzeitig bewältigen soll. Unsere Tests und Ratgeber helfen, daraus eine Konfiguration abzuleiten. Sie können auch das Serverangebot ansehen oder uns Ihre Idee beschreiben.