Ja — das getestete Qwen3-235B-A22B Q5_K_M lief auf einem Server und verteilte die Arbeit auf GPU und CPU mit System-RAM. Wir prüften nicht nur den Start, sondern maßen Antwortzeit, Speicherbedarf und Antwortkorrektheit bei kurzen praktischen Aufgaben.
Dies ist die größte in der aktuellen Reihe getestete Variante, keine Aussage über das größtmögliche Modell auf dem Server. Mehr Parameter garantieren keine besseren Antworten. Neben Geschwindigkeitsmessungen verwenden wir deshalb dieselbe kleine praktische Testsuite wie für die kleineren Modelle.
Die Messungen folgen unserer gemeinsamen CORE-1.1-Methodik. Wir bewerten Antwortzeit, Speicherbedarf und Antwortkorrektheit getrennt, statt sie in einer willkürlichen Gesamtpunktzahl zusammenzufassen.
Was bedeutet 235B und warum kommt RAM hinzu?
235B bedeutet ungefähr 235 Milliarden Parameter — Daten, die das Modell beschreiben —, nicht 235GB Speicher. Auch das Speicherformat beeinflusst den Platzbedarf. Q5_K_M ist eine Möglichkeit, die Datenmenge zu verringern; wir setzen nicht für jedes Format dieselbe Antwortqualität voraus.
Dieses Modell verwendet eine Mixture-of-Experts-Architektur, kurz MoE. Stellen Sie sich ein Team spezialisierter Komponenten vor: Nur einige arbeiten in jedem Rechenschritt mit. Die übrigen Daten müssen dennoch erreichbar bleiben, auch wenn sie nicht in jedem Schritt genutzt werden.
In der hybriden Konfiguration übernehmen CPU und RAM einen Teil der Arbeit, die GPU den Rest. Das eröffnet eine weitere Verteilungsoption für ein großes Modell; die Antwortzeit muss trotzdem getestet werden. Eine Karte mit viel Speicher allein beschreibt nicht das Verhalten der gesamten Konfiguration.
Wie lange dauert eine Antwort bei kürzerer und längerer Eingabe?
| Eingabe-Tokens | Median der vollständigen Antwort | Decode, Mittelwert Tokens/s |
|---|---|---|
| 2048 | 70.7 s | 4.7 |
| 8192 | 105.9 s | 4.7 |
Bei jeder Eingabelänge muss das Modell exakt 256 Tokens, also Textfragmente, erzeugen. Nach dem Aufwärmen führen wir fünf Messungen mit jeweils einer Anfrage durch. Die typische Zeit ist der Median, der mittlere Wert. Eine längere Eingabe erfordert mehr Verarbeitung bei unveränderter Ausgabelänge.
„Decode“ ist die Phase, die aufeinanderfolgende Tokens erzeugt. Ihre Rate umfasst nicht die gesamte Wartezeit; deshalb steht die vollständige Antwortzeit daneben. Für Nutzer zählt, wann das Ergebnis ankommt, nicht nur, wie schnell nach Beginn der Generierung Text erscheint.
Versuche mit fester Länge vergleichen Rechenarbeit. Wir bewerten die Bedeutung von Text aus synthetischen Eingaben nicht und stellen diese Zeiten nicht als Garantien für beliebige Dokumente dar.
Was prüfen die 24 praktischen Aufgaben?
Das Modell erhält dieselben Aufgaben wie die anderen Konfigurationen: Rechnen, Extraktion bestimmter Felder, Anwendung einer Regel und Antworten anhand einer kurzen Beschreibung. Die Hälfte ist auf Polnisch, die andere auf Englisch. Jede Aufgabe hat eine vorab definierte erwartete Antwort und einen Versuch.
| Aufgabengruppe | Korrektes Format | Exakte Wertübereinstimmung |
|---|---|---|
| Berechnungen | 5/6 | 4/6 |
| Felder aus Text extrahieren | 6/6 | 5/6 |
| Kategorien zuweisen | 6/6 | 6/6 |
| Antworten auf Grundlage einer Beschreibung | 6/6 | 6/6 |
Jede Zeile umfasst sechs Aufgaben. „Korrektes Format“ bedeutet ein strukturiertes JSON-Objekt mit den erforderlichen Feldern und Datentypen. „Exakte Wertübereinstimmung“ prüft zusätzlich deren Inhalte. Wir korrigieren Antworten vor der Bewertung nicht.
Denken Sie an eine Anwendung, die aus einer kurzen Anfrage einen Firmennamen und eine Frist speichert. Ein korrekt strukturiertes Objekt kann trotzdem das falsche Datum enthalten. Zusätzliche Erläuterungen können für Menschen verständlich, aber für die erwartete Programmeingabe ungeeignet sein. Beide Beobachtungen helfen bei der Gestaltung der Ausgabeprüfung Ihrer Anwendung.
Dies ist eine begrenzte Prüfung, keine Gesamtbewertung der Intelligenz. Sie misst weder die Qualität langer Zusammenfassungen noch Fachwissen oder einen Vorteil gegenüber kleineren Modellen in Ihrer Branche.
Speicher zählt auch beim Start
Ein großes Modell sollte über den gesamten Ablauf geprüft werden: Laden, Eingabeannahme und Abschluss der Antwort. Der Prozess-RAM beim Start kann sich vom Bedarf späterer Antworten unterscheiden. Betriebssystem und benachbarte Anwendungen benötigen ebenfalls Speicher.
Während der zehn Antworten im Geschwindigkeitstest betrug die höchste VRAM-Belegung 87.7 GiB, die Spitze des dem Prozess zugerechneten RAM (PSS) 51.5 GiB. GiB ist eine Speichereinheit für Systemmessungen und unterscheidet sich vom dezimalen GB. PSS enthält einen proportionalen Anteil gemeinsam genutzten Speichers; es stellt nicht den gesamten RAM-Verbrauch des Servers dar.
VRAM und RAM haben unterschiedliche Aufgaben. Ihre Spitzen müssen nicht gleichzeitig auftreten; wir addieren sie daher nicht, um daraus die vollständige Residenz der Modelldatei in beiden Speichern abzuleiten. Dateizugriffe und Systemcache spielen ebenfalls eine Rolle.
Der RAM-Vergleich und die Übersicht zum Modellspeicher zeigen die jeweiligen Messumfänge. Sie verwenden denselben neuen 235B-Fall, keinen zusätzlichen Lauf mit anderen Einstellungen.
Wann kommt dieses Modell infrage?
Eine hybride Konfiguration kommt für Experimente mit größeren Modellen und Aufgaben infrage, deren Ergebnisse in einer Warteschlange warten können. Entwürfe von Dokumentbeschreibungen zur späteren Prüfung sind ein Beispiel. Das ist eine mögliche Anwendung, kein in diesem Artikel durchgeführter Qualitätstest solcher Beschreibungen.
Bei Live-Gesprächen kann kürzere Wartezeit wichtiger sein. Vergleichen Sie die Antworten mit einem kleineren, auf die GPU passenden Modell. Lösen beide die Aufgabe gut, ist die höhere Parameterzahl allein kein Grund für eine langsamere oder anspruchsvollere Konfiguration. Bietet das größere Modell einen nützlichen Vorteil, werden Zeit und Speicher zu einem ausdrücklichen Abwägungspunkt.
In dieser Konfiguration dauerte eine Antwort mit festen 256 Tokens typischerweise 70.7 s bei kürzerer und 105.9 s bei längerer Eingabe. In der separaten praktischen Testsuite hatten 23 von 24 Antworten das korrekte JSON-Format; 21 erfüllten zusätzlich die erwarteten Werte. Das ist ein Ausgangspunkt, um ein größeres Modell in einer Aufgabenwarteschlange zu erproben, sofern die Wartezeit akzeptabel ist und die Anwendung die Ergebnisse validiert. Die Eignung für eigene Dokumente und längere Dauerlast erfordert separate Tests; dieser Lauf belegt sie nicht.
Dasselbe 72B-Modell auf GPU und mit RAM vergleichen, den Server kennenlernen oder Ihre Aufgabe beschreiben. Dokumenttyp, gefordertes Ausgabeformat und akzeptable Wartezeit sind nützliche Ausgangspunkte.
Technische Details
Modell und feste hybride Konfiguration
Die Quelle ist Qwen3-235B-A22B-GGUF in der festgelegten Revision, im Format Q5_K_M, mit sechs Gewichtsdateien von insgesamt 155.4 GiB. Das ist die Dateigröße, nicht gemessener Prozessspeicher. Die Bedingungen stehen in der Apache-2.0-Lizenz.
| Komponente | CORE-1.1-Einstellungen |
|---|---|
| GPU | NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition, nominell 96GB VRAM |
| CPU | AMD EPYC 4565P, 16 Kerne / 32 logische CPUs |
| RAM des Testsystems | 96GB; installierter Modulspeicher und Betriebssystemspeicher separat erfasst |
| Engine | llama.cpp b11146, Revision 7fe450e19305b828c199d602c23a8337aaa1f03b |
| Verteilung | Alle Attention-Schichten auf GPU angefordert; Experten aus 44 Schichten auf CPU |
| Synthetische Eingabe / Ausgabe | 2048 und 8192 Tokens / exakt 256 Tokens |
| Parallelität / Kontext | C1, ein Slot / 8704 Tokens |
| Synthetische Wiederholungen | Vollständiges Aufwärmen und fünf Messrunden pro Eingabelänge |
| Praktische Aufgaben | 24 unterschiedliche PL-/EN-Aufgaben, je ein Versuch; natürliche Beendigung, Limit von 1024 Tokens |
| KV / CPU / Batch / Ubatch | F16, Flash Attention / 16 Threads / 2048 / 512 |
Dies ist das Hybrid-Kapazitätsmodul: eine feste Kapazitätskonfiguration, kein Versuch zum Vergleich zweier Expertenverteilungen. Es bestimmt keine absolute maximale Modellgröße. Ein GPU-Schichtzähler bedeutet nicht reine GPU-Berechnung, da die Experteneinstellung einen Teil der Arbeit separat CPU und RAM zuweist.
Wir verwenden mmap ohne mlock; Lazy Loading, Prompt-Caching, automatische Speicheranpassung und Kontextverschiebung sind deaktiviert. Der Thinking-Modus ist deaktiviert. Alle Dateihashes, Tokenizer, die genaue Chatvorlage und ihre Verwendung zur Laufzeit werden geprüft. Die Prüfsummenberechnung kann den Systemcache aufwärmen; dies ist kein Kaltstarttest.
Geschwindigkeit und Antwortbewertung haben unterschiedliche Bedeutungen
Die Geschwindigkeitstabelle zeigt mediane Abschlusszeiten lokaler API-Anfragen und mittlere Decode-Raten aus fünf Antworten pro Eingabelänge. In dieser Engine umfassen 256 Ausgabe-Tokens 255 zeitlich gemessene Decode-Schritte. Die Decode-Rate entspricht nicht 256 Tokens geteilt durch die gesamte Wartezeit.
Praktische Aufgaben erfassen ersten sichtbaren Text und Abschluss separat. Eine natürlich kürzere Antwort ist nicht dieselbe Last wie synthetische Generierung mit 256 Tokens. Die strenge Bewertung entfernt weder Markdown-Codezäune noch korrigiert sie Zeichen oder wandelt Text in Zahlen um. Trefferzahlen gelten nur für diese 24 Aufgaben, nicht für einen gesamten Anwendungsbereich.
Speicherumfänge und Grenzen der Schlussfolgerungen
VRAM- und PSS-Spitzen verwenden Stichproben innerhalb der Vereinigung zehn synthetischer Antwortfenster; Laden und Aufwärmen haben getrennte Messumfänge. PSS rechnet dem Prozess einen proportionalen Anteil gemeinsamen Speichers zu, statt den gesamten Host-RAM zu beschreiben. Beobachtete Spitzen müssen nicht gleichzeitig auftreten. Ein GiB entspricht 2³⁰ Bytes; ein dezimales GB entspricht 10⁹ Bytes.
Das Einblenden von Dateien belegt nicht die vollständige Residenz aller Gewichte in RAM und VRAM. I/O-Zähler decken nur verfügbare Intervalle zwischen Stichproben ab. Keine erfassten Bytes beweisen daher nicht die Abwesenheit sämtlicher Speicherzugriffe. Der CPU-Anteil wird auf alle 32 logischen CPUs bezogen.
Der festgelegte Umfang ist ein Client mit zwei Eingabelängen, kein mehrstündiger 235B-Stabilitätstest und kein Test gleichzeitiger Nutzer. Erfolg bei diesen Einstellungen belegt keine beliebige Kontextlänge. Eine aktuelle Hardware-Momentaufnahme gehört zum Plan; der ältere SMBIOS-Datensatz bleibt ein separates Dokument, keine RAM-Bandbreitenmessung und kein Beweis einer Leistungsursache.
Neue Daten und erhaltene Archive
Die neuen CORE-JSON- und CSV-Dateien trennen den Kapazitätsfall von der praktischen Testsuite. Die Artikel zu System-RAM und VRAM-Kapazität verwenden denselben 235B-Fall. Öffentliche Daten sind geprüfte Auszüge, keine Administrationsprotokolle.
Das archivierte Kampagnen-JSON behält drei Wiederholungen und drei frühere praktische Aufgaben. Die historische Formatprüfung betrifft nur diese Reihe. Sie ändert deren strenge Bewertungen nicht und ist keine Korrektur, die während der neuen Messungen angewandt wird.