Tak — przetestowany Qwen3-235B-A22B Q5_K_M działał na jednym serwerze, dzieląc pracę między GPU oraz CPU z RAM. Oprócz samego uruchomienia sprawdziliśmy czas odpowiedzi, zajęcie pamięci i poprawność wyników w krótkich zadaniach praktycznych.
To największy przetestowany wariant w aktualnej serii, nie deklaracja największego możliwego modelu dla serwera. Większa liczba parametrów nie gwarantuje lepszej odpowiedzi. Dlatego obok pomiaru szybkości znajduje się ten sam niewielki sprawdzian praktyczny, którego używamy dla mniejszych modeli.
Pomiary opierają się na wspólnej metodyce CORE 1.1. Czas odpowiedzi, zużycie pamięci i poprawność odpowiedzi oceniamy osobno — nie łączymy ich w jedną umowną notę.
Co oznacza 235B i po co pomoc RAM?
235B oznacza około 235 miliardów parametrów, czyli danych opisujących model, a nie 235 GB pamięci. O potrzebnym miejscu decyduje też format ich zapisu. Q5_K_M jest jednym ze sposobów ograniczenia rozmiaru danych; nie zakładamy, że zachowuje identyczną jakość jak każdy inny format.
Ten model ma budowę MoE, czyli mieszaninę ekspertów. Można ją sobie wyobrazić jako zespół wyspecjalizowanych części: przy kolejnym kroku obliczeń wybierana jest tylko część zespołu. Pozostałe dane nadal muszą być dostępne, nawet jeśli nie uczestniczą w każdym kroku.
W konfiguracji hybrydowej część pracy wykonuje CPU z RAM, a pozostała korzysta z GPU. Daje to inną możliwość rozmieszczenia dużego modelu, ale wymaga sprawdzenia czasu obsługi. Sama obecność karty z dużą pamięcią nie opisuje całego zachowania takiego układu.
Ile trwa odpowiedź przy krótszym i dłuższym wejściu?
| Tokeny wejścia | Cała odpowiedź, mediana | Decode, średnia tokenów/s |
|---|---|---|
| 2048 | 70,7 s | 4,7 |
| 8192 | 105,9 s | 4,7 |
Dla każdego wejścia model ma wygenerować dokładnie 256 tokenów, czyli fragmentów tekstu. Po rozgrzewce wykonujemy pięć pomiarów przy jednym zapytaniu naraz. Typowy czas jest medianą, środkowym wynikiem z tych prób. Dłuższe wejście wymaga przetworzenia większej ilości materiału, choć długość odpowiedzi pozostaje taka sama.
„Decode” to etap generowania kolejnych tokenów. Jego szybkość nie obejmuje całego oczekiwania, dlatego obok pokazujemy czas ukończenia odpowiedzi. Dla użytkownika ważne jest właśnie to, kiedy dostanie wynik, a nie tylko tempo pisania po rozpoczęciu odpowiedzi.
Próba o stałej długości służy porównaniu obliczeń. Nie oceniamy sensu tekstu wygenerowanego ze sztucznego wejścia i nie przedstawiamy tych czasów jako gwarancji dla dowolnego dokumentu.
Co sprawdzamy w 24 zadaniach praktycznych?
Model otrzymuje te same zadania co pozostałe konfiguracje: obliczenia, odczyt wskazanych pól, zastosowanie reguły oraz odpowiedzi na podstawie krótkiego opisu. Połowa zadań jest po polsku, połowa po angielsku. Każde ma z góry określoną oczekiwaną odpowiedź i jedną próbę.
| Rodzaj zadania | Poprawny format | Dokładna zgodność wartości |
|---|---|---|
| Obliczenia | 5/6 | 4/6 |
| Odczytywanie pól z tekstu | 6/6 | 5/6 |
| Przypisywanie kategorii | 6/6 | 6/6 |
| Odpowiedzi na podstawie opisu | 6/6 | 6/6 |
Każdy wiersz obejmuje sześć zadań. „Poprawny format” oznacza uporządkowany obiekt JSON o wymaganych polach i typach danych. „Dokładna zgodność wartości” sprawdza dodatkowo treść tych pól. Nie poprawiamy odpowiedzi przed oceną.
Wyobraźmy sobie aplikację zapisującą nazwę firmy i termin z krótkiego zgłoszenia. Poprawnie wyglądający obiekt może zawierać błędną datę. Z kolei dodatkowy komentarz może być czytelny dla człowieka, ale nie pasować do wymaganego wejścia programu. Obie informacje pomagają przygotować kontrolę odpowiedzi we własnym systemie.
To ograniczony sprawdzian, nie ogólna ocena inteligencji modelu. Nie mierzy jakości długich podsumowań, specjalistycznej wiedzy ani przewagi nad mniejszym modelem w Twojej branży.
Pamięć: liczy się również uruchomienie
Duży model warto sprawdzić przez cały cykl: ładowanie, przyjęcie tekstu i ukończenie odpowiedzi. RAM procesu podczas startu może różnić się od RAM potrzebnego w kolejnych odpowiedziach. Oprócz niego pamięci wymaga system i aplikacje pracujące obok.
Podczas dziesięciu odpowiedzi w teście szybkości najwyższy odczyt wyniósł 87,7 GiB VRAM, a najwyższe zajęcie RAM przypisane procesowi (PSS) — 51,5 GiB. GiB to jednostka pamięci stosowana w pomiarach systemowych; różni się od dziesiętnego GB. PSS uwzględnia proporcjonalny udział pamięci współdzielonej; nie opisuje całego RAM używanego przez serwer.
VRAM oraz RAM pełnią różne role. Ich największe odczyty nie muszą przypadać na tę samą chwilę, więc nie dodajemy ich, aby udowodnić, że cały plik modelu stale mieścił się w obu pamięciach. Sposób korzystania z plików i pamięci podręcznej także ma znaczenie.
Odpowiednie zakresy pokazujemy w porównaniu zajęcia RAM i zestawieniu modeli według pamięci. Korzystają one z tej samej nowej próby 235B, nie z dodatkowego uruchomienia przy innych ustawieniach.
Kiedy warto rozważyć taki model?
Konfiguracja hybrydowa jest kandydatem do eksperymentów z większym modelem oraz zadań, w których wynik może poczekać w kolejce. Przykładem jest przygotowanie roboczego opisu dokumentów do późniejszej weryfikacji. To kierunek zastosowania, nie wykonany w tym artykule test jakości opisów.
Przy rozmowie na żywo ważniejsze może być krótsze oczekiwanie. Warto zestawić odpowiedzi z mniejszym modelem mieszczącym się na GPU. Jeśli oba dobrze wykonują zadanie, sama większa liczba parametrów nie jest powodem do wyboru wolniejszej lub bardziej wymagającej konfiguracji. Jeśli większy model daje potrzebną korzyść, czas i pamięć stają się świadomym kosztem.
W tej konfiguracji odpowiedź o stałej długości 256 tokenów zajmowała typowo 70,7 s przy krótszym wejściu i 105,9 s przy dłuższym. W osobnym sprawdzianie praktycznym 23 z 24 odpowiedzi miały poprawny format JSON, a 21 spełniło również wymagania dotyczące wartości. To punkt wyjścia do wypróbowania większego modelu w kolejce zadań, jeśli taki czas oczekiwania jest akceptowalny, a aplikacja sprawdza otrzymane wyniki. Przydatność do własnych dokumentów i długiego, ciągłego obciążenia wymaga osobnych prób — ten test jej nie przesądza.
Porównaj ten sam model 72B na GPU i z RAM, zobacz dostępny serwer lub opisz swoje zadanie. Dobre punkty wyjścia to rodzaj dokumentów, oczekiwany format wyniku i dopuszczalny czas odpowiedzi.
Szczegóły techniczne
Model i stała konfiguracja hybrydowa
Źródło to Qwen3-235B-A22B-GGUF w przypiętej rewizji, format Q5_K_M, sześć plików wag o łącznej wielkości 155,4 GiB. Jest to rozmiar plików, nie pomiar pamięci procesu. Warunki opisuje licencja Apache 2.0.
| Element | Ustawienia CORE 1.1 |
|---|---|
| GPU | NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition, nominalnie 96 GB VRAM |
| CPU | AMD EPYC 4565P, 16 rdzeni / 32 procesory logiczne |
| RAM stanowiska | 96 GB; odczyt modułów i pamięć widoczna systemowi zapisane osobno |
| Silnik | llama.cpp b11146, rewizja 7fe450e19305b828c199d602c23a8337aaa1f03b |
| Rozmieszczenie | Wszystkie warstwy uwagi żądane na GPU; eksperci 44 warstw na CPU |
| Wejście / odpowiedź syntetyczna | 2048 i 8192 tokeny / dokładnie 256 tokenów |
| Równoległość / kontekst | C1, jeden slot / 8704 tokeny |
| Powtórzenia syntetyczne | Pełna rozgrzewka i pięć mierzonych rund dla każdego wejścia |
| Zadania praktyczne | 24 różne zadania PL/EN, każde raz; naturalne zakończenie, limit 1024 tokenów |
| KV / CPU / batch / ubatch | F16, flash attention / 16 wątków / 2048 / 512 |
To moduł hybrid-capacity: jedna ustalona konfiguracja pojemności, a nie eksperyment porównujący dwa rozmieszczenia ekspertów. Nie wyznacza absolutnego maksimum modelu. Licznik warstw kierowanych do GPU nie oznacza wyłącznie obliczeń na karcie, ponieważ ustawienie ekspertów osobno przekazuje część pracy do CPU/RAM.
Używamy mmap bez mlock, z wyłączonym lazy loading, cache promptu, automatycznym dopasowaniem pamięci i przesuwaniem kontekstu. Tryb rozumowania thinking jest wyłączony. Sumy wszystkich plików, tokenizer, dokładny szablon rozmowy i jego użycie przez silnik podlegają weryfikacji. Odczyt sum może rozgrzać cache systemu; nie jest to test startu na zimno.
Oddzielne znaczenie szybkości i oceny odpowiedzi
Tabela szybkości zawiera mediany czasu ukończenia lokalnego żądania API oraz średnie szybkości decode z pięciu odpowiedzi dla każdego wejścia. Dla tego silnika 256 tokenów wyjścia obejmuje 255 mierzonych kroków decode. Szybkość decode nie jest ilorazem 256 tokenów i całego oczekiwania.
W zadaniach praktycznych oddzielnie zapisujemy pierwszy widoczny tekst i zakończenie. Naturalnie krótsza odpowiedź nie jest tą samą próbą co syntetyczne 256 tokenów. Ocena ścisła nie usuwa ramek Markdown, nie koryguje znaków ani nie zamienia tekstu na liczby. Liczby zaliczeń odnoszą się wyłącznie do wskazanych 24 zadań, nie do całej rodziny zastosowań.
Zakresy pamięci i ograniczenia wniosków
Maksima VRAM oraz PSS są obliczane z próbek w unii dziesięciu odpowiedzi syntetycznych; ładowanie i rozgrzewka mają osobne zakresy. PSS przypisuje procesowi proporcjonalny udział pamięci współdzielonej, nie opisuje całego RAM hosta. Odczyty maksimum nie muszą być jednoczesne. GiB oznacza 2³⁰ bajtów, a dziesiętny GB — 10⁹ bajtów.
Mapowanie plików nie dowodzi pełnej rezydencji wszystkich wag w RAM i VRAM. Liczniki dyskowe obejmują tylko dostępne przedziały między próbkami, dlatego brak naliczonych bajtów nie jest dowodem braku każdej operacji dyskowej. CPU odnosimy do pojemności wszystkich 32 procesorów logicznych.
Zadeklarowany zakres to jeden klient i dwa wejścia, nie wielogodzinny test stabilności 235B ani próba wielu klientów. Sukces takiej konfiguracji nie uzasadnia dowolnie długiego kontekstu. Świeży zapis sprzętu jest częścią planu, a starszy odczyt SMBIOS pozostaje oddzielnym dokumentem, nie pomiarem przepustowości RAM ani dowodem przyczyny wydajności.
Nowe dane i zachowane archiwum
Nowy JSON CORE i CSV oddzielają przypadek pojemności od zestawu praktycznego. Artykuły o RAM i pojemności VRAM wykorzystują ten sam przypadek 235B. Publiczne dane są przejrzanymi zestawieniami, a nie logami administracyjnymi.
Archiwalny JSON kampanii zachowuje trzy powtórzenia i trzy dawne zadania praktyczne. Archiwalny przegląd formatu dotyczy wyłącznie tamtej serii. Nie zmienia jej ścisłej oceny i nie jest poprawką stosowaną w nowych pomiarach.