Jakie modele AI mieszczą się w 96 GB pamięci karty?

96 GB pamięci karty pozwala rozważyć różne klasy modeli, nie tylko jedną konkretną konfigurację. Wspólną procedurą sprawdzamy Qwen 8B, 32B i 72B Q4, GPT-OSS-120B oraz Qwen 72B Q8. Większy Qwen 235B korzysta również z procesora i RAM serwera — nie jest przykładem umieszczenia całego modelu wyłącznie na GPU.

Litera „B” oznacza miliardy parametrów modelu, nie gigabajty. Q4 i Q8 to formaty zapisu tych parametrów o różnej precyzji i rozmiarze; samo oznaczenie nie jest oceną jakości odpowiedzi.

Celem nie jest znalezienie największej liczby w nazwie modelu. Chcemy wiedzieć, co da się uruchomić, ile pamięci pozostaje potrzebne podczas pracy i jak długo czeka się na odpowiedź. Wszystkie nowe pomiary należą do wspólnej metodyki CORE 1.1.

Co zmieściło się i jak odpowiada?

GiB to jednostka pamięci stosowana w pomiarach systemowych; różni się od dziesiętnego GB.

Tabela obejmuje szczytowe odczyty pamięci w odpowiedziach dla dwóch długości wejścia. Czas dotyczy krótszego wejścia i odpowiedzi o ustalonej długości 256 tokenów. Token jest fragmentem tekstu, niekoniecznie całym słowem. Dla każdego wejścia wykonujemy pięć pomiarów po rozgrzewce; „typowy czas” to mediana, czyli środkowy wynik.

Na samej karcie sprawdziliśmy nie tylko mniejsze modele, lecz także GPT-OSS-120B MXFP4 oraz Qwen 72B Q8. Ich szczyty podczas odpowiedzi wyniosły odpowiednio 59,6 i 74,5 GiB VRAM. Model z większą liczbą parametrów w nazwie nie musi więc potrzebować więcej pamięci: ważne są również format i budowa modelu.

Qwen 235B korzystał dodatkowo z CPU i RAM; jego wynik nie oznacza zmieszczenia całego modelu na karcie. Przy krótszym wejściu odpowiedź zajmowała typowo 70,7 s. To inny kompromis niż w mniejszych konfiguracjach — dostęp do większego modelu w zamian za dłuższe oczekiwanie. Zanim wybierzesz wariant do własnej aplikacji, zestaw te czasy z poprawnością odpowiedzi w konkretnym zadaniu. Same pomiary pamięci i szybkości nie wybierają najlepszego modelu.

VRAM jest pamięcią karty, a RAM pamięcią systemową serwera. RAM procesu w tabeli to PSS: pamięć przypisana programowi z modelem, ze wspólnymi obszarami podzielonymi proporcjonalnie między programy. Ten odczyt nie obejmuje całego zapotrzebowania maszyny. Model może również potrzebować więcej RAM podczas ładowania niż podczas kolejnych odpowiedzi. Z tego powodu nie wystarczy dodać dwóch maksimów z tabeli, aby ustalić minimalną konfigurację serwera.

Dlaczego 120B nie musi zajmować więcej niż 72B?

Na pamięć wpływa sposób zapisania parametrów. Testowany format MXFP4 jest bardziej oszczędny niż Q8, dlatego sam rozmiar modelu w nazwie nie wyznacza rozmiaru plików.

Liczy się także budowa. GPT-OSS-120B i Qwen 235B korzystają z modułów nazywanych ekspertami: przy kolejnym fragmencie odpowiedzi pracuje wybrana część modelu. Ta architektura to MoE. Zmniejszenie aktywnej części obliczeń nie usuwa jednak potrzeby dostępu do pozostałych danych.

Porównujemy więc gotowe konfiguracje, a nie samą liczbę parametrów. Nie zakładamy też, że inny format wag albo większy model daje identyczną lub lepszą jakość odpowiedzi.

Mały sprawdzian zadań praktycznych

Każdy model otrzymuje te same 24 krótkie zadania, po 12 w języku polskim i angielskim. Zestaw obejmuje obliczenia, wyciąganie pól z tekstu, klasyfikację według podanej reguły oraz pytania z odpowiedzią znajdującą się w materiale. Każde zadanie ma jedną próbę.

Format i zgodność wartości to dwie różne oceny. Poprawny JSON jest uporządkowanym obiektem o wymaganych polach i typach danych. Nadal może zawierać błędną liczbę. Z kolei dodatkowa kropka w nazwie może być akceptowalna dla człowieka, ale nie pasować do ścisłego wzorca aplikacji. Nie poprawiamy odpowiedzi przed oceną.

Drugi wynik zalicza odpowiedź tylko wtedy, gdy poprawne są zarówno wymagany format, jak i wartości. Nie wydobywamy poprawnej treści z odpowiedzi, która nie spełnia formatu.

Wszystkie sześć konfiguracji ukończyło 24 zadania, bez uciętych odpowiedzi. Słabszy wynik Qwen3-32B wynikał głównie z dodawania oznaczeń bloku kodu, choć prosiliśmy o sam JSON; nie każde odrzucenie oznacza więc błędną treść. Z kolei jedyna niezgodność GPT-OSS-120B dotyczyła nazwy „Team River” zamiast oczekiwanego „River”. Nie są to jednak wyłącznie różnice zapisu: w odpowiedziach Qwen3-32B i 235B były również błędne obliczenia. Obie wersje Qwen 72B uzyskały tutaj taki sam wynik, co nie dowodzi ich równoważności w innych zastosowaniach.

To ograniczony zestaw kontrolny, nie ranking ogólnej inteligencji. Pomaga dostrzec różnicę między szybkim generowaniem a poprawnym wykonaniem określonego zadania. Dla własnej aplikacji warto przygotować podobny sprawdzian z rzeczywistymi dokumentami i jasnymi oczekiwaniami.

Który wariant pasuje do mojego zastosowania?

Do interaktywnego asystenta warto rozpatrywać wspólnie czas odpowiedzi, jakość i ilość przekazywanego tekstu. Mniejszy model jest kandydatem do prostych, częstych zadań; większy warto sprawdzić przy bardziej wymagającej pracy. Są to kierunki do weryfikacji, nie gwarancja przewagi konkretnego modelu.

Przetwarzanie dokumentów w kolejce może tolerować dłuższe oczekiwanie niż rozmowa na żywo. Jeżeli ważny jest dostęp do większego modelu, pomoc RAM i CPU daje dodatkową możliwość. Cenę takiego podziału w czasie odpowiedzi pokazuje porównanie tego samego modelu GPU/CPU, a największą badaną konfigurację opisuje test 235B.

Nie nazywamy 235B bezwzględnym maksimum każdego możliwego modelu i formatu. To największy wariant sprawdzony w tej serii, przy zapisanych ustawieniach. Więcej równoczesnych zadań lub dłuższy kontekst wymaga osobnego sprawdzenia pamięci.

Najlepszy punkt wyjścia to nazwa modelu, format, długość dokumentów i liczba zapytań naraz. Sprawdź konfigurację serwera lub opisz planowane zastosowanie. Pojęcia wyjaśnia krótki słownik AI i GPU.