Moc mówi, w jakim tempie karta zużywa energię. Do oceny całego zadania potrzebny jest jeszcze czas. Krótsza praca przy wyższej mocy może zużyć mniej energii niż dłuższa przy niższej. Dlatego obok watów warto patrzeć na czas odpowiedzi i liczbę wykonanych zadań.
W tej serii mierzymy kartę NVIDIA RTX PRO 6000 Blackwell Max-Q podczas pracy modeli językowych. Korzystamy z odczytów GPU, a nie z licznika energii przy gniazdku. Procesor, RAM, dyski, wentylatory i straty zasilacza są poza zakresem tych wartości. Zasady obliczeń opisuje wspólna metodyka testów LLM.
Waty i watogodziny — krótko
Wat (W) opisuje moc. Watogodzina (Wh) opisuje energię zużytą w czasie. Przykładowo stałe 100 W przez dwie godziny oznacza 200 Wh. To przykład rachunkowy, nie wynik naszego serwera. Kilowatogodzina, czyli kWh, to 1000 Wh.
Wykres w tym artykule porównuje średnią moc karty dla trzech modeli. Osobna tabela godzinowa pokazuje jej dłuższą pracę. Aby ustalić energię, uwzględniamy czas oraz zmiany odczytów. Sam limit mocy ustawiony dla GPU nie oznacza, że karta pobiera dokładnie tyle przez całą dobę.
Moc podczas odpowiedzi trzech modeli
Oznaczenia 8B, 32B i 72B opisują wielkość modelu w miliardach parametrów. Q4_K_M jest oszczędniejszym sposobem ich zapisu, wyjaśnionym w słowniku AI i GPU.
| Model i format | Moc GPU podczas odpowiedzi, średnia próbek |
|---|---|
| Qwen3-8B Q4_K_M | 299,5 W |
| Qwen3-32B Q4_K_M | 300,0 W |
| Qwen2.5-72B-Instruct Q4_K_M | 300,0 W |
Pierwsze zestawienie dotyczy tego samego krótszego wejścia, jednej odpowiedzi naraz i pięciu powtórzeń dla każdego modelu. Pokazujemy średnią z próbek mocy w mierzonych odpowiedziach — bez ładowania modelu i początkowej rozgrzewki. Porównujemy całe konfiguracje modeli, nie sam wpływ ich liczby parametrów.
W tym obciążeniu wszystkie trzy konfiguracje wykorzystywały podobną moc karty — około 300 W. Czas odpowiedzi był jednak różny: mediana wyniosła odpowiednio 1,5 s, 5,5 s i 11,6 s. Podobna moc nie oznacza więc takiej samej energii potrzebnej do ukończenia pracy. Przy wyborze modelu warto zestawić czas z poprawnością odpowiedzi na własne pytania, a nie wybierać wyłącznie według watów.
Jak wygląda dłuższa praca?
Tylko czas odpowiedzi
Najpierw podsumowujemy długą próbę modelu 32B. Czas biegnie od pierwszego mierzonego zapytania do ostatniej odpowiedzi. Energia i średnia moc obejmują natomiast tylko te przedziały, w których trwały mierzone odpowiedzi — bez przerw między rundami.
| Czas pomiaru | Energia GPU w oknach odpowiedzi | Moc GPU w oknach odpowiedzi, średnia ważona czasem |
|---|---|---|
| 240,3 min | 1200,7 Wh | 300,0 W |
Pełne godziny, także przerwy
Poniżej dzielimy tę samą próbę na cztery pełne godziny. To pozwala zobaczyć, jak praca karty rozkładała się w czasie.
| Pełna godzina testu | Średnia moc GPU ważona czasem | Energia GPU w tej godzinie |
|---|---|---|
| 1 | 300,0 W | 300,0 Wh |
| 2 | 300,0 W | 300,0 Wh |
| 3 | 300,0 W | 300,0 Wh |
| 4 | 300,0 W | 300,0 Wh |
W czterech pełnych godzinach sama karta zużyła około 1,2 kWh. Po zaokrągleniu do jednego miejsca wyniki godzinowe wyglądają tak samo; dokładne wartości zachowujemy w pliku danych. Cały pomiar trwał nieco ponad cztery godziny, dlatego energia z jego okien odpowiedzi nie jest dokładnie sumą tych czterech wierszy.
Godzinne okna zaczynają się wraz z pierwszym mierzonym zapytaniem w długiej próbie Qwen3-32B. Każde obejmuje pełną godzinę czasu, także krótkie przerwy między rundami. To inny zakres niż same okresy aktywnych odpowiedzi opisane wyżej. Średnią godzinową wyliczamy z energii oraz rzeczywistej długości okna.
Serwer ukończył czterogodzinny test obsługi zapytań. Temperatura była stabilna w zmierzonej konfiguracji. Wynik dotyczy tego przebiegu, nie oznacza stałego pełnego obciążenia GPU ani niezmiennej szybkości każdej odpowiedzi.
Do czego przydaje się taki pomiar?
Przy planowaniu kolejki zadań warto zestawić energię i czas potrzebny do uzyskania użytecznego wyniku. Jeśli model szybko kończy pracę, karta może wcześniej obsłużyć następne zadanie albo przejść do lżejszego obciążenia. Z kolei długie dokumenty i kilka równoległych zapytań tworzą inny profil niż sporadyczne krótkie pytania.
Przykładowo automatyczne opracowanie partii zgłoszeń można mierzyć od rozpoczęcia do ukończenia całej partii. Do porównania dwóch ustawień potrzebna byłaby ta sama lista zadań oraz kontrola poprawności wyników. W tym artykule nie wyliczamy energii „jednego poprawnego dokumentu” na podstawie syntetycznych tokenów.
Pomiar pomaga też oddzielić kwestie infrastruktury od aplikacji. Większy pobór GPU nie jest sam w sobie oznaką problemu, podobnie jak niższy pobór nie dowodzi większej oszczędności. Potrzebny jest kontekst: co karta robiła i jak długo trwała praca.
Co z kosztem energii całego serwera?
Do obliczenia kosztu całej maszyny potrzebny byłby odrębny odczyt zasilania oraz rzeczywista cena energii. Nie zastępujemy go sumą nominalnych limitów podzespołów. Odczytu GPU nie przedstawiamy jako poboru całego serwera.
Najbardziej użyteczne porównanie to energia, czas i rezultat tego samego zadania. Tutaj dostarczamy pomiar części GPU oraz jasno określony zakres obciążenia. Test odpowiedzi API uzupełnia go o czas i liczbę zapytań, a artykuł o CPU pokazuje pracę głównego procesora. Sprawdź ofertę lub opisz swój plan wykorzystania serwera.
Szczegóły techniczne
Wspólne warunki i dwa zakresy czasu
Krótkie porównanie CORE 1.1 używa Qwen3-8B Q4_K_M, Qwen3-32B Q4_K_M i Qwen2.5-72B-Instruct Q4_K_M. Dla tabeli mocy wybieramy wejście 2048 tokenów, wyjście 256 tokenów, jedno zapytanie oraz jeden slot z przydziałem 8704. Każdy scenariusz ma pełną rozgrzewkę i pięć mierzonych rund. Moc pochodzi z próbek nvidia-smi w sumie okien odpowiedzi, a nie z całego czasu działania procesu.
Długie obciążenie dotyczy wyłącznie 32B: wejście 8192 tokeny, cztery równoległe zapytania i cztery sloty z łącznym przydziałem 34816, 256 tokenów wyjścia. Rzeczywisty okres pomiaru biegnie od pierwszego mierzonego żądania do ostatniej ukończonej odpowiedzi. Ładowanie, rozgrzewka i końcowe schłodzenie pozostają poza nim.
Energia i kompletność odczytów
Całkujemy moc metodą trapezów między odczytami ze znacznikami czasu. Granice okna muszą leżeć pomiędzy dostępnymi próbkami, a przerwa między nimi nie może przekraczać trzech sekund. Brak takiego pokrycia oznacza brak wyniku energii, nie zgodę na ekstrapolację lub zastąpienie pomiaru limitem mocy karty.
Cztery okna godzinowe liczymy osobno od początku mierzonej pracy. Moc średnia ważona czasem wynika z energii podzielonej przez czas okna; nie jest średnią z dawnych wykresów. Energia w sumie samych odpowiedzi oraz energia pełnego okna czasowego mają osobne znaczenie, szczególnie przy przerwach między zadaniami.
Kryteria jakościowej oceny warunków termicznych zapisujemy przed długą próbą. Samo ukończenie zadań nie zastępuje sprawdzenia telemetrii i jej kompletności. Liczbowe temperatury nie są częścią prezentacji artykułu.
Dane i środowisko
Aktualne zestawienie pochodzi z JSON CORE, a cztery godziny i ocena termiczna z osobnej analizy tej próby. Pliki CSV i wykres są dostępne poniżej. Starsze dane zachowują oryginalną metodykę i pozostają w archiwum — nie są częścią nowej średniej.
Środowisko: Rocky Linux 10.2, NVIDIA 595.91.07, llama.cpp b11146, ustawiony limit mocy 300 W i automatyczny profil chłodzenia GPU300WAuto. Źródłem interpretacji odczytów jest dokumentacja NVIDIA-SMI. Wynik dotyczy mierzonej karty i opisanych zadań, nie rozliczenia energii całej infrastruktury.