Model na GPU czy podzielony między GPU i CPU?

Jeżeli model mieści się na karcie, warto zacząć od obliczeń na GPU. W naszym porównaniu ten sam model 72B odpowiadał znacznie szybciej, gdy obliczenia modelu wykonywała karta. Pomoc procesora z RAM pozwoliła zwolnić znaczną część pamięci karty, ale odpowiedź zajmowała więcej czasu. Sprawdziliśmy obie strony tego wyboru: odzyskane miejsce i czas oczekiwania.

VRAM to pamięć karty graficznej; RAM to pamięć systemowa serwera. Podział pracy między GPU i CPU nazywamy tutaj offloadem. Może umożliwić uruchomienie większego modelu, ale nie zamienia RAM w równie szybką pamięć karty.

Co zmieniło przeniesienie części modelu do RAM?

Porównaliśmy Qwen2.5-72B-Instruct Q4_K_M na jednym serwerze. Format Q4_K_M to oszczędniejszy zapis danych modelu; we wszystkich trzech wariantach użyliśmy dokładnie tych samych plików. Najpierw obliczenia modelu wykonywała karta, następnie zwiększaliśmy udział procesora i RAM. Nie zmienialiśmy modelu, jego formatu ani sprzętu. To pozwala przyjrzeć się skutkom samego podziału pracy.

Zasady czytania wyników opisuje wspólna metodyka testów LLM. Dokładne ustawienia tej wykonanej serii znajdują się w szczegółach poniżej.

Czasy dotyczą wejścia 2048 tokenów i odpowiedzi 256 tokenów, po jednym zapytaniu naraz. Token to fragment tekstu, nie zawsze całe słowo. Mediana oznacza środkowy wynik z trzech prób. Kolumna VRAM obejmuje próbki z sześciu odpowiedzi danego wariantu, łącznie dla wejść 2048 i 8192 tokenów — nie wyłącznie krótszy test.

Najłatwiej zauważyć różnicę w kolumnie całej odpowiedzi: od około jedenastu sekund do około czterech i sześciu minut. To czasy kontrolowanej próby z odpowiedzią o stałej długości, a nie obietnica czasu dowolnej rozmowy. Pokazują jednak, że oszczędność pamięci w tym ustawieniu nie była bezpłatna pod względem szybkości.

Dlaczego samo dodanie RAM nie wystarcza?

RAM zapewnia miejsce na dane, ale nie przejmuje szybkości obliczeń karty. W badanych wariantach procesor wykonywał część pracy wcześniej wykonywanej przez GPU. Model musiał czekać na wynik tej części, zanim odpowiedź mogła postępować dalej. Więcej wolnego miejsca na karcie i szybsza odpowiedź to więc dwa różne cele.

Warto też oddzielić pojemność RAM od sposobu jego pracy. Znaczenie mają procesor, szybkość pamięci i jej konfiguracja. Dokładny układ stanowiska opisujemy niżej. Samo zwiększenie liczby gigabajtów nie pozwala obliczyć, o ile skróci się odpowiedź; wymagałoby to osobnego porównania.

Dla kogo GPU, a dla kogo GPU z RAM?

Do interaktywnego czatu wybralibyśmy tutaj wariant GPU. Najkrótsze oczekiwanie i najwyższa szybkość generowania były jego wyraźną przewagą. Gdy model już mieści się na karcie, przenoszenie go do RAM wyłącznie po to, by zwolnić VRAM, ma w tej konfiguracji znaczący koszt czasowy.

Wyobraźmy sobie asystenta, któremu pracownik zadaje kolejne krótkie pytania. Oczekiwanie powtarza się przy każdej odpowiedzi, więc nawet poprawny wynik po kilku minutach może przeszkadzać w pracy. Inna sytuacja to zadanie dodane do kolejki, po którego wynik wraca się później. Tam dłuższa odpowiedź może być akceptowalna, jeżeli potrzebny model nie mieści się w całości na karcie.

Podział może być sensowny przy pracy w kolejce: na przykład nocnym przetwarzaniu dokumentów, gdy ważniejszy jest dostęp do większego modelu niż natychmiastowa odpowiedź. To przykład zastosowania do sprawdzenia, nie wykonany tutaj test jakości analizy dokumentów. Osobno pokazujemy działający model 235B z GPU i RAM.

Jak podjąć decyzję we własnym projekcie?

Najpierw sprawdź, czy wybrany model mieści się na GPU wraz z miejscem na tekst i odpowiedzi. Jeżeli tak, warto zmierzyć wariant GPU jako punkt odniesienia. Jeżeli nie, można rozważyć oszczędniejszy format modelu, inny model albo podział pracy z CPU. Każda z tych dróg odpowiada na inne potrzeby; zmiana modelu lub formatu wymaga ponownego sprawdzenia przydatności odpowiedzi.

Przy podziale GPU i RAM dobrze zacząć od kilku własnych zadań: krótkiego pytania, typowego dokumentu i najdłuższego przewidywanego wejścia. Oceń nie tylko to, czy program wystartował, ale również czy kończy zadanie w akceptowalnym czasie. Tak powstaje użyteczne kryterium wyboru: odpowiedź wystarczająco dobra i dostarczona wtedy, gdy jest potrzebna.

Ocena: RAM poszerza możliwości doboru modelu, a GPU daje szybkość. Wyniki dotyczą konkretnego procesora i układu pamięci tego stanowiska; nie są prognozą dla każdego serwera ani konfiguracji z większą ilością RAM.

Zobacz, jakie modele przetestowaliśmy, sprawdź konfigurację serwera lub opisz swój model i akceptowalny czas odpowiedzi. Pojęcia wyjaśniamy w słowniku AI i GPU.