Qwen na Intel Arc: co znamená 17 tokenů/s na notebooku s 96 GB RAM

Diskuse o běhu Qwen na Intel Arc je užitečná hlavně čísly, ne formulací „běží na GPU“. Na notebooku Dell Precision 3590 s 64 GB RAM se autorovi podařilo přes Ollama 0.40.14 a Vulkan spustit kvantované modely Qwen3.6 35B a Qwen3-Coder-Next 80B. Qwen3.6 dosáhl 26,14 tokenu/s při plánování LRU a 28,68 tokenu/s při použití BlockingQueue. U 80B modelu vyšlo 17,06 a 15,44 tokenu/s.

Notebook jako náhrada GPU stanice?

Přesné označení je hybridní offload neboli vrstvový split mezi GPU a systémovou pamětí. Diskuze často mluví o „běhu celého modelu na GPU“, ale to neříká, zda jsou všechny vrstvy trvale umístěny v grafické paměti ani jak často se mezi GPU a CPU přenášejí.

Intel Arc v tomto notebooku je volitelná integrovaná grafika Meteor Lake na platformě Core Ultra. Její výhodou je dostupná kapacita, nikoli výkon pásma. Model, kontext a cache se musí vejít do 64 GB sdílené DDR5, kterou současně používá procesor i ostatní aplikace. Samostatná karta RTX 500 Ada se 4 GB VRAM může výrazně zvýšit výpočetní výkon, ale omezená grafická paměť znesnadní umístění celého modelu.

Porovnání s drahou stanicí s 96 GB GDDR7 proto není fér. Notebook vyhrává cenou, spotřebou a přenositelností; samostatná GPU s vlastní grafickou pamětí poskytuje stabilnější propustnost. Jde tedy o alternativu pro práci s velkými modely bez trvalého přístupu k drahé akceleraci, nikoli o plnohodnotnou náhradu GPU stanice.

Ollama a Vulkan: co je nutné ověřit

Praktický postup začíná instalací Ollama, stažením příslušného kvantovaného modelu a kontrolou, zda runtime skutečně používá Intel Arc. Výhodnější je předem ověřit verzi Ollamy, ovladače, backend a způsob rozdělení vrstev. Ollama 0.40.14 podporuje běh kvantovaných GGUF modelů přes Vulkan backend, pokud se backend na daném zařízení úspěšně spustí; tato podpora však není specifickou novinkou této verze.

Pro model lze zvolit kvantizaci Q4_K_M, která snižuje objem vah. Menší kvantizace ušetří paměť, ale může zhoršit kvalitu kódu. Proto je nutné výsledky porovnávat při stejné kvantizaci, stejném promptu a stejné délce odpovědi.

Ollama rozděluje výpočet mezi GPU a CPU heuristikou. Pokud se část vah nachází v systémové RAM, přenos dat mezi CPU a GPU může výkon výrazně zhoršit. Označení „100 % GPU“ proto vyžaduje kontrolu logu runtime, případně mapy umístění vrstev. Samotný fakt, že model generuje odpověď, tuto otázku nevyřeší.

Pro vývojářské použití je užitečné oddělit dvě metriky:

• decode neboli tok generovaných tokenů za sekundu;
• prefill neboli rychlost zpracování vstupního kontextu.

Rychlá odpověď na krátký prompt může být přijatelná, ale pomalý prefill se projeví při načítání dokumentace, historie chatu nebo rozsáhlého repozitáře.

Jak to funguje pod kapotou a kde má postup limity

Při generování dalšího tokenu musí model postupně přistupovat k vahám. Je-li většina vrstev v rychlé grafické paměti, výkon závisí hlavně na výpočtu a šířce pásma. Po přesunu vah do systémové DDR5 se stává určující propustnost paměti. Přestože GPU stále vykonává část výpočtu, kvůli přenosu vrstev přes rozhraní může její přínos zanikat.

Qwen3-Coder-Next 80B je směsí expertů, takže při jednom tokenu se aktivuje jen část expertních vah. To snižuje výpočetní náročnost, nikoli nutnost načíst potřebné části do rychlé paměti. Při nedostatku rezidentních vrstev naráží i SYCL backend na omezení přenosu dat.

Sdílená RAM navíc není vyhrazená grafice. CPU, systém, editor a modelové procesy si konkurují o stejné stránky. Při 200tisícovém kontextu navíc roste KV cache, která se počítá odděleně od vah. Její velikost závisí také na počtu vrstev, hlav, batchi a kvantizaci. Model, který se „vejde“, tak může mít při dlouhém kontextu výrazně nižší tok tokenů.

SYCL a Level Zero ve WSL2 byly v diskuzi ověřeny samostatným programem DPC++ 6.2.0: autor uvádí, že detekce Intel Arc fungovala a milion GPU operací prošlo kontrolou. Veřejně doložený záznam o tomto konkrétním ověření však není k dispozici. To potvrzuje výpočetní cestu, nikoli kompatibilitu komplexních aplikací. Správa paměti, rozdělení expertů a konkrétní SYCL backend mohou vyžadovat další úpravy. Také vývojové nástroje, které využívají novější optimalizace llama.cpp pro MXFP4 MoE, se nemusí v Ollamě projevit stejně.

Kdy Arc postačí a kdy už ne

Intel Arc dává smysl pro lokální prototypování, soukromé zpracování kódu, experimenty s lokálními AI modely a úlohy, kde je důležitější dostupnost 64 GB RAM než maximální rychlost. V diskuzi se tato výhoda spojovala s prací nad citlivými e-maily, CRM nebo interními dokumenty, které není vhodné posílat do cizí služby.

Dedikovaná GPU je lepší pro dlouhé interaktivní generování, rozsáhlý prefill a pravidelné zpracování více modelů. Cloudové předplatné zůstává výhodné, pokud potřebujete předvídatelný výkon, širší modelovou nabídku nebo neomezenou kapacitu bez správy vlastního hardwaru.

Pro Qwen3.6 35B může být Arc rozumným kompromisem. U 80B modelu je naměřených 17 tokenů/s užitečných při krátkém či středním kontextu, ale neznamená to stejnou responzivnost při 200 tisících tokenů nebo současném běhu více aplikací. Před koupí je proto nutné změřit vlastní workflow: prefill, decode, délku kontextu a spotřebu paměti při reálné práci, nikoli jen krátký ukázkový prompt.

Co si z toho vzít

• „100 % GPU“ není totéž co „celý model trvale v grafické paměti“.
• U Intel Arc rozhoduje propustnost sdílené DDR5, výkon GPU a přenos vrstev.
• Měřte prefill i decode odděleně.
• Počítejte s pamětí pro vahy, KV cache, systém a pracovní aplikace.
• Q4_K_M je rozumný kompromis; kvalitu je nutné ověřit na vlastním kódu.
• Ollama a Vulkan jsou snadný start; SYCL a Level Zero už vyžadují hlubší znalosti backendu.
• 64 GB RAM umožní velké modely, ale samo o sobě neudělá z notebooku GPU stanici.
• Předplatné vyberte podle výkonu a datové citlivosti, hardware podle dostupné kapacity a potřeby lokality.

Vytvoř benchmark pro [cílová pracovní úloha] s modelem [model a kvantizace] na [konfigurace hardwaru].
Změř rychlost prefillu, rychlost decode, maximální využití paměti a nárůst KV cache při délkách kontextu [délky kontextu].
Porovnej backendy Vulkan a [alternativní backend] se stejnými prompty a nastavením vzorkování.
Uveď [výkonnostní metriky] a urči mezní bod, kdy vrstvy přecházejí z grafické paměti do systémové RAM.