// TECH SPEC SHEET

vLLM

Vysoko propustný server pro dávkové a paralelní zpracování LLM, zaměřený na fronty požadavků a efektivní správu KV cache.

Druh
Knihovna
Výrobce / autor
—
Web
github.com
Článků
2
Ověřeno v labu
zatím ne
Otevřít web projektu ↗

// Kde jsme nástroj použili na namodro.cz

  1. Návody & Prompty Server pro lokální LLM: RAM, GPU a backend podle skutečné zátěže

    Jak z kapacity modelu a kontextu vypočítat potřebu serveru, kdy pomůže ECC RAM a dual-socket a kdy zvolit llama.cpp, vLLM nebo menší sestavu.

  2. Komunitní diskuze Qwen3.8 na lokálních GPU: rychlost, paměť a vlastní benchmark

    Jak porovnat Qwen3.8 Flash Next a 27B na RTX PRO 6000 či RTX 3090? Návod k měření propustnosti, TTFT, VRAM/RAM a kvality bez zavádějícího porovnání.