vllm-openaivLLM
Serving de LLM de alto throughput com PagedAttention, batching contínuo e quantização FP8/AWQ.
No MZGrid: Alimenta todos os templates de LLM, incluindo llama-3.1-8b, llama-3.3-70b, qwen2.5-32b e o template genérico vllm-openai.
Comece agora