vllm-openaivLLM
高吞吐量 LLM 推理服务,支持 PagedAttention、连续批处理和 FP8/AWQ 量化。
在 MZGrid 上: 驱动所有 LLM 模板,包括 llama-3.1-8b、llama-3.3-70b、qwen2.5-32b 以及通用的 vllm-openai 模板。
开始使用生态系统
MZGrid 是基础设施,而非围墙花园。工作负载是标准容器,推理端点使用 OpenAI API,因此以下工具开箱即用。
此处列出的项目均为与 MZGrid 兼容的独立开源软件。列入此处并不意味着存在合作、背书或隶属关系。
01
我们的模板所依托的引擎。
vllm-openai高吞吐量 LLM 推理服务,支持 PagedAttention、连续批处理和 FP8/AWQ 量化。
在 MZGrid 上: 驱动所有 LLM 模板,包括 llama-3.1-8b、llama-3.3-70b、qwen2.5-32b 以及通用的 vllm-openai 模板。
开始使用pytorch-jupyter训练和微调深度学习模型的标准框架。
在 MZGrid 上: pytorch-jupyter 模板在受令牌保护的 JupyterLab 中提供 PyTorch 2.5 和 CUDA 12.4。
开始使用sdxl-comfyui基于节点的扩散流水线,用于图像生成与编辑。
在 MZGrid 上: sdxl-comfyui 模板预装 SDXL 和 FLUX.1-schnell,并提供 ComfyUI 界面和 API。
开始使用whisper-large-v3开源语音识别与翻译模型。
在 MZGrid 上: whisper-large-v3 模板提供转录 API,可从任意 HTTP 客户端调用。
开始使用03
您的应用代码无需知道它正在与 MZGrid 通信。
适用于 Python 和 TypeScript 的官方 OpenAI SDK,以及任何使用相同 API 的工具。
在 MZGrid 上: 将 base_url 设置为任务的 endpointUrl + /v1。聊天补全、文本补全、嵌入和流式输出均可直接使用。
开始使用用于构建 LLM 驱动的应用和智能体的框架。
在 MZGrid 上: 使用 ChatOpenAI 集成,并将 base_url 指向您的 MZGrid 端点。
开始使用基于您的文档进行检索增强生成的数据框架。
在 MZGrid 上: 使用您的 MZGrid 端点 URL 配置 OpenAILike LLM 和嵌入类。
开始使用