跳至正文
MZGrid

生态系统

运行您已在使用的开源 AI 技术栈。

MZGrid 是基础设施,而非围墙花园。工作负载是标准容器,推理端点使用 OpenAI API,因此以下工具开箱即用。

此处列出的项目均为与 MZGrid 兼容的独立开源软件。列入此处并不意味着存在合作、背书或隶属关系。

01

服务与运行时

我们的模板所依托的引擎。

vllm-openai

vLLM

高吞吐量 LLM 推理服务,支持 PagedAttention、连续批处理和 FP8/AWQ 量化。

在 MZGrid 上: 驱动所有 LLM 模板,包括 llama-3.1-8b、llama-3.3-70b、qwen2.5-32b 以及通用的 vllm-openai 模板。

开始使用
pytorch-jupyter

PyTorch

训练和微调深度学习模型的标准框架。

在 MZGrid 上: pytorch-jupyter 模板在受令牌保护的 JupyterLab 中提供 PyTorch 2.5 和 CUDA 12.4。

开始使用
sdxl-comfyui

ComfyUI

基于节点的扩散流水线,用于图像生成与编辑。

在 MZGrid 上: sdxl-comfyui 模板预装 SDXL 和 FLUX.1-schnell,并提供 ComfyUI 界面和 API。

开始使用
whisper-large-v3

Whisper

开源语音识别与翻译模型。

在 MZGrid 上: whisper-large-v3 模板提供转录 API,可从任意 HTTP 客户端调用。

开始使用

02

模型与打包

直接从现有位置引入权重和容器。

Hugging Face 模型

最大的开源模型中心——Llama、Qwen、Mistral、Gemma、嵌入模型等。

在 MZGrid 上: 将任意兼容的模型 ID 传给 vllm-openai 模板;权重会在启动时拉取到提供方机器上。

开始使用
custom-docker

Docker

所有 MZGrid 工作负载运行所用的容器格式。

在 MZGrid 上: 长期运行的服务使用 custom-docker,运行至完成的任务使用 batch。镜像运行时不使用主机网络,也不使用特权模式。

开始使用

03

应用框架

您的应用代码无需知道它正在与 MZGrid 通信。

兼容 OpenAI 的客户端

适用于 Python 和 TypeScript 的官方 OpenAI SDK,以及任何使用相同 API 的工具。

在 MZGrid 上: 将 base_url 设置为任务的 endpointUrl + /v1。聊天补全、文本补全、嵌入和流式输出均可直接使用。

开始使用

LangChain

用于构建 LLM 驱动的应用和智能体的框架。

在 MZGrid 上: 使用 ChatOpenAI 集成,并将 base_url 指向您的 MZGrid 端点。

开始使用

LlamaIndex

基于您的文档进行检索增强生成的数据框架。

在 MZGrid 上: 使用您的 MZGrid 端点 URL 配置 OpenAILike LLM 和嵌入类。

开始使用

生态与开发者资助

正在 MZGrid 上构建项目?

MZG 供应量的 15% 专门用于生态与开发者资助,在 36 个月内线性释放。欢迎在 Discord 的 #builders 频道告诉我们您正在构建的内容——能让网络更有用的集成、模板、工具和研究将被优先考虑。