Chuyển đến nội dung
MZGrid

Hệ sinh thái

Chạy stack AI mã nguồn mở mà bạn đang dùng.

MZGrid là hạ tầng, không phải một hệ sinh thái khép kín. Khối lượng công việc là container tiêu chuẩn và endpoint suy luận dùng chuẩn OpenAI API, nên các công cụ dưới đây hoạt động ngay lập tức.

Các dự án được liệt kê ở đây là phần mềm mã nguồn mở độc lập, tương thích với MZGrid. Việc đưa chúng vào danh sách không hàm ý quan hệ đối tác, sự bảo chứng hay liên kết.

01

Phục vụ & môi trường chạy

Các engine làm nền tảng cho mẫu triển khai của chúng tôi.

vllm-openai

vLLM

Phục vụ LLM thông lượng cao với PagedAttention, continuous batching và lượng tử hóa FP8/AWQ.

Trên MZGrid: Vận hành mọi mẫu LLM, bao gồm llama-3.1-8b, llama-3.3-70b, qwen2.5-32b và mẫu chung vllm-openai.

Bắt đầu
pytorch-jupyter

PyTorch

Framework tiêu chuẩn để huấn luyện và tinh chỉnh mô hình học sâu.

Trên MZGrid: Mẫu pytorch-jupyter đi kèm PyTorch 2.5 với CUDA 12.4 trong JupyterLab được bảo vệ bằng token.

Bắt đầu
sdxl-comfyui

ComfyUI

Quy trình diffusion dạng node để tạo và chỉnh sửa ảnh.

Trên MZGrid: Mẫu sdxl-comfyui cài sẵn SDXL và FLUX.1-schnell, đồng thời cung cấp giao diện và API của ComfyUI.

Bắt đầu
whisper-large-v3

Whisper

Các mô hình mở cho nhận dạng và dịch giọng nói.

Trên MZGrid: Mẫu whisper-large-v3 cung cấp API chuyển giọng nói thành văn bản mà bạn có thể gọi từ bất kỳ client HTTP nào.

Bắt đầu

02

Mô hình & đóng gói

Mang trọng số và container từ nơi chúng đang được lưu trữ.

Mô hình Hugging Face

Kho mô hình mở lớn nhất — Llama, Qwen, Mistral, Gemma, mô hình embedding và nhiều hơn nữa.

Trên MZGrid: Truyền bất kỳ model id tương thích nào vào mẫu vllm-openai; trọng số được tải về máy nhà cung cấp khi khởi động.

Bắt đầu
custom-docker

Docker

Định dạng container mà mọi khối lượng công việc trên MZGrid đều chạy bên trong.

Trên MZGrid: Dùng custom-docker cho dịch vụ chạy lâu dài hoặc batch cho tác vụ chạy đến khi hoàn tất. Image chạy mà không có host networking hay chế độ privileged.

Bắt đầu

03

Framework ứng dụng

Mã ứng dụng của bạn không cần biết nó đang giao tiếp với MZGrid.

Client tương thích OpenAI

Các SDK OpenAI chính thức cho Python và TypeScript, cùng mọi công cụ dùng cùng API.

Trên MZGrid: Đặt base_url thành endpointUrl của tác vụ + /v1. Chat completions, completions, embeddings và streaming hoạt động nguyên trạng.

Bắt đầu

LangChain

Framework để xây dựng ứng dụng và agent dùng LLM.

Trên MZGrid: Dùng tích hợp ChatOpenAI với base_url trỏ tới endpoint MZGrid của bạn.

Bắt đầu

LlamaIndex

Framework dữ liệu cho tạo sinh tăng cường truy xuất (RAG) trên tài liệu của bạn.

Trên MZGrid: Cấu hình các lớp LLM và embedding OpenAILike với URL endpoint MZGrid của bạn.

Bắt đầu

Tài trợ hệ sinh thái & nhà phát triển

Bạn đang xây dựng trên MZGrid?

15% nguồn cung MZG được dành cho các khoản tài trợ hệ sinh thái và nhà phát triển, giải phóng tuyến tính trong 36 tháng. Hãy cho chúng tôi biết bạn đang xây dựng gì trong kênh #builders trên Discord — ưu tiên các tích hợp, mẫu triển khai, công cụ và nghiên cứu giúp mạng lưới hữu ích hơn.