본문으로 건너뛰기
MZGrid

에코시스템

이미 사용 중인 오픈소스 AI 스택을 그대로 실행합니다.

MZGrid는 폐쇄형 생태계가 아닌 인프라입니다. 워크로드는 표준 컨테이너이고 추론 엔드포인트는 OpenAI API를 그대로 지원하므로, 아래 도구들을 별도 설정 없이 바로 사용할 수 있습니다.

여기에 나열된 프로젝트는 MZGrid와 호환되는 독립적인 오픈소스 소프트웨어입니다. 목록에 포함되었다고 해서 파트너십, 보증 또는 제휴 관계를 의미하지 않습니다.

01

서빙 및 런타임

템플릿의 기반이 되는 엔진.

vllm-openai

vLLM

PagedAttention, 연속 배칭, FP8/AWQ 양자화를 지원하는 고처리량 LLM 서빙 엔진.

MZGrid에서는: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b 및 범용 vllm-openai 템플릿을 포함한 모든 LLM 템플릿을 구동합니다.

시작하기
pytorch-jupyter

PyTorch

딥러닝 모델 학습과 파인튜닝을 위한 표준 프레임워크.

MZGrid에서는: pytorch-jupyter 템플릿은 토큰으로 보호되는 JupyterLab에 PyTorch 2.5와 CUDA 12.4를 함께 제공합니다.

시작하기
sdxl-comfyui

ComfyUI

이미지 생성 및 편집을 위한 노드 기반 디퓨전 파이프라인.

MZGrid에서는: sdxl-comfyui 템플릿은 SDXL과 FLUX.1-schnell을 사전 탑재하고 ComfyUI 인터페이스와 API를 제공합니다.

시작하기
whisper-large-v3

Whisper

오픈 음성 인식 및 번역 모델.

MZGrid에서는: whisper-large-v3 템플릿은 모든 HTTP 클라이언트에서 호출할 수 있는 전사 API를 제공합니다.

시작하기

02

모델 및 패키징

가중치와 컨테이너를 지금 있는 곳에서 그대로 가져오세요.

Hugging Face 모델

Llama, Qwen, Mistral, Gemma, 임베딩 모델 등을 아우르는 최대 규모의 오픈 모델 허브.

MZGrid에서는: 호환되는 모델 ID를 vllm-openai 템플릿에 전달하면, 시작 시 공급자 측에서 가중치를 내려받습니다.

시작하기
custom-docker

Docker

모든 MZGrid 워크로드가 실행되는 컨테이너 형식.

MZGrid에서는: 장기 실행 서비스에는 custom-docker를, 완료될 때까지 실행되는 작업에는 batch를 사용하세요. 이미지는 호스트 네트워킹이나 특권 모드 없이 실행됩니다.

시작하기

03

애플리케이션 프레임워크

앱 코드는 MZGrid와 통신한다는 사실을 몰라도 됩니다.

OpenAI 호환 클라이언트

Python 및 TypeScript용 공식 OpenAI SDK와, 같은 API를 지원하는 모든 도구.

MZGrid에서는: base_url을 작업의 endpointUrl + /v1로 설정하세요. Chat completions, completions, embeddings, 스트리밍이 그대로 작동합니다.

시작하기

LangChain

LLM 기반 애플리케이션과 에이전트를 구축하기 위한 프레임워크.

MZGrid에서는: ChatOpenAI 통합을 사용하고 base_url을 MZGrid 엔드포인트로 지정하세요.

시작하기

LlamaIndex

문서 기반 검색 증강 생성(RAG)을 위한 데이터 프레임워크.

MZGrid에서는: OpenAILike LLM 및 임베딩 클래스에 MZGrid 엔드포인트 URL을 설정하세요.

시작하기

에코시스템 및 개발자 지원금

MZGrid에서 무언가를 만들고 계신가요?

MZG 공급량의 15%가 에코시스템 및 개발자 지원금으로 배정되어 있으며, 36개월에 걸쳐 선형으로 지급됩니다. Discord의 #builders 채널에서 무엇을 만들고 있는지 알려 주세요. 네트워크를 더 유용하게 만드는 통합, 템플릿, 도구, 연구를 우선 지원합니다.