vllm-openaivLLM
PagedAttention, 연속 배칭, FP8/AWQ 양자화를 지원하는 고처리량 LLM 서빙 엔진.
MZGrid에서는: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b 및 범용 vllm-openai 템플릿을 포함한 모든 LLM 템플릿을 구동합니다.
시작하기에코시스템
MZGrid는 폐쇄형 생태계가 아닌 인프라입니다. 워크로드는 표준 컨테이너이고 추론 엔드포인트는 OpenAI API를 그대로 지원하므로, 아래 도구들을 별도 설정 없이 바로 사용할 수 있습니다.
여기에 나열된 프로젝트는 MZGrid와 호환되는 독립적인 오픈소스 소프트웨어입니다. 목록에 포함되었다고 해서 파트너십, 보증 또는 제휴 관계를 의미하지 않습니다.
01
템플릿의 기반이 되는 엔진.
vllm-openaiPagedAttention, 연속 배칭, FP8/AWQ 양자화를 지원하는 고처리량 LLM 서빙 엔진.
MZGrid에서는: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b 및 범용 vllm-openai 템플릿을 포함한 모든 LLM 템플릿을 구동합니다.
시작하기pytorch-jupyter딥러닝 모델 학습과 파인튜닝을 위한 표준 프레임워크.
MZGrid에서는: pytorch-jupyter 템플릿은 토큰으로 보호되는 JupyterLab에 PyTorch 2.5와 CUDA 12.4를 함께 제공합니다.
시작하기sdxl-comfyui이미지 생성 및 편집을 위한 노드 기반 디퓨전 파이프라인.
MZGrid에서는: sdxl-comfyui 템플릿은 SDXL과 FLUX.1-schnell을 사전 탑재하고 ComfyUI 인터페이스와 API를 제공합니다.
시작하기whisper-large-v3오픈 음성 인식 및 번역 모델.
MZGrid에서는: whisper-large-v3 템플릿은 모든 HTTP 클라이언트에서 호출할 수 있는 전사 API를 제공합니다.
시작하기02
가중치와 컨테이너를 지금 있는 곳에서 그대로 가져오세요.
Llama, Qwen, Mistral, Gemma, 임베딩 모델 등을 아우르는 최대 규모의 오픈 모델 허브.
MZGrid에서는: 호환되는 모델 ID를 vllm-openai 템플릿에 전달하면, 시작 시 공급자 측에서 가중치를 내려받습니다.
시작하기custom-docker모든 MZGrid 워크로드가 실행되는 컨테이너 형식.
MZGrid에서는: 장기 실행 서비스에는 custom-docker를, 완료될 때까지 실행되는 작업에는 batch를 사용하세요. 이미지는 호스트 네트워킹이나 특권 모드 없이 실행됩니다.
시작하기03
앱 코드는 MZGrid와 통신한다는 사실을 몰라도 됩니다.
Python 및 TypeScript용 공식 OpenAI SDK와, 같은 API를 지원하는 모든 도구.
MZGrid에서는: base_url을 작업의 endpointUrl + /v1로 설정하세요. Chat completions, completions, embeddings, 스트리밍이 그대로 작동합니다.
시작하기LLM 기반 애플리케이션과 에이전트를 구축하기 위한 프레임워크.
MZGrid에서는: ChatOpenAI 통합을 사용하고 base_url을 MZGrid 엔드포인트로 지정하세요.
시작하기문서 기반 검색 증강 생성(RAG)을 위한 데이터 프레임워크.
MZGrid에서는: OpenAILike LLM 및 임베딩 클래스에 MZGrid 엔드포인트 URL을 설정하세요.
시작하기