vllm-openaivLLM
PagedAttention, sürekli toplu işleme ve FP8/AWQ nicemleme ile yüksek verimli LLM sunumu.
MZGrid’de: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b ve genel vllm-openai şablonu dahil tüm LLM şablonlarına güç verir.
BaşlayınEkosistem
MZGrid kapalı bir bahçe değil, bir altyapıdır. İş yükleri standart konteynerlerdir ve çıkarım uç noktaları OpenAI API’sini konuşur; bu nedenle aşağıdaki araçlar kutudan çıktığı gibi çalışır.
Burada listelenen projeler, MZGrid ile uyumlu bağımsız açık kaynak yazılımlardır. Listeye dahil edilmeleri bir ortaklık, onay veya bağlantı anlamına gelmez.
01
Şablonlarımızın üzerine kurulduğu motorlar.
vllm-openaiPagedAttention, sürekli toplu işleme ve FP8/AWQ nicemleme ile yüksek verimli LLM sunumu.
MZGrid’de: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b ve genel vllm-openai şablonu dahil tüm LLM şablonlarına güç verir.
Başlayınpytorch-jupyterDerin öğrenme modellerini eğitmek ve ince ayar yapmak için standart çerçeve.
MZGrid’de: pytorch-jupyter şablonu, token korumalı bir JupyterLab içinde CUDA 12.4 ile PyTorch 2.5 sunar.
Başlayınsdxl-comfyuiGörüntü üretimi ve düzenleme için düğüm tabanlı difüzyon iş akışları.
MZGrid’de: sdxl-comfyui şablonu SDXL ve FLUX.1-schnell’i önceden yükler ve ComfyUI arayüzünü ve API’sini sunar.
Başlayınwhisper-large-v3Açık konuşma tanıma ve çeviri modelleri.
MZGrid’de: whisper-large-v3 şablonu, herhangi bir HTTP istemcisinden çağırabileceğiniz bir transkripsiyon API’si sunar.
Başlayın02
Ağırlıkları ve konteynerleri zaten bulundukları yerden getirin.
En büyük açık model merkezi — Llama, Qwen, Mistral, Gemma, embedding modelleri ve daha fazlası.
MZGrid’de: Uyumlu herhangi bir model kimliğini vllm-openai şablonuna iletin; ağırlıklar başlangıçta sağlayıcı tarafında indirilir.
Başlayıncustom-dockerHer MZGrid iş yükünün içinde çalıştığı konteyner formatı.
MZGrid’de: Uzun süre çalışan hizmetler için custom-docker, tamamlanana kadar çalışan işler için batch kullanın. İmajlar host ağı veya ayrıcalıklı mod olmadan çalışır.
Başlayın03
Uygulama kodunuzun MZGrid ile konuştuğunu bilmesine gerek yok.
Python ve TypeScript için resmî OpenAI SDK’ları ve aynı API’yi konuşan her araç.
MZGrid’de: base_url değerini işinizin endpointUrl + /v1 adresine ayarlayın. Chat completions, completions, embeddings ve streaming olduğu gibi çalışır.
BaşlayınLLM destekli uygulamalar ve ajanlar geliştirmek için bir çerçeve.
MZGrid’de: ChatOpenAI entegrasyonunu, base_url MZGrid uç noktanızı gösterecek şekilde kullanın.
BaşlayınBelgeleriniz üzerinde erişimle zenginleştirilmiş üretim (RAG) için bir veri çerçevesi.
MZGrid’de: OpenAILike LLM ve embedding sınıflarını MZGrid uç nokta URL’nizle yapılandırın.
BaşlayınEkosistem ve geliştirici hibeleri
MZG arzının %15’i ekosistem ve geliştirici hibelerine ayrılmıştır ve 36 ay boyunca doğrusal olarak serbest bırakılır. Ne geliştirdiğinizi Discord’daki #builders kanalında bize anlatın — ağı daha kullanışlı hâle getiren entegrasyonlar, şablonlar, araçlar ve araştırmalar önceliklidir.