İçeriğe geç
MZGrid

Ekosistem

Zaten kullandığınız açık kaynak yapay zekâ yığınını çalıştırır.

MZGrid kapalı bir bahçe değil, bir altyapıdır. İş yükleri standart konteynerlerdir ve çıkarım uç noktaları OpenAI API’sini konuşur; bu nedenle aşağıdaki araçlar kutudan çıktığı gibi çalışır.

Burada listelenen projeler, MZGrid ile uyumlu bağımsız açık kaynak yazılımlardır. Listeye dahil edilmeleri bir ortaklık, onay veya bağlantı anlamına gelmez.

01

Sunum ve çalışma ortamları

Şablonlarımızın üzerine kurulduğu motorlar.

vllm-openai

vLLM

PagedAttention, sürekli toplu işleme ve FP8/AWQ nicemleme ile yüksek verimli LLM sunumu.

MZGrid’de: llama-3.1-8b, llama-3.3-70b, qwen2.5-32b ve genel vllm-openai şablonu dahil tüm LLM şablonlarına güç verir.

Başlayın
pytorch-jupyter

PyTorch

Derin öğrenme modellerini eğitmek ve ince ayar yapmak için standart çerçeve.

MZGrid’de: pytorch-jupyter şablonu, token korumalı bir JupyterLab içinde CUDA 12.4 ile PyTorch 2.5 sunar.

Başlayın
sdxl-comfyui

ComfyUI

Görüntü üretimi ve düzenleme için düğüm tabanlı difüzyon iş akışları.

MZGrid’de: sdxl-comfyui şablonu SDXL ve FLUX.1-schnell’i önceden yükler ve ComfyUI arayüzünü ve API’sini sunar.

Başlayın
whisper-large-v3

Whisper

Açık konuşma tanıma ve çeviri modelleri.

MZGrid’de: whisper-large-v3 şablonu, herhangi bir HTTP istemcisinden çağırabileceğiniz bir transkripsiyon API’si sunar.

Başlayın

02

Modeller ve paketleme

Ağırlıkları ve konteynerleri zaten bulundukları yerden getirin.

Hugging Face modelleri

En büyük açık model merkezi — Llama, Qwen, Mistral, Gemma, embedding modelleri ve daha fazlası.

MZGrid’de: Uyumlu herhangi bir model kimliğini vllm-openai şablonuna iletin; ağırlıklar başlangıçta sağlayıcı tarafında indirilir.

Başlayın
custom-docker

Docker

Her MZGrid iş yükünün içinde çalıştığı konteyner formatı.

MZGrid’de: Uzun süre çalışan hizmetler için custom-docker, tamamlanana kadar çalışan işler için batch kullanın. İmajlar host ağı veya ayrıcalıklı mod olmadan çalışır.

Başlayın

03

Uygulama çerçeveleri

Uygulama kodunuzun MZGrid ile konuştuğunu bilmesine gerek yok.

OpenAI uyumlu istemciler

Python ve TypeScript için resmî OpenAI SDK’ları ve aynı API’yi konuşan her araç.

MZGrid’de: base_url değerini işinizin endpointUrl + /v1 adresine ayarlayın. Chat completions, completions, embeddings ve streaming olduğu gibi çalışır.

Başlayın

LangChain

LLM destekli uygulamalar ve ajanlar geliştirmek için bir çerçeve.

MZGrid’de: ChatOpenAI entegrasyonunu, base_url MZGrid uç noktanızı gösterecek şekilde kullanın.

Başlayın

LlamaIndex

Belgeleriniz üzerinde erişimle zenginleştirilmiş üretim (RAG) için bir veri çerçevesi.

MZGrid’de: OpenAILike LLM ve embedding sınıflarını MZGrid uç nokta URL’nizle yapılandırın.

Başlayın

Ekosistem ve geliştirici hibeleri

MZGrid üzerinde bir şey mi geliştiriyorsunuz?

MZG arzının %15’i ekosistem ve geliştirici hibelerine ayrılmıştır ve 36 ay boyunca doğrusal olarak serbest bırakılır. Ne geliştirdiğinizi Discord’daki #builders kanalında bize anlatın — ağı daha kullanışlı hâle getiren entegrasyonlar, şablonlar, araçlar ve araştırmalar önceliklidir.