本文へスキップ
MZGrid

エコシステム

使い慣れたオープンソースのAIスタックがそのまま動く。

MZGridはインフラであり、囲い込まれた閉じた環境ではありません。ワークロードは標準的なコンテナで、推論エンドポイントはOpenAI APIに準拠しているため、以下のツールはすぐに使えます。

ここに掲載されているプロジェクトは、MZGridと互換性のある独立したオープンソースソフトウェアです。掲載は、提携、推奨、または関係性を意味するものではありません。

01

サービングとランタイム

テンプレートの基盤となるエンジン。

vllm-openai

vLLM

PagedAttention、連続バッチ処理、FP8/AWQ量子化による高スループットなLLMサービング。

MZGridでは: llama-3.1-8b、llama-3.3-70b、qwen2.5-32b、汎用のvllm-openaiテンプレートを含む、すべてのLLMテンプレートを支えています。

始める
pytorch-jupyter

PyTorch

ディープラーニングモデルの学習とファインチューニングの標準フレームワーク。

MZGridでは: pytorch-jupyterテンプレートは、トークンで保護されたJupyterLabにPyTorch 2.5とCUDA 12.4を搭載しています。

始める
sdxl-comfyui

ComfyUI

画像の生成と編集のための、ノードベースの拡散モデルパイプライン。

MZGridでは: sdxl-comfyuiテンプレートはSDXLとFLUX.1-schnellをプリロードし、ComfyUIのインターフェースとAPIを公開します。

始める
whisper-large-v3

Whisper

オープンな音声認識・翻訳モデル。

MZGridでは: whisper-large-v3テンプレートは、任意のHTTPクライアントから呼び出せる文字起こしAPIを提供します。

始める

02

モデルとパッケージング

重みやコンテナを、今ある場所からそのまま持ち込めます。

Hugging Faceのモデル

最大級のオープンモデルハブ。Llama、Qwen、Mistral、Gemma、埋め込みモデルなど。

MZGridでは: 互換性のある任意のモデルIDをvllm-openaiテンプレートに渡すだけ。重みは起動時にプロバイダー側で取得されます。

始める
custom-docker

Docker

MZGridのすべてのワークロードが動作するコンテナ形式。

MZGridでは: 長時間稼働するサービスにはcustom-docker、完了まで実行するジョブにはbatchを使用します。イメージはホストネットワークや特権モードなしで実行されます。

始める

03

アプリケーションフレームワーク

アプリのコードは、通信相手がMZGridであることを意識する必要はありません。

OpenAI互換クライアント

Python・TypeScript向けの公式OpenAI SDK、および同じAPIに対応するあらゆるツール。

MZGridでは: base_urlをジョブのendpointUrl + /v1に設定します。チャット補完、補完、埋め込み、ストリーミングがそのまま動作します。

始める

LangChain

LLMを活用したアプリケーションやエージェントを構築するためのフレームワーク。

MZGridでは: ChatOpenAIインテグレーションのbase_urlをMZGridのエンドポイントに向けて使用します。

始める

LlamaIndex

ドキュメントに対する検索拡張生成(RAG)のためのデータフレームワーク。

MZGridでは: OpenAILikeのLLMクラスと埋め込みクラスに、MZGridのエンドポイントURLを設定します。

始める

エコシステム・開発者向け助成

MZGridで何かを構築していますか?

MZG供給量の15%は、エコシステムと開発者向けの助成に充てられ、36か月間で線形に解除されます。Discordの#buildersチャンネルで、構築中のものを教えてください。ネットワークの有用性を高めるインテグレーション、テンプレート、ツール、研究を優先しています。