vllm-openaivLLM
PagedAttention、連続バッチ処理、FP8/AWQ量子化による高スループットなLLMサービング。
MZGridでは: llama-3.1-8b、llama-3.3-70b、qwen2.5-32b、汎用のvllm-openaiテンプレートを含む、すべてのLLMテンプレートを支えています。
始めるエコシステム
MZGridはインフラであり、囲い込まれた閉じた環境ではありません。ワークロードは標準的なコンテナで、推論エンドポイントはOpenAI APIに準拠しているため、以下のツールはすぐに使えます。
ここに掲載されているプロジェクトは、MZGridと互換性のある独立したオープンソースソフトウェアです。掲載は、提携、推奨、または関係性を意味するものではありません。
01
テンプレートの基盤となるエンジン。
vllm-openaiPagedAttention、連続バッチ処理、FP8/AWQ量子化による高スループットなLLMサービング。
MZGridでは: llama-3.1-8b、llama-3.3-70b、qwen2.5-32b、汎用のvllm-openaiテンプレートを含む、すべてのLLMテンプレートを支えています。
始めるpytorch-jupyterディープラーニングモデルの学習とファインチューニングの標準フレームワーク。
MZGridでは: pytorch-jupyterテンプレートは、トークンで保護されたJupyterLabにPyTorch 2.5とCUDA 12.4を搭載しています。
始めるsdxl-comfyui画像の生成と編集のための、ノードベースの拡散モデルパイプライン。
MZGridでは: sdxl-comfyuiテンプレートはSDXLとFLUX.1-schnellをプリロードし、ComfyUIのインターフェースとAPIを公開します。
始めるwhisper-large-v3オープンな音声認識・翻訳モデル。
MZGridでは: whisper-large-v3テンプレートは、任意のHTTPクライアントから呼び出せる文字起こしAPIを提供します。
始める02
重みやコンテナを、今ある場所からそのまま持ち込めます。
03
アプリのコードは、通信相手がMZGridであることを意識する必要はありません。
Python・TypeScript向けの公式OpenAI SDK、および同じAPIに対応するあらゆるツール。
MZGridでは: base_urlをジョブのendpointUrl + /v1に設定します。チャット補完、補完、埋め込み、ストリーミングがそのまま動作します。
始めるLLMを活用したアプリケーションやエージェントを構築するためのフレームワーク。
MZGridでは: ChatOpenAIインテグレーションのbase_urlをMZGridのエンドポイントに向けて使用します。
始めるドキュメントに対する検索拡張生成(RAG)のためのデータフレームワーク。
MZGridでは: OpenAILikeのLLMクラスと埋め込みクラスに、MZGridのエンドポイントURLを設定します。
始める