オープンソースのエコシステム（vLLM、llama.cpp、Ollama、LiteLLM、LangChain、LlamaIndex）

モデルと提供内容 #

どんな組織か

このハブは、重みを持っていてサービスにしたい人、あるいはアプリケーションを持っていて1つのAPIベンダーへの依存をやめたい人のためのページです。これらのプロジェクトはどれもモデルを学習しません。他のプラットフォームハブで扱うモデル提供者と自分のコードとの間をつなぐ配管であり、多くは2023年に1人のプロジェクトとして始まり、その後周囲に企業が育ちました。

vLLMは2023年にUC BerkeleyのSky Computing Labからページドアテンションの論文とともに登場し、今ではGPU上でオープンモデルをサービングする最も一般的な方法です。llama.cppは2023年3月にGeorgi GerganovによるLlamaの素のC++への移植として始まり、GGUF形式と、あらゆるローカルランナーが使うggmlテンソルライブラリを育てました。Ollamaは同年後半にllama.cppをDocker風のコマンドラインで包みました。LangChain（2022年10月）とLlamaIndex（2022年11月）はChatGPTとともに現れ、呼び出しと検索をオーケストレーションし、LiteLLMは2023年に登場してあらゆるプロバイダーをOpenAIのように見せるようにしました。これらのプロジェクトが置かれているライセンスの状況はオープンソース機械学習のトピックで扱っています。

ツールとAPI

GPUでのサービング: pip install vllmの後、vllm serve <hub-id>でOpenAI互換のエンドポイントが得られます。vLLM v0.33.0（2026年11月2日）はCUDA 13.0専用のwheelを出荷し、デフォルトのROCmビルドを10.0に移し、Python 3.10のサポートを終了しました。Apache-2.0で、PyTorch Foundationのプロジェクトです。SGLangが主な代替で、同程度の性能と異なるスケジューラを持ちます。どちらもHugging Faceのチェックポイントを直接読み、どちらもNVIDIAが寄贈したカーネルを含むため、大半のモデルでTensorRT-LLMとの差は小さいです。

ローカルでの実行: llama.cppは2026年11月13日にv1.0.0に達し、長らく非推奨だった公開APIを削除しつつ、引き続き1日に数回、番号付きビルドを公開しています。CPU、Apple Metal、CUDA、ROCm、Vulkan、SYCLで動き、GGUFファイルを読み、そのllama-serverはOpenAIのチャット、エンベディング、そして今では音声の形式を話します。Ollama（MIT、2026年11月9日のv0.40.16）はmacOS、Windows、Linuxにインストールでき、ollama pullでライブラリから量子化済みモデルを取得し、http://127.0.0.1:11434でサービングし、Apple SiliconではMLXバックエンドを使い、同じクライアントを通じてホスト型の「クラウド」モデルも仲介します。当サイトの小さなRAGプロジェクトはこれに対して動作します。

# needs-api
import httpx

body = {
    "model": "smollm2:135m",
    "messages": [{"role": "user", "content": "In one sentence, what does a learning rate control?"}],
    "stream": False,
}
reply = httpx.post("http://127.0.0.1:11434/api/chat", json=body, timeout=120).json()
print(reply["message"]["content"])

ゲートウェイとオーケストレーション: LiteLLMのPython SDKはcompletion(model="anthropic/...")を各プロバイダーのAPIに対応づけ、そのプロキシはそれらすべての前に仮想キー、予算、ロギングを追加します。コアはMITで、enterpriseディレクトリの機能は商用ライセンスです。LangChain 1.x（langchain 1.5.0、2026年11月11日、Python 3.11以降）はチェーンとエージェントのライブラリで、ステートフルで循環のあるエージェントグラフにはLangGraph、有料のトレーシングサービスとしてLangSmithがあります。LlamaIndex（0.14.25、2026年9月21日）は文書の読み込み、チャンク分割、インデックス作成、クエリに焦点を当て、有料のパース・ホスティングサービスとしてLlamaCloudがあります。RAGパイプラインのチェックリストに、それぞれがどこに収まるかを示しています。

上記はすべて無料です。つまずきやすい点: vLLMのCUDAおよびPyTorchバージョンとの結合、llama.cppのビルドマトリクスと1.0以前の容赦ないAPIの変更、Ollamaのデフォルト量子化が品質低下を隠すこと、LiteLLMの大きさ、そしてLangChainとLlamaIndexの抽象化層が単純な呼び出しのデバッグを難しくすることです。

移行メモ

サービングエンジン間: vLLM、SGLang、llama.cpp、Ollama、Foundry Local、NIM、TensorRT-LLMはすべてOpenAI互換のチャットエンドポイントを公開しているので、アプリケーションから見ればbase_urlの変更です。異なるのはサンプリングパラメータ、ツール呼び出しと構造化出力のサポート、そしてそれぞれが読み込める量子化形式です。GGUFはllama.cppとOllamaの形式で、vLLMはsafetensorsに加えてGPTQ、AWQ、FP8、NVFP4のチェックポイントを読み、TensorRT-LLMは独自のエンジンをビルドします。量子化形式のリファレンスに対応表があります。

ホスト型プロバイダーからセルフホストへ: openai SDKをそのまま使い、vLLMに向けます。ホスト型のウェブ検索、ファイルストア、プロバイダーの安全性フィルターは失われ、これらは自分で担うことになります。LiteLLMを使えば切り替えは設定変更で済み、フォールバック用に両方の経路を生かしておけます。

フレームワークから脱フレームワークへ: LangChainやLlamaIndexのパイプラインは、どの呼び出しをしているかがわかれば数百行の素のPythonになり、プロジェクトが成熟するにつれてそのように移行するチームは多いです。逆に入る場合、LangChain 1.xとLlamaIndex 0.14は0.x時代のインポートパスを壊したため、古いチュートリアルはそのままでは動きません。

注意点

ライセンスはツール層ではきれいで、モデル層では厄介です。MITのランナーは、あなたの用途を禁じるライセンスのモデルでも平然とサービングします。支配するのはモデルのライセンスです。Ollamaのモデルライブラリは各モデルページにライセンスを表示しており、モデルのリファレンスには当サイトが追跡するモデルについて記録しています。

これらのプロジェクトの背後にある企業のビジネスモデルはオープンコアです。LiteLLMのエンタープライズ機能、LangSmith、LlamaCloud、Ollamaのクラウドモデルは有料で規約が変わる可能性があり、一方でMITとApache-2.0のコアは奪われることはありませんが、開発が止まることはありえます。かつてvLLMの当然の代替だったHugging FaceのText Generation Inferenceは、リポジトリによればメンテナンスモードであり、それがまさにその姿です。

運用上のリスクはバージョンの変化です。vLLMのマイナーリリースはCUDAバージョンとPythonバージョンを切り捨て（0.32でPython 3.10、0.33でCUDA 12.9のwheelが落ちました）、llama.cppは1.0.0で36個の非推奨関数を削除し、LangChainのメジャーバージョンはパッケージ構成を変えました。すべてを固定し、リリースノートを読んでください。テレメトリ: Ollamaはデフォルトでは外部に接続せず、LangChainとLlamaIndexはLangSmithやLlamaCloudを設定しない限り何も送信せず、LiteLLMのプロキシにはオプトアウト方式の利用状況レポートがあるので、機密性の高い環境にデプロイする前に各プロジェクトのドキュメントを確認してください。