NVIDIA（GPU、CUDA、NIM、Nemotron）

モデルと提供内容 #

どんな組織か

このハブは、コードがGPUに触れるすべての人（このサイトの読者のほぼ全員）と、NVIDIAのハードウェアを買うか、借りるか、避けるかを決めようとしている人のためのページです。同社は1993年にグラフィックスチップのメーカーとして設立され、2007年にそのチップで汎用計算ができるようにCUDAをリリースし、2012年にAlexNetが2枚のGTX 580で学習されたことでディープラーニングのデフォルトプラットフォームになりました。主要なフレームワークはすべてCUDAを第一に、他のバックエンドを第二に対象としています。クロック速度よりメモリ帯域幅とTensorコアが重要である理由はハードウェアとアクセラレーションのトピックで説明しています。

2023年以降、NVIDIAはスタックの上層へ押し上げています。推論コンパイラ、パッケージ化されたマイクロサービス、学習フレームワーク、そして自社のオープンウェイトモデルです。ハードウェアの堀を持つソフトウェアベンダーであり、その堀がCUDAです。

ツールとAPI

多くの人はCUDAを直接インストールすることはありません。PyTorchとJAXのwheelがCUDAランタイムを同梱しており、マシンに必要なのはドライバだけです。本稿執筆時点の現行はCUDA Toolkit 13.5です（リリースノートのページに日付はなく、13.4は2026年9月でした）。13.x系ではMaxwell、Pascal、Volta向けのオフラインコンパイルが削除されたため、GTX 10シリーズとV100にはCUDA 12.x系のビルドが必要で、13.5ではDebian 12が非推奨になりました。主要プラットフォームはLinuxです。WindowsはネイティブとWSL2経由の両方でサポートされ、DGX Station向けのWindows on Armも含まれます。macOS向けのCUDAはありません。

推論層: TensorRTはモデルを1種類のGPU向けのエンジンにコンパイルし、TensorRT-LLM（Apache-2.0、本稿執筆時点で1.4のリリース候補、CUDA 13.4とPyTorch 2.14向けにビルド）がLLM固有のカーネル、ページドアテンション、量子化を加えます。NVIDIAはこれらのカーネルをvLLMとSGLangにも寄贈しているため、製品を採用しなくても恩恵の多くを得られます。Triton Inference Server（BSD-3）はエンジンをHTTPとgRPCで提供します。NIMはモデル、TensorRT-LLMまたはvLLM、OpenAI互換APIを1つのコンテナにまとめます。

# needs-api
import os
from openai import OpenAI

client = OpenAI(api_key=os.environ.get("NIM_API_KEY", "none"), base_url="http://127.0.0.1:8000/v1")
chat = client.chat.completions.create(
    model=os.environ["NIM_MODEL"],
    messages=[{"role": "user", "content": "In one sentence, what does a learning rate control?"}],
)
print(chat.choices[0].message.content)

NIMコンテナはNVIDIA AI Enterpriseのもとでランタイムとしてライセンスされ、GPUあたり年額で課金されます。中のモデルにはそれぞれ独自のライセンスが付きます。本稿執筆時点ではAI Enterpriseの料金ページを読み込めなかったため、NVIDIAの製品ページを参照してください。build.nvidia.comのホスト型エンドポイントには試用クォータがあります。

モデル: NemotronラインがNVIDIAのオープンウェイトファミリーです。Nemotron 3.5 Lightning（合計30 B、アクティブ3 B、一部にアテンション層を含むMamba-2とMoEのハイブリッド、1 Mコンテキスト、OpenMDW-1.1、2026年8月11日）が、GPU 1枚に収まるモデルです。Nemotron 3 Ultraは合計550 B、アクティブ55 Bで1 Mコンテキスト、Nemotron 3.5 Super VL（合計120 B、アクティブ12 B）は早期アクセス中です。Lightningのモデルカードには、層数、エキスパート数、データの構成は非開示とあります。OpenMDW-1.1は寛容なモデルライセンスで、カードには商用利用を許可すると説明されているため、これらは制限付きではなく寛容なライセンスのオープンウェイトです。

つまずきやすい点: ドライバとツールキットのバージョン対応表、GPUごと・TensorRTバージョンごとに再ビルドが必要なエンジン、そして数十GBに達するコンテナイメージです。

移行メモ

NVIDIAから離れる: AMD ROCmが最も近い同等品で、PyTorch 2.15はROCm 10.0のwheelを提供しているため、学習コードは通常wheelを変えるだけで動きますが、カスタムCUDAカーネル、特定アーキテクチャ向けにチューニングしたTritonカーネル、cuDNN固有の機能を使うものには作業が必要です。Apple MLXとPyTorch MPSが、CUDAのまったくないMacをカバーします。Google TPUにはJAXかPyTorch/XLAが必要です。推論については、vLLMとllama.cppがROCm、Metal、Vulkan、CPUで動くので、TensorRTパイプラインを移植するよりNVIDIAから離れる安価な経路になります。

NVIDIAの世代間: TensorRTでビルドしたエンジンはアーキテクチャ間（HopperからBlackwell）で引き継げず、再コンパイルが必要です。NVFP4はBlackwell専用で、FP8にはHopper以降が必要です。量子化形式のリファレンスに、どの形式にどのハードウェアが必要かをまとめています。

モデル形式: NIMとTensorRT-LLMはHugging Faceのチェックポイントを読み、初回実行時にエンジンをビルドします。Nemotronのチェックポイントは標準的なsafetensorsでTransformersとvLLMで読み込めますが、Mamba層には両方の最近のバージョンが必要です。

注意点

CUDAがロックインです。EULAはランタイムの無償利用と再配布を許可していますが、他ベンダーのハードウェア上で変換層を介してCUDAを実行することは許可しておらず、NVIDIAが持つカーネルの成熟度でのリードこそが対価の中身です。ハードウェア自体の価格は、信頼できる定価ではなく供給とクラウド事業者によって決まります。

NIMのライセンスモデルは不注意だと罠になります。コンテナは開発者プログラムを通じて無料で試せますが、本番利用にはAI Enterpriseのサブスクリプションが必要で、中のモデルには意図する用途を禁じるライセンスが付いているかもしれません。両方を確認してください。Nemotron、Llama Nemotron、NVIDIA Open Model Licenseの各変種は条件が異なります。

CUDAのメジャーリリースのたびに古いGPUはツールキットのサポートを失い、コンシューマー向けカードはドライバのEULAのもとでデータセンター用途にライセンスされていません。NVIDIA自身のベンチマーク（カタログページによればLightningは「30B-A3Bクラスで最速」）はベンダーの公表値です。NGCのコンテナとNVIDIAのPythonパッケージは、無効にしない限り更新確認のために外部に接続するので、エアギャップ環境では重要です。