vLLMのtransformersバックエンドが高速化し、新モデルも即座に高速推論できるようになった。
vLLM transformersバックエンドとは
vLLM transformersバックエンドとは、Hugging Face transformersのモデル実装をそのままvLLM推論エンジン上で動かす仕組みである。モデル開発者が個別に移植作業をしなくても、continuous batchingなどvLLMの高速化技術を利用できる。
この記事の要点は次の通りである。
- Hugging Face transformersのモデル実装を、vLLM上でネイティブ実装並みまたはそれ以上の速度で動かせるようになった。
- Qwen3の4Bデンスモデル、32Bデンスモデル、235B規模のMoEモデルで検証し、いずれもvLLM純正実装と同等かそれ以上の速度を記録した。
--model-impl transformersという1つのオプションを付けるだけで、テンソル並列やエキスパート並列など既存の並列化設定をそのまま利用できる。- 線形注意機構を使うモデルは現時点では未対応だが、今後対応予定である。
- オンプレミス環境で最新モデルを迅速に検証・導入できる体制づくりに直結する。
背景
transformersライブラリは機械学習における標準的なモデリングライブラリとなっている。450以上のアーキテクチャを一貫したAPIで扱えるよう設計されている。
transformersのコードはモデルの仕組みを理解しやすく、vLLMやSGLang、MLX、llama.cppなど他フレームワークへの移植の出発点として使われてきた。昨年、transformersをvLLMのモデリングバックエンドとして統合したことが、この流れを大きく前進させた。
この統合により、モデル開発者はLLMでもVLMでも独自の移植作業なしにvLLM上でtransformersモデルを実行できるようになっていた。transformersがモデルコードを提供し、vLLMがcontinuous batchingやカスタムアテンションカーネルといった最適化された推論技術を提供する構図である。
発表内容
2026年7月8日、Hugging Faceはこの統合をさらに改善したと発表した。詳細は公式ブログで公開されている。
アップグレードは以下のコマンドで行える。
uv pip install --upgrade vllm --torch-backend auto
利用方法もシンプルで、サービング設定を変えずに--model-impl transformersフラグを追加するだけである。例えばQwen3-4Bなら単一GPUで、Qwen3-32Bならテンソル並列2GPUで、Qwen3-235B-A22B-FP8のMoEモデルならデータ並列とエキスパート並列を組み合わせて実行できる。
技術的なポイント
従来のtransformersバックエンドは、アテンション処理をボトルネックとして捉え、vLLMのアテンション実装をランタイムに差し込むことで高速化していた。しかし推論性能を最大限引き出すには、並列化などアテンション以外の要素にも対応する必要がある。
今回の改善では、GPU間の並列化を含む複数の次元に対応することで、カスタム移植でなければ実現できなかった最適化をtransformersバックエンド側で実現している。
ベンチマーク/数値
検証では3つの条件を比較している。nativeはvLLMの手書き実装、beforeは今回の改善前のtransformersバックエンド、afterは改善後のtransformersバックエンドである。
- Qwen3-4B: 単一GPUでのデンスモデル
- Qwen3-32B: テンソル並列を用いたデンスモデル
- Qwen3-235B-A22B-FP8: 8基のH100ノード上でデータ並列とエキスパート並列を組み合わせたMoEモデル
結果として、transformersバックエンドはこの3モデルすべてでvLLMネイティブ実装のスループットと同等か、それを上回った。ベンチマークの再現用スクリプトもgistとして公開されている。
独自コメント
Cosnexのオンプレミス推論レイヤーで検証してきた経験からは、モデルごとに個別移植を待たずに最新アーキテクチャを試せる意義は大きいと考える。RAG基盤では新しいモデルが公開されるたびに推論エンジン側の対応状況がボトルネックになりやすく、ログ解析や社内文書検索用途では検証サイクルの短さがそのまま運用コストに直結する。
今回のようにtransformers実装がそのままネイティブ速度で動くのであれば、オンプレ環境でのモデル入れ替えやA/B検証の頻度を上げやすくなる。AIエンジニアアカデミーでの研修でも、vLLMの内部構造とtransformers実装の対応関係を理解することが、実務でのチューニング精度を左右する点として重視している。
意義
今回の改善は、モデル開発者が公開したtransformers実装だけで高速なvLLM推論を得られることを示している。オンプレミスでLLM基盤を運用する組織にとっては、新モデル公開から実運用投入までのリードタイム短縮につながる変化である。
よくある質問
vLLMのtransformersバックエンドとは何ですか
Hugging Face transformersのモデル実装を、個別移植なしにvLLM推論エンジン上で実行できる仕組みである。
導入にはどのような設定が必要ですか
vllmパッケージを最新版に更新し、サービング時に--model-impl transformersフラグを付けるだけでよい。テンソル並列やエキスパート並列など既存の設定はそのまま使える。
対応していないモデルはありますか
線形注意機構を使うモデルは現時点では未対応である。またHub上のカスタムコードで書かれたモデルは、規約に沿って実装されていない場合動作しない可能性がある。
既存のvLLMネイティブ実装より遅くなることはありますか
検証されたQwen3の3モデルでは、いずれもネイティブ実装と同等かそれを上回るスループットを記録しており、遅くなる結果は報告されていない。
こうした軽量モデル・オンプレ環境への導入検証は、当社のオンプレミスLLM×RAG基盤「Cosnex」の標準PoCで対応しています。
