HyperPod Inference Gateway の GPU ルーティング
更新
AWS は、Amazon EKS 上の SageMaker HyperPod 向けに Kubernetes ネイティブで GPU を考慮したルーティングアドオンを発表した。
Amazon SageMaker HyperPod Inference Gateway は、LLM 推論を振り分けるための、Kubernetes ネイティブで GPU を考慮したルーティングの仕組みです。2026 年 9 月 24 日の投稿で、AWS はこれを既存の SageMaker HyperPod に単一の EKS マネージドアドオンとして入れ、アプリケーション側の変更はゼロだとしています。
ラウンドロビンではなく、推論の実信号でリクエストを送ることで、最初のトークンまでの遅延を最大 82% 減らせる、と AWS は書いています。働きは三つに分かれます。クラスタごとに一つのプライベートエンドポイントを出す Envoy、リクエストからモデル名を読むボディベースのルーター、そしてモデルサーバーのポッドを採点するエンドポイントピッカーです。vLLM や SGLang を含む OpenAI 互換のモデルサーバーで動き、アプリケーションのコードは変えません。クラスタ単位のルーティングは、SageMaker HyperPod の推論アドオンが使えるすべての AWS リージョンで提供されています。
重要ポイント
- 2026 年 9 月 24 日の投稿で、AWS はこのゲートウェイを、既存の SageMaker HyperPod 上に単一の EKS マネージドアドオンとして入り、アプリケーション変更が不要な Kubernetes ネイティブの GPU 対応ルーティングだと説明している。
- AWS は、ラウンドロビンを置き換え、最初のトークン遅延を最大 82% 減らし、混合ハードウェアとバーストでは p99 の最初のトークンまでの時間を 97–98% 減らすとしている。
- AWS は 3 つの構成要素を挙げている。Envoy エンドポイント、モデル名を読むボディベースルーター、KV キャッシュ使用率やキュー深さなど 6 つの信号でポッドを採点するエンドポイントピッカー。
- AWS は、vLLM と SGLang を含む OpenAI 互換のモデルサーバーで動作し、クラスタ単位のルーティングは HyperPod 推論アドオン対応リージョンで使えるとしている。
出典: Amazon SageMaker HyperPod Inference Gateway for scalable LLM inference · Amazon Web Services