SageMaker AI：2026年の推論機能13件
更新
AWS の振り返りは、2026 年の SageMaker AI 推論機能 13 件をマネージドエンドポイントと HyperPod に分けて挙げている。
Amazon SageMaker AI では、モデルをデプロイしてトークン単位ではなくインスタンス単位で利用します。2026 年 9 月 18 日付の振り返りで、AWS は経路を二つに分けています。インフラと運用を AWS が担うマネージドエンドポイントと、専用 GPU クラスタを Kubernetes ネイティブに扱う SageMaker HyperPod Inference です。AWS は、2026 年の年初来でこの二つの経路に新しい推論機能が 13 件出たと書いています。
マネージドエンドポイント側は、推論レコメンデーション、容量を考慮したインスタンスプール、OpenAI 互換 API、コンテナキャッシュ、可観測性ダッシュボード、非同期のインラインペイロード、プレフィックス対応ルーティングです。HyperPod 側は、簡素化された EKS 推論オペレーター、マネージドな階層型 KV キャッシュ、データキャプチャ、Hugging Face Hub とローカル NVMe へのモデル読み込みと Route 53 DNS を含む性能向上、プリフィルとデコードの分離、そしてモデルキャッシュです。
重要ポイント
- AWS は、2026 年に SageMaker AI がマネージドエンドポイントと SageMaker HyperPod Inference で 13 の新しい推論機能を出したと書いている。
- マネージドエンドポイント側には、推論レコメンデーション、容量を考慮したインスタンスプール、OpenAI 互換 API、コンテナキャッシュ、可観測性ダッシュボード、非同期インラインペイロード、プレフィックス対応ルーティングが含まれる。
- HyperPod 側には、簡素化された EKS 推論オペレーター、階層型 KV キャッシュ、データキャプチャ、プリフィルとデコードの分離、モデルキャッシュが含まれる。
- AWS は、コンテナキャッシュで起動遅延が 51% 減った例と、Llama 3.1 70B でのプレフィックス対応ルーティングにより P50 の最初のトークンまでの時間が 71–77% 短くなった例を報告している。
出典: Amazon SageMaker Inference: 2026 year-to-date launches in review · Amazon Web Services