AWS Machine Learning Blogが、フルマネージドエンドポイントとHyperPod Inferenceにわたる年初来の動きをまとめた。
根拠のある場所なし · 根拠のある場所なし
Amazon SageMaker HyperPod Inference · Amazon Web Services · AWS Machine Learning Blog · Amazon SageMaker AI
コーディングと知識作業向けのオープンウェイトモデル。ネイティブのビジョン機能、100万トークンのコンテキスト、明示的なプロンプトキャッシュに対応する。
根拠のある場所なし · 根拠のある場所なし
Amazon Bedrock · Moonshot AI · Amazon Web Services
本番エージェント向けに、セッション解放に応じたメモリ回収と、イメージサイズや同時実行数に左右されない安定したコールドスタートを提供する。
根拠のある場所なし · 根拠のある場所なし
AgentCore runtime · Amazon Bedrock AgentCore · Amazon Web Services
コーディングエージェントにモデルを指定すると、サービングコンテナ、オートスケーリング、Amazon CloudWatchアラーム、検証済みのティアダウンまで揃ったリアルタイムエンドポイントが返る想定だ。
根拠のある場所なし · 根拠のある場所なし
Amazon CloudWatch · Amazon Web Services · Hugging Face · Amazon SageMaker AI
Amazon Web Services（アマゾン ウェブ サービス）が、リアルタイムのGPU信号で推論リクエストを最適なPodへルーティングするKubernetesネイティブのアドオンを発表。モデルサーバーやクライアントの改修なしで、ファーストトークン遅延を最大82%削減できる。
Amazon Web Services · 組織アンカー
Amazon SageMaker HyperPod · Amazon SageMaker HyperPod Inference Gateway · Amazon EKS · Amazon Web Services · AWS Machine Learning Blog