Amazon SageMaker endpoints 是您將機器學習模型部署到可用於即時推論(real-time inference)的服務位置。透過 SageMaker endpoints,您可以將已訓練好的模型部署成一個穩定可用的 API 接口,用戶或應用程式可以透過這個接口傳送資料請求並即時獲得模型預測結果。
主要特點包括:• 即時推論服務:部署後的 endpoint 可以持續提供低延遲的模型推論,適合線上服務與應用。
• 彈性擴展:您可設定初始執行個體數量和最大執行個體數量,SageMaker 會依負載自動擴展或縮減。
• 免基礎設施管理:系統幫您管理底層伺服器和網路設定,您只需專注在模型和配置。
• 多模型支援:一個 endpoint 可以佈署多個版本或多個模型以供切換使用。
• 部署流程:通常步驟包含模型訓練、建立模型(model),配置 endpoint,最後啟動並監控 endpoint。
部署大致流程:
1. 訓練並評估模型。
2. 將模型包裝成 SageMaker 的模型格式,通常放在 S3。
3. 創建 endpoint 配置,設定實例類型與數量。
4. 創建並啟動 endpoint。
5. 向 endpoint 發送請求取得推論結果。
您可以用 SageMaker Studio 界面操作,或用 SageMaker Python SDK、boto3 等 CLI 工具程式化管理。
















