Bedrock-邁向應用的高速公路

Bedrock-邁向應用的高速公路

更新於 發佈於 閱讀時間約 3 分鐘

一.引言

  這回來介紹 AWS 在目前生成式 AI 各種群魔亂舞下推出的 Bedrock 服務,其官網說明可以快速且傻瓜式的部屬生成式 AI 到你的應用上,看看是不是如其所述的功能強大。

二.Amazon Bedrock 簡介

  Amazon Bedrock 旨在幫助開發者輕鬆地構建、管理和擴展生成式 AI 應用程序。通過 Bedrock,開發者可以訪問多種強大的生成式 AI 模型,包括語言模型和圖像生成模型,這些模型由領先的 AI 公司如 AI21 Labs、Anthropic 和 Stability AI 提供,另外也提供使用者上傳自己的模型,但能夠配合的功能就會減少一些。

主要功能 :

  • 簡化的模型選擇 : Bedrock 提供多種預訓練模型,開發者可以根據需要選擇最適合的模型,而不必從零開始訓練模型。這些模型涵蓋了自然語言處理(NLP)、文本生成、圖像生成等多個領域
  • 無縫集成 : Bedrock 與其他 AWS 服務無縫集成,開發者可以輕鬆地將生成式 AI 模型集成到現有的應用程序和工作流程中。例如,可以將 Bedrock 與 Amazon S3、Amazon SageMaker 等服務結合使用,實現數據存儲和模型訓練的自動化。
  • 彈性擴展 : Bedrock 支持按需擴展,開發者可以根據業務需求動態調整計算資源,確保生成式 AI 應用程序在任何規模下都能高效運行

三.使用說明

  我們大概可以將使用場景分成兩類-單純使用或只使用 Prompt 微調及確實需要修改權重的 Fine-tuning 兩種。

  • 單純使用/使用少量Prompt微調 :

  進入 Bedrock 後,左方的 Foundation models 標籤下的 Base Model 內便有許多由Amazon 或是其他第三方提供的已訓練好的模型。

raw-image

點入想要使用的模型後(這裡以Meta 的 Llama 3為例),若是第一次使用會看到以下警告

raw-image

這是提醒你尚未有模型的使用權,需要依照提示進去申請資格,這是為了確保你知道相關的收費標準以及與第三方進行許可權的認證,至於收費可以根據定價頁面,基本上是用多少收多少,但也可以申請包月就是了,而申請完資格後,便可以使用最下方提供的 API 進行使用。

raw-image

就這樣 !?
沒錯,就這樣就完成了,可說是真的非常快速且傻瓜式的使用方法,沒有任何 AI 相關技能的人也可以輕鬆駕馭,只要知道自己需要的功能是那種,選擇合適的模型就可以開幹了。

  • Fine-tuning/Pre-train :

  至於 Fine-tuning 及 Pre-train 會稍~微複雜一點點,這回需要到左方的 Foundation models 標籤下的 Custom Model,頁面下即可選擇 Fine-tuning 及 Pre-training 兩種任務。

raw-image

選擇任務後(這裡以 Fine-tuning 為例),便可以指定需要 Fine-tuning 的模型,只要準備好配套的訓練資料並放入S3容器內,便可以方便的用選取的方式選擇這些資源並建立一個 Fine-tuning 訓練,而不用碰到底層程式碼。

raw-image

四.結語

  Bedrock 提供了方便的接口讓使用者能夠使用這些已發布的大模型資源,且使用上真的是非常便捷快速,難怪許多公司更願意使用這些服務而不是自行搭建,啟動成本真的是差異太大了,但使用接口也意味著你的推論成本會跟著選擇的模型跑,會不會發生殺雞也用到牛刀的情況就是使用者需要自行去判斷的了。

avatar-img
貓貓學習筆記
9會員
21內容數
AI、電腦視覺、圖像處理、AWS等等持續學習時的學習筆記,也包含一些心得,主要是幫助自己學習,若能同時幫助到不小心來到這裡的人,那也是好事一件 : )
留言
avatar-img
留言分享你的想法!
貓貓學習筆記 的其他內容
  前陣子我花了一些時間學習 SageMaker 的相關使用,但除了 SageMaker外,AWS 中尚有大量的機器學習相關服務,剛好趁此機會好好的統整分類一下,後續也能作為選擇學習目標的依據。
  在上篇我們介紹了 SageMaker 中 Pipeline 的使用方法,其中的 TuningStep 功能,能夠讓我們能夠指定一連串參數組合進行實驗比對,最終找出最適合的參數組合
  除了上篇提到的 Data Wrangler 外,SageMaker 還有許多配套的功能,其中有個叫做 Pipelines 的東西,說是可以用來構建、 管理及自動化深度學習流程,能夠節省人工操作,有那麼神?這次就來試試 Pipelines 能夠為我們帶來什麼體驗。
  前陣子我花了一些時間學習 SageMaker 的相關使用,但除了 SageMaker外,AWS 中尚有大量的機器學習相關服務,剛好趁此機會好好的統整分類一下,後續也能作為選擇學習目標的依據。
  在上篇我們介紹了 SageMaker 中 Pipeline 的使用方法,其中的 TuningStep 功能,能夠讓我們能夠指定一連串參數組合進行實驗比對,最終找出最適合的參數組合
  除了上篇提到的 Data Wrangler 外,SageMaker 還有許多配套的功能,其中有個叫做 Pipelines 的東西,說是可以用來構建、 管理及自動化深度學習流程,能夠節省人工操作,有那麼神?這次就來試試 Pipelines 能夠為我們帶來什麼體驗。