Bedrock-邁向應用的高速公路

更新於 2024/05/22閱讀時間約 3 分鐘

一.引言

  這回來介紹 AWS 在目前生成式 AI 各種群魔亂舞下推出的 Bedrock 服務,其官網說明可以快速且傻瓜式的部屬生成式 AI 到你的應用上,看看是不是如其所述的功能強大。

二.Amazon Bedrock 簡介

  Amazon Bedrock 旨在幫助開發者輕鬆地構建、管理和擴展生成式 AI 應用程序。通過 Bedrock,開發者可以訪問多種強大的生成式 AI 模型,包括語言模型和圖像生成模型,這些模型由領先的 AI 公司如 AI21 Labs、Anthropic 和 Stability AI 提供,另外也提供使用者上傳自己的模型,但能夠配合的功能就會減少一些。

主要功能 :

  • 簡化的模型選擇 : Bedrock 提供多種預訓練模型,開發者可以根據需要選擇最適合的模型,而不必從零開始訓練模型。這些模型涵蓋了自然語言處理(NLP)、文本生成、圖像生成等多個領域
  • 無縫集成 : Bedrock 與其他 AWS 服務無縫集成,開發者可以輕鬆地將生成式 AI 模型集成到現有的應用程序和工作流程中。例如,可以將 Bedrock 與 Amazon S3、Amazon SageMaker 等服務結合使用,實現數據存儲和模型訓練的自動化。
  • 彈性擴展 : Bedrock 支持按需擴展,開發者可以根據業務需求動態調整計算資源,確保生成式 AI 應用程序在任何規模下都能高效運行

三.使用說明

  我們大概可以將使用場景分成兩類-單純使用或只使用 Prompt 微調及確實需要修改權重的 Fine-tuning 兩種。

  • 單純使用/使用少量Prompt微調 :

  進入 Bedrock 後,左方的 Foundation models 標籤下的 Base Model 內便有許多由Amazon 或是其他第三方提供的已訓練好的模型。

raw-image

點入想要使用的模型後(這裡以Meta 的 Llama 3為例),若是第一次使用會看到以下警告

raw-image

這是提醒你尚未有模型的使用權,需要依照提示進去申請資格,這是為了確保你知道相關的收費標準以及與第三方進行許可權的認證,至於收費可以根據定價頁面,基本上是用多少收多少,但也可以申請包月就是了,而申請完資格後,便可以使用最下方提供的 API 進行使用。

raw-image

就這樣 !?
沒錯,就這樣就完成了,可說是真的非常快速且傻瓜式的使用方法,沒有任何 AI 相關技能的人也可以輕鬆駕馭,只要知道自己需要的功能是那種,選擇合適的模型就可以開幹了。

  • Fine-tuning/Pre-train :

  至於 Fine-tuning 及 Pre-train 會稍~微複雜一點點,這回需要到左方的 Foundation models 標籤下的 Custom Model,頁面下即可選擇 Fine-tuning 及 Pre-training 兩種任務。

raw-image

選擇任務後(這裡以 Fine-tuning 為例),便可以指定需要 Fine-tuning 的模型,只要準備好配套的訓練資料並放入S3容器內,便可以方便的用選取的方式選擇這些資源並建立一個 Fine-tuning 訓練,而不用碰到底層程式碼。

raw-image

四.結語

  Bedrock 提供了方便的接口讓使用者能夠使用這些已發布的大模型資源,且使用上真的是非常便捷快速,難怪許多公司更願意使用這些服務而不是自行搭建,啟動成本真的是差異太大了,但使用接口也意味著你的推論成本會跟著選擇的模型跑,會不會發生殺雞也用到牛刀的情況就是使用者需要自行去判斷的了。

avatar-img
8會員
21內容數
AI、電腦視覺、圖像處理、AWS等等持續學習時的學習筆記,也包含一些心得,主要是幫助自己學習,若能同時幫助到不小心來到這裡的人,那也是好事一件 : )
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
貓貓學習筆記 的其他內容
  前陣子我花了一些時間學習 SageMaker 的相關使用,但除了 SageMaker外,AWS 中尚有大量的機器學習相關服務,剛好趁此機會好好的統整分類一下,後續也能作為選擇學習目標的依據。
  在上篇我們介紹了 SageMaker 中 Pipeline 的使用方法,其中的 TuningStep 功能,能夠讓我們能夠指定一連串參數組合進行實驗比對,最終找出最適合的參數組合
  除了上篇提到的 Data Wrangler 外,SageMaker 還有許多配套的功能,其中有個叫做 Pipelines 的東西,說是可以用來構建、 管理及自動化深度學習流程,能夠節省人工操作,有那麼神?這次就來試試 Pipelines 能夠為我們帶來什麼體驗。
  在上篇我們已經學習到怎麼在 SageMaker 上進行簡易訓練,可以說是踏入了第一步, SageMaker 提供了不少工具用來協助使用者能夠更快速的進行訓練,其中 Data Wrangler 便是用於訓練資料處理的工具,那麼,他好用嗎?必須用嗎?
  上回練習了一個官方示例,但其中對於一些細節沒有練習到的感覺,這次我們實際將之前練習的風格轉換訓練推上去看看,看是否能體驗到更多細節。
  先前在中國的工作環境相對封閉,並沒有使用雲端產品進行AI訓練及部屬,只有在本機端進行建置調試,但如今回到台灣了,該是時候接觸一下這些雲端的 AI 服務,而在 AWS 中,深度學習相關的服務鈴瑯滿目,但聽到有人提到 SageMaker ,這次就來看看它是個什麼樣的服務吧。
  前陣子我花了一些時間學習 SageMaker 的相關使用,但除了 SageMaker外,AWS 中尚有大量的機器學習相關服務,剛好趁此機會好好的統整分類一下,後續也能作為選擇學習目標的依據。
  在上篇我們介紹了 SageMaker 中 Pipeline 的使用方法,其中的 TuningStep 功能,能夠讓我們能夠指定一連串參數組合進行實驗比對,最終找出最適合的參數組合
  除了上篇提到的 Data Wrangler 外,SageMaker 還有許多配套的功能,其中有個叫做 Pipelines 的東西,說是可以用來構建、 管理及自動化深度學習流程,能夠節省人工操作,有那麼神?這次就來試試 Pipelines 能夠為我們帶來什麼體驗。
  在上篇我們已經學習到怎麼在 SageMaker 上進行簡易訓練,可以說是踏入了第一步, SageMaker 提供了不少工具用來協助使用者能夠更快速的進行訓練,其中 Data Wrangler 便是用於訓練資料處理的工具,那麼,他好用嗎?必須用嗎?
  上回練習了一個官方示例,但其中對於一些細節沒有練習到的感覺,這次我們實際將之前練習的風格轉換訓練推上去看看,看是否能體驗到更多細節。
  先前在中國的工作環境相對封閉,並沒有使用雲端產品進行AI訓練及部屬,只有在本機端進行建置調試,但如今回到台灣了,該是時候接觸一下這些雲端的 AI 服務,而在 AWS 中,深度學習相關的服務鈴瑯滿目,但聽到有人提到 SageMaker ,這次就來看看它是個什麼樣的服務吧。
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
阿揪西放送的老朋友們應該知道,今年我剛結束了一段大齡留學生活。這段時間偶爾有網友私訊詢問學校申請、開銷和準備流程等問題,我也樂於分享各種細節。其中常提到的建議之一就是:開通一個便捷的網銀帳戶。
Thumbnail
Anthropic Claude 3擁有先進的視覺能力,可以處理圖像數據並幫助使用者更好理解圖表、圖形和照片。通過使用Claude Messages API,開發虛擬助手應用程序以及為模型構建多模態prompt,你可以讓模型描述圖片中的內容。
Thumbnail
             Amazon Web Services(AWS)宣布致力於AI安全和研究的公司Anthropic的模型Claude 3系列將於Amazon Bedrock提供服務。Claude 3系列模型具備業界領先的準確性、效能、速度和成本優勢。這一進展將強化各種規模的企業
Thumbnail
名古屋市位於愛知縣西部,是愛知縣首府,面積326.45平方公里,人口2,326,518人,僅次於東京、橫濱及大阪,是日本第四大都市,也是中部地區的政治、經濟、文化中心。1610年關原之戰後德川家康開始在陸海交通的長野高原上興建城堡,以德川家族為代表的歷史和文化是名古屋魅力和活力的一部分,除了名古屋目
Thumbnail
Continue from here Prerequisites Create an IAM role with access to Bedrock Create an "IAM Role" that defines the permissions needed to call Bed
Thumbnail
In the previous post, I tried it immediately from the Bedrock console. This time, I tried to use Bedrock from the programme, not from the console.
Thumbnail
AWS Generative AI Service - Amazon Bedrock Launched April 2023 , 28 September 2023 Amazon Generative AI Service Amazon Bedrock is now officially relea
Thumbnail
V神在2022的Bankless訪談中曾提到三個未來的巨大機遇,分別是錢包普及化、抗通膨穩定幣以及以太坊登入,其中錢包普及化將會是一個面向十億人的一個巨大商機! 如果未來你只需要一間銀行就可以在全世界消費、轉錢,不限金額即時到帳且手續費極低或不需要,甚至還有相對應的安全措施讓你錢包不見也不用擔心被盜
Thumbnail
顛峰心智用了非常多腦神經科學、腦科學的理論和實驗案例,當然也有很多專有名詞,企圖說明「怎麼獲取越來越不容易的專注力,重拾大腦的主控權」,讓專注力得以凸顯重要的事,協助我們追求和挑戰人生的重要目標。 作法,是這幾年越來越多人提倡的「正念冥想」,也透過科學論證去說明為什麼正念冥想這麼有幫助。
Thumbnail
區塊鏈的發產與資訊更新快速,經過一年 2022 的熊市,區塊鏈的技術面仍然持續的發展,在產業面向除了 NFT 與其賦能的探討之外,已經出現了許多新玩意兒,例如 SBT、PBT、DID 等等。 今天就嘗試利用甄環傳的故事來解釋 Azuki 出的 PBT 要怎麼運作。
Thumbnail
你知道不論是寫中文的作文、公司新聞稿或是個人履歷表時,我們很常用「踏板」來描述踏入新行業、邁向新事業或人生的新階段。如果要在英文求職履歷表的自介中使用這個詞,很多人都會詞窮卡住,到底「踏板」的英日文要怎麼講,你知道嗎?
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
阿揪西放送的老朋友們應該知道,今年我剛結束了一段大齡留學生活。這段時間偶爾有網友私訊詢問學校申請、開銷和準備流程等問題,我也樂於分享各種細節。其中常提到的建議之一就是:開通一個便捷的網銀帳戶。
Thumbnail
Anthropic Claude 3擁有先進的視覺能力,可以處理圖像數據並幫助使用者更好理解圖表、圖形和照片。通過使用Claude Messages API,開發虛擬助手應用程序以及為模型構建多模態prompt,你可以讓模型描述圖片中的內容。
Thumbnail
             Amazon Web Services(AWS)宣布致力於AI安全和研究的公司Anthropic的模型Claude 3系列將於Amazon Bedrock提供服務。Claude 3系列模型具備業界領先的準確性、效能、速度和成本優勢。這一進展將強化各種規模的企業
Thumbnail
名古屋市位於愛知縣西部,是愛知縣首府,面積326.45平方公里,人口2,326,518人,僅次於東京、橫濱及大阪,是日本第四大都市,也是中部地區的政治、經濟、文化中心。1610年關原之戰後德川家康開始在陸海交通的長野高原上興建城堡,以德川家族為代表的歷史和文化是名古屋魅力和活力的一部分,除了名古屋目
Thumbnail
Continue from here Prerequisites Create an IAM role with access to Bedrock Create an "IAM Role" that defines the permissions needed to call Bed
Thumbnail
In the previous post, I tried it immediately from the Bedrock console. This time, I tried to use Bedrock from the programme, not from the console.
Thumbnail
AWS Generative AI Service - Amazon Bedrock Launched April 2023 , 28 September 2023 Amazon Generative AI Service Amazon Bedrock is now officially relea
Thumbnail
V神在2022的Bankless訪談中曾提到三個未來的巨大機遇,分別是錢包普及化、抗通膨穩定幣以及以太坊登入,其中錢包普及化將會是一個面向十億人的一個巨大商機! 如果未來你只需要一間銀行就可以在全世界消費、轉錢,不限金額即時到帳且手續費極低或不需要,甚至還有相對應的安全措施讓你錢包不見也不用擔心被盜
Thumbnail
顛峰心智用了非常多腦神經科學、腦科學的理論和實驗案例,當然也有很多專有名詞,企圖說明「怎麼獲取越來越不容易的專注力,重拾大腦的主控權」,讓專注力得以凸顯重要的事,協助我們追求和挑戰人生的重要目標。 作法,是這幾年越來越多人提倡的「正念冥想」,也透過科學論證去說明為什麼正念冥想這麼有幫助。
Thumbnail
區塊鏈的發產與資訊更新快速,經過一年 2022 的熊市,區塊鏈的技術面仍然持續的發展,在產業面向除了 NFT 與其賦能的探討之外,已經出現了許多新玩意兒,例如 SBT、PBT、DID 等等。 今天就嘗試利用甄環傳的故事來解釋 Azuki 出的 PBT 要怎麼運作。
Thumbnail
你知道不論是寫中文的作文、公司新聞稿或是個人履歷表時,我們很常用「踏板」來描述踏入新行業、邁向新事業或人生的新階段。如果要在英文求職履歷表的自介中使用這個詞,很多人都會詞窮卡住,到底「踏板」的英日文要怎麼講,你知道嗎?