Anthropic Claude 3一問世就轟天動地，而我發現Amazon Bedrock近期也正式引入了Anthropic的Claude 3啦！Claude 3的突出特點之一就是它先進的視覺能力，使它能夠處理並分析圖像數據，幫助使用者更好理解圖表、圖形、照片。
我們可以利用Claude Messages API來開發虛擬助手應用程序，透過這個API可以有效地處理使用者與Anthropic Claude模型（助手）之間的對話互動。首先，讓我們導入所需的module並創建一個名為run_multi_modal_prompt的函數。
import boto3
import json
from PIL import Image
import base64
def run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens):
body = json.dumps(
{
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": max_tokens,
"messages": messages
}
)
response = bedrock_runtime.invoke_model(body=body, modelId=model_id)
response_body = json.loads(response.get('body').read())
return response_body['content'][0]['text']
在這個函數中，我們將必要的參數（如anthropic_version、max_token和messages）以JSON格式打包到body中。messages將包含我們的多模態的prompt，我們稍後討論。
接下來，我們利用invoke_model函數調用Amazon Bedrock，通過提供model_id指定使用Claude 3，然後解析response並返回生成的內容。 我準備了2張女子照片，並將其編碼為base64。
img1 = "image1.png"
img2 = "image2.png"
im1 = Image.open(img1)
im2 = Image.open(img2)
display(im1,im2)
with open("image1.png", "rb") as image_file:
img1_b64 = base64.b64encode(image_file.read()).decode('utf8')
with open("image2.png", "rb") as image_file:
img2_b64 = base64.b64encode(image_file.read()).decode('utf8')
接下來，讓我們為模型構建一個多模態prompt。多模式prompt允許你可以在content input field中指定類行為圖像或文本，比如說我把兩張女子圖給模型，請他幫我描述兩個圖的差異。
user_message = {"role": "user",
"content": [
{"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": img1_b64}
},
{"type": "image",
"source": {
"type": "base64",
"media_type": "image/png",
"data": img2_b64}
},
{"type": "text",
"text": "請比較兩張圖片"
}
]
}
messages=[user_message]
run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens)
你將看到模型如以下回覆
這兩張圖片顯示的是同一位年輕漂亮的金髮女性。她淺色眼眸、紅潤的嘴唇和溫柔的表情都讓她看起來相當迷人。不同之處在於她穿著的服裝有細微區別。第一張照片她身穿一件白色上衣,上面有一些藍色和紅色的刺繡圖案裝飾。第二張照片她穿的是一件白色蕾絲邊飾的上衣,顯得更加細緻純淨。兩張照片的背景都是柔和的灰色調,讓焦點集中在她悅目的面容和金髮上。總的來說,兩張圖片呈現出同一位秀麗動人的女性不同裝扮下的優雅形象。
很神奇吧🤩 有興趣的朋友也不妨試試！
