Amazon Bedrock正式引入Anthropic的Claude 3！趕緊來體驗強大的視覺能力！

Anthropic Claude 3一問世就轟天動地，而我發現Amazon Bedrock近期也正式引入了Anthropic的Claude 3啦！Claude 3的突出特點之一就是它先進的視覺能力，使它能夠處理並分析圖像數據，幫助使用者更好理解圖表、圖形、照片。

我們可以利用Claude Messages API來開發虛擬助手應用程序，透過這個API可以有效地處理使用者與Anthropic Claude模型（助手）之間的對話互動。首先，讓我們導入所需的module並創建一個名為run_multi_modal_prompt的函數。

import boto3
import json
from PIL import Image
import base64
def run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens):

    body = json.dumps(
        {
            "anthropic_version": "bedrock-2023-05-31",
            "max_tokens": max_tokens,
             "messages": messages
        }
    )
  
    response = bedrock_runtime.invoke_model(body=body, modelId=model_id)
    response_body = json.loads(response.get('body').read())
    return response_body['content'][0]['text']
    
    

在這個函數中，我們將必要的參數（如anthropic_version、max_token和messages）以JSON格式打包到body中。messages將包含我們的多模態的prompt，我們稍後討論。

接下來，我們利用invoke_model函數調用Amazon Bedrock，通過提供model_id指定使用Claude 3，然後解析response並返回生成的內容。 我準備了2張女子照片，並將其編碼為base64。

img1 = "image1.png"
img2 = "image2.png"
im1 = Image.open(img1)
im2 = Image.open(img2)
display(im1,im2)
with open("image1.png", "rb") as image_file:
	img1_b64 = base64.b64encode(image_file.read()).decode('utf8')
with open("image2.png", "rb") as image_file:
	img2_b64 = base64.b64encode(image_file.read()).decode('utf8')

接下來，讓我們為模型構建一個多模態prompt。多模式prompt允許你可以在content input field中指定類行為圖像或文本，比如說我把兩張女子圖給模型，請他幫我描述兩個圖的差異。

user_message = {"role": "user",
             "content": [
                {"type": "image", 
                 "source": {
                     "type": "base64",
                     "media_type": "image/png", 
                     "data": img1_b64}
                },
                {"type": "image", 
                 "source": {
                     "type": "base64",
                     "media_type": "image/png", 
                     "data": img2_b64}
                },
                {"type": "text", 
                 "text": "請比較兩張圖片"
                }
            ]
        }
messages=[user_message]
run_multi_modal_prompt(bedrock_runtime, model_id, messages, max_tokens)

你將看到模型如以下回覆

這兩張圖片顯示的是同一位年輕漂亮的金髮女性。她淺色眼眸、紅潤的嘴唇和溫柔的表情都讓她看起來相當迷人。不同之處在於她穿著的服裝有細微區別。第一張照片她身穿一件白色上衣,上面有一些藍色和紅色的刺繡圖案裝飾。第二張照片她穿的是一件白色蕾絲邊飾的上衣,顯得更加細緻純淨。兩張照片的背景都是柔和的灰色調,讓焦點集中在她悅目的面容和金髮上。總的來說,兩張圖片呈現出同一位秀麗動人的女性不同裝扮下的優雅形象。

很神奇吧🤩 有興趣的朋友也不妨試試！