Amazon推出新世代AI技術：新的Claude 3.5 Sonnet、Claude 3.5 Haiku以及先鋒的電腦操

2024年10月22日

• 5分鐘閱讀

今天，Amazon自豪地宣佈更新了我們的AI產品線，包括更強大的Claude 3.5 Sonnet和一款全新模型Claude 3.5 Haiku。這些進步擴大了AI的可能性，特別是在程序編寫和電腦自動化領域，使我們在與Google、OpenAI等競爭對手之間保持領先位置。

更新的Claude 3.5 Sonnet對比前一代做出了全方位的改善，特別是在軟件工程任務中的出色表現，例如提高了效率和正確性—這也是它早就已經領先的領域。與此同時，Claude 3.5 Haiku的性能與之前我們最大的模型Claude 3 Opus在許多標準上起了同步，而成本和速度也保持了上一代的水平。

一項使Amazon的AI獨具特色的重大舉措是我們首次推出的先鋒功能：電腦操作，這項功能旨在為用戶提供與人類相似的電腦操作體驗，大幅提升任務自動化的效率和靈活性，讓AI能夠更智能地進行螢幕操作、輸入及控制，減少人力干預，並提高整體工作流程的效率。通過API免費提供，開發者可以指導Claude跟人類一樣使用電腦—查看螢幕，移動滑鼠，點擊按鈕，以及輸入文字。這使Claude 3.5 Sonnet成爲首個在公開演習中提供此種功能的AI模型。雖然目前还處於小規模演習階段，並有時會出現錯誤，但我們預期通過開發者們的意見，能夠快速改善此項能力。

包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company已經開始探索這些能力。例如，Canva利用Claude進行自動化圖形設計操作，DoorDash使用其來優化配送流程，而Cognition則使用它進行自動化數據分析。例如，Replit正在利用Claude 3.5 Sonnet的電腦操作和UI导航能力來開發一項關鍵功能，這包括從初步的UI元素識別，到進行多步操作和自動化測試，讓整個開發過程更加高效。此功能將使Replit Agent產品能夠快速檢查軟件界面的正確性，並自動執行一些常見的修復和優化步驟，從而提高整體的開發速度和準確性。，將使得對其Replit Agent產品的評估更加體精並使開發過程更容易化。

從今天起，開發者可以通過Anthropic API、Amazon Bedrock以及Google Cloud的Vertex AI使用更新的Claude 3.5 Sonnet。Claude 3.5 Haiku將在本月推出供用戶使用。

Claude 3.5 Sonnet：領先的軟件工程技能

更新後的Claude 3.5 Sonnet在行業標準的評價中展示了顯著的改善，特別是在策劃與電腦使用能力上的出色表現。

**技術影響**

這項技術的推出對多個行業都帶來了革命性的影響。首先，它為開發者提供了前所未有的自動化能力，讓Claude可以處理重複和複雜的任務，例如UI測試、自動化流程以及資料錄入。這很大程度上提高了生產力，減少了手工操作的需求。

次之，電腦操作功能的引入打開了建立更智能和更自動化的流程的大門。企業現在可以更容易地建構自主行為的系統，帶來在軟件開發、資料管理甚至是客戶服務方面的破積。

然而，由於該技術仍處於小規模演習階段，目前的電腦操作功能可能將有錯誤的情況發生。開發者需要小心使用，特別是在涉及敏感資料或高風險的應用場景中。隨着技術的進步，我們相信它將支援更多的應用場景，並提高整體的自動化能力。

**工作原理**

Claude 3.5 Sonnet和Claude 3.5 Haiku都是基於大型語言模型（LLM）的AI技術。通過分析巨量的文本資料，這些模型學習語言和上下文的理解能力。Claude 3.5 Sonnet特別擁有處理程序編寫任務的能力，並通過其進階的電腦操作功能擴大了人類與電腦的互動能力。

在電腦操作的核心，這項能力擺脫了傳統的工具命令解決方案，取而代之的是將人類的工作步驟自動化，做到像真實的人一樣。這包括螢幕檢視、確認UI元素位置以及進行點擊、輸入依據上封指令。它可以更容易的處理下一次幫助開發者下一次的指示。

具體來說，Claude通過內部的視覺感知系統來理解螢幕上的內容，并使用它的自然語言處理能力來解釋開發者的指令。當它接收到例如“打開瀏覽器並導航至特定網頁”的指令時，Claude會先通過視覺感知識別螢幕上的相關圖標，然後進行點擊，並輸入需要的文字。

**深度分析**

1. **操作的自動化**：Claude 3.5 Sonnet的電腦操作能力代表了一種革命性的自動化方式，使得許多傳統上需要人力完成的重複工作可以由AI來完成。這不僅提高了生產力，還減少了手工操作所帶來的錯誤，特別適合部分需要高精度和高效率的作業場景，例如軟件測試、資料錄入和UI檢查等。

2. **程序編寫與工具使用**：在程序設計方面，Claude 3.5 Sonnet表現出色。它不僅能夠理解代碼結構，還能夠自主進行代碼修復和優化。它在SWE-bench Verified中的得分從33.4%提高至49.0%，這意味着它在複雜代碼問題上的解決能力有了顯著提升。同樣，它在TAU-bench中的表現也顯示了在工具使用上的改進，這些進步使得Claude成爲開發者的強有力的助手。

3. **用戶體驗**：由於Claude可以直接進行電腦操作，這意味着它可以更加無縫地融入用戶的工作流程中。無論是處理客戶服務請求，還是幫助開發者快速檢查代碼，這種直接的操作能力使用戶體驗更加自然且高效。

4. **挑戰與未來展望**：雖然目前的技術還存在一些挑戰，例如某些複雜的操作可能無法準確完成，或在處理高度互動的界面時可能會出現錯誤，但隨着技術的發展，我們預計這些問題將逐步得到解決。未來，Claude的電腦操作能力將會更加精確和智能，並將支援更多演習應用，包括開發、資料分析、自動化辦公等。

總的來說，Claude 3.5 Sonnet和Claude 3.5 Haiku的推出標誌着以人工智能驅動的自動化新紀元的開始。這些模型不僅在語言理解和生成方面領先，還經由強大的電腦操作能力，使人工智能能夠在更多演習場景中發揮作用，提供更高效且智能化的解決方案。

**未來電腦技術的影響**

Claude 3.5 Sonnet和Claude 3.5 Haiku的電腦操作能力代表了未來電腦技術與人工智能的超深度融合。隨着此項技術的不斷進步，我們預見它將在以下方面帶來重大影響：

1. **人機互動的革新**：未來的電腦技術將更加注重人機互動的自然性和靈活性。隨著Claude的電腦操作能力，AI可以像人類一樣與電腦進行互動，使用戶體驗更加直覺、無縫。這項技術可能會融入各類智能設備中，使人機互動更便捷。

2. **自動化程度的提升**：隨着AI的電腦操作能力提升，我們將看到更高級的自動化應用。這包括自動化辦公、過程控制以及設備管理等領域，AI可以取代許多精功的作業，讓人工年可專注於更具創造力的工作。

3. **軟硬件的智能化融合**：AI的電腦操作技術不仅限於軟件，還將逐步擴展到硬件的控制。例如，AI可以直接管理硬件的配置和運行，提高整體系統的智能化度。這項發展將推動智能家庭、自動駕駛等領域的技術進步。

4. **傳統工作流程的頑帶**：許多傳統的辦公方式和工作流程將被打破。隨着AI可以執行更複雜且需要判斷的操作，許多依賴人工的職位將面臨重新定義，例如資料處理、人事管理等工作將更多依賴智能技術的支援。

5. **安全和隱私的新挑戰**：隨着AI深度參與到電腦操作中，安全和隱私問題也將成爲重要挑戰。未來需要更加完善的安全防護措施來防止AI被惡意利用，並確保在自動化過程中用戶資料的隱私得到有效保證。

總點而言，Claude 3.5系列的電腦操作能力指明了未來電腦技術的發展方向。此項技術將推動各行各業轉向更高效、更智能的發展，並爲人類創造更便捷的數字生活。隨着技術的成熟，人工智能與電腦操作的深度融合將帶來無限的可能性，促進整個社會的技術進步。