回顧Next ‘23的產品功能發布 ｜Google Cloud

在 OpenAI 推出 ChatGPT 模型的企業版後不到一天，Google Cloud Next 2023開跑，展示了Google Cloud最新產品發佈，並體現了各科技龍頭在 AI 領域搶佔主導地位的激烈競賽。

該活動時隔三年回歸舊金山的線下形式。以下是一些新產品發佈/產品的摘要。

AI platforms and tools

Duet AI

Google Cloud 的創新人工智慧平台Duet AI旨在創新用戶與雲端的協作方式，進而提高生產力，提供競爭優勢並增加運營效率。Duet AI已經融入Google Cloud的各種服務及應用程序。

Duet AI的一個關鍵重點領域是應用程式開發。該平台在整個軟件開發生命週期中**提供專家級協助，包括code generation， source citation， testing， 和 API design。**開發人員可以使用自然語言來理解和改進程式碼，以及generate unit tests。

Duet AI還透過code refactoring來簡化應用程式現代化。例如，它可以加速遷移遺留應用程式(legacy applications)到 Google Cloud，簡化從一種語言到另一種語言的程式碼轉換等任務。

該平台與API管理整合，允許使用自然語言設計和發佈API。這簡化了服務之間的通信編排，並促進了企業環境中應用程式的整合。

Duet AI 也用於簡化基礎設施和應用程式的操作與管理。它有助於自動化部署，正確配置應用程式。例如，Cloud Monitoring可以將自然語言轉換為 PromQL 查詢來分析時間序列指標，從而更容易識別並解決問題。

在數據分析領域，Duet AI 是分析師的有利助手。

在 BigQuery 中，它為編寫 SQL 和 Python 提供contextual assistance，使分析作業更有效率。它可以生成完整的函數，建議程式碼完成，並提供 SQL 查詢的詳細說明，從而更容易理解數據及其資料特徵。Duet AI 還與 Vertex AI 整合，進一步優化數據查詢和文本分析。這也幫助了基於 BigQuery 數據的語義搜索和推薦查詢。

Duet AI 也正在導入 Looker，以幫助業務用戶更有效地分析數據。它提供會話式數據分析和report-based的文本摘要，使分析師更快理解數據、更容易創建LookML 模型。

在資訊安全方面，Duet AI 通過快速總結和分類威脅情報在資訊安全發揮着重要作用，減輕了資安人員的工作量，並改善了事故檢測和響應。Duet AI也與 Chronicle Security Operations， Mandiant Threat Intelligence， 和 Security Command Center等GCP安全產品進行整合。

Vertex AI

Vertex AI是Google Cloud開發的基於雲端的機器學習平台，它為構建、訓練和部署機器學習模型提供了完整的工作流程。它支持各種類型的機器學習任務，提供數據處理和分析工具，並包含常見使用案例的預訓練模型。

Vertex AI可以減輕基礎設施的建置和管理，使開發人員、數據科學家和研究人員可以專注於他們的機器學習任務。

使用Vertex AI，用戶可以在Google Cloud基礎設施上訓練和部署模型，其中包括AI Platform、Kubernetes和AutoML。

Vertex Platform

Google Cloud Next‘23宣佈了 Vertex AI 能力的增強，包括在Model Garden中的新模型，現有模型的更新以及自定義模型的工具。

• 如 Llama 2 和 Claude 2 等新模型最受到關注，以及 PaLM 2、Codey 和 Imagen 等模型得到強化。

此外，還為 Imagen 引入了浮水印功能。推出了 Vertex AI Extensions，使模型透過 API 應用在即時數據。這些都加速了基礎模型的實驗和應用構建，並滿足企業數據自定義以及內建隱私、安全和可信賴的應用部署，推動各行各業對生成式 AI 的採用。

Vertex AI Search and Conversation

Google Cloud 的 Vertex AI Search and Conversation 協助創建生成式搜索和聊天機器人應用。Vertex AI Search and Conversation使缺乏 AI 領域知識的開發人員能夠構建搜索引擎和聊天機器人與客戶進行互動並有效地回答問題。

Vertex AI Search支持高品質的multimodal searches，而 Vertex AI Conversation有助於建立仿真人的聊天機器人和語音機器人。

Vertex Colab

Google 於 3 年前推出 Vertex AI，旨在提供最佳的 AI/ML 平台來加速 AI 工作負載。自那時起，Vertex AI 持續擴展其功能，目前擁有 100 多個來自 Google、開源貢獻者和第三方的大型模型。

Colab Enterprise已在public preview階段發布，它結合了 Google Colab 筆記本的易用性與企業安全性和合規性功能。還宣布了 Ray 對 Vertex AI 的支持，以有效擴展 AI 工作負載。 generative AI 的 MLOps 功能正在得到提升，包括模型調教、模型評估和支持嵌入功能的新版Vertex AI Feature Store 。

Colab Enterprise 使數據科學家能夠協作並通過存取 Vertex AI 功能、BigQuery integration和code generation來加速工作效率。

Vertex AI with Colab Enterprise and MLOps for generative AI

透過模型擬合(fitting)和評估以及新增支持嵌入功能的 Vertex AI Feature Store 新版本，generative AI 的 MLOps 有了顯著進展。有了這些功能，客戶可以利用整個 AI/ML 工作流中所需的功能，從原型和試驗到生產環境中的模型部署和管理。

對於 MLOps，重點關注在如何管理 AI 的基礎設施、協作導入新技術、管理新構件(artifact types)、監控AI生成品質以及如何整合到企業內數據等關鍵領域。

Google Cloud提出了新的 MLOps 框架以解決這些挑戰。

Security

在這次 Google Cloud Next 活動中，另一個重頭戲:安全性。

Google Cloud詳細說明了自己如何應對最迫切的 IT 挑戰:安全性。Google Cloud 使用人工智慧(AI)，特別是 Duet AI，來加強其安全解決方案並防範日益增長的網絡威脅。

全面的方法涵蓋從管理和控制 AI 工作負載的安全性到將 AI 納入其安全產品以使其更加高效。此外，他們正在提供工具和平台，例如 Google Cloud Security AI Workbench，這些平台使其客戶能夠利用 AI 改進自己的應用程式和運營中的安全性。

Duet AI in Mandiant Threat Intelligence

它可以識別威脅行為者針對組織所使用的戰術、技術和程序(TTPs)，全面總結 Google 的威脅情資。以提供最新威脅的相關資訊，使威脅情報在整個組織中發揮作用。

Duet AI in Chronicle Security Operations

簡化了對網路威脅的檢測、調查和應對。提供清晰的案件摘要、上下文情境、重要威脅的指導，以及應對建議。

它還支持自然語言搜索以加速調查結果。

Duet AI in Security Command Center

透過即時的安全分析來促進對安全結果和可能的攻擊路徑的分析。這樣可以將複雜的問題簡化，以便即使非專業人士也可以為其組織進行防禦。

Google Cloud

Google Cloud 還推出了其他功能來提高 Google Cloud 環境中的網路安全性，例如agentless vulnerability scanning、Cloud Firewall Plus with next-generation firewall capabilities 以及 Network Service Integration Manager。

Data security

宣佈了基於4th generation Intel Xeon Scalable CPUs with TDX technology 發佈的 Confidential Computing Private Preview，連同和Dataplex和Dialogflow等資料處理的服務整合用於保護企業內部的敏感數據。

Modernization of cloud infrastructures

Google 最終認識到，我們正處於計算的轉折點，生成式 AI 和大型語言模型(LLM)等工作負載的需求正在呈指數增長，而傳統基礎設施已不足以滿足。正是在這種背景下，以下新發展得以落實:

AI-optimised infrastructure

Google Cloud 在 AI 領域領先二十年，並創建了適用 AI 的基礎設施解決方案。從計算基礎設施到軟件和服務的完整 AI 解決方案，正在全球提供模型的訓練、調整和服務功能。

全新的基礎設施:

• Cloud TPU v5e: Google 宣佈推出 Cloud TPU v5e，它在成本效益和通用性方面非常出色，適用於大規模訓練和推理。與 TPU v4 相比，它在每美元成本的 LLM 和 AI 生成模型訓練性能上高出 2 倍，每美元成本的推理性能高出 2.5 倍。它比前代產品更加經濟實惠，使更多組織能訓練並部署更大、更複雜的 AI 模型。
• A3 VM: 這些基於 NVIDIA H100 GPU 的虛擬機即將推出。它們非常適合訓練和服務艱巨的 AI 工作負載。與上一代相比，其性能提高了 3 倍，網絡頻寬提高了 10 倍。A3 VM 可以大規模運行，允許用戶將模型擴展到數萬個 NVIDIA H100 GPU。

Operability of TPUs

Google Cloud 正在透過在 Google Kubernetes Engine(GKE)上提供 Cloud TPU 的正式版本，簡化 TPU 的操作。客戶可以通過使用 GKE 來管理大規模 AI 工作負載在 Cloud TPU v5e 上的編排，從而提高 AI 開發生產力。

Extended support for AI frameworks

Google Cloud 除了流行的開源工具外，還支持幾個 AI 框架，例如 JAX、PyTorch 和 TensorFlow。他們還宣佈了通過即將發佈的 PyTorch/XLA 2.1 版本加強對 PyTorch 的支持。

Training Scalability

在預覽版中推出了“Multislice”技術，使 AI 模型可以更輕鬆擴展超出TPU pod 的物理限制。

Dockers Infrastructure

Google 宣佈了一些容器基礎設施和人工智能(AI)整合的進展，著重在 GKE Enterprise、TPU in GKE、Duet AI in GKE and Cloud Run。

GKE Enterprise

Google Cloud 推出了 GKE Enterprise，這是一個集成且直觀的容器管理平台，結合了 GKE 和 Anthos 的優點。

此版本包含一項名為 “fleets” 的新功能，該功能允許管理人員將類似的工作負載分組到專用叢集中，應用自定義配置和group-specific的策略，隔離敏感工作負載。GKE Enterprise 還提供了許多託管的安全功能，例如進階工作負載漏洞情報、治理和策略控制，以及託管服務網格(service mesh service)服務。此外，它支持混合和多雲環境，以在 GKE、其他公有雲或本地的 Google 分佈式雲端上運行容器工作負載。

GKE 中的 TPU

Google 推出了 Cloud TPU v5e，這是一種更加經濟高效和可擴展的 AI 加速器，可以擴展到數萬個晶片。與 Cloud TPU v4 相比，它在每美元成本的訓練性能上高出 2 倍，每美元成本的推理性能高出 2.5 倍。 它可以利用自動擴展和工作流編排等功能。

GKE 和 Cloud Run 中的 Duet AI

Google 的 AI 夥伴 Duet AI 如今已在 GKE 和 Cloud Run 上推出。幫助平台團隊減少在 Google Cloud 上運行容器時的例行性重複工作。

如果你喜歡這篇文章歡迎幫我按愛心鼓勵一下喔!~閱讀愉快!~

延伸閱讀

相關連結

[1] https://www.youtube.com/watch?v=lEUS3_Qjyjg

[2] https://www.youtube.com/watch?v=268jdNwH6AM

[3] https://cloud.google.com/blog/topics/google-cloud-next/next-2023-wrap-up

[4] https://cloud.google.com/blog/topics/google-cloud-next