我的IBM Watsonx之旅：初次體驗 Prompt Lab 與 LLM 的應用

前言

在這個迅速變化的技術世界裡，AI 已成為推動創新和效率的主要動力之一，最近很幸運得參加了IBM Watsonx 的 workshop，對我來說是一個很好的機會認識企業對於快速導入AI和整合AI應用的平台。IBM Watson 作為AI領域的先驅之一，長久以來一直在智慧型系統和認知計算方面處於領先地位。這次工作坊不僅讓我深入了解Watsonx的強大功能，也讓我對目前AI領域最炙手可熱的技術之一——大型語言模型（LLM）有了更深的認識，並且實作它！

大型語言模型，如OpenAI的ChatGPT，正迅速改變我們與數據、知識和機器互動的方式，這些模型能夠處理和生成人類語言，提供深入見解，甚至創造出令人難以置信的新內容。在 IBM Watsonx工作坊中，我有機會探索這些技術如何與Watson的功能相結合，創造出更加智能、更加個性化的應用場景。

在這篇blog中，我將與你分享我在IBM Watson工作坊中的學習心得，關於WatsonX平台介紹與使用，以及它們如何為企業和個人用戶帶來前所未有的價值。

IBM 三大元件

首先是 IBM WatsonX 平台的簡單說明，IBM WatsonX 平台集成了三大關鍵元件——WatsonX.AI、WatsonX.Data、和WatsonX.Governance。這些元件各具特色，共同打造了一個全面的 AI 解決方案環境。在當今大型語言模型（LLM）的快速發展下，這些功能更是為快速訓練和部署AI模型提供了更完整以及便利的支持。

1. WatsonX.AI: 這是一個專為企業級AI模型設計的開發工具。它支援從傳統機器學習到最新的生成式AI模型的訓練、驗證、調整和部署。借助IBM精選的基礎模型套件以及其合作夥伴Hugging Face的開源模型，企業可以輕鬆建構可信且高效的業務應用模型。同時，透過提供全面的SDK和API函式庫，企業可以快速地使用少量數據建立符合自身需求的AI應用服務。
2. WatsonX.Data: 專注於提供安全和可靠的數據存儲管理解決方案，它允許用戶在混合雲環境中跨平台訪問數據，並快速連接到各種儲存和分析環境。藉由內建的治理、安全和自動化機制，WatsonX.Data強化了對數據的信任度，並通過將適當的工作負載與最適合的引擎配對，顯著降低數據處理成本，為企業提供更大的靈活性以擴展其AI工作負載和數據應用。
3. WatsonX.Governance: 隨著AI技術在日常工作流程中的應用越來越廣泛，主動的AI治理變得至關重要，WatsonX.Governance提供AI生命週期的全面治理，包括指導、管理和監控組織內的AI活動。此元件透過軟體自動化識別、管理、監控和報告風險與合規性問題，幫助企業降低風險，並確保符合監管要求，推動企業做出負責任且符合道德的決策。

綜合這三大功能，IBM WatsonX 平台為企業提供了一個強大、靈活且全面的AI解決方案，特別是在整合和推論大型語言模型方面，展現出了其獨特的價值。另外，Watsonx 除了上雲的方案之外，近期可能 release 落地版，值得期待關注。

Prompt lab

工作坊從 Prompt Lab 開始，Prompt Lab 是 IBM WatsonX.AI 平台上的一個功能，專門用於基礎模型（Foundation Models）進行互動和實驗。提供了一個用戶友好的界面，用戶可以在這裡嘗試各種 prompts，並保存及分享他們認為最有效的 prompt 。

我認為這是一個很適合展示以及體驗 WatsonX.AI 的介面，對於了解 LLM 模型應用、或完全沒有使用過的人來說都很適合，提供一個很直覺，可以平台上簡易操作，並且快速獲得輸出與回應，這個介面可以讓人更快認識 WatsonX.AI 。

Prompt Lab的主要功能包括：

• 實驗提示語：可以嘗試向不同的 Foundation Models 提供 prompt，從而觀察和分析這些 model 的 output 和行為。
• 探索樣本提示語：用戶可以查看和學習預先設計的 sample prompt，這有助於他們更好地理解如何構造有效的 prompt。
• 保存和分享提示語：用戶可以保存他們創建的 prompt，並與團隊成員或其他用戶共享這些 prompt。

註冊 IBM Watsons

• 網址連結 : https://www.ibm.com/watsonx

先在 ibm watsonx 的網站上註冊 IBM cloud ，帳號地區選擇法蘭克福 (eu-de) 和 達拉斯 (us-south)，登入後會進入主畫面。

Prompt Lab 實作

Prompt lab 中有 sample prompt ，可以隨開即用，包含以下幾大功能，而這幾大功能，也是現今 LLM 大多數人的應用場景，甚至是可以以此為基礎做組合，去應用在更複雜的場景。

• • summarization
  • classification
  • generation
  • extraction
  • question answering
  • code

Prompt lab demo

這幾大功能，也是現今 LLM 大多數人的應用場景，甚至是可以以此為基礎做組合，去應用在更複雜的場景。

會議的逐字稿生成摘要

可以在左大方框填入會議的逐字稿，通過 LLM 在右側生成摘要，那右上方可以切換各種不同的 LLM fundation model ，挑選合適 LLM 也是一門學問，簡單來說:面對簡單的問題不能用太深入的或是太難的模型，他表現不一定比較好。所以可以根據任務內容於上方切換適合的模型，或是依照語言的不同去換各種模型，例如中文的 LLama-2 模型。

分類問題

在左方格輸入想要分類的文字，LLM 可以根據文字內容，區分 positive 或是 negative ，那對於 LLM 以及 prompt 比較有效地使用方式，就是給他一些 sample ，將有助於模型理解與完成任務。

以上 demo Prompt Lab 幾個功能，經過對IBM Watsonx及其Prompt Lab的深入探索，我們可以清楚地看到，大型語言模型（LLM）在處理各種任務上的強大能力和高效率。從產生摘要到問題解答，LLM在Prompt Lab中展示了其多樣化和靈活性，使我們能夠根據不同的應用場景選擇最合適的功能。這不僅顯著加快了任務完成的速度，而且還提高了整體的工作效率，讓我們能夠更加聚焦於創意和創新。

這次的體驗僅僅是開端，在下一篇文章中，預計分享如何在 Watsonx 平台介接 LLM API 完成各項 project ，進一步拓展我們對於這些令人興奮的技術的理解和應用。
感謝看到這裡的你～我們下次見！

參考資料

• 淺談IBM WatsonX AI新平台
• 初探 IBM watsonx.ai ! 動手來做一個 Prompt Lab 小實例