RPA 功能｜UiPath 與人工智慧結合的第一步：UiPath AI Computer Vision！
2023/03/13閱讀時間約 6 分鐘
RPAI 數位優化器在先前的文章有分享過， RPA 的未來主流趨勢是會與人工智慧技術進行結合（RPA + AI），以大幅提升開發彈性與可能的應用場景，舉例來說，目前 UiPath 的文件理解（Document Understanding）功能就有機器學習（Machine learning）的概念，即使是免費版本的 UiPath Studio 也可以使用。
而近期人工智慧隨著 ChatGPT 的爆紅而躍上主流視野，我們也開始研究 UIPATH AI COMPUTER VISION，發現比起原先的 Selectors 功能更加穩定，也有更精細的畫面元素偵測，因此這篇文章就要來向大家分享這個實用功能，快跟我們一起搭上人工智慧的快速列車吧！
在開始閱讀正文之前，也別忘了先追蹤我們的 臉書粉絲專頁 與 方格子帳號！
Computer Vision 是什麼？
在人工智慧領域當中， Computer Vision 一般指的是「設計一套深度學習模型用於辨識各種影像」。而類似的概念若是應用於 UiPath，則是一個可以協助機器人自動偵測（即「see」）畫面中所有元素的套件，而非仰賴選擇器（Selectors）或是光學字元辨識影像（OCR）功能，而這篇文章姑且先將中文翻譯成「電腦視覺」。
UiPath 的 AI Computer Vision 是以機器學習為基礎，融合人工智慧（AI）、光學字元辨識（OCR）、文字模糊配對 （Text Fuzzy-Matching）和錨定系統（Anchoring System）等技術，來模擬人類如何辨識整個畫面的介面系統。
如果還想學習更多 UiPath 功能、實作案例並了解最新自動化趨勢，
歡迎加入「零基礎快速學習 RPA－利用 UiPath 建構自動化機器人」線上課程！課程優惠只到 2024 年 2 月 5 日，快點擊連結立即了解：https://mastertalks.tw/products/rpa-uipath?ref=RPARPA
Computer Vision 與 Selectors 的功能差異
在先前文章中， RPAI 數位優化器有介紹過 Anchoring System 的概念，其中尋找 Anchor 中會使用的 Find Elements 或是 Find Images 功能，就會利用 Selectors 功能。
電腦系統（例如網站、資料庫和第三方應用程式）之間為了進行資訊交換，通常會使用可擴展標記語言（XML）預先定義每個區塊的功能，而 Selectors 就是使用 XML 預先定義的電腦特性，對於感興趣的區域進行辨認，然而官方文件也提到 Selectors 有時候並不這麼可靠。
相較於 Selectors，Computer Visions 的主要特色包括：
- 可應用於虛擬桌面環境（又稱「虛擬桌面基礎架構」，VDI）。*註1
- 可避免因為微小的頁面更動，導致自動化流程中斷。*註2
- 可偵測畫面的每個元素，如圖（一）。
下圖為搜尋引擎的圖片結果，使用 Selectors 的結果為 A.圖，只能找出圖片位置；而使用 Computer Visio n的情況為 B. 圖，連圖片中的內容都可被偵測。
使用 Computer Vision 三大步驟
- 先確認目前電腦中的 UiPath 版本是否有 Computer Vision，如果沒有的話，請先到 Manage Package，並搜尋 UiPath.Ai.ComputerVision.Activities。
- 使用 CV Screen Scope 功能（與 Excel Application Scope 的概念相同，所有 Computer Vision 相關功能必須定義在 CV Screen Scope 之中，才能正確執行）
- 接下來即可依照自身需求進行流程設計與開發。
Computer Vision 比起 Selectors 較為可靠、選擇元素也更為精細，雖然目前所具備的功能有限（請參考下圖），但也足以處理大約80%的日常任務了。
需要特別留意的是，Computer Vision 有時會需要用到 CV Refresh 功能，因為當操作畫面有所更動，我們就必須讓 Computer Vision 重新抓取畫面的每個元素，例如我們可以在下圖看到從左邊的存款畫面（Deposit）變成右邊的提款畫面（Withdrawal）時，雖然帳戶位置不變，然而整體畫面有所不同，因此我們仍需要在流程設計時需要加入 CV Refresh 功能。
結論
UiPath 在開發 Computer Vision 這項功能時，就已經結合許多人工智慧領域的相關技術，因此對我們來說是一個相對更容易使用且穩定的工具選擇，也可以成為我們從 RPA 跨足人工智慧的第一步。因此下次要選擇使用 selector 前，不妨也先確認看看 Computer Vision 套件是否有適合的功能可以使用吧！
今天的分享就到這邊，如果還想看 RPAI 數位優化器分享更多 RPA+AI 的介紹與教學文章，也歡迎在底下留言讓我們知道！
讓我們一起從簡單開始，成就不簡單！
如果你／妳喜歡這篇文章，歡迎點點愛心或留言，讓我們相互交流和成長！
這次的分享到此告一段落，想了解更多 RPA + AI 與數位轉型的最新趨勢與觀點、RPA 軟體功能介紹及實務應用案例，也歡迎追蹤 RPAI 數位優化器的社群和我們交流互動，我們下次見！
🚀 Instagram：RPAI 數位優化器
🚀 臉書粉絲專頁：RPAI 數位優化器
🚀 YouTube 頻道：RPAI 數位優化器
註1：虛擬桌面環境意即將桌面環境架設於一個集中式伺服器上，並且部署於給終端使用者的裝置，如筆記型電腦、平板電腦等，而後即可透過網路存取，因此運算是在雲端伺服器中實現，對於終端機器的硬體要求較低，遠端工作者、客服工程師、約聘人員通常較常會有使用虛擬桌面環境的需求。
註2：微小畫面變動，在 UiPath 中也可以使用 OCR 技術克服，Computer Vision 將 OCR 技術融入於中，因此也具備此特性。
為什麼會看到廣告
88會員
75內容數
留言0
查看全部
