RPA 功能｜UiPath 與人工智慧結合的第一步：UiPath AI Computer Vision！
閱讀時間約 6 分鐘
RPAI 數位優化器在先前的文章有分享過， RPA 的未來主流趨勢是會與人工智慧技術進行結合（RPA + AI），以大幅提升開發彈性與可能的應用場景，舉例來說，目前 UiPath 的文件理解（Document Understanding）功能就有機器學習（Machine learning）的概念，即使是免費版本的 UiPath Studio 也可以使用。
而近期人工智慧隨著 ChatGPT 的爆紅而躍上主流視野，我們也開始研究 UIPATH AI COMPUTER VISION，發現比起原先的 Selectors 功能更加穩定，也有更精細的畫面元素偵測，因此這篇文章就要來向大家分享這個實用功能，快跟我們一起搭上人工智慧的快速列車吧！
在開始閱讀正文之前，也別忘了先追蹤我們的 臉書粉絲專頁 與 方格子帳號！
Computer Vision 是什麼？
在人工智慧領域當中， Computer Vision 一般指的是「設計一套深度學習模型用於辨識各種影像」。而類似的概念若是應用於 UiPath，則是一個可以協助機器人自動偵測（即「see」）畫面中所有元素的套件，而非仰賴選擇器（Selectors）或是光學字元辨識影像（OCR）功能，而這篇文章姑且先將中文翻譯成「電腦視覺」。
UiPath 的 AI Computer Vision 是以機器學習為基礎，融合人工智慧（AI）、光學字元辨識（OCR）、文字模糊配對 （Text Fuzzy-Matching）和錨定系統（Anchoring System）等技術，來模擬人類如何辨識整個畫面的介面系統。
如果還想學習更多 UiPath 功能、實作案例並了解最新自動化趨勢，
歡迎加入「零基礎快速學習 RPA－利用 UiPath 建構自動化機器人」線上課程！課程優惠只到 2024 年 2 月 5 日，快點擊連結立即了解：https://mastertalks.tw/products/rpa-uipath?ref=RPARPA
Computer Vision 與 Selectors 的功能差異
在先前文章中， RPAI 數位優化器有介紹過 Anchoring System 的概念，其中尋找 Anchor 中會使用的 Find Elements 或是 Find Images 功能，就會利用 Selectors 功能。
電腦系統（例如網站、資料庫和第三方應用程式）之間為了進行資訊交換，通常會使用可擴展標記語言（XML）預先定義每個區塊的功能，而 Selectors 就是使用 XML 預先定義的電腦特性，對於感興趣的區域進行辨認，然而官方文件也提到 Selectors 有時候並不這麼可靠。
相較於 Selectors，Computer Visions 的主要特色包括：
- 可應用於虛擬桌面環境（又稱「虛擬桌面基礎架構」，VDI）。*註1
- 可避免因為微小的頁面更動，導致自動化流程中斷。*註2
- 可偵測畫面的每個元素，如圖（一）。
下圖為搜尋引擎的圖片結果，使用 Selectors 的結果為 A.圖，只能找出圖片位置；而使用 Computer Visio n的情況為 B. 圖，連圖片中的內容都可被偵測。
使用 Computer Vision 三大步驟
- 先確認目前電腦中的 UiPath 版本是否有 Computer Vision，如果沒有的話，請先到 Manage Package，並搜尋 UiPath.Ai.ComputerVision.Activities。
- 使用 CV Screen Scope 功能（與 Excel Application Scope 的概念相同，所有 Computer Vision 相關功能必須定義在 CV Screen Scope 之中，才能正確執行）
- 接下來即可依照自身需求進行流程設計與開發。
Computer Vision 比起 Selectors 較為可靠、選擇元素也更為精細，雖然目前所具備的功能有限（請參考下圖），但也足以處理大約80%的日常任務了。
需要特別留意的是，Computer Vision 有時會需要用到 CV Refresh 功能，因為當操作畫面有所更動，我們就必須讓 Computer Vision 重新抓取畫面的每個元素，例如我們可以在下圖看到從左邊的存款畫面（Deposit）變成右邊的提款畫面（Withdrawal）時，雖然帳戶位置不變，然而整體畫面有所不同，因此我們仍需要在流程設計時需要加入 CV Refresh 功能。
結論
UiPath 在開發 Computer Vision 這項功能時，就已經結合許多人工智慧領域的相關技術，因此對我們來說是一個相對更容易使用且穩定的工具選擇，也可以成為我們從 RPA 跨足人工智慧的第一步。因此下次要選擇使用 selector 前，不妨也先確認看看 Computer Vision 套件是否有適合的功能可以使用吧！
今天的分享就到這邊，如果還想看 RPAI 數位優化器分享更多 RPA+AI 的介紹與教學文章，也歡迎在底下留言讓我們知道！
讓我們一起從簡單開始，成就不簡單！
如果你／妳喜歡這篇文章，歡迎點點愛心或留言，讓我們相互交流和成長！
這次的分享到此告一段落，想了解更多 RPA + AI 與數位轉型的最新趨勢與觀點、RPA 軟體功能介紹及實務應用案例，也歡迎追蹤 RPAI 數位優化器的社群和我們交流互動，我們下次見！
🚀 Instagram：RPAI 數位優化器
🚀 臉書粉絲專頁：RPAI 數位優化器
🚀 YouTube 頻道：RPAI 數位優化器
註1：虛擬桌面環境意即將桌面環境架設於一個集中式伺服器上，並且部署於給終端使用者的裝置，如筆記型電腦、平板電腦等，而後即可透過網路存取，因此運算是在雲端伺服器中實現，對於終端機器的硬體要求較低，遠端工作者、客服工程師、約聘人員通常較常會有使用虛擬桌面環境的需求。
註2：微小畫面變動，在 UiPath 中也可以使用 OCR 技術克服，Computer Vision 將 OCR 技術融入於中，因此也具備此特性。
為什麼會看到廣告
122會員
107內容數
我們是以「機器人流程自動化（RPA）」結合「人工智慧（AI）」為主題的中文學習社群，旨在分享 RPA + AI 的學習資源、應用實例和最新發展趨勢，讓工作者透過自動化工具的有效應用，創造數位優化與轉型契機，讓我們一起由簡單開始，成就不簡單！
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
setter和getter能把狀態改變時需做的事情包裝起來，讓外部只需簡單修改參數就能達到預想的效果
之前談論功能整合(FI)的進行有提到一個問題：「老師們是如何用雙手達成與學生的神經系統連結？（如果是阿凡達應該就是用髮辮）」，通常費登奎斯老師會以「韋伯-費希納定理」來說明，節錄維基百科如下：
韋伯定理：在同類刺激之下，其差異閾限的大小是隨著標準刺激強弱而成一定比例關係的，K=ΔI/I K為常數。
個人認為兩者間的關係其實是種光譜，自動化服務會加入AI，降低設計流程門檻、提高辨識功能；AI 服務會加入自動化，更落地的提供實質幫助，兩者逐步靠攏，公司再根據自身需求、情境找到相對應、最適合的利基工具。
RPA自動化流程是現今企業極為重視的一項技術。透過自動化流程，我們能夠將那些重複且繁瑣的操作，使其自動進行。
本單元，Meiko想來跟同學一同探索如何透過自動化流程，自動寄送員工生日賀卡，讓RPA來輔助企業，簡化流程，釋放潛力 — 利用RPA為企業效率加分
發現RPA技術的無限潛力！了解如何透過Robotic Process Automation（RPA）實現自動化，克服企業勞動力短缺的挑戰。我們分享RPA的優勢、限制以及選擇最適合您企業的軟體的關鍵評估指標。結合AI技術，為您的業務帶來效率和質量的提升。不要錯過這個關於RPA未來發展趨勢的深入指南!
我們也推出了一項專案活動<RPA數位傳情｜在聖誕節寄出一封時空信>，希望透過 RPA來做一個類時空信的活動，因此本篇文，也希望和大家聊聊：
1. 為何要做這樣的專案活動
2. 為何學習 RPA很重要
3. 如何設計自己的 RPA機器人
RPA 全名為 Robotic Process Automation，意即「機器人流程自動化」，是一種軟體服務， 可以將其想像成有位數位助手，在一旁紀錄我們如何進行電腦操作，並且加以模仿、學習，在建立其流程後，便可讓這個軟體執行我們剛剛示範的流程任務，進而有效節省我們人為處理的時間和心力。
目前，无人机或无人驾驶飞机或无人驾驶飞行器（UAV）的使用已经渗透到生活的各个领域。
无人机是无人驾驶飞机，可以使用遥控器或复杂的计算机远程控制飞行。
常规无人机具有各种尺寸、形状和功能。 无人机材料由轻质材料制成，因此它可以快速飞行并在低空或一定高度飞行。 无人机本身有摄像头、红外线、GPS、
市場走勢是由許多短期波動逐漸累積而成，單一日的波動不足以改變市場狀態，但並非單一日的現象不重要，而是還要加上波動的內容來判斷，才能較完整理解單一日波動的風險程度。
在股市是透過股票和鈔票表達意見。市場裡有各式各樣的投資者與投機客，各自對股價或企業價值有不同的看法，少有單一股勢力能夠主導股價走勢，必須有多數市場參與者的共識，才足以讓股價形成趨勢
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Hi 大家好，我是Ethan😊
相近大家都知道保濕是皮膚保養中最基本，也是最重要的一步。無論是在畫室裡長時間對著畫布，還是在旅途中面對各種氣候變化，保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水，還能提升後續保養品的吸收效率。
曾經，我的保養程序簡單到只包括清潔和隨意上乳液
setter和getter能把狀態改變時需做的事情包裝起來，讓外部只需簡單修改參數就能達到預想的效果
之前談論功能整合(FI)的進行有提到一個問題：「老師們是如何用雙手達成與學生的神經系統連結？（如果是阿凡達應該就是用髮辮）」，通常費登奎斯老師會以「韋伯-費希納定理」來說明，節錄維基百科如下：
韋伯定理：在同類刺激之下，其差異閾限的大小是隨著標準刺激強弱而成一定比例關係的，K=ΔI/I K為常數。
個人認為兩者間的關係其實是種光譜，自動化服務會加入AI，降低設計流程門檻、提高辨識功能；AI 服務會加入自動化，更落地的提供實質幫助，兩者逐步靠攏，公司再根據自身需求、情境找到相對應、最適合的利基工具。
RPA自動化流程是現今企業極為重視的一項技術。透過自動化流程，我們能夠將那些重複且繁瑣的操作，使其自動進行。
本單元，Meiko想來跟同學一同探索如何透過自動化流程，自動寄送員工生日賀卡，讓RPA來輔助企業，簡化流程，釋放潛力 — 利用RPA為企業效率加分
發現RPA技術的無限潛力！了解如何透過Robotic Process Automation（RPA）實現自動化，克服企業勞動力短缺的挑戰。我們分享RPA的優勢、限制以及選擇最適合您企業的軟體的關鍵評估指標。結合AI技術，為您的業務帶來效率和質量的提升。不要錯過這個關於RPA未來發展趨勢的深入指南!
我們也推出了一項專案活動<RPA數位傳情｜在聖誕節寄出一封時空信>，希望透過 RPA來做一個類時空信的活動，因此本篇文，也希望和大家聊聊：
1. 為何要做這樣的專案活動
2. 為何學習 RPA很重要
3. 如何設計自己的 RPA機器人
RPA 全名為 Robotic Process Automation，意即「機器人流程自動化」，是一種軟體服務， 可以將其想像成有位數位助手，在一旁紀錄我們如何進行電腦操作，並且加以模仿、學習，在建立其流程後，便可讓這個軟體執行我們剛剛示範的流程任務，進而有效節省我們人為處理的時間和心力。
目前，无人机或无人驾驶飞机或无人驾驶飞行器（UAV）的使用已经渗透到生活的各个领域。
无人机是无人驾驶飞机，可以使用遥控器或复杂的计算机远程控制飞行。
常规无人机具有各种尺寸、形状和功能。 无人机材料由轻质材料制成，因此它可以快速飞行并在低空或一定高度飞行。 无人机本身有摄像头、红外线、GPS、
市場走勢是由許多短期波動逐漸累積而成，單一日的波動不足以改變市場狀態，但並非單一日的現象不重要，而是還要加上波動的內容來判斷，才能較完整理解單一日波動的風險程度。
在股市是透過股票和鈔票表達意見。市場裡有各式各樣的投資者與投機客，各自對股價或企業價值有不同的看法，少有單一股勢力能夠主導股價走勢，必須有多數市場參與者的共識，才足以讓股價形成趨勢