RPA 功能｜UiPath 與人工智慧結合的第一步：UiPath AI Computer Vision！
更新於 發佈於 閱讀時間約 6 分鐘
RPAI 數位優化器在先前的文章有分享過， RPA 的未來主流趨勢是會與人工智慧技術進行結合（RPA + AI），以大幅提升開發彈性與可能的應用場景，舉例來說，目前 UiPath 的文件理解（Document Understanding）功能就有機器學習（Machine learning）的概念，即使是免費版本的 UiPath Studio 也可以使用。
而近期人工智慧隨著 ChatGPT 的爆紅而躍上主流視野，我們也開始研究 UIPATH AI COMPUTER VISION，發現比起原先的 Selectors 功能更加穩定，也有更精細的畫面元素偵測，因此這篇文章就要來向大家分享這個實用功能，快跟我們一起搭上人工智慧的快速列車吧！
在開始閱讀正文之前，也別忘了先追蹤我們的 臉書粉絲專頁 與 方格子帳號！
Computer Vision 是什麼？
在人工智慧領域當中， Computer Vision 一般指的是「設計一套深度學習模型用於辨識各種影像」。而類似的概念若是應用於 UiPath，則是一個可以協助機器人自動偵測（即「see」）畫面中所有元素的套件，而非仰賴選擇器（Selectors）或是光學字元辨識影像（OCR）功能，而這篇文章姑且先將中文翻譯成「電腦視覺」。
UiPath 的 AI Computer Vision 是以機器學習為基礎，融合人工智慧（AI）、光學字元辨識（OCR）、文字模糊配對 （Text Fuzzy-Matching）和錨定系統（Anchoring System）等技術，來模擬人類如何辨識整個畫面的介面系統。
如果還想學習更多 UiPath 功能、實作案例並了解最新自動化趨勢，
歡迎加入「零基礎快速學習 RPA－利用 UiPath 建構自動化機器人」線上課程！課程優惠只到 2024 年 2 月 5 日，快點擊連結立即了解：https://mastertalks.tw/products/rpa-uipath?ref=RPARPA
Computer Vision 與 Selectors 的功能差異
在先前文章中， RPAI 數位優化器有介紹過 Anchoring System 的概念，其中尋找 Anchor 中會使用的 Find Elements 或是 Find Images 功能，就會利用 Selectors 功能。
電腦系統（例如網站、資料庫和第三方應用程式）之間為了進行資訊交換，通常會使用可擴展標記語言（XML）預先定義每個區塊的功能，而 Selectors 就是使用 XML 預先定義的電腦特性，對於感興趣的區域進行辨認，然而官方文件也提到 Selectors 有時候並不這麼可靠。
相較於 Selectors，Computer Visions 的主要特色包括：
- 可應用於虛擬桌面環境（又稱「虛擬桌面基礎架構」，VDI）。*註1
- 可避免因為微小的頁面更動，導致自動化流程中斷。*註2
- 可偵測畫面的每個元素，如圖（一）。
下圖為搜尋引擎的圖片結果，使用 Selectors 的結果為 A.圖，只能找出圖片位置；而使用 Computer Visio n的情況為 B. 圖，連圖片中的內容都可被偵測。
使用 Computer Vision 三大步驟
- 先確認目前電腦中的 UiPath 版本是否有 Computer Vision，如果沒有的話，請先到 Manage Package，並搜尋 UiPath.Ai.ComputerVision.Activities。
- 使用 CV Screen Scope 功能（與 Excel Application Scope 的概念相同，所有 Computer Vision 相關功能必須定義在 CV Screen Scope 之中，才能正確執行）
- 接下來即可依照自身需求進行流程設計與開發。
Computer Vision 比起 Selectors 較為可靠、選擇元素也更為精細，雖然目前所具備的功能有限（請參考下圖），但也足以處理大約80%的日常任務了。
需要特別留意的是，Computer Vision 有時會需要用到 CV Refresh 功能，因為當操作畫面有所更動，我們就必須讓 Computer Vision 重新抓取畫面的每個元素，例如我們可以在下圖看到從左邊的存款畫面（Deposit）變成右邊的提款畫面（Withdrawal）時，雖然帳戶位置不變，然而整體畫面有所不同，因此我們仍需要在流程設計時需要加入 CV Refresh 功能。
結論
UiPath 在開發 Computer Vision 這項功能時，就已經結合許多人工智慧領域的相關技術，因此對我們來說是一個相對更容易使用且穩定的工具選擇，也可以成為我們從 RPA 跨足人工智慧的第一步。因此下次要選擇使用 selector 前，不妨也先確認看看 Computer Vision 套件是否有適合的功能可以使用吧！
今天的分享就到這邊，如果還想看 RPAI 數位優化器分享更多 RPA+AI 的介紹與教學文章，也歡迎在底下留言讓我們知道！
讓我們一起從簡單開始，成就不簡單！
如果你／妳喜歡這篇文章，歡迎點點愛心或留言，讓我們相互交流和成長！
這次的分享到此告一段落，想了解更多 RPA + AI 與數位轉型的最新趨勢與觀點、RPA 軟體功能介紹及實務應用案例，也歡迎追蹤 RPAI 數位優化器的社群和我們交流互動，我們下次見！
🚀 Instagram：RPAI 數位優化器
🚀 臉書粉絲專頁：RPAI 數位優化器
🚀 YouTube 頻道：RPAI 數位優化器
註1：虛擬桌面環境意即將桌面環境架設於一個集中式伺服器上，並且部署於給終端使用者的裝置，如筆記型電腦、平板電腦等，而後即可透過網路存取，因此運算是在雲端伺服器中實現，對於終端機器的硬體要求較低，遠端工作者、客服工程師、約聘人員通常較常會有使用虛擬桌面環境的需求。
註2：微小畫面變動，在 UiPath 中也可以使用 OCR 技術克服，Computer Vision 將 OCR 技術融入於中，因此也具備此特性。
為什麼會看到廣告
147會員
121內容數
我們是以「機器人流程自動化（RPA）」結合「人工智慧（AI）」為主題的中文學習社群，旨在分享 RPA + AI 的學習資源、應用實例和最新發展趨勢，讓工作者透過自動化工具的有效應用，創造數位優化與轉型契機，讓我們一起由簡單開始，成就不簡單！
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
UiPath是一家提供流程自動化解決方案的公司，從產業、應用的角度深入探討公司的發展歷程。先從流程自動化的起源談起，接著介紹了UiPath的創始人和公司的發展過程，以及RPA對企業帶來的影響。最後探討了流程自動化的下一步：全面性與智能化對企業的衝擊，並提出了科技公司的見解和對話的呼籲。
Microsoft Azure AI 900 證照，把準備資料整理分享給大家。
AI 是可模仿人類行為與能力的軟體，主要的工作包含：
機器學習：這通常是 AI 系統的基礎，且是「指導」電腦模型進行預測並從資料中得出結論的方式
電腦視覺：透過相機、影片和影像，以視覺方式解譯世界的 AI 功能
人工智慧是什麼？
人工智慧（Artificial Intelligence, AI） 簡單來說，就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序，可以執行許多原本需要人類智慧才能完成的工作，例如：
語音辨識： 讓電腦聽懂人類的語言，像是 Siri、Google As
有些產業在AI的應用已經有相當明確的方向，投資當然要選擇相對明確趨勢的產業，像是AI PC！
雖然滲透率還非常低，但它不是未來式，而是現在進行式，我認為未來所有的PC都會是AI PC。所以我就去尋找一般PC升級至AI PC時，有哪些零組件也會隨之升級，就讓我找到筆電觸控板龍頭、指紋辨識老二的義隆！
AI的世界充滿了創新和潛力，涵蓋了許多領域，包括但不限於機器學習，自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的，既帶來了巨大的機遇，也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡，確保AI技術的應用能夠真正造福人類。
UiPath 是一家領先的機器人流程自動化（RPA）公司，總部位於紐約。本篇文章介紹了 UiPath 最新推出的 Automation Hub 和與 Microsoft 的合作等重要新聞，以及其在市場上的表現和競爭對手情況。文章最後還分享了未來可能的行動和發展趨勢。歡迎留言交流和討論！
隨著科技的不斷進步，人工智慧（AI）逐漸成為我們生活中不可或缺的一部分。近年來，市場上出現了一種新型的電腦，稱為AIPC（Artificial Intelligence Personal Computer，人工智慧個人電腦）。那麼，AIPC到底是什麼？它與我們日常使用的PC（個人電腦）有何不同？
人工智慧（AI）是當今科技領域最炙手可熱的話題之一，這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例，以及一些熱門的AI產品。藉由這趟AI之旅，我們將更深入了解這個讓世界為之矚目的技術。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
UiPath是一家提供流程自動化解決方案的公司，從產業、應用的角度深入探討公司的發展歷程。先從流程自動化的起源談起，接著介紹了UiPath的創始人和公司的發展過程，以及RPA對企業帶來的影響。最後探討了流程自動化的下一步：全面性與智能化對企業的衝擊，並提出了科技公司的見解和對話的呼籲。
Microsoft Azure AI 900 證照，把準備資料整理分享給大家。
AI 是可模仿人類行為與能力的軟體，主要的工作包含：
機器學習：這通常是 AI 系統的基礎，且是「指導」電腦模型進行預測並從資料中得出結論的方式
電腦視覺：透過相機、影片和影像，以視覺方式解譯世界的 AI 功能
人工智慧是什麼？
人工智慧（Artificial Intelligence, AI） 簡單來說，就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序，可以執行許多原本需要人類智慧才能完成的工作，例如：
語音辨識： 讓電腦聽懂人類的語言，像是 Siri、Google As
有些產業在AI的應用已經有相當明確的方向，投資當然要選擇相對明確趨勢的產業，像是AI PC！
雖然滲透率還非常低，但它不是未來式，而是現在進行式，我認為未來所有的PC都會是AI PC。所以我就去尋找一般PC升級至AI PC時，有哪些零組件也會隨之升級，就讓我找到筆電觸控板龍頭、指紋辨識老二的義隆！
AI的世界充滿了創新和潛力，涵蓋了許多領域，包括但不限於機器學習，自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的，既帶來了巨大的機遇，也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡，確保AI技術的應用能夠真正造福人類。
UiPath 是一家領先的機器人流程自動化（RPA）公司，總部位於紐約。本篇文章介紹了 UiPath 最新推出的 Automation Hub 和與 Microsoft 的合作等重要新聞，以及其在市場上的表現和競爭對手情況。文章最後還分享了未來可能的行動和發展趨勢。歡迎留言交流和討論！
隨著科技的不斷進步，人工智慧（AI）逐漸成為我們生活中不可或缺的一部分。近年來，市場上出現了一種新型的電腦，稱為AIPC（Artificial Intelligence Personal Computer，人工智慧個人電腦）。那麼，AIPC到底是什麼？它與我們日常使用的PC（個人電腦）有何不同？
人工智慧（AI）是當今科技領域最炙手可熱的話題之一，這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例，以及一些熱門的AI產品。藉由這趟AI之旅，我們將更深入了解這個讓世界為之矚目的技術。