RPA 功能|UiPath 與人工智慧結合的第一步:UiPath AI Computer Vision!

閱讀時間約 6 分鐘
RPAI 數位優化器在先前的文章有分享過, RPA 的未來主流趨勢是會與人工智慧技術進行結合(RPA + AI),以大幅提升開發彈性與可能的應用場景,舉例來說,目前 UiPath 的文件理解(Document Understanding)功能就有機器學習(Machine learning)的概念,即使是免費版本的 UiPath Studio 也可以使用。
而近期人工智慧隨著 ChatGPT 的爆紅而躍上主流視野,我們也開始研究 UIPATH AI COMPUTER VISION,發現比起原先的 Selectors 功能更加穩定,也有更精細的畫面元素偵測,因此這篇文章就要來向大家分享這個實用功能,快跟我們一起搭上人工智慧的快速列車吧!
在開始閱讀正文之前,也別忘了先追蹤我們的 臉書粉絲專頁方格子帳號

Computer Vision 是什麼?

在人工智慧領域當中, Computer Vision 一般指的是「設計一套深度學習模型用於辨識各種影像」。而類似的概念若是應用於 UiPath,則是一個可以協助機器人自動偵測(即「see」)畫面中所有元素的套件,而非仰賴選擇器(Selectors)或是光學字元辨識影像(OCR)功能,而這篇文章姑且先將中文翻譯成「電腦視覺」。
UiPath 的 AI Computer Vision 是以機器學習為基礎,融合人工智慧(AI)、光學字元辨識(OCR)、文字模糊配對 (Text Fuzzy-Matching)和錨定系統(Anchoring System)等技術,來模擬人類如何辨識整個畫面的介面系統。
如果還想學習更多 UiPath 功能、實作案例並了解最新自動化趨勢,
歡迎加入「零基礎快速學習 RPA-利用 UiPath 建構自動化機器人」線上課程!課程優惠只到 2024 年 2 月 5 日,快點擊連結立即了解:https://mastertalks.tw/products/rpa-uipath?ref=RPARPA

Computer Vision 與 Selectors 的功能差異

在先前文章中, RPAI 數位優化器有介紹過 Anchoring System 的概念,其中尋找 Anchor 中會使用的 Find Elements 或是 Find Images 功能,就會利用 Selectors 功能。
電腦系統(例如網站、資料庫和第三方應用程式)之間為了進行資訊交換,通常會使用可擴展標記語言(XML)預先定義每個區塊的功能,而 Selectors 就是使用 XML 預先定義的電腦特性,對於感興趣的區域進行辨認,然而官方文件也提到 Selectors 有時候並不這麼可靠。
相較於 Selectors,Computer Visions 的主要特色包括:
  1. 可應用於虛擬桌面環境(又稱「虛擬桌面基礎架構」,VDI)。*註1
  2. 可避免因為微小的頁面更動,導致自動化流程中斷。*註2
  3. 可偵測畫面的每個元素,如圖(一)。
下圖為搜尋引擎的圖片結果,使用 Selectors 的結果為 A.圖,只能找出圖片位置;而使用 Computer Visio n的情況為 B. 圖,連圖片中的內容都可被偵測。

使用 Computer Vision 三大步驟

  1. 先確認目前電腦中的 UiPath 版本是否有 Computer Vision,如果沒有的話,請先到 Manage Package,並搜尋 UiPath.Ai.ComputerVision.Activities。
  2. 使用 CV Screen Scope 功能(與 Excel Application Scope 的概念相同,所有 Computer Vision 相關功能必須定義在 CV Screen Scope 之中,才能正確執行)
  3. 接下來即可依照自身需求進行流程設計與開發。
Computer Vision 比起 Selectors 較為可靠、選擇元素也更為精細,雖然目前所具備的功能有限(請參考下圖),但也足以處理大約80%的日常任務了。
圖(二)顯示 2022.12.0 版本 UiPath 所提供與 Computer Vision 相關的功能。
需要特別留意的是,Computer Vision 有時會需要用到 CV Refresh 功能,因為當操作畫面有所更動,我們就必須讓 Computer Vision 重新抓取畫面的每個元素,例如我們可以在下圖看到從左邊的存款畫面(Deposit)變成右邊的提款畫面(Withdrawal)時,雖然帳戶位置不變,然而整體畫面有所不同,因此我們仍需要在流程設計時需要加入 CV Refresh 功能。

結論

UiPath 在開發 Computer Vision 這項功能時,就已經結合許多人工智慧領域的相關技術,因此對我們來說是一個相對更容易使用且穩定的工具選擇,也可以成為我們從 RPA 跨足人工智慧的第一步。因此下次要選擇使用 selector 前,不妨也先確認看看 Computer Vision 套件是否有適合的功能可以使用吧!
今天的分享就到這邊,如果還想看 RPAI 數位優化器分享更多 RPA+AI 的介紹與教學文章,也歡迎在底下留言讓我們知道!
讓我們一起從簡單開始,成就不簡單!
如果你/妳喜歡這篇文章,歡迎點點愛心或留言,讓我們相互交流和成長!
這次的分享到此告一段落,想了解更多 RPA + AI 與數位轉型的最新趨勢與觀點、RPA 軟體功能介紹及實務應用案例,也歡迎追蹤 RPAI 數位優化器的社群和我們交流互動,我們下次見!
🚀 Instagram:RPAI 數位優化器
🚀 臉書粉絲專頁:RPAI 數位優化器
🚀 YouTube 頻道:RPAI 數位優化器
註1:虛擬桌面環境意即將桌面環境架設於一個集中式伺服器上,並且部署於給終端使用者的裝置,如筆記型電腦、平板電腦等,而後即可透過網路存取,因此運算是在雲端伺服器中實現,對於終端機器的硬體要求較低,遠端工作者、客服工程師、約聘人員通常較常會有使用虛擬桌面環境的需求。
註2:微小畫面變動,在 UiPath 中也可以使用 OCR 技術克服,Computer Vision 將 OCR 技術融入於中,因此也具備此特性。
為什麼會看到廣告
avatar-img
138會員
116內容數
我們是以「機器人流程自動化(RPA)」結合「人工智慧(AI)」為主題的中文學習社群,旨在分享 RPA + AI 的學習資源、應用實例和最新發展趨勢,讓工作者透過自動化工具的有效應用,創造數位優化與轉型契機,讓我們一起由簡單開始,成就不簡單!
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
你可能也想看
Google News 追蹤
Thumbnail
Tengr.ai 圖生圖 咒語:Pick up Robot
Thumbnail
UiPath是一家提供流程自動化解決方案的公司,從產業、應用的角度深入探討公司的發展歷程。先從流程自動化的起源談起,接著介紹了UiPath的創始人和公司的發展過程,以及RPA對企業帶來的影響。最後探討了流程自動化的下一步:全面性與智能化對企業的衝擊,並提出了科技公司的見解和對話的呼籲。
Microsoft Azure AI 900 證照,把準備資料整理分享給大家。 AI 是可模仿人類行為與能力的軟體,主要的工作包含: 機器學習:這通常是 AI 系統的基礎,且是「指導」電腦模型進行預測並從資料中得出結論的方式 電腦視覺:透過相機、影片和影像,以視覺方式解譯世界的 AI 功能
Thumbnail
人工智慧是什麼? 人工智慧(Artificial Intelligence, AI) 簡單來說,就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序,可以執行許多原本需要人類智慧才能完成的工作,例如: 語音辨識: 讓電腦聽懂人類的語言,像是 Siri、Google As
Thumbnail
有些產業在AI的應用已經有相當明確的方向,投資當然要選擇相對明確趨勢的產業,像是AI PC! 雖然滲透率還非常低,但它不是未來式,而是現在進行式,我認為未來所有的PC都會是AI PC。所以我就去尋找一般PC升級至AI PC時,有哪些零組件也會隨之升級,就讓我找到筆電觸控板龍頭、指紋辨識老二的義隆!
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
Thumbnail
UiPath 是一家領先的機器人流程自動化(RPA)公司,總部位於紐約。本篇文章介紹了 UiPath 最新推出的 Automation Hub 和與 Microsoft 的合作等重要新聞,以及其在市場上的表現和競爭對手情況。文章最後還分享了未來可能的行動和發展趨勢。歡迎留言交流和討論!
Thumbnail
隨著科技的不斷進步,人工智慧(AI)逐漸成為我們生活中不可或缺的一部分。近年來,市場上出現了一種新型的電腦,稱為AIPC(Artificial Intelligence Personal Computer,人工智慧個人電腦)。那麼,AIPC到底是什麼?它與我們日常使用的PC(個人電腦)有何不同?
Thumbnail
AI,全稱人工智慧,是指讓電腦或機器具備類似人類的智慧和能力的科學和技術。AI 可以幫助我們解決各種問題,提高效率,創造價值,甚至改變世界。但是,你知道 AI 是如何運作的嗎?你知道 AI 的歷史和未來嗎?你知道 AI 的優點和挑戰嗎?在這篇文章中,我將帶你一起認識 AI 的基本概念和發展。
Thumbnail
人工智慧(AI)是當今科技領域最炙手可熱的話題之一,這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例,以及一些熱門的AI產品。藉由這趟AI之旅,我們將更深入了解這個讓世界為之矚目的技術。
Thumbnail
Tengr.ai 圖生圖 咒語:Pick up Robot
Thumbnail
UiPath是一家提供流程自動化解決方案的公司,從產業、應用的角度深入探討公司的發展歷程。先從流程自動化的起源談起,接著介紹了UiPath的創始人和公司的發展過程,以及RPA對企業帶來的影響。最後探討了流程自動化的下一步:全面性與智能化對企業的衝擊,並提出了科技公司的見解和對話的呼籲。
Microsoft Azure AI 900 證照,把準備資料整理分享給大家。 AI 是可模仿人類行為與能力的軟體,主要的工作包含: 機器學習:這通常是 AI 系統的基礎,且是「指導」電腦模型進行預測並從資料中得出結論的方式 電腦視覺:透過相機、影片和影像,以視覺方式解譯世界的 AI 功能
Thumbnail
人工智慧是什麼? 人工智慧(Artificial Intelligence, AI) 簡單來說,就是讓機器模仿人類的思考、學習和決策的能力。它就像是一個聰明的電腦程序,可以執行許多原本需要人類智慧才能完成的工作,例如: 語音辨識: 讓電腦聽懂人類的語言,像是 Siri、Google As
Thumbnail
有些產業在AI的應用已經有相當明確的方向,投資當然要選擇相對明確趨勢的產業,像是AI PC! 雖然滲透率還非常低,但它不是未來式,而是現在進行式,我認為未來所有的PC都會是AI PC。所以我就去尋找一般PC升級至AI PC時,有哪些零組件也會隨之升級,就讓我找到筆電觸控板龍頭、指紋辨識老二的義隆!
Thumbnail
AI的世界充滿了創新和潛力,涵蓋了許多領域,包括但不限於機器學習,自然語言處理、電腦視覺和機器人技術。AI對人類社會的影響是複雜而多層面的,既帶來了巨大的機遇,也提出了新的挑戰。社會需要在技術發展和倫理規範之間找到平衡,確保AI技術的應用能夠真正造福人類。
Thumbnail
UiPath 是一家領先的機器人流程自動化(RPA)公司,總部位於紐約。本篇文章介紹了 UiPath 最新推出的 Automation Hub 和與 Microsoft 的合作等重要新聞,以及其在市場上的表現和競爭對手情況。文章最後還分享了未來可能的行動和發展趨勢。歡迎留言交流和討論!
Thumbnail
隨著科技的不斷進步,人工智慧(AI)逐漸成為我們生活中不可或缺的一部分。近年來,市場上出現了一種新型的電腦,稱為AIPC(Artificial Intelligence Personal Computer,人工智慧個人電腦)。那麼,AIPC到底是什麼?它與我們日常使用的PC(個人電腦)有何不同?
Thumbnail
AI,全稱人工智慧,是指讓電腦或機器具備類似人類的智慧和能力的科學和技術。AI 可以幫助我們解決各種問題,提高效率,創造價值,甚至改變世界。但是,你知道 AI 是如何運作的嗎?你知道 AI 的歷史和未來嗎?你知道 AI 的優點和挑戰嗎?在這篇文章中,我將帶你一起認識 AI 的基本概念和發展。
Thumbnail
人工智慧(AI)是當今科技領域最炙手可熱的話題之一,這項技術正在改變我們的生活方式、工作方式以及與科技互動的方式。本文將深入探討AI的意義、生成式AI的概念、AI在生活中的應用案例,以及一些熱門的AI產品。藉由這趟AI之旅,我們將更深入了解這個讓世界為之矚目的技術。