日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

捕捉控件

1. 什么是控件?

控件是RPA機器人模擬人進行界面自動化操作的基礎對象,代表其在執行一個應用(流程)時可能涉及的各類“界面元素”,如一個網頁中的輸入框、“百度一下”按鈕、頁面標題、客戶端上的登錄按鈕等,都可以被視作一個控件。

在您RPA開發者-快速入門時,需要在捕捉到流程中需要操作的控件的基礎上,才能完成流程的開發。如您希望RPA機器人去自動關閉一個桌面窗口,您需要先捕捉到這個窗口,以及窗口右上角的關閉按鈕這兩個控件,再在點擊控件(窗口)這個組件中分別選擇這兩個控件,實現對該窗口的關閉。因此,學會捕捉控件是您進行RPA應用開發的必經之路。

在下文中,我們將分別向您介紹如何捕捉控件(第2節),如何編輯所捕捉控件的屬性(第3節),以及當您遇到了一批相似控件時,如何快速地進行相似控件捕捉(第4節)。

2. 捕捉控件

RPA編輯器支持您基于匹配(自動匹配/win32-UIA等),或基于圖像錄制的模式來進行控件的捕捉。考慮到匹配的準確性與效率,我們一般推薦您使用基于自動匹配的模式,若您希望捕捉的控件或其所在的界面無法被該模式識別,您也可以通過圖像錄制的模式,來截取目標操作區域,RPA會通過圖像識別的方式對其進行匹配。

2.1. 自動匹配模式/win32-UIA模式/win32-MSAA模式

  1. 打開RPA編輯器,以編碼模式為例,在右側控件面板中點擊開始捕捉。

    截屏2022-08-25 下午7

  2. 界面彈出對話框

    捕捉空間2

  3. 打開您希望捕捉的控件所在的界面,并確保對話框在該界面上方,點擊捕捉控件按鈕(或按鍵盤F2鍵)

  4. 將鼠標移動到需捕捉的控件上,待藍框鎖定目標控件,點擊鼠標左鍵即可完成捕捉。在捕捉控件窗口中:

    1. 您可以在下圖中序號①內看到您所捕捉控件的預覽,在控件預覽區域中移動鼠標,可以在右上角查看鼠標相對該控件中心點的位置,用以在某些場景中設定偏移量

    2. 您還可以在下圖中序號②內選擇一個針對該控件的驗證動作,并在序號③中配置該動作所需的參數

    3. 點擊序號④中的驗證動作按鈕,即可在界面中查看您針對該控件的驗證是否滿足預期,如果您選擇的驗證動作有返回值,會顯示在序號⑤中

    4. 若您驗證成功,請填寫控件名稱,為該控件選擇分組(非必要),并點擊保存

    5. 后續您可以在編輯器的控件面板中查看,也可在流程開發過程中直接在控件列表中選擇該控件截屏2022-08-25 下午8

2.2. 圖像錄制模式

圖像錄制模式主要用于上述模式對目標界面解析失敗的情況(無法捕捉目標控件)。

若您使用基于圖像錄制的模式:

  1. 在點擊捕捉控件按鈕前,在右側模式列表中下拉選擇圖像錄制模式

  2. 點擊捕捉控件,對您希望操作的區域進行截圖,鼠標釋放即為完成截取。在捕捉控件窗口中:

    1. 選擇編輯控件(在下圖中序號①),查看您截取的目標區域,在定位圖像(在下圖中序號②)中可以通過拖動錨點的方式來調整在目標區域中操作的具體位置

    2. 選擇驗證控件按鈕(在下圖中序號③),選擇一個針對該控件的驗證動作,并再配置該動作所需的參數

    3. 點擊驗證動作按鈕(在下圖中序號④),即可在界面中查看您針對該目標區域的驗證是否滿足預期

    4. 若您驗證成功,請填寫控件名稱,為該控件選擇分組(非必要),并點擊保存

    5. 后續您可以在編輯器的控件面板中查看,也可在流程開發過程中直接在控件列表中選擇該控件。截屏2022-08-26 下午12

3. 編輯控件

在實際開發的過程中,可能會出現某個上次捕捉且可正常使用的控件,在再次使用時報錯的情況。這可能是由于上次捕捉時控件所在的界面發生了改動;也可能是由于上次捕捉的控件中有屬性發生變化。針對前者,我們可以在變化后的界面中重新進行捕捉;針對后者,可以通過編輯控件屬性的方式來重新保證控件選擇的準確性。

在本節,會向您介紹如何通過編輯控件來準確捕捉“屬性會發生變化”的控件。

編輯控件的原則:從最下面一層開始編輯,修改一次屬性通過高亮 按鈕或者快捷鍵F5 來驗證修改過后的控件。

  1. 比如:捕捉巨潮網中格力電器的股票價格信息,由于股票價格變化,該控件屬性可能存在變化,所以需要通過編輯控件,設置固定的控件屬性來保證控件的穩定性。

  2. 修改最后一層的信息,取消outertext屬性,勾選class屬性或者nth-child屬性,回顯驗證是否捕捉到該控件。

  3. 若outertext屬性中的值是部分變化,也可以選擇該屬性,修改匹配規則(相等/包含/正則),然后屬性值根據匹配規則進行修改。比如:匹配規則為“包含”,則屬性值為固定不變的關鍵字;若規則為“正則”,則屬性值為正則表達式。

AECA2EA6-4E80-490f-8D58-3F083B8DE57A

4. 捕捉相似控件

當您希望在界面中捕捉的控件是一批特征相似的控件時(如下圖中紅色框選區域,每個區域內的元素都可以被視作一批相似控件),您可以通過捕捉相似控件的方式,一次性地捕捉多個指定的相似控件。

截屏2022-08-26 下午4

例如,捕捉上圖左側分類的全部標簽(女裝、內衣、奢品等);

  1. 首先點擊捕捉控件按鈕,捕捉“女裝”這個控件

  2. 點擊捕捉相似控件按鈕,捕捉這批控件中的第二個控件,如“內衣”。

  3. 點擊左鍵完成本次捕捉后,屏幕中會同時高亮多個控件,隨后,窗口中顯示共找到“40個”控件(如下圖中所示)截屏2022-08-26 下午5

  4. 根據剛才的高亮結果,以及統計出的相似控件數量可以發現,系統默認捕捉的這一批相似控件并不是我們想要的,因此,我們需要通過編輯控件的方式對剛捕捉到的這一批相似控件進行調整,點擊下圖中的編輯控件。截屏2022-08-26 下午6

    1. 從最下面一層標簽開始,編輯右側屬性(勾選/取消),點擊高亮控件按鈕,測試能否準確回顯該批相似控件;

    2. 如果為否,繼續編輯上一層屬性,測試該批相似控件能否成功被高亮,重復類似操作,直至捕捉到我們想要的相似控件。

    3. 如下圖中所示,在本次調整后,點擊高亮控件,屏幕中高亮區域正確,同時提示共找到24個控件,相似控件數量也正確,即可填入控件名稱,選擇該控件所屬分組(如需),點擊保存。截屏2022-08-26 下午8

  5. 在后續流程搭建的過程中:

    1. 如需使用這一批相似控件,請結合循環相似控件(網頁)、循環相似控件(窗口)等組件共同使用

    2. 如需使用這一批相似控件中的某一個控件,請在各組件的高級選項-控件索引中明確具體的控件

  6. 更多案例,請參考視頻:編輯屬性捕捉相似控件

說明

捕捉相似控件相當于將多個控件納入一個控件組進行管理,同時通過“控件索引”來區分控件。比如選擇動作“獲取文本”,若控件索引為1,則獲取的是第一個標題,若控件索引為2,則獲取的是第二個標題,以此類推)

樣例:捕捉控件

1.打開百度頁面,使用捕捉控件,點擊捕捉控件按鈕,將鼠標移動到百度輸入框中進行捕捉;7

2.在編輯控件窗口中,輸入控件名稱(在下圖中序號①),然后進行驗證:

  • 選擇動作(在下圖中序號②),本次選擇輸入文本,測試能否正常向百度輸入框輸入文本;

  • 接著在動作參數中,填入輸入內容(測試)(在下圖中序號③);

  • 然后點擊驗證動作按鈕(在下圖中序號④),發現文本輸入成功,同時驗證結果顯示驗證成功(在下圖中序號⑤);

  • 以上步驟證明了捕捉到的控件可正常使用,點擊保存(在下圖中序號⑥)。

8

3.同理可捕捉“百度一下”按鈕,在驗證的時候,選擇動作為“點擊”,驗證成功后保存控件。

11

樣例:捕捉相似控件

假設需要捕捉所有阿里云搜索結果的標題,這里我們需要用到捕捉相似控件功能。

重要

使用捕捉相似控件,需要在頁面中先找到具有相似性的控件,以圖中標題為例,并不是所有標題都是相似控件,例如下圖中第一個標題與頁面中其他標題就不是相似控件,當使用捕捉相似控件捕捉第一個標題時,會提示“合并失敗,提供的選擇器不具備相似性“,是由于標題一與標題二三的底層源碼結構不同導致的。

  • 在搜索結果中,隨意捕捉一個標題(比如此處捕捉圖中序號①標題),進入控件編輯頁面;

  • 然后點擊捕捉相似控件按鈕,此時頁面又會回到捕捉控件的狀態,此時再捕捉一個類似的控件(比如此處捕捉圖中序號②標題);

  • 捕捉完成后,會自動再次回到控件編輯窗口,此時點擊高亮控件按鈕,會發現頁面上的10個標題全部高亮;

  • 至此,已經成功捕捉到頁面標題控件,將控件命名并保存。

捕獲相似控件標題

通過OCR的方式操作控件

一般來說,在兩種場景下,我們會通過OCR(光學字符識別)的方式來定位控件中的目標操作位置:

  1. 目標操作區域無法捕捉,只能捕捉到上一級控件,且在上一級控件中可以通過文字匹配的方式確定目標位置

  2. 目標操作區域經常變化,但是上一級控件不變,可以通過捕捉到上一級控件,再通過文字匹配的方式確定應用實際執行時要點擊的位置(如某軟件下拉列表結構容易調整,每一項的位置無法確定,因此可以先捕捉到整個列表,再通過OCR的方式進行文字匹配,以確定應用執行時具體要點擊的下拉項)

樣例:通過OCR識別控件區域內的關鍵詞進行驗證點擊動作:

  1. 打開百度頁面,使用捕捉控件,點擊捕捉控件按鈕,將鼠標移動到百度首頁的菜單欄的外層進行捕捉,然后通過OCR識別菜單欄中地圖的位置進行點擊。捕獲控件_5

  2. 在編輯控件窗口中,輸入控件名稱,然后進行驗證:

  • 選擇動作,本次選擇OCR-點擊,測試能否識別控件中關鍵詞,并點擊關鍵詞的位置;

  • 在動作參數中,填寫關鍵詞內容(地圖),以及選擇OCR引擎為google;

    重要

    OCR引擎默認使用Google,但是Google引擎對中文的識別能力較弱,實際使用時請注意。可以點擊編輯控件窗口中的查看OCR結果按鈕(或F8快捷鍵)進行驗證識別的結果,識別結果可能會有偏差,只需要保障識別的結果與設置的關鍵詞能匹配上即可。

    捕獲控件_8

  • 然后點擊驗證動作按鈕,發現鼠標移動到標題為地圖的位置上并點擊,同時驗證結果顯示驗證成功;

  • 至此,已經成功捕捉到頁面指定元素控件,將控件命名并保存。