[發明專利]一種基于目標檢測的軌道自動點擊按壓裝置及方法

在審

• 申請號: 202211048826.6
• 申請日: 2022-08-29
• 公開（公告）號: CN115454264A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 唐永;黃穎志;符傳運;王凍
• 申請（專利權）人: 北財在線科技（北京）有限公司
• 主分類號: G06F3/03
• 分類號: G06F3/03
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 盧亮輝

本發明提供一種基于目標檢測的軌道自動點擊按壓裝置及方法，涉及自動化控制技術領域，包括：工作面板、與工作面板固定安裝的至少一條縱向導軌，與縱向導軌滑動連接的至少一條橫向導軌，橫向導軌上滑動連接有點擊按壓器；縱向導軌、橫向導軌和點擊按壓器均連接有步進電機，所有步進電機均連接點擊控壓計算控制器；工作面板上方還安裝有攝像拍照設備，點擊控壓計算控制器、攝像拍照設備均與控制設備相連；控制設備中安裝有點擊按壓控制軟件和目標檢測軟件。本發明實現了點擊按壓器在橫縱方向的任意移動，實現了任意按鍵設備或裝置的單點或多點連續點擊按壓，通過目標檢測實現了需點擊按壓設備在工作面板上的任意擺放，提高了智能化自動化水平。

技術領域

本發明涉及自動化控制技術領域，尤其涉及一種基于目標檢測的軌道自動點擊按壓裝置及方法。

背景技術

當前，在數智化應用落地過程中，自動點擊按壓已經在越來越多的自動化場景中得到了應用。自動點擊按壓主要有兩種方式，一種是通過軟件程序模擬人工操作方式點擊按壓系統、應用或軟件等上的按鈕、文本、鏈接等的方法；一種是單點固定位置物理點擊按壓裝置(多點需多個物理裝置，固定多個位置)，通過軟件程序觸發控制點擊按壓物理按鍵的方法。

軟件程序模擬人工點擊按壓在RPA流程機器人、軟件UI自動化測試等領域有著大量的應用。單點固定位置物理點擊按壓裝置則是在無法通過軟件程序模擬點擊按壓，或者是在軟件程序模擬硬件點擊按壓被系統屏蔽掉的情況下，實現物理點擊按壓，比如在網銀RPA機器人的應用中，就會涉及到U盾確認鍵、OK鍵等自動點擊和按壓，固定U盾確認鍵或OK鍵位置，通過軟件程序調用觸發實現自動物理點擊按壓。

現有基于單點固定位置物理點擊按壓的方法、裝置或產品，在進行調用觸發物理點擊和按壓前，需要調節固定好裝置上的點擊按壓位置，單臂按壓觸頭需要對準點擊按壓的物理按鍵，通過計算控制單元驅動電機帶動單臂(按壓臂或點擊臂)及其觸頭進行向下運動點擊彈壓或向上運動彈起，最終達到對按鍵的點擊按壓。主要應用在鍵盤、U盾上按鍵等自動點擊按壓的相關場景，當遇到如下多點點擊按壓場景：

機械鍵盤等按鍵需要多個按鍵點擊按壓時，比如在鍵盤上輸入多個字符。

在U盾密碼小鍵盤等類似設備上點擊數字實現數字密碼輸入。

部分確認和OK鍵等按鍵在U盾等設備側面的按鍵按壓。

其他任意常見設備(手機、遙控器、開關等)按鍵的點擊按壓。

針對以上場景，對于按鍵所在平面面積大、各按鍵間距大的設備，實現多點點擊按壓時，每個鍵都需配置對應裝置。存在的問題是：每個裝置固定位置后，使用時不能進行移動，每個裝置都需獨立的供電，需要提供單獨的觸發調用接口，需要多個硬件接口，裝置不能復用，只能專用，應用范圍窄，不具有通用性，靈活擴展性差，利用率低。

對于按鍵所在平面面積小、各按鍵間距小的設備，基于當前現有單點固定位置物理點擊按壓的方法、裝置或產品，存在的問題是：受限按鍵平面面積和按鍵間距都小的問題，通過堆疊裝置或產品自身數量，是無法實現多點點擊按壓。比如在U盾密碼小鍵盤上自動點擊數字實現數字密碼自動輸入的功能。也無法實現對按鍵在側面的設備進行按鍵按壓，比如部分U盾的確認鍵在U盾側面的按壓。

對于任意常見通用按鍵等設備(手機、遙控器、開關等)按鍵的點擊按壓，現有的方法、裝置或產品沒有通用的解決方案，受限于按鍵設備的類型、材質、形狀、高度、大小、按鍵間距、按鍵位置等綜合因素的影響，一種方案或設備裝置無法實現單點自動按壓，多點自動連續點擊按壓。

發明內容

針對上述問題，本發明提供了一種基于目標檢測的軌道自動點擊按壓裝置及方法，實現支持任意按鍵設備或裝置在位置不固定的場景下進行自動單點或多點連續點擊按壓及長按。