[發明專利]一種基于增強現實的檢查方法、檢查設備和遠程協助方法

在審

• 申請號: 202111177170.3
• 申請日: 2021-10-09
• 公開（公告）號: CN113920501A
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 王加輝;呂新偉
• 申請（專利權）人: 蒂姆維澳（上海）網絡技術有限公司
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/764;G06V10/774;G06T3/00;G06T7/246;G06T7/80;G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及一種基于增強現實的檢查方法、檢查設備和遠程協助方法，其包括以下步驟：定位步驟，獲取取景框內的目標圖像并與數據庫內的預設圖像進行匹配，并基于匹配結果確定問題對象，其中，取景框設置于目鏡上，目標圖像為取景框對準目標物體后落入取景框內目標物體的圖像；示教步驟，獲取問題對象對應的解決方案，并在目鏡上投映解決方案對應的示教信息。本申請具有使得非專業人員能夠對熱力管道進行修復的優點。

技術領域

本申請涉及增強現實技術領域，尤其是涉及一種基于增強現實的檢查方法及系統。

背景技術

傳統熱力管道修復中，熱管的漏點位置和泄露原因往往多變，比如法蘭盤上的螺絲發生銹蝕導致法蘭盤的連接不緊密，或者密封圈發生老化破損而導致蒸汽泄露或熱水泄露，或者管道產生裂縫而產生滲漏。檢查漏點的過程較為漫長，且對于不同的漏點往往會有不同的修復方法，這通常需要熟練的專業維修人員到現場進行檢查和判斷，未經過長期培訓的用戶難以進行自行維護。

發明內容

為了使得非專業人員能夠對熱力管道進行修復，本申請提供一種基于增強現實的檢查方法、檢查設備和遠程協助方法。

第一方面，本申請提供的一種基于增強現實的檢查方法，采用如下的技術方案：

一種基于增強現實的檢查方法，包括以下步驟：

定位步驟，獲取取景框內的目標圖像并與數據庫內的預設圖像進行匹配，并基于匹配結果確定問題對象，其中，取景框設置于目鏡上，目標圖像為取景框對準目標物體后落入取景框內目標物體的圖像；

示教步驟，獲取問題對象對應的解決方案，并在目鏡上投映解決方案對應的示教信息。

通過采用上述技術方案，在損壞事件發生而需要進行解決時，目鏡的朝向能夠進行調整。在使用時目鏡需要調整到標準姿態，比如目鏡中部的取景框需要位于使用者正視前方的視線上，則用戶盯住目標物體且轉動頭部時，各個取景框的位置將會發生改變，而使得不同的取景框在頭部轉動過程中能夠框住目標圖像。當目標物體位于適當的取景框中時，攝像頭所獲取的圖像中，目標物體將會位于指定的位置。系統提取目標圖像中的目標物體并進行識別，識別方法可通過多分類神經網絡模型或其它的方法，從而判定出該目標圖像對應于數據庫中的物體信息，并判定目標對象是否為問題對象。通過該種方法，可以用于對現場的各種物體進行遍歷識別，從而篩查出問題對象。再從云端或本地數據中提取預存的針對于該問題對象的解決方案，或是通過遠程人工客服指導以獲得解決方案，解決方案能夠以動態圖像或其它形式從在目鏡上投映，投映的過程中可以與目標物體在目鏡上的中心投影重疊，產生類似于交互的效果，比如形成光斑落在目標物體上面，或者光斑在目標物體的圖像上移動以示意操作步驟，或者直接在目鏡上播放維修影像，從而指導用戶解決損壞事件。

綜上，該方法能夠使得非專業人員能夠對熱力管道進行修復，大量地節約人力，并縮短問題的處理周期。

可選的，所述定位步驟包括：

對取景框內的目標物體進行拍攝并進行特征提??；

基于預設特征信息與所提取特征的比較結果，識別出目標物體的種類；

基于識別結果的預錄入損壞特征與所提取特征的比較結果，獲得目標物體的損壞信息；

基于損壞信息判斷目標物體是否為問題對象。

通過采用上述技術方案，取景框內的目標物體具有顏色、形狀等特征，顏色具體不止肉眼可視顏色，還包括紅外成像顏色等，形狀具體指的目標物體上各線條的比例，線條的連續程度等特征，系統將圖像中物體的該類信息提取出來。系統的數據庫中預存有多種零件的預設特征信息，通過特征信息的對比，對目標物體的種類進行判定。在識別出目標物體后，基于目標物體的預錄入的損壞特征與所提取的特征進行對比，判斷物體是否發生損壞，若損壞則目標物體即為問題對象，若未損壞則目標物體為正常物體。

可選的，所述定位步驟還包括：

基于問題對象判斷結果連接遠程協助系統；