[發明專利]一種基于人工標志點的遙操作增強顯示方法

有效

• 申請號: 202010415385.3
• 申請日: 2020-05-15
• 公開（公告）號: CN111640189B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 劉正雄;張琦;黃攀峰
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/80;G06T7/11;G06T7/13;G06T7/136;G06T7/187
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 王鮮凱

本發明涉及一種基于人工標志點的遙操作增強顯示方法，基于傳統的復雜編碼的人工方形標志點和圓形標志點，使用了簡化的對稱編碼標志點，雖然增加了使用標志點的數量，但僅僅使用對稱的編碼，減少了內存的占用同時提高了計算速度。在此基礎上，新增了兩個標志點，可以通過改變標志點的位置控制模型的旋轉和縮放，將unity項目發布于移動設備端，使用手持拍攝設備可以環繞標志點觀看模型，也可人持設備不動，通過標志點進行操作，增加了遙操作項目的交互性。

技術領域

本發明屬于遙操作顯示技術領域，涉及一種基于人工標志點的遙操作增強顯示方法，具體包括一種基于人工標志點的快速增強顯示及三維坐標系的確定方法。

背景技術

遙操作系統是利用機器人，通過傳輸媒介由操作人員在相對安全的環境中向遠端機器人發送指令，遠端機器人利用自身搭載的傳感器獲取數據進行反饋，操作人員利用這些反饋進行下一步決策的系統。遙操作系統廣泛應用在空間安裝，核工業，深海探測，軍事等高危或遠距離環境中。

遙操作技術是包含了機器人技術，計算機網絡通訊，計算機圖形學技術，人機交互技術，測控技術等，包括信息處理，操作交互，預測仿真等模塊，其中預測仿真模塊中使用的虛擬仿真技術可以對從端系統進行數字化模擬，形成友好的三圍可視化交互界面，同時提供輔助信息。使用增強現實對虛擬模型進行顯示，可以在觀察虛擬模型的同時兼顧本地真實環境，保證操作人員及設備的安全。

在遙操作任務中，操作員所環境一般為室內，光線變化不明顯，也不存在影響觀測的遮擋關系，因而多采用平面人工標志點的三維注冊方法將虛擬物體疊加到真實場景中。一般的三維注冊均使用編碼標志點，標志點中攜帶編碼信息，如Schneider環形標志點和二維碼衍生形ARTag標志點。然而在遙操作領域，這些標志點在首先在解碼方面不便，以二維碼衍生碼為例，通常采用海明碼進行編碼，求解過程中需要4個Mat格式的變量存儲圖片經過透視變換后得到的結果，然后通過解碼方式與庫中的編碼矩陣一一對應進行求解得到源碼，同一套源碼與解碼方式唯一對應。其次，盡管可以通過特定的編碼方法確定坐標系的朝向，使用3D引擎進行渲染，但不同于一般的手機AR應用程序，掃描到標志點即可顯示尺寸較小的物體，且尺寸一般由顯示引擎固定，不方便實時進行調整。遙操作增強顯示為了能和環境較好的融合通常需要1:1顯示，準確確定坐標系的朝向，且能方便的進行縮放顯示。

發明內容

要解決的技術問題

為了避免現有技術的不足之處，本發明提出一種基于人工標志點的遙操作增強顯示方法，聚焦于遙操作中的增強顯示問題，針對編碼標志點的解算問題以及模型的顯示問題，基于對稱的非數字編碼人工標志點進行三維注冊和顯示，提高了解算的速度和顯示效果，同時提供了增強現實的交互性。

技術方案

一種基于人工標志點的遙操作增強顯示方法，其特征在于步驟如下：

步驟1：采用張正友方法對相機進行標定；

步驟2：

1、根據海明編碼的方式對標志點進行編碼并打印：編碼為7*7的填充網格，網格的最外周采用黑色填充作為識別邊界，內部的5*5網格作為編碼區，使用黑色或白色作為填充，不同的填充方式代表不同的標識點；

2、選擇四個不同的編碼作為正方形的頂點組成一個正方形，另外制作的代表旋轉的標志點“R”，代表縮放的標志點“S”則在不與其他標志點遮擋的位置任意放置；對正方形攝取一段視頻；

3、通過Opencv的函數將視頻幀圖像轉換為灰度圖像；

4、將得到的灰度圖像使用Otsu閾值化方法進行二值化處理；

5、使用輪廓檢測算法獲取符合條件連通域的輪廓區域；

步驟3：

1、對輪廓區域使用透視變換獲得正方形圖像；