[發(fā)明專利]一種基于人工標(biāo)志點的遙操作增強顯示方法

有效

• 申請?zhí)枺?/td>: 202010415385.3
• 申請日: 2020-05-15
• 公開（公告）號: CN111640189B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計）人: 劉正雄;張琦;黃攀峰
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/80;G06T7/11;G06T7/13;G06T7/136;G06T7/187
• 代理公司: 西安凱多思知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 王鮮凱

1.一種基于人工標(biāo)志點的遙操作增強顯示方法，其特征在于步驟如下：

步驟1：采用張正友方法對相機進行標(biāo)定；

步驟2：

a.根據(jù)海明編碼的方式對標(biāo)志點進行編碼并打印：編碼為7*7的填充網(wǎng)格，網(wǎng)格的最外周采用黑色填充作為識別邊界，內(nèi)部的5*5網(wǎng)格作為編碼區(qū)，使用黑色或白色作為填充，不同的填充方式代表不同的標(biāo)識點；

b.選擇四個不同的編碼作為正方形的頂點組成一個正方形，另外制作的代表旋轉(zhuǎn)的標(biāo)志點“R”，代表縮放的標(biāo)志點“S”則在不與其他標(biāo)志點遮擋的位置任意放置；對正方形攝取一段視頻；

c.通過Opencv的函數(shù)將視頻幀圖像轉(zhuǎn)換為灰度圖像；

d.將得到的灰度圖像使用Otsu閾值化方法進行二值化處理；

e.使用輪廓檢測算法獲取符合條件連通域的輪廓區(qū)域；

步驟3：

a.對輪廓區(qū)域使用透視變換獲得正方形圖像；

b.對得到的正方形圖像進行3次90度的旋轉(zhuǎn)，得到四個正方形圖像；對4個圖像進行海明碼解碼，得到與原始拍攝圖像旋轉(zhuǎn)一致的圖像；

所述圖像中包含圖像信息為：每個標(biāo)志點四個頂點位置信息，記為P_{name_i}(x，y),其中name為標(biāo)志點的名稱，i為求解得到的第i個頂點，i的取值為1～4，(x，y)為像素坐標(biāo)；

步驟4：

a.對每張圖像通過頂點計算,記v1，v2分別為：

v1＝P_{name_2}(x，y)-P_{name_1}(x，y)，

v2＝P_{name_3}(x，y)-P_{name_1}(x，y)

res＝(v1.x*v2.y)-(v1.y*v2.x)

根據(jù)res的結(jié)果對每張圖像的四個頂點逆時針排序，記排序之后每張圖片的頂點坐標(biāo)為acP_{name_i}(x，y)；

b.利用位于對角線的頂點數(shù)據(jù)求解中心點center_name的屏幕坐標(biāo)：

c.標(biāo)志點O中心對應(yīng)的世界坐標(biāo)為O(0，0，0)，OP1為x軸，OP2為y軸，對應(yīng)的世界坐標(biāo)為P1(k，0，0)，P2(0，0，k)，P3(k，0，k)，y軸表示豎直方向；并且四點構(gòu)成P4P問題進行求解，能夠得到此圖像對應(yīng)的攝像機位姿矩陣；

步驟5：

a.在3D引擎中配置好OpenCVforUnity插件，使用WebTexture獲取真實攝像機拍攝的場景，將模型的位置放置在虛擬場景世界坐標(biāo)系(0，0，0)的位置，使用虛擬攝像機渲染虛擬模型并與真實場景進行疊加；

b.利用步驟4的a和b中的方法確定“R”，“S”標(biāo)志點的中心；

c.根據(jù)攝像機小孔成像模型，利用標(biāo)志點的中心能夠求得標(biāo)志點在真實坐標(biāo)系中的理論位置為(rx，0，rz)和(sx，0，sz)；

d.定義R點與x軸OP1的夾角為模型的旋轉(zhuǎn)角度，S點的模長為模型的縮放比例，通過腳本控制，即

localRotation＝Quaternion.Eular(new Vector3(rx，0，rz))

localScale＝Vector3.One*Math.sqrt(new Vector3(sx，0，sz))。

2.根據(jù)權(quán)利要求1所述基于人工標(biāo)志點的遙操作增強顯示方法，其特征在于：所述步驟1的標(biāo)定為：打印一張邊長為10cm的10*10棋盤格作為標(biāo)定板；使用待標(biāo)定的攝像機從不同角度對棋盤格拍攝10～15張照片；借助Matlab的Camera Calibrator工具箱求解攝像機的內(nèi)參矩陣。