[發明專利]一種多維交互的圖像特征參數提取匹配方法

有效

• 申請號: 202011624298.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112633300B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 毛志杰;周林;陳英梅;董長富;劉中偉
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/40;G06T3/00;G06T7/80;G06T7/33
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 戴媛

本發明公開了本發明一種多維交互的圖像特征參數提取匹配方法，根據不同位置不同分辨率圖像的特征提取與匹配，進而計算得到幀與幀之間相機的相對位姿，以及由特征點三維位置構成的三維稀疏點集，最后將所恢復的三維點集與相機的位姿聯合起來進行集束優化調整，能夠得到不同位置不同分辨率圖像的間的匹配關系。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種多維交互的圖像特征參數提取匹配方法。

背景技術

虛擬現實(Virtual?Reality,VR)技術使得人和計算機很好地“融為一體”，打通了人機接口的最后一道屏障，給社會帶來了巨大的經濟利益、軍事價值和社會效益。虛擬實現是利用寬視野立體顯示技術，借助實時動作捕捉、跟蹤定向技術、觸覺、力覺、嗅覺等反饋技術，通過手柄、語音或動作等傳達指令來實現虛擬呈現。

增強現實(AugmentedReality，AR)相比VR虛擬現實模塊而言，可以使虛擬交互系統實現更豐富的互動方式，可以在真實環境中疊加虛擬內容，擴展現實(ExtendedReality,XR)實現在虛擬場景中疊加真實環境，從而賦予系統“生命力”，構建出一系列無法在現實中見到的“鮮活”模型和場景。

多維交互分布式系統是綜合運用平面顯示、VR虛擬現實、AR增強現實、MR混合現實、XR擴展現實等技術，結合語音指令、眼睛指令、手勢指令、控制手柄等人機交互方式，實現多傳感器設備在自然空間、虛擬現實、增強現實、混合現實等空間動態視景交互呈現和實體行為操作，實現基于任務全過程的沉浸式、交互式、靈感式混合呈現和應用體驗，是未來實現數字孿生系統的現實基礎和技術支撐。

在多維交互技術應用過程中，需要不同位置、不同分辨率的多副影像，形成對圖的虛擬融合處理和應用。那么，實現不同位置不同分辨率圖像的特征提取與匹配，并進而計算得到幀與幀之間相機的相對位姿，以及由特征點三維位置構成的三維稀疏點集，最后將所恢復的三維點集與相機的位姿聯合起來進行集束優化調整，為得到精確的三維圖像結構奠定基礎。

發明內容

本發明的目的是提供一種多維交互的圖像特征參數提取匹配方法，能夠實現不同位置不同分辨率圖像的特征提取與匹配。

本發明所采用的技術方案是，一種多維交互的圖像特征參數提取匹配方法，具體按照以下步驟實施：

步驟1、根據設置在三維圖像周邊不同位姿相機，獲取多個角度視圖，根據多個角度視圖參數、相機內參數，建立三維圖像與各視圖的關系模型；

步驟2、提取每個角度視圖的圖像特征矢量，根據任意兩個角度視圖的圖像特征矢量構造圖像聯合特征矢量；

步驟3、根據圖像聯合特征矢量構造響應函數，確定選取特征點的移動方向；

步驟4、根據雙視圖圖像特征提取匹配方法，提取任意多個角度視圖中雙視圖特征點，對雙視圖的圖像聯合特征矢量進行精確配準，獲得標記特征點；

步驟5、結合步驟4標記特征點提取方法以及步驟3確定的移動方向，提取所有三維點在不同圖像上的特征點；

步驟6、根據三維圖像與各視圖的關系模型，求解所有三維點在不同圖像上的特征點之間的匹配關系。

本發明的特點還在于：

步驟1中多個角度視圖劃分為多個雙視圖，則根據多個角度視圖參數、相機內參數，建立三維圖像與各視圖的關系模型具體過程為：

取雙視圖為左視圖、右視圖，投影矩陣分別是P和P'，相機內參數矩陣分別是K和K'，以左視圖為參考視圖，則的投影矩陣表示為P＝K[I|0]，相機光心位置C＝0，右視圖投影矩陣P'＝K'[R|t]，相機光心位置C'＝-R^Tt，R表示旋轉矩陣，t表示平移向量；

設三維點X在左右視圖上的投影點分別為x和x'，則齊次坐標表示為：