[發明專利]一種快速相機運動下有效匹配特征的方法

有效

• 申請號: 201910660500.0
• 申請日: 2019-07-22
• 公開（公告）號: CN110517301B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 顏成鋼;朱尊杰;任泳寧;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種快速相機運動下有效匹配特征的方法。本發明步驟如下：步驟1.收縮膨脹效應和特征區塊的變形；步驟2.設計一種一元化的變形方法來處理SE效應；步驟3.在特征跟蹤過程中，每個受收縮膨脹效應影響的特征區塊都會被對應的投影區塊所替代。隨后我們利用光度誤差與幾何誤差來匹配投影區塊與當前幀圖像。本發明將顏色和深度信息結合起來，令二維的區塊反投影至三維空間中，并通過初始相機運動將其重新投影到下一幀的觀測相機上。投影過程使原始區塊變形從而獲取區塊在連續幀之間的外觀變化情況，同時通過這些變形的區塊能準確簡單地實現特征跟蹤。

技術領域

本發明屬于計算機視覺領域，尤其針對特征匹配，具體涉及一種快速相機運動下有效匹配特征的方法。

背景技術

特征匹配是大部分計算機視覺領域中大部分技術的基礎，同時相機定位技術也依賴于特征匹配方法，并且是大量應用的基礎，如導航、避障、三維重建等等技術都依賴于當前時刻準確的相機運動狀態。快速的相機運動導致了傳統的特征匹配方法發生無法有效提取特征、特征匹配錯誤等問題，其主要原因是由于在快速運動下，彩色相機所獲取的彩色圖像將產生嚴重的運動模糊，導致了基于特征描述子的特征點匹配方法無法提取足夠數量的有效特征；基于光度值的區塊特征匹配方法雖然能很適應圖像模糊的情況，但是由于快速的相機運動使得相機在較大的視角差下拍攝相鄰兩幀的彩色圖像，從而導致相鄰兩幀所提取的區塊特征產生較大的紋理區別而無法匹配。

發明內容

本發明的目的是利用現有的消費級RGB-D相機，以彩色圖與深度圖像作為輸入，提供一種快速相機運動下有效匹配特征的方法。

本發明具體按照以下步驟實施：

步驟1.收縮膨脹效應和特征區塊的變形

相機移動時，從不同幀的不同角度我們能得到特征塊，因此，圖像域中的特征面片的二維形狀因幀而異。利用快速相機運動下塊的三維幾何來確定連續圖像之間的二維變形。由于塊具有不同幾何形狀和相機運動的不規則性，其可能在連續幀中產生不同程度的變形。

(情況1)如果一個塊中的像素深度之間沒有顯著差異，那么無論相機運動有多劇烈，它的一般形狀在兩個連續幀中都將保持不變。

(情況2)當相機緩慢移動時，即使塊中存在較大的深度差異，它的二維形狀仍將保持不變。

(情況3)如果相機移動得很快，光強分布和塊的形狀都將發生改變。

這些現象中出現的收縮效應和擴展效應，被統稱為收縮膨脹效應。

步驟2.設計一種一元化的變形方法來處理SE效應，區塊變形過程的細節如附圖3所示

從k-1幀中提取的塊中的每個像素i都定義為其中p_i表示面片中像素i的圖像坐標，I_i，d_i，n_i分別表示像素i的光度值、深度值和三維法向量。我們首先將每個塊反向投影到三維世界坐標系中：

在這里，π(·)表示將一個點從三維相機坐標系投影到二維像素域，π^-1(·)代表對其反向操作。T_k-1是幀k-1的相機姿態，它將幀k-1的相機坐標系中的一個三維點轉換為世界坐標系，并將其指定為相機坐標系的第一幀。L_i在世界坐標系中，但索引自第k-1幀中的像素i，所以該情況下投影中強度信息不變。P_i和n_i處在世界坐標系下。然后我們將L_i投影到k幀的像素坐標系下，

其中k’表示它被投影到這一幀，而不是最初就處于這一幀。注意T_k是需要計算的量，它將影響投影的二維位置。

投影后，如果P^k-1中兩個投影得到的像素恰好在中位于相同的像素坐標，然后我們