[發明專利]一種快速相機運動下有效匹配特征的方法

有效

• 申請號: 201910660500.0
• 申請日: 2019-07-22
• 公開（公告）號: CN110517301B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 顏成鋼;朱尊杰;任泳寧;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種快速相機運動下有效匹配特征的方法，其特征在于包括如下步驟：

步驟1.收縮膨脹效應和特征區塊的變形

利用快速相機運動下塊的三維幾何來確定連續圖像之間的二維變形；由于塊具有不同幾何形狀和相機運動的不規則性，其可能在連續幀中產生不同程度的變形，具體如下：

情況1：如果一個塊中的像素深度之間沒有顯著差異，那么無論相機運動有多劇烈，則其形狀在兩個連續幀中都將保持不變；

情況2：當相機緩慢移動時，即使塊中存在較大的深度差異，其二維形狀仍將保持不變；

情況3：如果相機移動得很快，光強分布和塊的形狀都將發生改變；

步驟2.設計一種一元化的變形方法來處理SE效應，區塊變形過程如下；

2-1.從k-1幀中提取的塊中的每個像素i都定義為其中，p_i表示面片中像素i的圖像坐標，I_i，d_i，n_i分別表示像素i的光度值、深度值和三維法向量；首先將每個塊反向投影到三維世界坐標系中：

L_i＝T_k-1π^-1(P_i^k-1).

其中，π(·)表示將一個點從三維相機坐標系投影到二維像素域，π^-1(·)代表對其反向操作；T_k-1是幀k-1的相機姿態，它將幀k-1的相機坐標系中的一個三維點轉換為世界坐標系，并將其指定為相機坐標系的第一幀；L_i在世界坐標系中，但索引自第k-1幀中的像素i，所以該情況下投影中強度信息不變；P_i和n_i處在世界坐標系下；

2-2.將L_i投影到k幀的像素坐標系下，

其中k′表示L_i被投影到這一幀，而不是最初就處于這一幀；且T_k是需要計算的量，它將影響投影的二維位置；

2-3.投影后如果P^k-1中兩個投影得到的像素恰好在P_i^k'中位于相同的像素坐標，則需要考慮這個塊中發生的收縮效應；因此刪除與遠程區域相對應的像素；接著檢測擴展效果是否發生：將投影塊的形狀設置為所有投影像素的邊界框；然后驗證擴展效果，即檢查投影塊的高度或寬度是否大于原始塊；不管發生哪種效應，都把P_i^k'作為特征跟蹤步驟中的變形區塊；

步驟3.在特征跟蹤過程中，每個受到收縮膨脹效應影響的特征區塊都會被對應的投影區塊所替代；隨后利用光度誤差與幾何誤差來匹配投影區塊與當前幀圖像；

每個投影區塊的光度誤差以如下方式計算；首先在當前幀圖像上提取投影特征區塊所處坐標的區塊光度信息記為P^k，然后計算該光度信息與投影區塊光度信息的誤差：

其中Y表示該區塊的像素數量；I表示區塊對應的光度值；

隨后計算點到平面的幾何誤差：

特征區塊跟蹤的能量函數就表示為：

其中j表示第j個特征區塊，M表示特征區塊的數量；

最后利用高斯牛頓下降法求得能量函數的解，得到快速運動下特征匹配的結果以及相機快速運動下的運動姿態T_k。