[發明專利]一種相機位姿定位方法

有效

• 申請號: 202010526031.6
• 申請日: 2020-06-10
• 公開（公告）號: CN111833400B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 楊關水;劉立程
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/0442;G06N3/0464;G06N3/048;G06N3/08;G01C22/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

1.一種相機位姿定位方法，其特征在于，包括以下步驟：

S1：獲取輸入序列，所述輸入序列為連續的共T幀的視頻流，每一幀代表一張圖片；

S2：將所述輸入序列輸入ASPP模塊中，所述ASPP模塊由一組不同膨脹率的膨脹卷積組成，所述輸入序列中的每一張圖片經過ASPP模塊處理后，輸出不同接受域大小的空間特征圖；

S3：將每一張圖片經S2后得到的不同接受域大小的空間特征圖串聯起來，輸入到深度學習網絡中進行時間特征提取，獲取相機位姿；

步驟S3中所述的深度學習網絡為LSTM網絡；

所述LSTM網絡為PDB-ConvLSTM網絡，所述PDB-ConvLSTM網絡采用若干個不同膨脹速率的DB-ConvLSTM網絡，提取多尺度時空信息；

所述DB-ConvLSTM網絡包括前向層和后向層，其中：

前向層的ConvLSTM單元從第T幀接收空間特征映射作為輸入，輸出前向序列特征映射具體為：

式中，*表示卷積運算符，表示Hadamard運算操作，σ表示Sigmoid函數，表示相對于輸入特征向量X時輸入門的學習權重矩陣，表示相對于輸入為隱藏狀態H時輸入門的學習權重矩陣，H_t-1表示t-1時刻的隱藏狀態，表示相對于輸入特征向量X時遺忘門的學習權重矩陣，表示相對于輸入為隱藏狀態H時遺忘門的學習權重矩陣，和表示輸入為特征向量X和隱藏狀態H時輸出門各自的學習權重矩陣，和表示輸入為特征向量X和隱藏狀態H時記憶門各自的學習權重矩陣，H_t表示t時刻的隱藏狀態，所有的門i、f、o、存儲單元c、隱藏狀態H和可學習權值W都是三維張量，和表示前向層和后向層的ConvLSTM單元的隱藏狀態，和分別表示前向隱藏狀態時和后向隱藏狀態時各自的輸出學習權重矩陣，Y_t表示考慮雙向時空信息的最終輸出；

后向層由接收前向層輸出的作為輸入的輸出特征的后向單元組成，具體為：

式中，分別表示后向第t幀的輸入門、遺忘門、輸出門、記憶門和隱藏狀態的計算結果，和分別表示輸入為前向隱藏狀態H^f和后向隱藏狀態H^b時各自的輸入門學習權重矩陣，和分別表示輸入為前向隱藏狀態H^f和后向隱藏狀態H^b時各自的遺忘門學習權重矩陣，和分別表示輸入為前向隱藏狀態和后向隱藏狀態時各自的輸出門學習權重矩陣，和分別表示輸入為前向隱藏狀態和后向隱藏狀態時各自的記憶門學習權重矩陣，表示前向t時刻的前向隱藏狀態值，表示t+1時刻后向的隱藏狀態值；

然后將前向特征和后向特征合并得到最終輸出:使用公式：

2.根據權利要求1所述的相機位姿定位方法，其特征在于，步驟S2中所述輸入序列中每一張圖片先經空間特征提取后再輸入至ASPP模塊進行膨脹卷積。

3.根據權利要求2所述的相機位姿定位方法，其特征在于，所述輸入序列中每一張圖片先經空間特征提取后得到三維空間特征張量其中，R代表的是三維張量，W、H、M分別代表的是輸入圖片的長度、寬度和時間。

4.根據權利要求3所述的相機位姿定位方法，其特征在于，所述ASPP模塊采用K個卷積膨脹層，其中卷積核為：式中，C_k代表的是第k個膨脹卷積核，c、C代表的是相同的自然數，采用不同的膨脹因子r_k表示第k個膨脹因子。

5.根據權利要求4所述的相機位姿定位方法，其特征在于，所述輸入序列中的每一張圖片經過ASPP模塊處理后，輸出不同接受域大小的空間特征圖按下式處理：

式中，表示擴張卷積操作，T_k表示經第k個膨脹卷積核輸出的空間特征圖。

6.根據權利要求5所述的相機位姿定位方法，其特征在于，所述第k個膨脹卷積核輸出的空間特征圖的接收域大小為[(c-1)r_k+1]²。

7.根據權利要求6所述的相機位姿定位方法，其特征在于，步驟S3中將空間特征圖串聯起來，具體為將空間特征圖進行求和操作，得到合并后的特征KC表示的是K×C，計算如下：

式中，表示元素求和操作。