[發(fā)明專利]一種基于位姿解耦估計的無監(jiān)督單目視覺里程計方法

在審

• 申請?zhí)枺?/td>: 202011151965.2
• 申請日: 2020-10-26
• 公開（公告）號: CN112308918A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 周文暉;王威盛;孫煨;張樺;戴國駿
• 申請（專利權(quán)）人: 杭州電子科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/77;G06N3/04;G06N3/08;G06F7/523;G06F17/16
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于位姿解耦估計的無監(jiān)督單目視覺里程計方法，其特征在于包括如下步驟：

步驟S1：準備KITTI數(shù)據(jù)集并進行預處理；

步驟S2：基于位姿解耦估計公式，設(shè)計位姿解耦估計網(wǎng)絡；

步驟S3：設(shè)計基于位姿解耦估計的無監(jiān)督單目視覺里程計；

步驟S4：定義基于位姿解耦估計的無監(jiān)督單目視覺里程計的損失函數(shù)；

步驟S5：使用KITTI數(shù)據(jù)集中的訓練集訓練基于位姿解耦估計的無監(jiān)督單目視覺里程計。

2.根據(jù)權(quán)利要求1所述的一種基于位姿解耦估計的無監(jiān)督單目視覺里程計方法，其特征在于所述步驟S2具體實現(xiàn)包括：

步驟S2-1：所述的位姿解耦估計公式是將兩幀間的相機位姿矩陣分解為解耦平移矩陣和解耦旋轉(zhuǎn)矩陣的級聯(lián)相乘，從而將相機位姿估計分解為解耦平移矩陣和解耦旋轉(zhuǎn)矩陣的級聯(lián)估計；具體表述為：

對于相鄰兩幀圖像I_t和I_s，場景點在圖像I_t上的投影像素點為g_t，在圖像I_s上的投影像素點為g_s，根據(jù)相機內(nèi)參矩陣K、相機位姿矩陣P_t→s、像素點g_t在相機坐標系下的深度值z_t和像素點g_s在相機坐標系下的深度值z_s，像素點g_t和像素點g_s滿足剛性運動的投影公式，具體為：

其中P_t→s為相機從第t幀到第s幀的相機位姿矩陣，包含了一個3×3的旋轉(zhuǎn)矩陣R和一個3×1的平移矩陣T；采用四元數(shù)表示旋轉(zhuǎn)矩陣R，即旋轉(zhuǎn)矩陣R由一個四元素(q₀,q₁,q₂,q₃)表示，所述四元數(shù)表示旋轉(zhuǎn)矩陣為成熟技術(shù)；平移矩陣T包含了3個平移量，分別是相機坐標系下x、y、z坐標的平移量T_x、T_y和T_z；根據(jù)矩陣乘法，相機位姿矩陣P_t→s可表示為解耦平移矩陣和解耦旋轉(zhuǎn)矩陣的級聯(lián)相乘，具體為：

其中P_T為4×4的解耦平移矩陣，P_R為4×4的解耦旋轉(zhuǎn)矩陣，E_3×3為3×3的單位矩陣；

將公式(2)代入公式(1)中，有：

根據(jù)公式(3)，可進一步將像素點g_t和像素點g_s的投影公式分解為兩個投影公式的級聯(lián)相乘，具體為：

其中公式(4)的第一行為解耦平移矩陣P_T的投影公式，公式(4)的第二行為解耦旋轉(zhuǎn)矩陣P_R的投影公式；公式(4)稱為位姿解耦估計公式，將相機位姿矩陣P_t→s估計分解為解耦平移矩陣P_T和解耦旋轉(zhuǎn)矩陣P_R的級聯(lián)估計；

步驟S2-2：所述的位姿解耦估計網(wǎng)絡包含了一個平移估計網(wǎng)絡T-Net和一個旋轉(zhuǎn)估計網(wǎng)絡R-Net；平移估計網(wǎng)絡T-Net實現(xiàn)解耦平移矩陣P_T中三個平移量T_x、T_y和T_z估計，旋轉(zhuǎn)估計網(wǎng)絡R-Net實現(xiàn)解耦旋轉(zhuǎn)矩陣P_R中四元素(q₀,q₁,q₂,q₃)估計。