[發(fā)明專利]端到端的視覺定位方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011154636.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112308911A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計）人: 高偉;萬一鳴;吳毅紅
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T11/00
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種端到端的視覺定位方法，其特征在于，所述視覺定位方法包括：

獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集包括多幀連續(xù)源圖像；

根據(jù)各連續(xù)源圖像，建立位姿回歸網(wǎng)絡(luò)模型；

其中，所述根據(jù)各連續(xù)源圖像，建立位姿回歸網(wǎng)絡(luò)模型，具體包括：

針對每一源圖像，基于深度卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)所述源圖像預(yù)測對應(yīng)的深度圖；

根據(jù)相機內(nèi)部參數(shù)及所述深度圖，通過反向投影方法，確定所述源圖像的合成圖像；

根據(jù)各源圖像及對應(yīng)的合成圖像，確定位姿回歸網(wǎng)絡(luò)模型；

基于所述位姿回歸網(wǎng)絡(luò)模型，根據(jù)待測圖像，得到待測圖像的絕對位姿。

2.根據(jù)權(quán)利要求1所述的端到端的視覺定位方法，其特征在于，所述相機內(nèi)部參數(shù)包括：焦距和光心；

所述根據(jù)相機內(nèi)部參數(shù)及所述深度圖，通過反向投影方法，確定所述源圖像的合成圖像，具體包括：

通過焦距、光心及深度圖將所述源圖像I_s上的像素點p＝(u，v)^T投影到三維空間，得到在相機坐標系下的3D點P：

其中，P＝(X，Y，Z)^T，f_x、f_y分別表示相機的焦距，c_x、c_y分別表示相機的光心；

根據(jù)所述源圖像I_s的位姿真值T_s及相對位姿ΔT，確定位姿更新值T_t：

T_t＝T_sΔT；

根據(jù)所述位姿更新值T_t，將3D點P轉(zhuǎn)換到全局坐標系下得到點P_g：

P_g＝T_t^-1P；

根據(jù)點P_g，通過反向投影方法，確定所述源圖像的合成圖像。

3.根據(jù)權(quán)利要求2所述的端到端的視覺定位方法，其特征在于，所述根據(jù)點P_g，通過反向投影方法，確定所述源圖像的合成圖像，具體包括：

將點P_g重新投影到圖像平面，確定點P_g的對應(yīng)位置；

將3D點P的像素值填充到所述點P_g的對應(yīng)位置，確定新視角下的圖像，所述新視角下的圖像為所述源圖像的合成圖像。

4.根據(jù)權(quán)利要求3所述的端到端的視覺定位方法，其特征在于，根據(jù)以下公式確定所述源圖像的合成圖像：

其中，(u′，v′)表示所述合成圖像的像素點坐標，f_x、f_y分別表示相機的焦距，c_x、c_y分別表示相機的光心；(X′，Y′，Z′)表示將3D點P的像素值填充到所述點P_g的對應(yīng)位置后的位置坐標。

5.根據(jù)權(quán)利要求3所述的端到端的視覺定位方法，其特征在于，所述3D點P的像素值通過可微分的雙線性插值的方法確定。

6.根據(jù)權(quán)利要求1所述的端到端的視覺定位方法，其特征在于，所述根據(jù)各源圖像及對應(yīng)的合成圖像，確定位姿回歸網(wǎng)絡(luò)模型，具體包括：

根據(jù)各源圖像及對應(yīng)的合成圖像，采用預(yù)訓(xùn)練ResNet，確定位姿回歸網(wǎng)絡(luò)模型，所述位姿回歸網(wǎng)絡(luò)模型用于確定圖像的絕對位姿p＝[x，q]，x∈R³表示位置，q∈R⁴表示姿態(tài)。