[發(fā)明專利]端到端的視覺定位方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011154636.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112308911A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設計）人: 高偉;萬一鳴;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T11/00
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種端到端的視覺定位方法，其特征在于，所述視覺定位方法包括：

獲取訓練數(shù)據集，所述訓練數(shù)據集包括多幀連續(xù)源圖像；

根據各連續(xù)源圖像，建立位姿回歸網絡模型；

其中，所述根據各連續(xù)源圖像，建立位姿回歸網絡模型，具體包括：

針對每一源圖像，基于深度卷積神經網絡，根據所述源圖像預測對應的深度圖；

根據相機內部參數(shù)及所述深度圖，通過反向投影方法，確定所述源圖像的合成圖像；

根據各源圖像及對應的合成圖像，確定位姿回歸網絡模型；

基于所述位姿回歸網絡模型，根據待測圖像，得到待測圖像的絕對位姿。

2.根據權利要求1所述的端到端的視覺定位方法，其特征在于，所述相機內部參數(shù)包括：焦距和光心；

所述根據相機內部參數(shù)及所述深度圖，通過反向投影方法，確定所述源圖像的合成圖像，具體包括：

通過焦距、光心及深度圖將所述源圖像I_s上的像素點p＝(u，v)^T投影到三維空間，得到在相機坐標系下的3D點P：

其中，P＝(X，Y，Z)^T，f_x、f_y分別表示相機的焦距，c_x、c_y分別表示相機的光心；

根據所述源圖像I_s的位姿真值T_s及相對位姿ΔT，確定位姿更新值T_t：

T_t＝T_sΔT；

根據所述位姿更新值T_t，將3D點P轉換到全局坐標系下得到點P_g：

P_g＝T_t^-1P；

根據點P_g，通過反向投影方法，確定所述源圖像的合成圖像。

3.根據權利要求2所述的端到端的視覺定位方法，其特征在于，所述根據點P_g，通過反向投影方法，確定所述源圖像的合成圖像，具體包括：

將點P_g重新投影到圖像平面，確定點P_g的對應位置；

將3D點P的像素值填充到所述點P_g的對應位置，確定新視角下的圖像，所述新視角下的圖像為所述源圖像的合成圖像。

4.根據權利要求3所述的端到端的視覺定位方法，其特征在于，根據以下公式確定所述源圖像的合成圖像：

其中，(u′，v′)表示所述合成圖像的像素點坐標，f_x、f_y分別表示相機的焦距，c_x、c_y分別表示相機的光心；(X′，Y′，Z′)表示將3D點P的像素值填充到所述點P_g的對應位置后的位置坐標。

5.根據權利要求3所述的端到端的視覺定位方法，其特征在于，所述3D點P的像素值通過可微分的雙線性插值的方法確定。

6.根據權利要求1所述的端到端的視覺定位方法，其特征在于，所述根據各源圖像及對應的合成圖像，確定位姿回歸網絡模型，具體包括：

根據各源圖像及對應的合成圖像，采用預訓練ResNet，確定位姿回歸網絡模型，所述位姿回歸網絡模型用于確定圖像的絕對位姿p＝[x，q]，x∈R³表示位置，q∈R⁴表示姿態(tài)。