[發明專利]相對位姿的估計方法、裝置、電子設備及介質

在審

• 申請號: 202011002332.5
• 申請日: 2020-09-22
• 公開（公告）號: CN112184809A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 齊勇;項驍駿;姜翰青;章國鋒
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/90;G06T7/00;G06T7/55
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種相對位姿的估計方法，其特征在于，所述方法包括：確定第一圖像和第二圖像的目標相對位姿；

所述確定第一圖像和第二圖像的目標相對位姿，包括：

獲取傳感器采集的測量數據、預估光照參數以及所述第一圖像和所述第二圖像之間的預估相對位姿，所述測量數據包括所述第一圖像的第一顏色信息和第一深度信息，所述第二圖像的第二顏色信息和第二深度信息；

基于所述第一深度信息和所述預估相對位姿，確定所述第一圖像在所述第二圖像上的投影點；

基于所述第一顏色信息、所述第二顏色信息、所述投影點以及所述預估光照參數，計算所述第一圖像和所述第二圖像之間的顏色差異；

基于所述第一深度信息、所述第二深度信息以及所述投影點，計算所述第一圖像和所述第二圖像之間的深度差異；

基于所述顏色差異、所述深度差異優化所述預估相對位姿，得到所述目標相對位姿。

2.根據權利要求1所述的方法，其特征在于，所述第一圖像包括多個第一像素點，所述基于所述第一深度信息和所述預估相對位姿，確定所述第一圖像在所述第二圖像上的投影點，包括：

根據每一所述第一像素點的像素坐標，從所述第一深度信息中獲取每一所述第一像素對應的所述第一深度值；

根據所述第一深度值，將每一所述第一像素點反投影到第一相機坐標系下得到第一三維點；

根據所述預估相對位姿將每一所述第一三維點轉換到第二相機坐標系下，得到第二三維點；

將每一所述第二三維點投影至所述第二圖像的第二像素坐標系下，得到所述第一像素點在所述第二圖像中對應的所述投影點。

3.根據權利要求2所述的方法，其特征在于，所述基于所述第一顏色信息、所述第二顏色信息、所述投影點以及所述預估光照參數，計算所述第一圖像和所述第二圖像之間的顏色差異，包括：

將每一所述第一像素點和與所述第一像素點對應的所述投影點配對，得到多個匹配點對；

根據所述第一顏色信息獲得每一所述第一像素點的第一顏色值，根據所述第二顏色信息獲得每一所述投影點的第二顏色值；

分別計算每一匹配點對的所述第一顏色值與所述第二顏色值的顏色差值；

分別計算每一所述顏色差值與所述預估光照參數之間的差值，得到所述調整顏色差值；

對多個所述調整顏色差值進行平方后求和，得到所述顏色差異。

4.根據權利要求2所述的方法，其特征在于，所述第一深度信息包括第一圖像中第一像素點的第一深度值，所述基于所述第一深度信息、所述第二深度信息以及所述投影點，計算所述第一圖像和所述第二圖像之間的深度差異，包括：

將每一所述第一像素點和與所述第一像素點對應的所述投影點配對，得到多個匹配點對；

計算每一所述第二三維點的第二深度值；

根據所述第二深度信息獲取每一所述投影點的第三深度值；

分別計算每一匹配點對的所述第二深度值與所述第三深度值的深度差值；

對所述多個匹配點對的所述深度差值進行平方后求和，得到所述深度差異。

5.根據權利要求1所述的方法，其特征在于，所述基于所述顏色差異、所述深度差異優化所述預估相對位姿，得到所述目標相對位，包括：

獲取所述顏色差異和所述深度差異的權重；

根據所述權重對所述顏色差異和所述深度差異進行加權求和，得到總差異度；

響應于所述總差異度未滿足預設條件，調整所述預估相對位姿，直至使所述總差異度滿足所述預設條件；

將使所述總差異度滿足所述預設條件的調整后的預估相對位姿作為所述目標相對位姿。

6.根據權利要求1所述的方法，其特征在于，所述基于所述顏色差異、所述深度差異優化所述預估相對位姿，得到所述目標相對位，包括：

調整所述預估相對位姿，得到使所述顏色差異最小的第一目標相對位姿；

調整所述預估相對位姿，得到使所述深度差異最小的第二目標相對位姿；

將所述第一目標相對位姿和所述第二目標相對位姿進行融合，得到所述目標相對位姿。