[發明專利]深度相機標定方法、裝置、電子設備及存儲介質

有效

• 申請號: 201810179738.7
• 申請日: 2018-03-05
• 公開（公告）號: CN108447097B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 方璐;蘇卓;韓磊;戴瓊海
• 申請（專利權）人: 清華-伯克利深圳學院籌備辦公室
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種深度相機標定方法，其特征在于，包括：

控制全景深度相機系統中的至少兩個深度相機在運動過程中同步采集圖像，其中每個深度相機均設置對應的標簽；

獲取至少一個第一標簽相機采集各幀圖像時的位姿；

所述獲取至少一個第一標簽相機采集各幀圖像時的位姿，包括：

針對每個第一標簽相機，對所述第一標簽相機采集的每幀圖像進行特征提取，得到每幀圖像的至少一個特征點；

對相鄰兩幀圖像進行特征點匹配，得到所述相鄰兩幀圖像間的特征點對應關系；

移除所述特征點對應關系中的異常數據，通過包含剩余特征點二階統計量的線性成分以及包含相機位姿的非線性成分計算J(ξ)^TJ(ξ)中的非線性項對δ＝-(J(ξ)^TJ(ξ))^-1J(ξ)^Tr(ξ)進行多次迭代計算，求解重投影誤差小于預設閾值時的位姿；

其中，r(ξ)表示包含所有重投影誤差的向量，J(ξ)為r(ξ)的雅克比矩陣，J(ξ)^T為J(ξ)的轉置矩陣，ξ表示相機位姿的李代數，δ表示每次迭代時r(ξ)的增量值；R_i表示采集第i幀圖像時相機的旋轉矩陣；R_j表示采集第j幀圖像時相機的旋轉矩陣；表示第i幀圖像上的第k個特征點；表示第j幀圖像上的第k個特征點；C_i,j表示第i幀圖像與第j幀圖像的特征點對應關系的集合；||C_i,j||-1表示第i幀圖像與第j幀圖像的特征點對應關系的數量；[]_×表示向量積；||C_i,j||表示取C_i,j的范數；

若第二標簽相機與所述第一標簽相機出現歷史視角重疊，根據歷史視角重疊對應的圖像及所述第一標簽相機采集各幀圖像時的位姿，計算所述第二標簽相機與所述第一標簽相機在同一時刻的相對位姿；

所述根據歷史視角重疊對應的圖像及所述第一標簽相機采集各幀圖像時的位姿，計算所述第二標簽相機與所述第一標簽相機在同一時刻的相對位姿包括：移除所述第二標簽相機采集的當前幀圖像與對應歷史關鍵幀的特征點對應關系中的異常數據，根據剩余的特征點對應關系計算所述當前幀圖像與對應歷史關鍵幀的相對位置關系；根據所述相對位置關系計算所述第二標簽相機采集所述當前幀圖像時的位姿與所述第一標簽相機采集對應歷史關鍵幀時的位姿的變換關系；根據所述變換關系及所述第一標簽相機從采集對應歷史關鍵幀到采集當前幀圖像之間的各位姿，計算所述第二標簽相機與所述第一標簽相機在當前幀時刻的相對位姿。

2.根據權利要求1所述的方法，其特征在于，在計算所述第二標簽相機與所述第一標簽相機在同一時刻的相對位姿之后，還包括：

將所述第二標簽相機的標簽修改為第一標簽；

重復執行獲取至少一個第一標簽相機采集各幀圖像時的位姿、計算存在歷史視角重疊的第二標簽相機與對應的第一標簽相機在同一時刻的相對位姿以及修改標簽的操作，直到所述至少兩個深度相機中不包含第二標簽相機。

3.根據權利要求1所述的方法，其特征在于，在獲取至少一個第一標簽相機采集各幀圖像時的位姿的同時，還包括：

分別將各深度相機采集的當前幀圖像與自身上一關鍵幀進行特征點匹配，得到兩幀圖像之間的轉換關系矩陣；

若所述轉換關系矩陣大于或等于預設轉換閾值，確定所述當前幀圖像為對應深度相機下的關鍵幀，并存儲所述關鍵幀。

4.根據權利要求1所述的方法，其特征在于，在計算所述第二標簽相機與所述第一標簽相機在同一時刻的相對位姿之前，還包括：

將所述第二標簽相機采集的當前幀圖像與所述至少一個第一標簽相機的歷史關鍵幀進行特征點匹配；

若存在歷史關鍵幀與所述當前幀圖像達到匹配閾值，確定所述第二標簽相機與對應的第一標簽相機出現歷史視角重疊。