[發明專利]一種物體空間信息標簽的生成方法、裝置、存儲介質和電子設備

在審

• 申請號: 202111576597.0
• 申請日: 2021-12-22
• 公開（公告）號: CN114241316A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 陳昀
• 申請（專利權）人: 杭州螢石軟件有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06T7/33;G06T7/55;G06T7/73
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王雙;王琦

1.一種物體空間信息標簽的生成方法，其特征在于，包括：

利用從多角度采集到的包括目標物體的場景視頻，生成場景點云和各個時刻下表征圖像傳感器位姿變化的圖像傳感器的位姿變化信息；其中，所述場景點云包括各個時刻下拍攝場景的點集；

利用在所述場景點云中選取的目標物體特征點，進行目標物體三維模型到所述場景點云的配準，得到圖像傳感器坐標系下初始時刻的目標物體位姿變化信息；

根據所述各個時刻下圖像傳感器的位姿變化信息和所述初始時刻的目標物體位姿變化信息，確定圖像傳感器坐標系下所述各個時刻的目標物體位姿變化信息；

將所述各個時刻的目標物體位姿變化信息確定為相應時刻的目標物體的位姿標簽。

2.根據權利要求1所述的生成方法，其特征在于，所述確定圖像傳感器坐標系下時刻t_i的目標物體位姿變化信息(R_ti|T_ti)包括：

(R_ti|T_ti)＝(R_ti-1×R_ci-1，ci|R_ti-1×T_ci-1，ci+T_ti-1)，

其中，(R_ti-1，ti|T_ti-1,ti)為時刻t_i-1到時刻t_i圖像傳感器的位姿變化的旋轉矩陣，為時刻t_i-1到時刻t_i圖像傳感器的位姿變化的平移向量，0i≤n為正整數。

3.根據權利要求1所述的生成方法，其特征在于，所述進行目標物體三維模型到所述場景點云的配準包括：

a、利用在所述場景點云中選取的目標物體特征點和與所述目標物體特征點對應的在所述目標物體三維模型上選取的特征點，構建最小二乘問題，得到使所述三維模型上的特征點映射到圖像傳感器坐標系下的點與所述場景點云中選取的目標物體特征點間的誤差平方和達到極小值的粗精度位姿變化信息；

b、將所述目標物體三維模型利用所述粗精度位姿變化信息映射到場景點云中，當映射結果與所述場景點云的重合度滿足設定的要求時，在場景點云中獲取所述映射結果設定范圍內的所有點，組成用于精細配準的目標物體表面點云點集S，進行所述目標物體三維模型到所述目標物體表面點云點集S的配準；當所述映射結果與所述場景點云的重合度不滿足設定的要求時，重新選取所述目標物體特征點，返回步驟a。

4.根據權利要求1所述的生成方法，其特征在于，在確定所述目標物體的位姿標簽后，該方法進一步包括：

將所述目標物體三維模型按照所述各個時刻的目標物體位姿變化信息分別進行位姿調整，確定在所述各個時刻的目標物體二維標簽。

5.根據權利要求4所述的生成方法，其特征在于，所述確定在所述各個時刻的目標物體二維標簽包括：

將位姿調整后的各個時刻的目標物體三維模型進行二維投影；

將投影得到的各個時刻下的投影區域，確定為相應時刻下所述目標物體的二維像素級分割標簽；

對各個時刻下的所述投影區域取最小外接矩形，將所述最小外接矩形確定為相應時刻下所述目標物體的二維目標檢測標簽；

根據用戶輸入設置目標物體的類別標簽。

6.一種物體空間信息標簽的生成裝置，其特征在于，包括：存儲器和處理器；

所述存儲器，保存從多角度采集的包括目標物體的場景視頻；

所述處理器，利用所述存儲器保存的包括目標物體的場景視頻生成場景點云和各個時刻下表征圖像傳感器位置變化的圖像傳感器的位姿變化信息；利用在所述場景點云中選取的目標物體特征點，進行目標物體三維模型到所述場景點云的配準，并將配準得到的位姿變化信息確定為圖像傳感器坐標系下初始時刻的目標物體位姿變化信息；根據所述各個時刻下圖像傳感器的位姿變化信息和所述初始時刻的目標物體位姿變化信息，確定圖像傳感器坐標系下所述各個時刻的目標物體位姿變化信息，將所述各個時刻的目標物體位姿變化信息確定為相應時刻目標物體的位姿標簽；其中，所述場景點云包括各個時刻下拍攝場景的點集。