[發明專利]對圖像數據進行標注的方法、裝置及電子設備

在審

• 申請號: 202110583714.X
• 申請日: 2021-05-27
• 公開（公告）號: CN113281780A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 丁壯壯;劉強;胡義涵;邵文昕;格潤洲;黃禮;李堃;徐書森
• 申請（專利權）人: 北京地平線信息技術有限公司
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S17/86;G01S7/48;G06K9/62
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種對圖像數據進行標注的方法，包括：

確定需要被標注的圖像數據集和與所述圖像數據集在時間上同步的第一點云數據集，其中，所述第一點云數據集通過激光雷達采集得到；

對所述圖像數據集和所述第一點云數據集進行多傳感器融合，得到融合后的第二點云數據集；

對所述第二點云數據集進行稠密化，得到增強的第三點云數據集；

對所述第三點云數據集進行測試數據增強和目標框加權融合，得到所述第一點云數據集中的第一目標對象；

基于所述第一目標對象，標注所述圖像數據集中的第二目標對象。

2.根據權利要求1所述的方法，其中，確定需要被標注的圖像數據集和與所述圖像數據集在時間上同步的第一點云數據集，包括：

控制攝像頭和所述激光雷達時間同步；

確定所述攝像頭采集的原始圖像數據集，以及所述激光雷達采集的原始點云數據集；

按照預設的時間間隔，從所述原始圖像數據集和所述原始點云數據集中抽幀，得到所述圖像數據集和所述第一點云數據集。

3.根據權利要求1所述的方法，其中，對所述圖像數據集和所述第一點云數據集進行多傳感器融合，得到融合后的第二點云數據集，包括：

確定用于采集所述圖像數據集的攝像頭和所述激光雷達之間的投影矩陣；

對所述圖像數據集進行語義分割，得到所述圖像數據集中每個點的獨熱編碼；

基于所述投影矩陣，確定所述第一點云數據集與所述圖像數據集之間的映射關系；

基于所述第一點云數據集與所述圖像數據集之間的映射關系，以及所述圖像數據集中每個點的獨熱編碼，確定所述第一點云數據集中每個點的獨熱編碼；

將所述第一點云數據集中每個點的原有屬性與所述第一點云數據集中每個點的獨熱編碼聯結，得到融合后的第二點云數據集。

4.根據權利要求1所述的方法，其中，對所述第二點云數據集進行稠密化，得到增強的第三點云數據集，包括：

將當前幀之前的預設幀數的第二點云數據集投影到當前幀，得到增強的第三點云數據集。

5.根據權利要求1-4任一權利要求所述的方法，對所述第三點云數據集進行測試數據增強和目標框加權融合，得到所述第一點云數據集中的第一目標對象，包括：

對所述第三點云數據集進行預設程度的微擾，得到預設組微擾點云數據集；

基于預設激光雷達深度學習模型和所述預設組微擾點云數據集，對所述第一點云數據集中的第一目標對象進行預標注，得到預設組初始目標對象；

對所述預設組初始目標對象進行匹配，并對所述預設組初始目標對象中匹配成功的初始目標對象進行加權融合，得到所述第一點云數據集中的第一目標對象。

6.根據權利要求1-4任一權利要求所述的方法，對所述第三點云數據集進行測試數據增強和目標框加權融合，得到所述第一點云數據集中的第一目標對象之后，還包括：

確定所述第一點云數據集中的第一目標對象的遮擋關系；

確定所述第一點云數據集中的第一目標對象的匹配關系；

基于所述遮擋關系和所述匹配關系，對所述第一點云數據集中的第一目標對象進行過濾，得到優化的目標對象。

7.根據權利要求6所述的方法，基于所述遮擋關系和所述匹配關系，對所述第一點云數據集中的第一目標對象進行過濾，得到優化的目標對象之后，還包括：

利用所述優化的目標對象，訓練預設攝像頭深度學習模型；

利用所述預設攝像頭深度學習模型對所述圖像數據進行標注，得到攝像頭目標對象；

基于攝像頭目標對象與所述優化的目標對象，利用主動學習方法，選取困難場景的目標對象。