[發明專利]利用結構約束和物理約束進行3D自動標記

在審

• 申請號: 202011267490.3
• 申請日: 2020-11-13
• 公開（公告）號: CN112800822A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: W·基爾;S·扎卡洛夫;A·D·蓋登
• 申請（專利權）人: 豐田研究所股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/246
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 李玲

本申請涉及利用結構約束和物理約束進行3D自動標記。一種用于利用預定的結構約束和物理約束進行3D自動標記對象的方法，包括：識別來自場景的給定幀序列的所有幀的初始對象種子。該方法還包括在遵守對場景內的自動標記3D對象車輛的預定的結構約束和物理約束的同時，在2D/3D數據上細化初始對象種子中的每一個。該方法還包括在遵照所述預定的結構約束和物理約束的同時，將所述自動標記3D對象車輛隨時間鏈接到軌跡中。

相關申請的交叉引用

本申請要求于2019年11月14日提交的題為“AUTOLABELING 3D OBJECTS WITHDIFFERENTIABLE RENDERING OF SDF SHAPE PRIORS”的美國臨時專利申請62/935,246的益處，其公開內容通過整體引用被明確地并入。

技術領域

本公開的某些方面一般涉及機器學習，并且尤其涉及對由結構約束和物理約束所約束的對象的3D自動標記。

背景技術

自主代理(例如，車輛、機器人等)依賴于機器視覺，用于通過分析周圍環境的圖像中的感興趣區域來感測周圍環境。盡管科學家已經花費數十年來研究人類視覺系統，但是用于實現等效機器視覺的解決方案仍然是難以達到的。實現等效機器視覺是使得能夠真正自主代理的目標。機器視覺不同于數字圖像處理領域，因為期望從圖像中恢復世界的三維(3D)結構并使用3D結構來全面理解場景。即，機器視覺努力提供對周圍環境的高級理解，如由人類視覺系統執行的那樣。

在操作中，自主代理可以依賴于經訓練的深度神經網絡(DNN)來識別自主代理的周圍場景的圖像中的感興趣區域內的對象。例如，DNN可以被訓練來識別和跟蹤由一個或多個傳感器捕獲的對象，所述傳感器是諸如光檢測和測距(LIDAR)傳感器、聲納傳感器、紅綠藍(RGB)相機、RGB深度(RGB-D)相機等。具體地，DNN可以被訓練成基于場景內的汽車的注解(annotation)來從視頻輸入理解該場景。不幸的是，注解視頻是涉及對視覺場景的深度理解的挑戰性任務。

發明內容

一種用于利用預定的結構約束和物理約束進行3D自動標記對象的方法，包括：識別來自場景的給定幀序列的所有幀的初始對象種子。該方法還包括在遵守對所述場景內的自動標記3D對象車輛的預定的結構約束和物理約束的同時，在2D/3D數據上細化初始對象種子中的每一個。該方法還包括在遵照所述預定的結構約束和物理約束的同時，將所述自動標記3D對象車輛隨時間鏈接到軌跡中。

一種非暫時性計算機可讀介質包括在其上記錄的用于利用預定的結構約束和物理約束進行3D自動標記對象的程序代碼，其中所述程序代碼由處理器執行。該非暫時性計算機可讀介質包括用于識別來自場景的給定幀序列的所有幀的初始對象種子的程序代碼。該非暫時性計算機可讀介質還包括用于在遵守對所述場景內的自動標記3D對象車輛的預定的結構約束和物理約束的同時在2D/3D數據上細化初始對象種子中的每一個的程序代碼。該非暫時性計算機可讀介質還包括用于在遵照所述預定的結構約束和物理約束的同時將所述自動標記3D對象車輛隨時間鏈接到軌跡中的程序代碼。

一種用于利用預定的結構約束和物理約束進行3D自動標記對象的系統包括對象種子檢測模塊。該對象種子檢測模塊被訓練成識別來自場景的給定幀序列的所有幀的初始對象種子。該系統還包括對象種子細化模塊。該對象種子細化模塊被訓練成在遵守對所述場景內的自動標記3D對象車輛的預定的結構約束和物理約束的同時，在2D/3D數據上細化所述初始對象種子中的每一個。該系統還包括3D自動標記模塊。該3D自動標記模塊被訓練成在遵照所述預定的結構約束和物理約束的同時，將所述自動標記3D對象車輛隨時間鏈接到軌跡中。