[發明專利]基于自然語言描述的三維場景目標檢測建模及檢測方法

有效

• 申請號: 202110251422.6
• 申請日: 2021-03-08
• 公開（公告）號: CN113034592B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 馮明濤;張亮;朱光明;宋娟;沈沛意
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/62;G06F40/289
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 王芳

本發明公開了一種基于自然語言描述的三維場景目標檢測的建模及檢測方法。方法包括：①設計語言先驗圖網絡，用于將生成的名詞短語及關系短語進行圖表示；②構建點云場景中三維目標化外接候選框初始化預測網絡；③基于語言先驗圖更新后的名詞短語特征進行引導，對三維目標初始化候選框進行冗余裁剪及更新；④構建三維目標候選框視覺關系圖網絡；⑤基于更新后的名詞短語特征和關系短語特征，分別與視覺關系圖的節點和邊進行相似性得分匹配，定位最終的三維目標。本發明通過構建語言先驗圖和視覺關系圖，高效地捕獲全局上下文依賴關系，同時還開發了交叉跨模態的圖匹配策略，避免增加計算量的同時有效地提升大規模三維點云場景的目標定位精度。

技術領域

本發明屬于人工智能與計算機視覺領域，具體涉及一種基于自然語言描述的三維場景目標檢測建模及檢測方法。

背景技術

近年來，隨著激光雷達和深度相機等的廣泛應用，移動機器人可以更好地獲得工作場景的三維信息，基于深度學習的三維點云場景理解引起了很多關注。人類通過自然語言的方式對移動機器人發出指令，移動機器人根據自然語言描述信息在所處的三維場景中定位出目標物體，將大幅度提升移動機器人的智能化水平。依據自然語言描述進行三維點云目標定位存在如何抽象出自由式語言描述關系特征、如何跨模態地對自然語言和三維點云信息進行融合處理等問題。

目前基于文本語言描述引導的三維點云目標檢測方法只提取語言描述的全局特征，忽略了自由式語言描述中長距離名詞的上下文關系，且沒有深度融合跨語言和三維點云模態之間的抽象信息，限制了三維目標定位精度，制約了移動機器人以更智能的方式理解人類自然語言并執行相應的后續任務。

發明內容

本發明的目的在于提供一種基于自然語言描述的三維場景目標檢測建模及檢測方法，用以解決現有技術中的三維目標定位精度不足的問題。

為了實現上述任務，本發明采用以下技術方案：

一種基于自然語言描述的三維場景目標檢測建模方法，包括如下步驟：

步驟一：獲取自然語言描述集合和三維場景點云集合，所述的自然語言描述集合中每條自然語言描述包括名詞短語集和關系短語集，每條自然語言描述對應三維場景點云集合中的一個三維場景點云，根據每條自然語言描述其對應的三維場景點云進行候選框標注，獲得每個三維場景點云的真實目標候選框；

步驟二：根據圖網絡構建方法獲得語言先驗圖網絡和三維目標候選框視覺關系圖網絡；

步驟三：將自然語言描述集合和三維場景點云集合作為訓練集，將所有三維場景點云的真實目標候選框作為標簽集，訓練語言先驗圖網絡和三維目標候選框視覺關系圖網絡，將訓練好的語言先驗圖網絡和三維目標候選框視覺關系圖網絡作為基于自然語言描述的三維場景目標檢測模型；

所述的圖網絡構建方法，包括如下步驟：

步驟1：獲取自然語言描述，所述的自然語言描述包括名詞短語集和關系短語集，對名詞短語集和關系短集語進行編碼得到名詞短語特征集和關系短語特征集；以名詞短語為節點，以關系短語為邊，以名詞短語特征為節點特征并以關系短語特征為邊特征構建初始語言先驗圖網絡；

步驟2：采用注意力機制對初始語言先驗圖網絡中每個節點的臨近節點的節點特征和邊特征進行加權聚合，獲得語言先驗圖網絡；

步驟3：獲取三維場景點云，所述的三維場景點云與步驟1的自然語言描述相關，采用PointNet++提取三維場景點云的點云特征，根據三維場景點云的點云特征采用VoteNet生成三維場景點云的初始化候選框集合，所述的初始化候選框集合包括多個候選框；

步驟4：通過多層感知機運算提取步驟3得到的初始化候選框集合中每個候選框的目標特征，根據每個候選框的目標特征和步驟2得到的語言先驗圖網絡的每個節點特征計算每個候選框和每個名詞短語節點的偏移量；