[發明專利]一種基于圖像的同時檢測平面結構和生成平面描述的方法及應用

有效

• 申請號: 202110326862.3
• 申請日: 2021-03-26
• 公開（公告）號: CN113011359B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 鮑虎軍;章國鋒;葉偉才
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/774;G06V10/74;G06F16/583;G06N3/0464;G06V10/82;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種基于圖像的同時檢測平面結構和生成對應平面描述的方法及應用，屬于計算機視覺和圖像處理領域。本發明能夠針對單張圖像，同時提取3D平面和生成對應平面的描述，為了提升平面描述子的辨別能力，本發明提出一個掩碼感知的模塊和一個實例三元組的損失函數，能夠很好的應用在AR場景中。此外，本發明還可以將SuperPlane應用到基于圖像定位的任務上(圖像檢索)，由于提取平面的面積不同，本發明提出了一個面積感知的Kullback?Leibler散度方法來召回相似的圖像。通過基于圖像檢索和增強現實等應用，本發明展示了在挑戰場景中的平面匹配的強大能力和顯著的泛化能力。

技術領域

本發明涉及計算機視覺和圖像處理領域，尤其涉及一種基于圖像的同時檢測平面結構和生成平面描述的方法及應用。

背景技術

查找不同視圖之間的對應關系是3D視覺任務，例如增強現實(AR)應用和基于圖像的定位(IBL)或圖像檢索的關鍵問題。在AR應用程序中，某些虛擬對象通常放置在提取的平面上。傳統的平面提取通常遵循以下范式：先進行特征點提取和描述(如SIFT，ORB，SuperPoint等)，將匹配的特征點從多個視圖中三角化為3D坐標點，然后通過對3D點進行聚類和擴展來估計平面的參數。但是，在具有挑戰性的條件下(例如，弱紋理的場景)獲得足夠的匹配特征點并非易事。一些方法直接執行深度估計，然后對平面進行三角剖分，以便可以將虛擬對象放置在平面上，但它們不能區分語義上不同的區域。例如，墻壁和門可以具有相同的深度，并且將僅檢測到一個平面，這不足以實現將帽子懸掛在門上的AR效果。人造場景通常包含豐富的平面結構，人類對世界的感知可能基于單個平面特征，而不是基于低級特征點或全局圖像特征。諸如平面結構之類的中層特征可以在某種程度上模擬人類感知世界的方式。鑒于此，本發明強調平面檢測和描述值得更多關注。

基于圖像的定位(IBL)任務也可認為是場景識別。基于圖像的定位任務是：給定查詢圖像，從具有地理標記的數據庫中的相同位置捕獲的參考圖像。現有作品可以分為基于圖像檢索的方法和基于按位置分類方法等，而本發明的關注點在于能夠生成多個平面描述子，用于檢索相似圖像。傳統的NetVLAD通過提出可學習的VLAD層，將CNN特征轉換為具有可學習的語義中心的本地描述子，以進行本地化，它用的是全局或語義特征，這些特征受顯著區域的影響很大，并且對動態對象敏感(例如，移動人)導致模糊的匹配。SFRS引入了圖像到區域的監督機制，以挖掘困難的陽性樣本，從而更有效地進行局部特征學習，盡管SFRS引入了圖像到區域監督以自我監督的方式訓練圖像特征，但它忽略了多區域到多區域監督。與SFRS不同，本發明利用多區域到多區域的監督來增強特征向量的可識別性。

由于存在許多挑戰性問題，同時檢測平面結構和生成平面描述仍是一個值得研究的問題。

發明內容

本發明針對現有技術的不足，提出了一種基于圖像的同時檢測平面結構和生成平面描述的方法及應用。本發明在應對上述問題，進行了以下分析：平面檢測應與現實世界中的物體實例相關，隨著獲得的不同圖像，檢測到的平面數量也應改變。對于平面描述子，它應該具有處理視角變化，甚至是光照變化等的分辨能力。本發明可以遵循諸如PlaneRCNN之類的平面檢測網絡來檢測平面，并構造三元組樣本作為對相應平面描述子的監督，三元組樣本需要由檢測到的平面組成，而不是完整的圖像。

基于上述分析，本發明提出了一個名為SuperPlane的網絡結果，用于檢測3D平面并從單個圖像生成相應的描述，并將其應用于AR場景、圖像檢索任務等。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個目的在于提出一種基于圖像的同時檢測平面結構和生成對應平面描述的方法，包括：

針對單張圖像，利用平面檢測和描述網絡SuperPlane，生成圖像的多個3D平面以及每個平面對應的描述子；