[發明專利]多頭注意力機制特征編碼及雙重判別解碼的點云補全方法

在審

• 申請號: 202211072815.1
• 申請日: 2022-09-02
• 公開（公告）號: CN115423715A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 孫進;馬昊天;雷震霆;梁立
• 申請（專利權）人: 揚州大學江都高端裝備工程技術研究所
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 董旭東;季雯

本發明公開了多頭注意力機制特征編碼及雙重判別解碼的點云補全方法，其中針對局部特征感知的編碼器模塊，通過結合多頭注意力機制和多層感知機對已有點云進行特征編碼，自適應聚合輸入點云的相似點特征，提高特征提取過程中對局部特征的感知；由判別器控制的雙分支解碼器，在局部特征及全局特征解碼過程中設置判別器，能夠基于輸入點云特征分別對生成的骨架點云及細節點云進行判別，保證生成點云符合已有點云的全局特征及細節特征。本發明通過上述兩模塊共同作用可有效的增強點云形狀補全效果，降低了生成點云的倒角距離損失，提高了生成點云的保真度。

技術領域

本發明涉及三維重建技術領域，特別涉及多頭注意力機制特征編碼及雙重判別解碼的點云補全方法。

背景技術

三維點云是三維場景和物體的直觀表示，在各種視覺和機器人任務中有著廣泛的應用。但是，由于遮擋和測量缺失等因素，掃描的3D點云通常是不完整的，這影響了實際應用，對不完整的點云進行補全成為了一項重要任務。因此，在硬件條件受限的情況下，基于深度學習的點云修補和補全工作是后續點云相關任務的關鍵與基礎。

現有的基于深度學習的點云補全網絡在點云補全中存在以下問題：

(1)對缺失區域的局部幾何特征分析效果不好。

(2)使用注意力機制并未結合三維幾何模型的數據特性。

以上問題的存在制約著三維點云模型的補全精度，不能滿足對三維掃描儀獲取的物體缺失的表面特征進行補全。

2021年，騰訊科技(深圳)有限公司的姚永強等人提出了一種點云數據處理方法、裝置、計算機設備及存儲介質(授權公告號：CN 113327279 B)，通過自相關性權重矩陣對點云坐標特征進行注意力編碼，獲取點云坐標特征對應的點位自相關性特征，預測待補全空間模型中的缺失部位獲取缺失點部位特征，其缺點是，其方法對整體點云的幾何特性進行編碼，未對待補全模型的缺失區域的幾何特征信息進行分析。

2022年，山東大學的郭亮等人提出了一種基于點云補全的點云配準方法及系統(授權公眾號：CN 114004871 B)，通過利用注意機制融合源點云和目標點云的特征，使兩個點云的語義信息相互補全，其優點是不需要對原始點云大量刪減，且能夠補全缺失的點云信息，實現高效、準確的配準。其缺點是，對現有點云的形狀信息組合實現點云補全，不涉及對缺失部位局部幾何特征的獲取與未知形狀信息的生成。

針對上述專利所存在的問題，2020年，清華大學的魯繼文等人提出了一種基于自注意力的多樣點云補全方法和裝置(申請公告號：CN112614071A)，通過將點云處理成為點代理序列并使用多頭自注意力層構建點與點之間的關系，采用編碼器解碼器來構建點云不同點之間的長程關系實現點云重建，其缺點是通過點代理的方式會導致局部形狀信息的感知效果不好。2022年，廣東工業大學的高子淇等人提出了一種基于適應性自注意力變換網絡的點云補全裝置和方法(授權公告號：CN 113486988 B)，通過設計適應性自注意力變換模塊對兩次采樣的空間信息特征進行適應性特征融合，進而對缺失點云進行補全，保證了輕量級的計算量與多重特征融合的有效性，其缺點是直接將用于自然語言處理的注意力變換模塊用于點云處理，對于點云模型的補全效果不好。

綜上所述，要提高三維點云待補全模型缺失區域的幾何特征的表征、提取及生成補全效果，就必須對點云補全網絡模型進行改進。

發明內容

本發明的目的是克服現有技術缺陷，提供多頭注意力機制特征編碼及雙重判別解碼的點云補全方法，能有效地提高三維待補全模型的缺失區域的補全精度。

本發明的目的是這樣實現的：一種多頭注意力機制特征編碼及雙重判別解碼的點云補全方法，包括以下步驟：

步驟1)獲取點云數據；

步驟2)基于多頭注意力機制的局部特征編碼；

步驟2-1)基于多層感知機獲取點云特征；