[發明專利]基于自注意力的多樣點云補全方法和裝置

有效

• 申請號: 202011593009.X
• 申請日: 2020-12-29
• 公開（公告）號: CN112614071B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 魯繼文;周杰;于旭敏;饒永銘
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

本申請提出一種基于自注意力的多樣點云補全方法和裝置，涉及計算機三維點云補全和深度學習技術領域，其中，方法包括：獲取點云數據，對點云數據進行處理，獲取輸入點代理序列；對點代理序列進行編碼，獲取點編碼向量，對點編碼向量進行解碼，獲取預測點代理；將預測點代理輸入多層感知器，獲取預測點中心，并在預測點中心的基礎上恢復完整點云數據。由此，將點云處理成為點代理序列，并采用編碼器?解碼器來構建點云不同點之間的長程關系實現點云重建。

技術領域

本申請涉及計算機三維點云補全和深度學習技術領域，尤其涉及一種基于自注意力的多樣點云補全方法和裝置。

背景技術

三維傳感器的最新發展推動了三維計算機視覺任務的研究，因為三維數據比傳統研究的二維圖像更具信息，點云是最常用的三維數據格式之一，它只需要很少的內存即可存儲但可以傳達豐富而詳細的三維形狀信息。

但是，由于不可避免的自我遮擋，光反射，傳感器分辨率有限等原因，來自現有三維傳感器的點云數據并不總是完整且令人滿意。因此，從部分和稀疏的原始數據中恢復完整的點云成為必不可少的任務，其意義越來越重要。

相關技術中，進行點云重建的方式容易造成非常多局部細節的丟失，將不可避免的導致復原點云的失真。

發明內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的第一個目的在于提出一種基于自注意力的多樣點云補全方法，將點云處理成為點代理序列，并采用編碼器-解碼器來構建點云不同點之間的長程關系實現點云重建。

本申請的第二個目的在于提出一種基于自注意力的多樣點云補全裝置。

為達上述目的，本申請第一方面實施例提出了一種基于自注意力的多樣點云補全方法，包括：

獲取點云數據，對所述點云數據進行處理，獲取輸入點代理序列；

對所述點代理序列進行編碼，獲取點編碼向量，對所述點編碼向量進行解碼，獲取預測點代理；

將所述預測點代理輸入多層感知器，獲取預測點中心，并在所述預測點中心的基礎上恢復完整點云數據。

本申請實施例的基于自注意力的多樣點云補全方法，通過獲取點云數據，對點云數據進行處理，獲取輸入點代理序列；對點代理序列進行編碼，獲取點編碼向量，對點編碼向量進行解碼，獲取預測點代理；將預測點代理輸入多層感知器，獲取預測點中心，并在預測點中心的基礎上恢復完整點云數據。由此，將點云處理成為點代理序列，并采用編碼器-解碼器來構建點云不同點之間的長程關系實現點云重建。

在本申請的一個實施例中，所述對所述點云數據進行處理，獲取輸入點代理序列，包括：

對所述點云數據進行下采樣操作，獲取點云中心點，并以所述點云中心點擴充為包含多個點的集合；

通過所述多層感知器對所述多個點的集合和所述點云中心點進行特征提取，獲取集合特征和位置嵌入，將所述集合特征和所述位置嵌入進行加和，獲取所述點代理序列。

在本申請的一個實施例中，所述對所述點代理序列進行編碼，獲取點編碼向量，對所述點編碼向量進行解碼，獲取預測點代理，包括：

在編碼器中，通過多頭自注意力層，所述對所述點代理序列中每一個無序點代理將獲得其他點代理的信息，并構建點與點之間的關系；

通過前饋神經網絡進行特征更新，獲取所述點編碼向量輸入解碼器中，所述解碼器的交叉注意力層，進行從已知點到未知點的關系構建，通過前饋神經網絡輸出預測點代理。

在本申請的一個實施例中，所述將所述預測點代理輸入多層感知器，獲取預測點中心，并在所述預測點中心的基礎上恢復完整點云數據，包括：