[發明專利]基于自注意力的多樣點云補全方法和裝置

有效

• 申請號: 202011593009.X
• 申請日: 2020-12-29
• 公開（公告）號: CN112614071B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 魯繼文;周杰;于旭敏;饒永銘
• 申請（專利權）人: 清華大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王萌

1.一種基于自注意力的多樣點云補全方法，其特征在于，包括以下步驟：

獲取點云數據，對所述點云數據進行處理，獲取輸入點代理序列；

對所述點代理序列進行編碼，獲取點編碼向量，對所述點編碼向量進行解碼，獲取預測點代理；

將所述預測點代理輸入多層感知器，獲取預測點中心，并在所述預測點中心的基礎上恢復完整點云數據；

其中，所述對所述點云數據進行處理，獲取輸入點代理序列，包括：

對所述點云數據進行下采樣操作，獲取點云中心點，并將所述點云中心點擴充為包含多個點的集合；

通過所述多層感知器對所述多個點的集合和所述點云中心點進行特征提取，獲取集合特征和位置嵌入，將所述集合特征和所述位置嵌入進行加和，獲取所述點代理序列；

其中，所述對所述點代理序列進行編碼，獲取點編碼向量，對所述點編碼向量進行解碼，獲取預測點代理，包括：

在編碼器中，通過多頭自注意力層，對所述點代理序列中每一個無序點代理，獲得其他點代理的信息，并構建點與點之間的關系；

通過前饋神經網絡進行特征更新，獲取所述點編碼向量輸入解碼器中，所述解碼器的交叉注意力層，進行從已知點到未知點的關系構建，通過前饋神經網絡輸出預測點代理。

2.如權利要求1所述的方法，其特征在，所述將所述預測點代理輸入多層感知器，獲取預測點中心，并在所述預測點中心的基礎上恢復完整點云數據，包括：

將所述預測點代理輸入多層感知器，獲取預測點中心；

在所述預測點中心的基礎上，生成圍繞所述預測點中心的附屬點，獲取所述完整點云數據。

3.如權利要求1所述的方法，其特征在，還包括：

獲取隨機向量，通過所述解碼器的多頭自注意力層對所述隨機向量進行處理后與所述點編碼向量一起輸入所述解碼器的交叉注意力層。

4.一種基于自注意力的多樣點云補全裝置，其特征在于，包括：

第一獲取模塊，用于獲取點云數據；

第二獲取模塊，用于對所述點云數據進行處理，獲取輸入點代理序列；

處理模塊，用于對所述點代理序列進行編碼，獲取點編碼向量，對所述點編碼向量進行解碼，獲取預測點代理；

恢復模塊，用于將所述預測點代理輸入多層感知器，獲取預測點中心，并在所述預測點中心的基礎上恢復完整點云數據；

其中，所述第二獲取模塊，具體用于：

對所述點云數據進行下采樣操作，獲取點云中心點，并將所述點云中心點擴充為包含多個點的集合；

通過所述多層感知器對所述多個點的集合和所述點云中心點進行特征提取，獲取集合特征和位置嵌入，將所述集合特征和所述位置嵌入進行加和，獲取所述點代理序列；

其中，所述處理模塊，具體用于：

在編碼器中，通過多頭自注意力層，對所述點代理序列中每一個無序點代理，獲得其他點代理的信息，并構建點與點之間的關系；

通過前饋神經網絡進行特征更新，獲取所述點編碼向量輸入解碼器中，所述解碼器的交叉注意力層，進行從已知點到未知點的關系構建，通過前饋神經網絡輸出預測點代理。

5.如權利要求4所述的裝置，其特征在，所述恢復模塊，具體用于：

將所述預測點代理輸入多層感知器，獲取預測點中心；

在所述預測點中心的基礎上，生成圍繞所述預測點中心的附屬點，獲取所述完整點云數據。

6.如權利要求4所述的裝置，其特征在，還包括：

獲取隨機向量，通過所述解碼器的多頭自注意力層對所述隨機向量進行處理后與所述點編碼向量一起輸入所述解碼器的交叉注意力層。