[發明專利]基于Transformer和自注意力的點云序列生成方法

在審

• 申請號: 202211722550.5
• 申請日: 2022-12-30
• 公開（公告）號: CN115880780A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 尹夢曉;馬偉釗;韓亞振;謝敏
• 申請（專利權）人: 廣西大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于Transformer和自注意力的點云序列生成方法，其特征在于，包括以下步驟：

1)從數據集中選取點云序列、表示這個序列的點云形狀標簽和動作標簽輸入到點云編碼網絡PointEncoder中，得到特征空間的點云序列；

2)使用序列編碼網絡TransformerEncoder對步驟1)得到的特征空間的點云序列進行編碼，得到一個隱向量作為整個點云序列的隱式表示，并使用KL散度約束將隱向量的分布約束在標準高斯分布中；

3)將步驟2)得到的隱向量輸入序列解碼網絡TransformerDecoder后得到重建的特征空間點云序列，再使用點云解碼網絡PointDecoder將重建的特征空間點云序列還原成重建的點云序列，以重建的點云序列作為預測值和數據集的真實值構造損失函數，進行訓練；

4)從標準高斯分布中采樣隨機向量作為隱向量，依次使用步驟3)中訓練好的序列解碼網絡TransformerDecoder和點云解碼網絡PointDecoder將采樣的隱向量還原成生成的點云序列。

2.根據權利要求1所述的基于Transformer和自注意力的點云序列生成方法，其特征在于，在步驟1)中，點云序列是指一系列連續的點云，整個序列表示某個物體在特定時間長度內的一個動作，表示為：

式中，A是指點云序列，p_t是點云序列A中的第t個點云，一個序列共有T個點云，點云是三維點的集合表示為：

式中，x_i是點云p_t中的第i個三維點，點云p_t中共有n個三維點；

形狀標簽表示點云序列的形狀，用標量s表示；動作標簽表示點云所做的動作，用標量m表示；

將點云序列A的每一幀點云p_i輸入到點云編碼網絡PointEncoder中，點云編碼網絡PointEncoder由3個共享權重的多層感知機層和1個最大池化層組成，點云編碼網絡PointEncoder輸出一個nz維度的點云特征向量z_i，將點云序列A的每一幀點云使用點云編碼網絡PointEncoder編碼后組成一個集合公式如下：

式中，nz×n表示z_i的維度為nz，集合Z中共有n個z_i，z_n表示第n個點云特征向量，表示實數集；

將動作標簽m和點云形狀標簽s分別轉化成網絡能夠學習的參數和/nz表示這些參數的維度都為nz，把各自的分量相加，公式如下：

式中，和/表示網絡中能夠學習的中間參數，編碼了點云的形狀和動作信息，和/表示網絡中能夠學習的中間參數，編碼了點云的動作信息，/和/表示網絡中能夠學習的中間參數，編碼了點云的形狀信息；把/和集合Z拼接，得到集合/Z′表示特征空間下的點云序列，nz×(n+2)表示集合Z′的每個元素的維度為nz，集合Z′中共有n+2個元素。

3.根據權利要求2所述的基于Transformer和自注意力的點云序列生成方法，其特征在于，在步驟2)中，序列編碼網絡TransformerEncoder是Transformer網絡的編碼器部分，使用序列編碼網絡TransformerEncoder對特征空間的點云序列Z′進行編碼后得到集合Z″表示編碼了整個序列關系的隱變量集合，μ″表示序列編碼網絡TransformerEncoder對/進行編碼后得到的網絡隱變量，∑”表示序列編碼網絡TransformerEncoder對/進行編碼后得到的網絡隱變量，z_n”表示集合Z″中除去μ″和∑”外的第n個向量，nz×(n+2)表示集合Z″的每個元素的維度為nz，集合Z″中共有n+2個元素；從集合Z″中選擇前面兩個向量μ″和∑”，對μ″、∑”進行重參數化后得到/Z_A表示點云序列A的基于隱空間的低維表示，nz表示Z_A的維度為nz；使用KL散度約束Z_A的分布，讓Z_A的分布盡可能的滿足標準高斯分布。