[發(fā)明專利]基于Transformer和自注意力的點(diǎn)云序列生成方法

在審

• 申請?zhí)枺?/td>: 202211722550.5
• 申請日: 2022-12-30
• 公開（公告）號: CN115880780A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 尹夢曉;馬偉釗;韓亞振;謝敏
• 申請（專利權(quán)）人: 廣西大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開了一種基于Transformer和自注意力的點(diǎn)云序列生成方法，包括：1)從數(shù)據(jù)集中選取點(diǎn)云序列、表示這個序列的點(diǎn)云形狀標(biāo)簽和動作標(biāo)簽輸入到PointEncode，得到特征空間的點(diǎn)云序列；2)使用TransformerEncoder得到點(diǎn)云序列隱向量；3)將隱向量輸入TransformerDecoder中得到重建的特征空間點(diǎn)云序列，再使用PointDecoder將其還原成點(diǎn)云序列，進(jìn)行訓(xùn)練；4)從標(biāo)準(zhǔn)高斯分布中采樣隱向量，依次使用訓(xùn)練好的TransformerDecoder和PointDecoder將隱向量生成為點(diǎn)云序列。本發(fā)明能夠在有限的光學(xué)動捕數(shù)據(jù)下訓(xùn)練，生成更多形狀合理且真實(shí)的光學(xué)動捕數(shù)據(jù)，且取得比以往方法更好的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及時序數(shù)據(jù)生成的技術(shù)領(lǐng)域，尤其是指一種基于Transformer和自注意力的點(diǎn)云序列生成方法。

背景技術(shù)

光學(xué)動作捕捉是在游戲和電影行業(yè)中廣泛使用的技術(shù)，其通過多個不同視角并且校準(zhǔn)好的紅外線傳感器去跟蹤布置在人物表面的反光點(diǎn)或發(fā)光點(diǎn)，以獲取表示人物運(yùn)動的點(diǎn)云序列數(shù)據(jù)，最后再解算得到人物的骨架。由于光學(xué)動作捕捉設(shè)備昂貴，并且動作捕捉的過程需要花費(fèi)大量的人工和時間，因此，人類動作生成在近幾年被廣泛研究，通過某些如動作標(biāo)簽、文本或者音樂等的條件約束來生成滿足這些條件的人體動作。這些方法都是以人的骨架作為姿態(tài)的表示，用一系列的骨架表示一個人的動作。因此，這些方法不能直接處理通過光學(xué)動作捕捉所得到的人物表面三維點(diǎn)云序列，點(diǎn)云或網(wǎng)格模型本身就是姿態(tài)的表示，骨架則可以看成是模型表面網(wǎng)格或者點(diǎn)云的代理。

點(diǎn)云序列數(shù)據(jù)的獲取需要花費(fèi)大量的人力、物力和時間，目前的點(diǎn)云生成的方法都是用于單個點(diǎn)云的生成任務(wù)，點(diǎn)云的生成網(wǎng)絡(luò)可以粗略的分成基于GANs,的方法和基于概率的方法，這些方法在靜態(tài)的單幀點(diǎn)云數(shù)據(jù)集上訓(xùn)練，生成與數(shù)據(jù)集中不同的單幀點(diǎn)云。它們都是在單幀點(diǎn)云上做生成，沒有在點(diǎn)云序列上做生成的方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出了一種基于Transformer和自注意力的點(diǎn)云序列生成方法，能夠在有限的光學(xué)動捕數(shù)據(jù)下訓(xùn)練，生成更多形狀合理且真實(shí)的光學(xué)動捕數(shù)據(jù)。點(diǎn)云序列可以是物體表面點(diǎn)云序列，也可以是骨架關(guān)節(jié)點(diǎn)的點(diǎn)云序列。對比以往基于骨架的以動作為條件的人類動作生成網(wǎng)絡(luò)，本文的方法取得了最好的結(jié)果。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于Transformer和自注意力的點(diǎn)云序列生成方法，包括以下步驟：

1)從數(shù)據(jù)集中選取點(diǎn)云序列、表示這個序列的點(diǎn)云形狀標(biāo)簽和動作標(biāo)簽輸入到點(diǎn)云編碼網(wǎng)絡(luò)PointEncoder中，得到特征空間的點(diǎn)云序列；

2)使用序列編碼網(wǎng)絡(luò)TransformerEncoder對步驟1)得到的特征空間的點(diǎn)云序列進(jìn)行編碼，得到一個隱向量作為整個點(diǎn)云序列的隱式表示，并使用KL散度約束將隱向量的分布約束在標(biāo)準(zhǔn)高斯分布中；

3)將步驟2)得到的隱向量輸入序列解碼網(wǎng)絡(luò)TransformerDecoder后得到重建的特征空間點(diǎn)云序列，再使用點(diǎn)云解碼網(wǎng)絡(luò)PointDecoder將重建的特征空間點(diǎn)云序列還原成重建的點(diǎn)云序列，以重建的點(diǎn)云序列作為預(yù)測值和數(shù)據(jù)集的真實(shí)值構(gòu)造損失函數(shù)，進(jìn)行訓(xùn)練；

4)從標(biāo)準(zhǔn)高斯分布中采樣隨機(jī)向量作為隱向量，依次使用步驟3)中訓(xùn)練好的序列解碼網(wǎng)絡(luò)TransformerDecoder和點(diǎn)云解碼網(wǎng)絡(luò)PointDecoder將采樣的隱向量還原成生成的點(diǎn)云序列。

進(jìn)一步，在步驟1)中，點(diǎn)云序列是指一系列連續(xù)的點(diǎn)云，整個序列表示某個物體在特定時間長度內(nèi)的一個動作，表示為：

式中，A是指點(diǎn)云序列，p_t是點(diǎn)云序列A中的第t個點(diǎn)云，一個序列共有T個點(diǎn)云，點(diǎn)云是三維點(diǎn)的集合表示為：