[發(fā)明專利]輕量化卷積網(wǎng)絡(luò)的三維人體姿態(tài)估計(jì)方法和裝置

在審

• 申請?zhí)枺?/td>: 202211425169.2
• 申請日: 2022-11-14
• 公開（公告）號(hào): CN115909399A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 高振國;范麗玲;范威威;鄭智超;蔣坤良;洪欣;林昌龍;駱炎民
• 申請（專利權(quán)）人: 華僑大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V20/64;G06V10/82;G06N3/0464
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

1.一種輕量化卷積網(wǎng)絡(luò)的三維人體姿態(tài)估計(jì)的方法，其特征在于：采用多個(gè)深度可分離空洞殘差卷積模塊串聯(lián)組成多層漸進(jìn)結(jié)構(gòu)的主干網(wǎng)絡(luò)，利用不同尺度的升維模塊、深度可分離空洞殘差卷積模塊形成多階段精細(xì)化監(jiān)督，將輸入一段二維人體關(guān)節(jié)序列，輸出為一段對應(yīng)輸入二維關(guān)節(jié)坐標(biāo)的三維人體坐標(biāo)序列。

2.根據(jù)權(quán)利要求1所述的輕量化卷積網(wǎng)絡(luò)的三維人體姿態(tài)估計(jì)的方法，其特征在于包括如下步驟：

步驟1、假設(shè)給定二維人體關(guān)節(jié)坐標(biāo)序列為243幀，通過升維卷積模塊對輸入的人體二維關(guān)節(jié)坐標(biāo)序列進(jìn)行不同尺度的升維處理，首先執(zhí)行不同尺度的升維卷積模塊，該升維卷積模塊由切片函數(shù)、卷積核為3、步長為3、通道數(shù)為1024的一維卷積、批量規(guī)范化、Mish激活函數(shù)以及隨機(jī)失活組成，對輸入的人體二維關(guān)節(jié)坐標(biāo)序列進(jìn)行不同尺度的升維處理后，分別輸出特征尺度為81*1024、27*1024、9*1024以及3*1024的處理結(jié)果；

步驟2、采用殘差連接將輸出的不同尺度的升維結(jié)果分別融合至由多層深度可分離空洞殘差卷積模塊串聯(lián)組成的四層漸進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)各層中，形成多階段監(jiān)督，通過多個(gè)深度可分離空洞殘差卷積模塊串聯(lián)構(gòu)建多層漸進(jìn)層結(jié)構(gòu)來增強(qiáng)模型深度；

所述深度可分離空洞殘差卷積模塊中，首先執(zhí)行深度可分離空洞殘差卷積，該卷積由卷積核為1的一維卷積、批量規(guī)范化以及Mish激活函數(shù)組成的點(diǎn)卷積模塊和卷積核為w且擴(kuò)張因子為d＝w^b的逐通道卷積、批量規(guī)范化、Mish激活函數(shù)和隨機(jī)失活組成的空洞逐通道卷積模塊執(zhí)行，并在點(diǎn)卷積模塊和空洞逐通道卷積模塊之間采用切片函數(shù)進(jìn)行殘差連接，實(shí)現(xiàn)深度可分離空洞殘差卷積，通過切片函數(shù)得到前后卷積維度匹配的信息特征，在避免過擬合的同時(shí)防止網(wǎng)絡(luò)退化問題，然后再執(zhí)行一個(gè)點(diǎn)卷積模塊和隨機(jī)失活函數(shù)，融合卷積各通道信息并輸出；

步驟3、為了進(jìn)一步挖掘淺層網(wǎng)絡(luò)的特征價(jià)值，將第一層升維卷積模塊和第一層深度可分離空洞殘差卷積模塊輸出的淺層特征，分別輸出給深度可分離跨步殘差卷積模塊做降維處理，并對淺層特征進(jìn)一步優(yōu)化提煉輸出深層特征；第一層升維卷積模塊的輸出結(jié)果經(jīng)過深度可分離跨步殘差卷積模塊降維處理后的輸出，分別輸入至第三層和第四層深度可分離空洞殘差卷積模塊中，第一層深度可分離空洞殘差卷積模塊的輸出結(jié)果經(jīng)過深度可分離跨步殘差卷積模塊降維處理后輸出，再輸入至第四層深度可分離空洞殘差卷積模塊中，由殘差連接連接淺層特征輸出和深層特征輸入，實(shí)現(xiàn)精細(xì)化監(jiān)督；

該深度可分離跨步殘差卷積模塊與深度可分離空洞殘差卷積模塊的區(qū)別在于擴(kuò)張因子設(shè)置和步長設(shè)置；在深度可分離跨步殘差卷積模塊中不采用空洞卷積，設(shè)置步長為3，擴(kuò)張因子為1；

步驟4、第四層深度可分離空洞殘差卷積模塊輸出結(jié)果至全連接層，通過全連接層卷積融合網(wǎng)絡(luò)累加的所有特征信息，并將通道數(shù)1024降維至51，最終輸出得到1*3*17的三維人體姿態(tài)估計(jì)結(jié)果。

3.根據(jù)權(quán)利要求1所述的一種輕量化卷積網(wǎng)絡(luò)的三維人體姿態(tài)估計(jì)的方法，其特征在于，所述對輸入二維人體關(guān)節(jié)坐標(biāo)序列做不同尺度的升維處理，具體表示為：

F₁^k＝SLICE^k(X^k)+ACN^k(X^k)

其中，X^k表示二維人體關(guān)節(jié)序列，ACN^k表示升維卷積模塊，SLICE^k表示切片函數(shù)模塊，k表示第k次升維處理。

4.根據(jù)權(quán)利要求2所述的一種輕量化卷積網(wǎng)絡(luò)的三維人體姿態(tài)估計(jì)的方法，其特征在于，所述人體姿態(tài)的深度可分離空洞殘差模塊提取姿態(tài)表示為：

其中,X^k表示二維人體姿態(tài)序列,DSN^k表示深度可分離空洞殘差卷積模塊,k表示第k個(gè)深度可分離空洞殘差卷積模塊。