[發明專利]輕量化卷積網絡的三維人體姿態估計方法和裝置

在審

• 申請號: 202211425169.2
• 申請日: 2022-11-14
• 公開（公告）號: CN115909399A
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 高振國;范麗玲;范威威;鄭智超;蔣坤良;洪欣;林昌龍;駱炎民
• 申請（專利權）人: 華僑大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/64;G06V10/82;G06N3/0464
• 代理公司: 泉州市文華專利代理有限公司 35205
• 代理人: 陳雪瑩

本發明一種輕量化卷積網絡的三維人體姿態估計的方法，采用多個深度可分離空洞殘差卷積模塊串聯組成多層漸進結構的主干網絡，利用不同尺度的升維模塊、深度可分離空洞殘差卷積模塊形成多階段精細化監督，將輸入一段二維人體關節序列，輸出為一段對應輸入二維關節坐標的三維人體坐標序列。本發明采用深度可分離空洞殘差卷積模塊和多階段精細化提取特征來實現二維人體姿態到三維人體姿態的映射，能解決三維人體姿態估計任務所帶來的深度模糊和不適定性問題并提高估計精度。

技術領域

本發明屬于三維人體姿態估計領域，尤其涉及一種基于多階段精細化監督的輕量化卷積網絡的三維人體姿態估計方法。

背景技術

三維人體姿態估計是計算機視覺領域中研究熱點問題，是自動駕駛、體感游戲、智能監控、人機交互等多個領域的研究基礎。近年來，基于深度學習的三維人體姿態估計方法大致可以分為兩種：端到端方法和分階段方法，其中端到端的方法，就是從RGB圖像中估計出三維人體姿態的坐標，直接預測可以更好利用原始圖像中的信息；分階段方法就是將任務分成兩個階段，第一個階段從視頻或者圖像估計二維人體姿態，第二個階段是將二維人體姿態作為輸入估計三維人體姿態，主要依賴于二維人體姿態估計的精度。由于二維姿態估計發展較為成熟，該類方法較于端到端的方法更具普適性，所以分階段方法比較主流。

但是在這類方法中，面對二維姿態到三維姿態映射中固有的深度模糊和不適定性使其成為一個難題，這使三維人體姿態估計器在面臨復雜動作時精度不高。當前，如何解決三維人體姿態估計任務所帶來的深度模糊和不適定性問題并提高估計精度，是目前需要進行解決的問題。

發明目的

本發明為了針對現存技術存在不足，提供一種輕量化卷積網絡的三維人體姿態估計方法，采用深度可分離空洞殘差卷積模塊和多階段精細化提取特征來實現二維人體姿態到三維人體姿態的映射，能解決三維人體姿態估計任務所帶來的深度模糊和不適定性問題并提高估計精度。

本發明一種輕量化卷積網絡的三維人體姿態估計的方法，采用多個深度可分離空洞殘差卷積模塊串聯組成多層漸進結構的主干網絡，利用不同尺度的升維模塊、深度可分離空洞殘差卷積模塊形成多階段精細化監督，將輸入一段二維人體關節序列，輸出為一段對應輸入二維關節坐標的三維人體坐標序列。

進一步還包括如下步驟：

步驟1、提取二維人體關節坐標序列，假設給定二維人體關節坐標序列為243幀，通過升維卷積模塊對輸入的人體二維關節坐標序列進行不同尺度的升維處理，首先執行不同尺度的升維卷積模塊，該升維卷積模塊由切片函數、卷積核為3、步長為3、通道數為1024的一維卷積、批量規范化、Mish激活函數以及隨機失活組成，對輸入的人體二維關節坐標序列進行不同尺度的升維處理后，分別輸出特征尺度為81*1024、27*1024、9*1024以及3*1024的處理結果；

步驟2、采用殘差連接將輸出的不同尺度的升維結果分別融合至由多層深度可分離空洞殘差卷積模塊串聯組成的四層漸進網絡結構各層中，形成多階段監督，通過多個深度可分離空洞殘差卷積模塊串聯構建多層漸進層結構來增強模型深度，增強特征輸入；

所述深度可分離空洞殘差卷積模塊中，首先執行深度可分離空洞殘差卷積，該卷積由卷積核為1的一維卷積、批量規范化以及Mish激活函數組成的點卷積模塊和卷積核為w且擴張因子為d＝w^b的逐通道卷積、批量規范化、Mish激活函數和隨機失活組成的空洞逐通道卷積模塊執行，并在點卷積模塊和空洞逐通道卷積模塊之間采用切片函數進行殘差連接，實現深度可分離空洞殘差卷積，通過切片函數得到前后卷積維度匹配的信息特征，在避免過擬合的同時防止網絡退化問題，然后再執行一個點卷積模塊和隨機失活函數，融合卷積各通道信息并輸出；