[發明專利]基于特征融合與樣本增強的三維人體姿態估計方法

有效

• 申請號: 202010158977.1
• 申請日: 2020-03-09
• 公開（公告）號: CN111428586B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 衛志華;崔嘯萱;趙才榮;臧笛
• 申請（專利權）人: 同濟大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V20/64;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

本發明公開了一種基于特征融合與樣本增強的三維人體姿態估計方法，涉及三維人體姿態估計與性能優化方法。首先，采用基于候選區域的全卷積網絡，對圖片中人體進行身體部位分類與像素點三維坐標回歸；其次，采用輔助網絡樣本增強，對沒有初始標注的樣本位置進行信號補充；最后，將模型與現有效果良好的2D姿態識別模型進行特征融合，從全局姿態的角度與局部回歸坐標發揮優勢互補性。本發明通過特征融合技術構造基于多任務并行的人體姿態估計架構，為二維和三維姿態識別的優勢互補提供有效的理論和方法；通過模擬半監督學習的方式，建立基于數據增強的輔助網絡，為提升姿態識別模型泛化能力提供新的思路。

技術領域

本發明屬于計算機視覺領域，具體地說，涉及三維人體姿態估計與性能優化方法。

背景技術

隨著人工智能的興起，越來越多關于人類行為特征的識別、分類等深度學習系統被應用到實際生活場景中；而關于人體姿勢的3D識別由于其更直觀、豐富的視覺體驗和更符合人類理解世界的行為模式，在人機交互、AR、VR等現實場景中具有廣泛的應用途徑和應用價值。

然而，在通常的計算機視覺人體姿態識別模型中，計算機對于3D世界的了解很少。與之相反的是，對于人類來說，即使在查看存在透視、遮擋、深度、場景中的人體相互關聯等情況下的2D圖片的時候，人的眼睛依然能夠以3D空間來理解和解讀。在深度學習模型中，從3D角度理解人體姿態一直面臨著一些難題，涉及到應用于3D數據表示的物體的計算、從2D圖像推導3D物體形狀和姿態估計、從2D圖像確定物體的3D姿態的變換等等。因此，面對現實背景復雜多變的情況下，如何讓機器在3D空間的視角下理解人體姿態，成了計算機系統地解釋和認知現實世界不可或缺的環節和亟待解決的問題。

目前基于3D姿態識別的研究大多基于兩類方法：(1)基于輔助設備的3D姿態識別：通過增加輔助硬件設備(如深度傳感器、六視角攝像機、可穿戴設備等)的方式，采集樣本數據的三維特性，將采集的三維數據直接作為網絡輸入進行訓練；該種方法存在設備復雜、造價昂貴、計算量龐大等問題，難以推廣到日常生活與應用中；(2)基于三維骨架擬合的3D姿態識別：通過將3D人體骨架模型擬合到2D圖片上的方式，來實現對輸入圖像中人體的3D姿態識別；該方法目前存在著樣本量缺乏、預測結果模糊、二義性、錯誤翻轉等問題，造成準確率的不理想。

因此，這些問題的存在導致3D姿態識別分析還處于未完善階段。針對現有姿態識別方法中樣本量缺乏、三維空間中姿態模糊、局部二義性等問題，需要一種能夠應對復雜現實場景中對3D人體姿態更具體和精確的識別方法。

發明內容

本發明的目的在于克服現有技術不足，公開一種基于特征融合與樣本增強的三維人體姿態估計方法，針對當前現實應用場景中存在的問題和困難，圍繞人體姿態多尺度特征融合識別及樣本增強擴充展開研究工作，實現能夠應對復雜現實場景中對3D人體姿態識別做到更具體、更精確。

技術方案

一種基于特征融合與樣本增強的三維人體姿態估計方法，概括為，包括三個步驟：

步驟一：部位分類與像素回歸

采用基于候選區域的全卷積網絡，對圖片中人體進行身體部位分類與像素點三維坐標回歸，其流程圖如圖7所示；

步驟二：輔助網絡樣本增強

采用輔助網絡樣本增強算法，對沒有初始標注的樣本位置進行信號補充；

步驟三：特征融合

將3D模型與現有效果良好的2D姿態識別模型進行特征融合，從全局姿態的角度與局部回歸坐標發揮優勢互補性。

步驟二和步驟三流程圖如圖8所示。

三個步驟整體流程圖如圖9所示

以下進一步給出具體方法過程

步驟一：部位分類與像素回歸，具體為：