[發(fā)明專利]基于變形卷積的人體姿態(tài)估計方法

有效

• 申請?zhí)枺?/td>: 201810874533.0
• 申請日: 2018-08-03
• 公開（公告）號: CN109376571B
• 公開（公告）日: 2022-04-08
• 發(fā)明（設計）人: 高新波;竇睿翰;路文;孫曉鵬;何立火;郭兆騏
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 程曉霞;王品華

本發(fā)明公開了一種基于變形卷積的人體姿態(tài)估計方法，解決了從圖像中估計人體姿態(tài)的技術問題。實現步驟為：獲取訓練圖像；制作關節(jié)點熱圖；構建變形卷積前向傳播模塊；構建殘差塊和搭建帶有變形殘差塊網絡結構的多尺度沙漏形網絡；訓練堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡；獲取人體姿態(tài)估計結果。本發(fā)明使用了變形卷積并改進了沙漏形網絡內部連接方式，搭建出堆疊帶有變形殘差塊網絡結構的多尺度沙漏形網絡，對于獨立單張的自然彩色圖像，在人體肢體扭曲或姿態(tài)特殊、光線折射或反射的干擾、人體尺度變化較大、及有遮擋存在的復雜場景下能有效提取和組織圖像特征，更精準地估計出人體姿態(tài)。用于多場景下人機交互。

技術領域

本發(fā)明屬于計算機視覺和模式識別技術領域，具體地涉及人體姿態(tài)估計，具體是一種基于變形卷積的人體姿態(tài)估計方法。本發(fā)明應用于在復雜場景下精確定位人體各關節(jié)點以準確估計人體姿態(tài)。

背景技術

人體姿態(tài)估計作為計算機視覺和模式識別領域的一個重要研究方向，以及人機互動智能中的一個關鍵問題，對計算機有效地理解和處理圖像數據中的人體活動有著重要意義，廣泛應用于人體活動分析、智能監(jiān)控、行為追蹤、人機交互等領域。人體姿態(tài)估計是指在照片或視頻等圖像中對人體關節(jié)點和部件進行定位標注，進而獲取人體基本姿態(tài)信息的過程。在深度學習的姿態(tài)估計模型建立后，定位的人體關節(jié)點主要有頭頂、頸、胸、腰、雙肩、雙肘、雙腕、雙股、雙膝以及雙踝，在獲得關節(jié)點位置后，依照人體鉸鏈模型連接各關節(jié)點獲得人體的整體姿態(tài)估計。現有的姿態(tài)估計方法主要分為傳統方法和使用深度學習的方法。

北京工業(yè)大學在其公開的專利文獻“一種運動人體姿態(tài)估計的方法”(專利申請?zhí)枺?01510128533.2；申請公布號：CN104715493A)中提出一種運動人體姿態(tài)估計的方法。該方法針對深度圖像數據，用中值濾波方法處理圖像，采用測地距離的迪杰斯特拉算法對人體像素進行部位標定，提取32個姿態(tài)特征以表征不同人體姿態(tài)，通過訓練確定姿態(tài)特征點與標準骨架線性回歸模型。該方法的不足主要有：使用的是需要專業(yè)設備獲取的深度圖像而非自然圖像；使用數量有限的姿態(tài)特征只能在人體肢體伸展無遮擋等簡單場景下有效估計；強烈依靠人體圖模型限制了肢體搜索空間，也不能對更復雜。

北京工業(yè)大學在其公開的專利文獻“一種人體姿態(tài)估計方法”(專利申請?zhí)枺?01510792096.4；申請公布號：CN105389569A)中公開了一種人體姿態(tài)估計方法。該方法融合彩色圖像信息與深度信息，分部位計算特征模型提取深度特征，以待測點到人體中心點的最短路徑為極坐標方向，通過該極坐標系下依次取半徑和角度所統計的深度差作為待測點的深度特征向量將各個特征模板整合起來構建人體姿態(tài)數據的樹結構模型，基于樹結構模型構建打分函數，將待檢測圖像與模型進行匹配，從而實現人體特征定位。該方法不足是需要圖像深度信息；依靠樹結構模型會繼承樹結構模型不靈活的局限。

廈門美圖之家科技有限公司在其申請的專利發(fā)明“一種人體姿態(tài)估計方法及移動終端”中公開了一種人體姿態(tài)估計方法，該方法判斷視頻中當前幀的前一幀的關鍵節(jié)點是否存在，在前幀標注存在的情況下根據前一幀標注的人體關鍵點位置生成當前圖像幀對應的目標框，在前幀標注不存在的情況下檢測當前圖像幀中的人體位置，生成包含該人體位置的目標框，對所生成的目標框進行尺度變換以生成預定尺寸的人體圖像，將預定尺寸的人體圖像輸入預定姿態(tài)估計模型。該方法針對視頻圖像進行處理，存在不足之處有：所使用的網絡沒有對估計結果優(yōu)化的策略；估計方法沒有考慮多尺度特征，會影響精確性。

綜上所述，現有技術的問題在于，對于自然彩色圖像，在復雜場景中，人體姿態(tài)特殊或肢體發(fā)生扭曲，因環(huán)境原因有光線折射或者反射的影響，人體在圖像中所占的尺度變化較大的時候估計不夠準確，估計性能不魯棒，不成熟，無法達到應用級別。

發(fā)明內容

本發(fā)明的目的在于針對已有技術的不足，提出一種能夠適應復雜場景下的基于變形卷積的人體姿態(tài)估計方法。

本發(fā)明是一種基于變形卷積的人體姿態(tài)估計方法，其特征在于，包括如下步驟：

(1)獲取訓練圖像：