[發明專利]一種基于深度神經網絡的人體姿態識別方法

有效

• 申請號: 201811234319.5
• 申請日: 2018-10-23
• 公開（公告）號: CN109325469B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 趙霞;管文華;于重重;李磊;趙松;馮澤驍
• 申請（專利權）人: 北京工商大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/764;G06V10/80;G06K9/62
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 蘇愛華

本發明公開了一種基于深度神經網絡的人體姿態識別方法，該方法包括：轉發服務器從網絡視頻錄像機上接收實時視頻流，從實時視頻流中抓取視頻幀，發送給識別服務器；識別服務器使用深度卷積姿態神經網絡模型提取關節點信息特征，合成人體骨架的結構信息，形成特征向量；通過多分類支持向量機進行分類識別，將識別結果返回轉發服務器；轉發服務器將識別結果與視頻幀發送至客戶端顯示，實現實時的人體姿態識別。本方法可提高智能視頻監控系統綜合性能，改善用戶的實時體驗，更實用、可行性更高，有廣泛的應用價值和經濟效益。

技術領域

本發明涉及人體姿態識別，具體涉及一種基于深度神經網絡的人體姿態識別方法，屬于智能視頻監控和計算機視覺領域。

背景技術

人體姿態識別是指對圖像中的人體進行自動分析處理，對人體姿勢信息按照預先設計的分類標注。姿態識別是行為識別中的一個基本問題，可靠而準確地識別人體姿態可以用于人體行為分析、人員工作狀態或學習狀態的判別，從而為各行各業的智能化管理自動提供信息。由于圖像中人的衣著，姿態，背景等的多樣性以及存在一些自我遮擋和其他人或物體遮擋的情況，準確地預測出圖像中的人體姿態非常具有挑戰性。目前基于普通光學圖像的人體姿態識別算法主要利用人體的表觀特征，如人體輪廓特征或圖像中人體與其他物體之間的上下文關系，這些特征都與顏色有關，易受到光照等外界條件的影響，當不能夠提取到很好的特征，易出現識別準確率低下等問題。

山東大學提出一種基于關節點信息的人體行為識別新方法(機器人，2014.3)，使用Kinect采集的關節點數據構造人體結構向量，用人體結構向量間的向量角和向量模比值提取行為來表示特征量，最后使用動態時間規整(DTW)算法計算測試行為模板與參考行為模板之間的相似度。該方法主要目的是識別動態行為，雖然也利用了關節點信息構造人體結構特征，但是利用Kinect專用設備獲取人體關節點信息，并且構造出的人體結構特征信息處理方法也跟本專利不同。電子科技大學提出一種基于深度卷積神經網絡的人體姿勢識別方法(CN105069413A)，將姿勢估計闡述為分類問題，設計了針對姿勢估計的神經網絡ILPN來進行關節定位，通過查找坐標映射表，將統一尺度下的人體姿勢映射回原圖像尺度下從而估計出RGB圖像中人體姿勢。廣東省智能制造研究所提出基于卷積神經網絡與支持向量機的人體行為識別方法(CN108052896A)，將RGB圖像輸入至VGG神經網絡模型進行特征提取，形成一組卷積特征圖；將特征圖作為雙分支深度卷積神經網絡模型的輸入，獲得關節點和關節關聯信息，然后采用二分圖匹配算法逐步進行局部尋優，最終獲得最佳關節匹配；對骨骼序列數據進行歸一化處理，并通過組合多個支持向量機分類器來實現多分類器的構造。以上兩種方法雖然利用了深度神經網絡，但網絡模型提取關節點信息的過程和方法都與本專利不同；同時這些方法都沒有涉及如何在網絡攝像機中實時獲取視頻幀，并進行實時分類識別的問題。本發明利用深度卷積姿態神經網絡從實時視頻幀中提取人體關節點信息，實時分類識別人體姿態，還提出了從網絡攝像機視頻流實時在線地獲取圖像幀，返回識別結果用于智能視頻監測系統的方法，可以應用于智能視頻監控系統中，可提高系統綜合性能，改善用戶的實時體驗，更實用、可行性更高，有廣泛的應用價值和經濟效益。

發明內容

本發明公開了一種面向智能視頻監控的基于深度神經網絡的人體姿態識別方法，該方法包括：1)轉發服務器從網絡視頻錄像機上接收實時視頻流，抓圖子線程從實時視頻流中抓取視頻幀，發送給識別服務器；2)識別服務器使用深度卷積姿態神經網絡模型提取關節點信息特征，合成人體骨架的結構信息，形成特征向量；3)通過多分類支持向量機進行分類識別，將識別結果返回轉發服務器；4)轉發服務器將識別結果與視頻幀一并發送至客戶端顯示，實現實時的智能視頻監控系統中的人體姿態識別。

具體來說，本發明的方法包括以下內容：

A.視頻轉發服務器獲取實時視頻流，將視頻幀送給轉發模塊和抓圖模塊，具體實施步驟如下：

A1.視頻轉發服務器(簡稱轉發服務器)建立面向客戶端和網絡視頻錄像機(簡稱NVR)的控制端口和數據端口；