[發(fā)明專利]一種基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識別方法

有效

• 申請?zhí)枺?/td>: 201811234319.5
• 申請日: 2018-10-23
• 公開（公告）號: CN109325469B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計）人: 趙霞;管文華;于重重;李磊;趙松;馮澤驍
• 申請（專利權(quán)）人: 北京工商大學(xué)
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/774;G06V10/764;G06V10/80;G06K9/62
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 蘇愛華

1.一種基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識別方法，其步驟包括：

A.視頻轉(zhuǎn)發(fā)服務(wù)器主線程從網(wǎng)絡(luò)視頻錄像機的實時視頻流中獲取視頻幀，分別送給轉(zhuǎn)發(fā)模塊和抓圖模塊，網(wǎng)絡(luò)視頻錄像機簡稱NVR，具體實施步驟如下：

A1.視頻轉(zhuǎn)發(fā)服務(wù)器主線程分別建立面向客戶端和NVR的控制端口和數(shù)據(jù)端口；視頻轉(zhuǎn)發(fā)服務(wù)器主線程簡稱主線程；

所述控制端口用于控制信息通信，數(shù)據(jù)端口用于視頻流和人體姿態(tài)識別信息通信；

A2.客戶端通過控制端口向轉(zhuǎn)發(fā)服務(wù)器發(fā)送請求某路NVR視頻的請求；

A3.主線程根據(jù)客戶端請求，向NVR發(fā)送請求某路視頻流的請求；一路視頻流稱為一個通道；

A4.主線程為每個通道創(chuàng)建所需的線程和緩沖隊列；

A5.主線程接收從NVR發(fā)來的視頻流，將視頻流中的視頻幀分別處理；

B.抓圖函數(shù)和抓圖子線程合作，將視頻幀發(fā)送給人體姿態(tài)識別服務(wù)器，人體姿態(tài)識別服務(wù)器簡稱識別服務(wù)器，具體步驟如下：

B1.將定時器的時間間隔設(shè)置為M秒，M包括但不限于1；每隔特定的時間間隔M秒，定時器會觸發(fā)給定的抓圖函數(shù)；

B2.抓圖函數(shù)將從播放緩沖區(qū)里抓取的視頻幀掛載到抓圖緩沖隊列上；

B3.抓圖子線程從抓圖環(huán)形緩沖隊列上摘取視頻幀，發(fā)送至識別服務(wù)器；

C.識別服務(wù)器端接收到視頻幀后，識別模塊對視頻幀進行姿態(tài)識別，具體步驟如下：

C1.識別模塊接收視頻幀；

C2.識別模塊利用深度卷積姿態(tài)神經(jīng)網(wǎng)絡(luò)模型對視頻幀中的人體關(guān)節(jié)點定位，得到關(guān)節(jié)點坐標，寫入坐標文本文件中；

C3.用矩陣標識關(guān)節(jié)點之間的連接關(guān)系，用人體姿態(tài)描述向量來表示四肢角度與方向信息，最終合成人體骨架結(jié)構(gòu)信息；

C4.利用支持向量機分類器對向量進行分類識別；

D.識別服務(wù)器端將視頻幀信息與識別結(jié)果發(fā)送至轉(zhuǎn)發(fā)服務(wù)器；

所述的識別結(jié)果包括但不限于人體矩形框坐標、識別出的姿態(tài)類別、概率；

E.轉(zhuǎn)發(fā)服務(wù)器將視頻流以及人體姿態(tài)識別結(jié)果轉(zhuǎn)發(fā)給客戶端進行顯示，具體步驟如下：

E1.轉(zhuǎn)發(fā)服務(wù)器上的抓圖子線程接收識別服務(wù)器發(fā)來的識別結(jié)果信息，寫入轉(zhuǎn)發(fā)環(huán)形緩沖隊列中，下一個要轉(zhuǎn)發(fā)的視頻幀的附加數(shù)據(jù)包中；

E2.轉(zhuǎn)發(fā)子線程負責(zé)從轉(zhuǎn)發(fā)環(huán)形緩沖隊列摘取視頻幀及其附加數(shù)據(jù)包；

E3.轉(zhuǎn)發(fā)子線程將視頻幀及其附加數(shù)據(jù)包一起轉(zhuǎn)發(fā)給客戶端；

E4.客戶端實時顯示視頻幀以及對應(yīng)的人體矩形包圍框和姿態(tài)識別的概率。

2.如權(quán)利要求1所述的一種基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識別方法，主線程為每個通道創(chuàng)建所需的線程和緩沖隊列，具體步驟如下：

A4.1創(chuàng)建一個定時器，一個抓圖函數(shù)，一個抓圖子線程和一個抓圖環(huán)形緩沖隊列，用于抓圖和姿態(tài)識別；

抓圖環(huán)形緩沖隊列包含但不限于以下成員：

-隊列頭指針head，指向要識別處理的視頻幀的視頻數(shù)據(jù)緩沖區(qū)，初值為-1；

-隊列尾指針tail，指向新獲取的視頻幀的視頻數(shù)據(jù)緩沖區(qū)，初值為-1；

-視頻幀數(shù)據(jù)緩沖區(qū)指針pBuf，指向當前正在識別的視頻幀，初值為-1；

-視頻幀數(shù)據(jù)大小nSize，為當前正在識別的視頻幀的大小，初值為-1；

-上一幀pPre，指向已經(jīng)識別的視頻幀數(shù)據(jù)緩沖區(qū)，初值為-1；

A4.2創(chuàng)建一個轉(zhuǎn)發(fā)子線程和一個轉(zhuǎn)發(fā)環(huán)形緩沖隊列，用于轉(zhuǎn)發(fā)收到的視頻流給客戶端；所述的轉(zhuǎn)發(fā)環(huán)形緩沖隊列結(jié)構(gòu)類似于抓圖環(huán)形緩沖隊列。

3.如權(quán)利要求1所述的一種基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識別方法，主線程接收從NVR發(fā)來的視頻流，將視頻流中的視頻幀分別處理，具體步驟如下：

A5.1將視頻幀直接掛接到轉(zhuǎn)發(fā)環(huán)形緩沖隊列；

A5.2將解碼后的視頻幀存入播放緩沖區(qū)。