[發(fā)明專利]一種安防監(jiān)控下的睡覺行為識(shí)別方法、系統(tǒng)與介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310248079.9
• 申請(qǐng)日: 2023-03-07
• 公開（公告）號(hào): CN116311516A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 周翔;徐剛;肖江劍;陳紅樑;曾晶;崔玥;莊立
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院寧波材料技術(shù)與工程研究所
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V20/52;G06V10/44;G06V10/80;G06V10/82;G06N3/044
• 代理公司: 南京利豐知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32256
• 代理人: 趙世發(fā)

1.一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述方法包括：

S1，制作數(shù)據(jù)集，其包括采集安防監(jiān)控下的睡覺視頻及非睡覺視頻，對(duì)視頻進(jìn)行處理，得到神經(jīng)網(wǎng)絡(luò)所需的視頻序列數(shù)據(jù)集；

S2，采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻序列數(shù)據(jù)集進(jìn)行特征編碼，編碼出圖像幀特征；

S3，采用視頻分段策略對(duì)所述圖像幀特征進(jìn)行分段，并計(jì)算出當(dāng)前片段的片段級(jí)特征；

S4，對(duì)每個(gè)片段的片段級(jí)特征按照時(shí)間順序堆疊形成視頻序列的視頻級(jí)特征，作為添加了時(shí)空非本地注意力機(jī)制的時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)模塊的輸入；

S5，將時(shí)空非本地注意力機(jī)制的輸出特征圖經(jīng)過時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)模塊的全連接層，得到最終的分類結(jié)果，完成最終睡覺行為的識(shí)別。

2.根據(jù)權(quán)利要求1所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S1中，對(duì)采集的視頻在長度和尺寸上進(jìn)行裁剪，并隨機(jī)分為訓(xùn)練集、驗(yàn)證集及測試集。

3.根據(jù)權(quán)利要求1所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S2中，采用Resnet50網(wǎng)絡(luò)對(duì)所述視頻序列數(shù)據(jù)集進(jìn)行特征編碼，得到單幀表示的所述圖像幀特征。

4.根據(jù)權(quán)利要求3所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S3包括：

S31，采用視頻分段策略對(duì)從Resnet50網(wǎng)絡(luò)全連接層之前的所述圖像幀特征進(jìn)行分段，將圖像幀特征分割為多個(gè)片段；

S32，根據(jù)度量學(xué)習(xí)的原理，計(jì)算得到與當(dāng)前片段中的當(dāng)前特征向量最相似和最不相似的兩個(gè)特征向量；

S33，將所述兩個(gè)特征向量拼接，將拼接后的特征向量作為所述當(dāng)前片段的片段級(jí)特征。

5.根據(jù)權(quán)利要求4所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S32中，計(jì)算得到當(dāng)前片段中的當(dāng)前特征向量與其他特征向量歐氏距離最小的最小特征向量和距離最大的最大特征向量；所述S33中，將所述最小特征向量和最大特征向量拼接。

6.根據(jù)權(quán)利要求5所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S32中，計(jì)算當(dāng)前片段中當(dāng)前特征向量與其他特征向量之間的歐氏距離的平均距離，從平均距離中選出最大距離和最小距離分別對(duì)應(yīng)的所述最大特征向量和所述最小特征向量。

7.根據(jù)權(quán)利要求1所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S4中，所述時(shí)空非本地注意力機(jī)制作用于時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出層之后，全連接層之前，將時(shí)空非本地注意力輸出特征圖作為整個(gè)時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)的全連接層的輸入。

8.根據(jù)權(quán)利要求1所述的一種安防監(jiān)控下的睡覺行為識(shí)別方法，其特征在于：所述S4中，對(duì)每個(gè)片段的片段級(jí)特征按照時(shí)間先后順序堆疊形成視頻序列的視頻級(jí)特征。

9.一種安防監(jiān)控下的睡覺行為識(shí)別系統(tǒng)，其特征在于：所述系統(tǒng)包括：

數(shù)據(jù)集制作模塊，用于制作數(shù)據(jù)集，其包括采集安防監(jiān)控下的睡覺視頻及非睡覺視頻，對(duì)視頻進(jìn)行處理，得到神經(jīng)網(wǎng)絡(luò)所需的視頻序列數(shù)據(jù)集；

圖像幀特征編碼模塊，用于采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視頻序列數(shù)據(jù)集進(jìn)行特征編碼，編碼出圖像幀特征；

片段級(jí)特征計(jì)算模塊，用于采用視頻分段策略對(duì)所述圖像幀特征進(jìn)行分段，并計(jì)算出當(dāng)前片段的片段級(jí)特征；

視頻級(jí)特征獲得模塊，用于對(duì)每個(gè)片段的片段級(jí)特征按照時(shí)間順序堆疊形成視頻序列的視頻級(jí)特征，作為添加了時(shí)空非本地注意力機(jī)制的時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)模塊的輸入；

睡覺行為識(shí)別模塊，用于將時(shí)空非本地注意力機(jī)制的輸出特征圖經(jīng)過時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)模塊的全連接層，得到最終的分類結(jié)果，完成最終睡覺行為的識(shí)別。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～8任意一項(xiàng)所述安防監(jiān)控下的睡覺行為識(shí)別方法的步驟。