[發(fā)明專利]一種睡崗識(shí)別方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210439925.0
• 申請(qǐng)日: 2022-04-25
• 公開（公告）號(hào): CN114821647A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 范文豪;張永輝
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南博觀智能科技有限公司
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張志梅

1.一種睡崗識(shí)別方法，其特征在于，包括：

獲取待識(shí)別圖片中人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖，并確定出與所述頭肩區(qū)域圖對(duì)應(yīng)的目標(biāo)高斯熱點(diǎn)圖；

提取所述頭肩區(qū)域圖的語義特征信息以及所述目標(biāo)高斯熱點(diǎn)圖的空間特征信息；

將所述語義特征信息與所述空間特征信息進(jìn)行特征融合，并基于融合后特征信息判斷所述待識(shí)別圖片中的所述人體目標(biāo)是否處于睡崗狀態(tài)。

2.根據(jù)權(quán)利要求1所述的睡崗識(shí)別方法，其特征在于，所述獲取待識(shí)別圖片中人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖，包括：

將待識(shí)別圖片輸入至訓(xùn)練后的人體頭肩檢測(cè)模型中以獲取所述待識(shí)別圖片中人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖；所述人體頭肩檢測(cè)模型為基于YOLO v5網(wǎng)絡(luò)構(gòu)建的模型，并且，所述YOLO v5網(wǎng)絡(luò)中的Neck采用BiFPN結(jié)構(gòu)。

3.根據(jù)權(quán)利要求1所述的睡崗識(shí)別方法，其特征在于，所述確定出與所述頭肩區(qū)域圖對(duì)應(yīng)的目標(biāo)高斯熱點(diǎn)圖，包括：

將所述待識(shí)別圖片輸入至訓(xùn)練后的關(guān)鍵點(diǎn)檢測(cè)模型，以得到所述待識(shí)別圖片的人體關(guān)鍵點(diǎn)，并基于所述待識(shí)別圖片的人體關(guān)鍵點(diǎn)構(gòu)建所述待識(shí)別圖片對(duì)應(yīng)的原始高斯熱點(diǎn)圖；

從所述原始高斯熱點(diǎn)圖中確定出與所述頭肩區(qū)域圖對(duì)應(yīng)的高斯熱點(diǎn)，以得到與所述頭肩區(qū)域圖對(duì)應(yīng)的目標(biāo)高斯熱點(diǎn)圖。

4.根據(jù)權(quán)利要求3所述的睡崗識(shí)別方法，其特征在于，還包括：

獲取包含所述待識(shí)別圖片以及與所述待識(shí)別圖片相鄰的若干圖片的目標(biāo)圖片組，并通過檢測(cè)所述目標(biāo)圖片組中不同相鄰圖片之間的關(guān)鍵點(diǎn)位置變化，以確定所述待識(shí)別圖片中是否包含靜態(tài)人體目標(biāo)；

相應(yīng)的，所述獲取待識(shí)別圖片中人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖，包括：

當(dāng)所述待識(shí)別圖片中包含靜態(tài)人體目標(biāo)，則獲取所述待識(shí)別圖片中的所述靜態(tài)人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖。

5.根據(jù)權(quán)利要求4所述的睡崗識(shí)別方法，其特征在于，還包括：

基于Shuffle網(wǎng)絡(luò)與HRNet網(wǎng)絡(luò)構(gòu)建人體姿態(tài)估計(jì)模型；

相應(yīng)的，所述將所述待識(shí)別圖片輸入至訓(xùn)練后的關(guān)鍵點(diǎn)檢測(cè)模型，以得到所述待識(shí)別圖片的人體關(guān)鍵點(diǎn)，包括：

將所述待識(shí)別圖片輸入至訓(xùn)練后的所述人體姿態(tài)估計(jì)模型，以通過所述人體姿態(tài)估計(jì)模型對(duì)所述待識(shí)別圖片進(jìn)行人體姿態(tài)估計(jì)，得到在人體姿態(tài)估計(jì)過程中檢測(cè)出的人體關(guān)鍵點(diǎn)。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的睡崗識(shí)別方法，其特征在于，所述提取所述頭肩區(qū)域圖的語義特征信息以及所述目標(biāo)高斯熱點(diǎn)圖的空間特征信息，將所述語義特征信息與所述空間特征信息進(jìn)行特征融合，并基于融合后特征信息判斷所述待識(shí)別圖片中的所述人體目標(biāo)是否處于睡崗狀態(tài)，包括：

通過訓(xùn)練后的狀態(tài)分類模型，提取所述頭肩區(qū)域圖的語義特征信息以及所述目標(biāo)高斯熱點(diǎn)圖對(duì)應(yīng)的不同人體關(guān)鍵點(diǎn)之間的空間位置關(guān)系，并將所述語義特征信息和所述空間位置信息進(jìn)行特征融合，然后利用融合后特征信息對(duì)所述待識(shí)別圖片中的所述人體目標(biāo)的狀態(tài)進(jìn)行分類，以得到相應(yīng)的人體狀態(tài)類別；所述人體狀態(tài)類別包括處于睡崗狀態(tài)對(duì)應(yīng)的類別以及處于非睡崗狀態(tài)對(duì)應(yīng)的類別。

7.根據(jù)權(quán)利要求6所述的睡崗識(shí)別方法，其特征在于，還包括：

將GhostNet網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)以及將ArcFace函數(shù)作為損失函數(shù)，構(gòu)造所述狀態(tài)分類模型；

其中，所述狀態(tài)分類模型中的所述GhostNet網(wǎng)絡(luò)用于提取所述頭肩區(qū)域圖的語義特征信息以及所述目標(biāo)高斯熱點(diǎn)圖對(duì)應(yīng)的不同人體關(guān)鍵點(diǎn)之間的空間位置關(guān)系。

8.一種睡崗識(shí)別裝置，其特征在于，包括：

頭肩區(qū)域確定模塊，用于獲取待識(shí)別圖片中人體目標(biāo)對(duì)應(yīng)的頭肩區(qū)域圖，并確定出與所述頭肩區(qū)域圖對(duì)應(yīng)的目標(biāo)高斯熱點(diǎn)圖；

特征信息提取模塊，用于提取所述頭肩區(qū)域圖的語義特征信息以及所述目標(biāo)高斯熱點(diǎn)圖的空間特征信息；

狀態(tài)判斷模塊，用于將所述語義特征信息與所述空間特征信息進(jìn)行特征融合，并基于融合后特征信息判斷所述待識(shí)別圖片中的所述人體目標(biāo)是否處于睡崗狀態(tài)。