[發(fā)明專利]一種睡崗識別方法、裝置、設備及介質

在審

• 申請?zhí)枺?/td>: 202210439925.0
• 申請日: 2022-04-25
• 公開（公告）號: CN114821647A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 范文豪;張永輝
• 申請（專利權）人: 濟南博觀智能科技有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張志梅

本申請公開了一種睡崗識別方法、裝置、設備及介質，涉及圖像識別技術領域，該方法包括：獲取待識別圖片中人體目標對應的頭肩區(qū)域圖，并確定出與所述頭肩區(qū)域圖對應的目標高斯熱點圖；提取所述頭肩區(qū)域圖的語義特征信息以及所述目標高斯熱點圖的空間特征信息；將所述語義特征信息與所述空間特征信息進行特征融合，并基于融合后特征信息判斷所述待識別圖片中的所述人體目標是否處于睡崗狀態(tài)。通過上述方案，能夠在進行睡崗識別時只需要通過頭肩區(qū)域特征來判斷是否睡崗，并能夠通過對頭肩區(qū)域圖的語義特征提取與目標高斯熱點圖的空間特征提取以及特征融合充分的利用圖像中的信息。由此可以解決睡崗識別過程中目標遮擋的問題并提高睡崗識別的準確率。

技術領域

本發(fā)明涉及圖像識別技術領域，特別涉及一種睡崗識別方法、裝置、設備及介質。

背景技術

工作時睡崗容易引發(fā)嚴重的災難性事故，為了降低安全事故的發(fā)生概率，用戶需要及時糾正在崗人員的睡崗行為。目前大部分企業(yè)都實現(xiàn)了監(jiān)控視頻全方位覆蓋，但工廠、車間、工地等場景視野較開闊且人流量較多，如果單純依靠肉眼去監(jiān)督，不僅耗費人力也難以長時間保持警覺。隨著機器視覺的發(fā)展，可以通過深度學習方法對視頻監(jiān)控下的睡崗行為進行檢測，在減輕人力負擔的同時也能夠大大提高效率。

目前基于深度學習的睡崗檢測方法主要分為目標檢測以及人體姿態(tài)估計兩類方法。然而，人體姿態(tài)估計方法一方面在目標側身或遮擋嚴重的情況下會有部分關鍵點檢測不出，導致基于人體關鍵點的睡崗識別效果不佳，另一方面若將檢測結果直接輸入基于ShuffleNet v2構建的卷積神經網絡中來判斷是否睡崗，由于睡覺姿勢、攝像頭角度、場景等多樣化，直接根據人體圖像進行分類難度較高，分類準確率會偏低。因此，在睡崗識別過程中存在識別效果不佳以及分類準確率低的問題有待進一步解決。

發(fā)明內容

有鑒于此，本發(fā)明的目的在于提供一種睡崗識別方法、裝置、設備及介質，可以在睡崗識別過程中解決識別效果不佳以及分類準確率低的問題。其具體方案如下：

第一方面，本申請公開了一種睡崗識別方法，包括：

獲取待識別圖片中人體目標對應的頭肩區(qū)域圖，并確定出與所述頭肩區(qū)域圖對應的目標高斯熱點圖；

提取所述頭肩區(qū)域圖的語義特征信息以及所述目標高斯熱點圖的空間特征信息；

將所述語義特征信息與所述空間特征信息進行特征融合，并基于融合后特征信息判斷所述待識別圖片中的所述人體目標是否處于睡崗狀態(tài)。

可選的，所述獲取待識別圖片中人體目標對應的頭肩區(qū)域圖，包括：

將待識別圖片輸入至訓練后的人體頭肩檢測模型中以獲取所述待識別圖片中人體目標對應的頭肩區(qū)域圖；所述人體頭肩檢測模型為基于YOLO v5網絡構建的模型，并且，所述YOLO v5網絡中的Neck采用BiFPN結構。

可選的，所述確定出與所述頭肩區(qū)域圖對應的目標高斯熱點圖，包括：

將所述待識別圖片輸入至訓練后的關鍵點檢測模型，以得到所述待識別圖片的人體關鍵點，并基于所述待識別圖片的人體關鍵點構建所述待識別圖片對應的原始高斯熱點圖；

從所述原始高斯熱點圖中確定出與所述頭肩區(qū)域圖對應的高斯熱點，以得到與所述頭肩區(qū)域圖對應的目標高斯熱點圖。

可選的，還包括：

獲取包含所述待識別圖片以及與所述待識別圖片相鄰的若干圖片的目標圖片組，并通過檢測所述目標圖片組中不同相鄰圖片之間的關鍵點位置變化，以確定所述待識別圖片中是否包含靜態(tài)人體目標；

相應的，所述獲取待識別圖片中人體目標對應的頭肩區(qū)域圖，包括：

當所述待識別圖片中包含靜態(tài)人體目標，則獲取所述待識別圖片中的所述靜態(tài)人體目標對應的頭肩區(qū)域圖。

可選的，還包括：