[發明專利]睡覺行為的監控方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 202010655497.6
• 申請日: 2020-07-09
• 公開（公告）號: CN112001230A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 袁林俊;潘華東;殷俊;張興明
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 陳涵

本申請涉及一種睡覺行為的監控方法、裝置、計算機設備和可讀存儲介質，其中，該睡覺行為的監控方法包括：獲取視頻圖像；將視頻圖像輸入至神經網絡模型，得到視頻圖像中的人體全身框與人臉框，并將人臉框與對應的人體全身框進行綁定；根據人臉框中眼睛的閉合狀態以及人體全身框中的關節點信息，檢測視頻圖像中對應人員的睡覺狀態。通過本申請，將眼睛的閉合狀態以及關節點信息結合起來，來檢測視頻圖像中對應人員的睡覺狀態，實現了多種判斷方案的融合，可以得到更加準確的判斷結果，提高了睡覺檢測的準確度，解決了無法準確判斷睡覺行為的問題。

技術領域

本申請涉及監控領域，特別是涉及一種睡覺行為的監控方法、裝置、計算機設備和可讀存儲介質。

背景技術

在各類行業中，對企業員工的監管工作主要是通過聘請專門的管理人員或者安裝遠程監控系統來進行的。然而，由于實際生產過程中員工的基數過大，而管理人員的巡崗次數有限，從而無法實現對企業員工的有效監督，仍然存在部分員工懈怠工作以及在崗睡覺的情況，甚至存在管理人員在崗睡覺的情況。這會導致企業生產效率低下，從而影響企業的經濟效益，甚至會給企業帶來巨大的安全隱患。

在相關技術中，將訓練好的卷積神經網絡模型部署在視覺分析系統中，獲取視頻監控設備采集的視頻流數據。通過分析視頻流數據中截取的一幀圖像來判斷值班員工是否處于睡覺狀態。然而，值班員工的睡姿與其他姿勢的區別度并不是很明顯，因此，只根據瞬時的單幀圖像中的圖像信息無法準確判斷值班員工是否處于睡覺狀態，同時利用區域重疊度閾值為50％作為判斷同一人睡覺行為的條件，該閾值在實際環境中很容易達到，采用這種方法會導致大概率的漏報和誤報。

目前針對相關技術中，無法準確判斷睡覺行為的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種睡覺行為的監控方法、裝置、計算機設備和可讀存儲介質，以至少解決相關技術中無法準確判斷睡覺行為的問題。

第一方面，本申請實施例提供了一種睡覺行為的監控方法，包括：

獲取視頻圖像；

將所述視頻圖像輸入至神經網絡模型，得到所述視頻圖像中的人體全身框與人臉框，并將所述人臉框與對應的人體全身框進行綁定；

根據所述人臉框中眼睛的閉合狀態以及人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態。

在其中一些實施例中，所述根據所述人臉框中眼睛的閉合狀態以及人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態包括：

根據綁定的人體全身框與人臉框，確定所述人體全身框中是否包括身份信息；

若所述人體全身框中包括身份信息，則檢測所述人臉框中眼睛的閉合狀態，得到檢測結果，并根據所述檢測結果以及人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態；

若所述人體全身框中不包括身份信息，則根據人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態。

在其中一些實施例中，所述根據所述檢測結果以及人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態包括：

若檢測到所述人臉框中眼睛的閉合狀態為睜眼，則確定所述視頻圖像中對應人員不存在睡覺行為；

若檢測到所述人臉框中眼睛的閉合狀態為閉眼，或，若未檢測到所述人臉框中眼睛的閉合狀態，則根據人體全身框中的關節點信息，檢測所述視頻圖像中對應人員的睡覺狀態。

在其中一些實施例中，所述確定所述人體全身框中是否包括身份信息包括：

獲取所述人體全身框中人臉的像素數量；

若所述像素數量大于或者等于預設像素閾值，則確定所述人體全身框中包括身份信息；