[發明專利]疲勞檢測方法、裝置、系統及計算機可讀存儲介質

有效

• 申請號: 201811328943.1
• 申請日: 2018-11-08
• 公開（公告）號: CN109447025B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 謝建濤
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 蘇勝

1.一種疲勞檢測方法，其特征在于，包括：

獲取目標對象在第一預設時長內的連續幀圖像；

檢測各所述幀圖像中的所述目標對象的多個嘴部關鍵點；

基于所述嘴部關鍵點確定所述目標對象在各所述幀圖像中的嘴部開閉狀態；

根據第二預設時長以及所述目標對象在各所述幀圖像中的嘴部開閉狀態，記錄所述目標對象在所述第一預設時長內發生的打哈欠事件的次數；其中，所述第二預設時長小于所述第一預設時長，且所述打哈欠事件為：所述目標對象的嘴部持續張開時長不低于所述第二預設時長；

基于所述打哈欠事件的次數，確定所述目標對象的疲勞程度；

所述根據第二預設時長以及所述目標對象在各所述幀圖像中的嘴部開閉狀態，記錄所述目標對象在所述第一預設時長內發生的打哈欠事件的次數的步驟，包括：

將所述連續幀圖像中的各所述幀圖像按照時間順序逐一作為當前幀圖像，對所述當前幀圖像執行預設的檢測操作，直至所述連續幀圖像均執行所述檢測操作后，得到所述目標對象在所述第一預設時長內發生的打哈欠事件的次數；

其中，所述預設的檢測操作包括如下步驟：

根據所述目標對象在所述當前幀圖像中的嘴部開閉狀態，以及所述目標對象在所述當前幀圖像之前的幀圖像的嘴部開閉狀態，判斷所述當前幀圖像是否為首次張嘴幀圖像或者首次閉嘴幀圖像；

如果所述當前幀圖像為首次張嘴幀圖像，記錄所述當前幀圖像對應的首次張嘴時刻，并開啟檢測下一幀圖像；如果所述當前幀圖像為張嘴狀態，且所述當前幀圖像的前一幀圖像為閉嘴狀態，則確定所述當前幀圖像為首次張嘴幀圖像；

如果所述當前幀圖像為首次閉嘴幀圖像，記錄所述當前幀圖像對應的首次閉嘴時刻，并獲取在所述當前幀圖像之前最后記錄的首次張嘴時刻，并判斷所述首次閉嘴時刻與所述首次張嘴時刻之間的差值是否大于所述第二預設時長；如果是，將所述打哈欠事件的次數加一，并開啟檢測下一幀圖像；如果所述當前幀圖像為閉嘴狀態，且所述當前幀圖像的前一幀圖像為張嘴狀態，則確定所述當前幀圖像為首次閉嘴幀圖像；

如果所述當前幀圖像為所述連續幀圖像中的最后幀圖像，且所述目標對象在所述當前幀圖像中處于嘴部張開狀態，獲取在所述當前幀圖像之前最后記錄的首次張嘴時刻，并判斷所述當前幀圖像對應的時刻與所述首次張嘴時刻之間的差值是否大于所述第二預設時長；如果是，將所述打哈欠事件的次數加一；

如果所述當前幀圖像不為所述連續幀圖像中的最后幀圖像，且不為首次閉嘴幀圖像和首次張嘴幀圖像，直接開啟檢測下一幀圖像。

2.根據權利要求1所述的方法，其特征在于，所述檢測各所述幀圖像中的所述目標對象的多個嘴部關鍵點的步驟，包括：

分別檢測各所述幀圖像中的所述目標對象的第一嘴部關鍵點、第二嘴部關鍵點、第三嘴部關鍵點和第四嘴部關鍵點；

其中，所述第一嘴部關鍵點為嘴部的左側嘴角，所述第二嘴部關鍵點為嘴部的右側嘴角，所述第三嘴部關鍵點為嘴部上唇的內唇緣中心，所述第四嘴部關鍵點為嘴部下唇的內唇緣中心。

3.根據權利要求2所述的方法，其特征在于，所述基于所述嘴部關鍵點確定所述目標對象在各所述幀圖像中的嘴部開閉狀態的步驟，包括：

分別計算各所述幀圖像中的第一嘴部關鍵點與第二嘴部關鍵點之間的左右距離值、第三嘴部關鍵點和第四嘴部關鍵點之間的上下距離值；

判斷各所述幀圖像中的上下距離值與左右距離值的比值是否大于預設閾值；

將比值大于所述預設閾值的幀圖像確定為所述目標對象處于嘴部張開狀態，將比值小于所述預設閾值的幀圖像確定為所述目標對象處于嘴部閉合狀態。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將確定的打哈欠事件加入至打哈欠列表中，并在所述打哈欠列表中記錄所述打哈欠事件對應的首次張嘴時刻和首次閉嘴時刻；

如果所述打哈欠列表中還記錄有所述第一預設時長之前發生的打哈欠事件，將所述第一預設時長之前發生的打哈欠事件清除；

所述得到所述目標對象在所述第一預設時長內發生的打哈欠事件的次數的步驟，包括：

統計所述打哈欠列表中記錄的所述第一預設時長內的打哈欠事件，將統計次數確定為所述目標對象在所述第一預設時長內發生的打哈欠事件的次數。