[發明專利]用戶的睡眠狀態檢測方法及裝置

在審

• 申請號: 202010347859.5
• 申請日: 2020-04-28
• 公開（公告）號: CN111563435A
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 劉業鵬;程駿;龐建新;熊友軍
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 劉永康

本申請屬于計算機視覺的技術領域，提供了一種用戶的睡眠狀態檢測方法及裝置，該方法包括：獲取攝像裝置實時拍攝用戶人臉得到的視頻數據；分別提取視頻數據的每一幀圖像中用戶的虹膜特征信息，并根據提取到的虹膜特征信息進行人眼檢測得到人眼位置信息；根據各個所述圖像對應的人眼位置信息從所述圖像內確定人眼區域圖像；分別提取各個所述人眼區域圖像的人眼輪廓信息，得到若干人眼關鍵點的坐標數據；根據所有所述圖像對應的若干人眼關鍵點的所述坐標數據，對所述用戶的睡眠狀態進行檢測得到睡眠狀態檢測結果，以根據所述睡眠狀態檢測結果設置桌面機器人的運行狀態。本申請實施例解決桌面機器人計算性能小造成無法準確檢測用戶的睡眠狀態的問題。

技術領域

本發明涉及計算機視覺的技術領域，尤其涉及一種用戶的睡眠狀態檢測方法及裝置。

背景技術

為實現更便捷的居家生活和智能互動，桌面機器人已經大量的在用戶生活中得到使用。桌面機器人具備播放音樂、播放新聞以及跳舞等功能。桌面機器人與用戶之間的互動過程中，往往需要用戶通過智能終端登錄相應的APP(應用程序)對桌面機器人發出對應的指令，才能使得桌面機器人執行各種操作。若在特殊應用場景下需暫停機器人的使用時，需要用戶主動進行操作，造成不便。例如桌面機器人在給兒童用戶閱讀圖書的時候，當用戶進入睡眠狀態后，為節省電量需控制桌面機器人進入待機或者關機狀態。為使桌面機器人能夠根據用戶的狀態自主控制運行狀態，需要桌面機器人對用戶的人臉進行判斷，以確定用戶的意識狀態。

現有技術中，人臉關鍵點檢測技術用于對人臉跟蹤和人臉校正等領域。人臉包括人眼、鼻子、嘴巴三個區域。目前的人臉關鍵點檢測技術在應用的時候都是先檢測人臉框區域，然后檢測臉部輪廓以及五官的關鍵點位置。這種方式需要采用比較大的深度學習模型才能確保檢測精度，而桌面機器人的計算性能十分有限，無法執行計算量大的人臉檢測模型。

發明內容

有鑒于此，本發明實施例提供了一種用戶的睡眠狀態檢測方法及裝置，以解決桌面機器人計算性能小造成無法準確檢測用戶的睡眠狀態的問題。

本發明實施例的第一方面提供了一種用戶的睡眠狀態檢測方法，包括：

獲取攝像裝置實時拍攝用戶人臉得到的視頻數據；

分別提取所述視頻數據的每一幀圖像中所述用戶的虹膜特征信息，并根據提取到的虹膜特征信息進行人眼檢測得到人眼位置信息；

根據各個所述圖像對應的人眼位置信息從所述圖像內確定人眼區域圖像；

分別提取各個所述人眼區域圖像的人眼輪廓信息，得到若干人眼關鍵點的坐標數據；所述若干人眼關鍵點用于表示所述人眼區域圖像中上眼瞼和下眼瞼與虹膜中心之間的位置關系；

根據所有所述圖像對應的若干人眼關鍵點的所述坐標數據，對所述用戶的睡眠狀態進行檢測得到睡眠狀態檢測結果，以根據所述睡眠狀態檢測結果設置桌面機器人的運行狀態。

在一個實施示例中，所述分別提取所述視頻數據的每一幀圖像中所述用戶的虹膜特征信息，并根據提取到的虹膜特征信息進行人眼檢測得到人眼位置信息，包括：

將所述圖像輸入虹膜檢測模型包含的若干可分離卷積模塊提取所述用戶的多尺度虹膜特征，并通過所述虹膜檢測模型包含的若干特征金字塔模塊結合所述多尺度虹膜特征生成虹膜特征信息；

將所述虹膜特征信息導入所述虹膜檢測模型包含的若干多尺度預測模塊對所述圖像進行人眼檢測，得到人眼位置信息。

在一個實施示例中，所述根據各個所述圖像對應的人眼位置信息從所述圖像內確定人眼區域圖像和所述分別提取各個所述人眼區域圖像的人眼輪廓信息，得到若干人眼關鍵點的坐標數據，包括：

分別將各個所述圖像對應的所述人眼位置信息導入至人眼輪廓檢測模型包含的若干可分離卷積層，從所述圖像內確定人眼區域圖像并對所述人眼區域圖像進行人眼輪廓信息提取，得到輪廓特征信息；