[發(fā)明專利]用戶的睡眠狀態(tài)檢測(cè)方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010347859.5
• 申請(qǐng)日: 2020-04-28
• 公開（公告）號(hào): CN111563435A
• 公開（公告）日: 2020-08-21
• 發(fā)明（設(shè)計(jì)）人: 劉業(yè)鵬;程駿;龐建新;熊友軍
• 申請(qǐng)（專利權(quán)）人: 深圳市優(yōu)必選科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06F3/01
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 劉永康

1.一種用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，包括：

獲取攝像裝置實(shí)時(shí)拍攝用戶人臉得到的視頻數(shù)據(jù)；

分別提取所述視頻數(shù)據(jù)的每一幀圖像中所述用戶的虹膜特征信息，并根據(jù)提取到的虹膜特征信息進(jìn)行人眼檢測(cè)得到人眼位置信息；

根據(jù)各個(gè)所述圖像對(duì)應(yīng)的人眼位置信息從所述圖像內(nèi)確定人眼區(qū)域圖像；

分別提取各個(gè)所述人眼區(qū)域圖像的人眼輪廓信息，得到若干人眼關(guān)鍵點(diǎn)的坐標(biāo)數(shù)據(jù)；所述若干人眼關(guān)鍵點(diǎn)用于表示所述人眼區(qū)域圖像中上眼瞼和下眼瞼與虹膜中心之間的位置關(guān)系；

根據(jù)所有所述圖像對(duì)應(yīng)的若干人眼關(guān)鍵點(diǎn)的所述坐標(biāo)數(shù)據(jù)，對(duì)所述用戶的睡眠狀態(tài)進(jìn)行檢測(cè)得到睡眠狀態(tài)檢測(cè)結(jié)果，以根據(jù)所述睡眠狀態(tài)檢測(cè)結(jié)果設(shè)置桌面機(jī)器人的運(yùn)行狀態(tài)。

2.如權(quán)利要求1所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，所述分別提取所述視頻數(shù)據(jù)的每一幀圖像中所述用戶的虹膜特征信息，并根據(jù)提取到的虹膜特征信息進(jìn)行人眼檢測(cè)得到人眼位置信息，包括：

將所述圖像輸入虹膜檢測(cè)模型包含的若干可分離卷積模塊提取所述用戶的多尺度虹膜特征，并通過所述虹膜檢測(cè)模型包含的若干特征金字塔模塊結(jié)合所述多尺度虹膜特征生成虹膜特征信息；

將所述虹膜特征信息導(dǎo)入所述虹膜檢測(cè)模型包含的若干多尺度預(yù)測(cè)模塊對(duì)所述圖像進(jìn)行人眼檢測(cè)，得到人眼位置信息。

3.如權(quán)利要求1所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，所述根據(jù)各個(gè)所述圖像對(duì)應(yīng)的人眼位置信息從所述圖像內(nèi)確定人眼區(qū)域圖像和所述分別提取各個(gè)所述人眼區(qū)域圖像的人眼輪廓信息，得到若干人眼關(guān)鍵點(diǎn)的坐標(biāo)數(shù)據(jù)，包括：

分別將各個(gè)所述圖像對(duì)應(yīng)的所述人眼位置信息導(dǎo)入至人眼輪廓檢測(cè)模型包含的若干可分離卷積層，從所述圖像內(nèi)確定人眼區(qū)域圖像并對(duì)所述人眼區(qū)域圖像進(jìn)行人眼輪廓信息提取，得到輪廓特征信息；

將所述輪廓特征信息輸入至所述人眼輪廓檢測(cè)模型包含的若干全連接層，得到所述若干人眼關(guān)鍵點(diǎn)的坐標(biāo)數(shù)據(jù)。

4.如權(quán)利要求1所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，所述根據(jù)所有所述圖像對(duì)應(yīng)的若干人眼關(guān)鍵點(diǎn)的所述坐標(biāo)數(shù)據(jù)，對(duì)所述用戶的睡眠狀態(tài)進(jìn)行檢測(cè)得到睡眠狀態(tài)檢測(cè)結(jié)果，以根據(jù)所述睡眠狀態(tài)檢測(cè)結(jié)果設(shè)置桌面機(jī)器人的運(yùn)行狀態(tài)，包括：

根據(jù)所述每一幀圖像對(duì)應(yīng)的若干人眼關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)確定以所述虹膜中心為頂點(diǎn)時(shí)所述上眼瞼與所述下眼瞼的閉合角度；

若所述閉合角度小于預(yù)設(shè)閾值，則所述睡眠狀態(tài)檢測(cè)結(jié)果為睡眠狀態(tài)；

若所述閉合角度等于或大于所述預(yù)設(shè)閾值，則所述睡眠狀態(tài)檢測(cè)結(jié)果為清醒狀態(tài)。

5.如權(quán)利要求4所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，所述根據(jù)所有所述圖像對(duì)應(yīng)的若干人眼關(guān)鍵點(diǎn)的所述坐標(biāo)數(shù)據(jù)，對(duì)所述用戶的睡眠狀態(tài)進(jìn)行檢測(cè)得到睡眠狀態(tài)檢測(cè)結(jié)果，以根據(jù)所述睡眠狀態(tài)檢測(cè)結(jié)果設(shè)置桌面機(jī)器人的運(yùn)行狀態(tài)，還包括：

根據(jù)所述每一幀圖像對(duì)應(yīng)的若干人眼關(guān)鍵點(diǎn)坐標(biāo)數(shù)據(jù)對(duì)用戶的睡眠狀態(tài)進(jìn)行檢測(cè)得到睡眠狀態(tài)檢測(cè)結(jié)果；

若在所述視頻數(shù)據(jù)中存在連續(xù)十幀圖像中N幀圖像對(duì)應(yīng)的睡眠狀態(tài)檢測(cè)結(jié)果為所述睡眠狀態(tài)，則控制所述桌面機(jī)器人進(jìn)入待機(jī)或關(guān)機(jī)狀態(tài)；其中，N為預(yù)設(shè)幀數(shù)閾值。

6.如權(quán)利要求1至5任一項(xiàng)所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，所述人眼位置信息包括在所述圖像中限定所述人眼區(qū)域圖像范圍的兩個(gè)坐標(biāo)向量。

7.如權(quán)利要求1至5任一項(xiàng)所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，在所述獲取攝像裝置實(shí)時(shí)拍攝用戶人臉得到的視頻數(shù)據(jù)之前，還包括：

根據(jù)第一訓(xùn)練數(shù)據(jù)對(duì)所述虹膜檢測(cè)模型進(jìn)行人眼檢測(cè)訓(xùn)練；所述第一訓(xùn)練數(shù)據(jù)包括標(biāo)注有所述人眼位置信息的人臉圖像樣本數(shù)據(jù)集。

8.如權(quán)利要求7所述的用戶的睡眠狀態(tài)檢測(cè)方法，其特征在于，在所述獲取攝像裝置實(shí)時(shí)拍攝用戶人臉得到的視頻數(shù)據(jù)之前，還包括：

根據(jù)第二訓(xùn)練數(shù)據(jù)對(duì)所述人眼輪廓檢測(cè)模型進(jìn)行人眼輪廓信息提取訓(xùn)練；所述第二訓(xùn)練數(shù)據(jù)包括根據(jù)預(yù)設(shè)標(biāo)注規(guī)則標(biāo)注有所述若干人眼關(guān)鍵點(diǎn)的人眼圖像樣本數(shù)據(jù)集。