[發明專利]控制方法、模型訓練方法、裝置及電子設備

在審

• 申請號: 201811116034.1
• 申請日: 2018-09-25
• 公開（公告）號: CN109240504A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 陳曦;王塑
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 徐麗

1.一種控制方法，其特征在于，包括：

獲取目標對象的人臉圖像集；

將所述人臉圖像集輸入人眼檢測模型進行識別，得到目標人眼狀態；

根據所述目標人眼狀態獲得控制信號；以及

使用該控制信號控制指定設備執行對應操作。

2.如權利要求1所述的控制方法，其特征在于，所述根據所述目標人眼狀態獲得控制信號，包括：

將所述目標人眼狀態與設定的控制規則進行匹配得到控制信號。

3.如權利要求2所述的控制方法，其特征在于，所述設定的控制規則至少包括以下之一：

眨左眼睛對應輸入設備的第一指令；

眨右眼睛對應輸入設備的第二指令；

閉左眼睛睜右眼睛對應輸入設備的第三指令；

閉右眼睛睜左眼睛對應輸入設備的第四指令。

4.如權利要求3所述的控制方法，其特征在于，所述獲取目標對象的人臉圖像集，包括：

采集目標對象的在一段時間的連續多幀圖像，得到人臉圖像集。

5.如權利要求4所述的控制方法，其特征在于，所述將所述人臉圖像集輸入人眼檢測模型進行識別，得到目標人眼狀態，包括：

將所述人臉圖像集中的每一個人臉圖像輸入所述人眼檢測模型進行識別，得到多個人眼狀態，其中，人眼狀態包括睜閉狀態和視線位置；

根據所述多個人眼狀態判斷其中第一眼睛的閉眼狀態的圖像數量是否小于第一預設值，若否，則判定所述人臉圖像集對應的目標人眼狀態為閉合所述第一眼睛的狀態；將所述閉合所述第一眼睛的狀態和所述視線位置作為目標人眼狀態。

6.如權利要求5所述的控制方法，其特征在于，所述根據所述多個人眼狀態判斷其中第一眼睛的閉眼狀態的圖像數量是否小于第一預設值，包括：

判斷所述多個人眼狀態中第一眼睛的連續的閉眼狀態的圖像數量是否小于第一預設值。

7.如權利要求4所述的控制方法，其特征在于，所述將所述人臉圖像集輸入人眼檢測模型進行識別，得到目標人眼狀態，包括：

將所述人臉圖像集中的每一個人臉圖像輸入所述人眼檢測模型進行識別，得到多個人眼狀態，其中，人眼狀態包括睜閉狀態和視線位置；

根據所述多個人眼狀態判斷其中第二眼睛的閉眼狀態的圖像數量是否小于第一預設值，且大于第二預設值，若是，則判定所述人臉圖像集對應的目標人眼狀態為眨所述第二眼睛的狀態，將所述眨所述第二眼睛的狀態和所述視線位置作為目標人眼狀態，其中，所述第二預設值小于所述第一預設值。

8.如權利要求7所述的控制方法，其特征在于，所述根據所述多個人眼狀態判斷其中第二眼睛的閉眼狀態的圖像數量是否小于第一預設值，且大于第二預設值，包括：

判斷所述多個人眼狀態中第一眼睛的連續的閉眼狀態的圖像數量是否小于第一預設值，且大于第二預設值。

9.如權利要求1所述的控制方法，其特征在于，所述人眼檢測模型包括第一識別模型和第二識別模型，所述目標人眼狀態中包括視線位置，所述目標人眼狀態中的視線位置通過以下方式識別：

將所述人臉圖像集中的人臉圖像輸入所述第一識別模型得到標識數據，所述標識數據包括人臉關鍵點；

根據所述人臉關鍵點進行圖像截取，得到人眼圖像；

將所述人眼圖像和所述標識數據輸入第二識別模型進行識別，得到視線位置。

10.如權利要求9所述的控制方法，其特征在于，所述標識數據還包括人臉朝向數據、人臉大小數據、人臉特征數據；所述第二識別模型包括第一網絡模型和第二網絡模型，所述將所述標識數據輸入第二識別模型進行識別，得到視線位置，包括：

將所述人眼圖像輸入所述第一網絡模型得到人眼特征；

將所述人臉朝向數據、人臉大小數據、人臉特征數據、人眼特征輸入所述第二網絡模型進行識別得到視線位置。