[發明專利]神經網絡訓練及眼睛睜閉狀態檢測方法、裝置及設備

在審

• 申請號: 201910153463.4
• 申請日: 2019-02-28
• 公開（公告）號: CN111626087A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 王飛;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種神經網絡訓練方法，其特征在于，包括：

經待訓練的睜閉眼檢測用神經網絡，對至少兩個睜閉眼檢測訓練任務各自對應的圖像集中的多張眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；其中，不同圖像集所包含的眼睛圖像至少部分不同；

根據所述眼睛圖像的眼睛睜閉標注信息和所述神經網絡輸出的眼睛睜閉狀態檢測結果，分別確定至少兩個睜閉眼檢測訓練任務各自對應的損失，并根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失調整所述神經網絡的網絡參數。

2.根據權利要求1所述的方法，其特征在于：

所述至少兩個睜閉眼檢測訓練任務包括以下至少兩個任務：眼睛有附著物情形的睜閉眼檢測任務、眼睛無附著物情形的睜閉眼檢測任務、室內環境下的睜閉眼檢測任務、室外環境下的睜閉眼檢測任務、眼睛有附著物且附著物上有光斑情形的睜閉眼檢測任務、眼睛有附著物且附著物上無光斑情形的睜閉眼檢測任務；

所述至少兩個睜閉眼檢測訓練任務各自對應的圖像集包括以下相應的至少兩個圖像集：眼睛有附著物的眼睛圖像集、眼睛無附著物的眼睛圖像集、室內環境下采集的眼睛圖像集、室外環境下采集的眼睛圖像集、眼睛有附著物且附著物上有光斑的眼睛圖像集、眼睛有附著物且附著物上無光斑的眼睛圖像集。

3.一種眼睛睜閉狀態檢測方法，其特征在于，包括：

獲取待處理圖像；

經神經網絡，對所述待處理圖像，進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；

其中，所述神經網絡是利用上述權利要求1-2所述的方法訓練獲得的。

4.一種智能駕駛控制方法，其特征在于，包括：

獲取車輛上設置的攝像裝置所采集的待處理圖像；

經神經網絡，對所述待處理圖像，進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；

至少根據具有時序關系的多張待處理圖像中的屬于同一目標對象的眼睛睜閉狀態檢測結果，確定所述目標對象的疲勞狀態；

根據所述目標對象的疲勞狀態形成相應的指令，并輸出該指令；

其中，所述神經網絡是利用上述權利要求1-2所述的方法訓練獲得的。

5.一種神經網絡訓練裝置，其特征在于，包括：

待訓練的睜閉眼檢測用神經網絡，用于對至少兩個睜閉眼檢測訓練任務各自對應的圖像集中的多張眼睛圖像，分別進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；其中，不同圖像集所包含的眼睛圖像至少部分不同；

調整模塊，用于根據所述眼睛圖像的眼睛睜閉標注信息和所述神經網絡輸出的眼睛睜閉狀態檢測結果，分別確定至少兩個睜閉眼檢測訓練任務各自對應的損失，并根據所述至少兩個睜閉眼檢測訓練任務各自對應的損失調整所述神經網絡的網絡參數。

6.一種眼睛睜閉狀態檢測裝置，其特征在于，包括：

獲取模塊，用于獲取待處理圖像；

神經網絡，用于對所述待處理圖像，進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；

其中，所述神經網絡是利用上述權利要求5所述的裝置訓練獲得的。

7.一種智能駕駛控制裝置，其特征在于，包括：

獲取模塊，用于獲取車輛上設置的攝像裝置所采集的待處理圖像；

神經網絡，用于對所述待處理圖像，進行眼睛睜閉狀態檢測處理，輸出眼睛睜閉狀態檢測結果；

確定疲勞狀態模塊，用于至少根據具有時序關系的多張待處理圖像中的屬于同一目標對象的眼睛睜閉狀態檢測結果，確定所述目標對象的疲勞狀態；

指令模塊，用于根據所述目標對象的疲勞狀態形成相應的指令，并輸出該指令；

其中，所述神經網絡是利用上述權利要求5所述的裝置訓練獲得的。

8.一種電子設備，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述存儲器中存儲的計算機程序，且所述計算機程序被執行時，實現上述權利要求1-4中任一項所述的方法。