[發(fā)明專利]基于CNN的注意力檢測(cè)系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110136798.2
• 申請(qǐng)日: 2021-02-01
• 公開（公告）號(hào): CN112836630A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 曾云輝;王榕;婁越;廖梓鈞;戴源志;陳世帆;陳伊琳;張子怡;郭洪飛;袁博
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳國(guó)際研究生院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06K9/40;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

1.一種基于CNN的注意力檢測(cè)方法，其特征在于，包括如下步驟：

S1、采集包含待檢測(cè)人員面部的視頻信息；

S2、對(duì)采集的所述視頻信息進(jìn)行處理，確定圖像中的目標(biāo)區(qū)域；

S3、在所述目標(biāo)區(qū)域的基礎(chǔ)上進(jìn)行人臉的檢測(cè)，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并識(shí)別人眼，如果檢測(cè)到睜開的人眼則判斷待檢測(cè)人員注意力集中，如果未檢測(cè)到睜開的人眼則判斷待檢測(cè)人員的注意力不集中。

2.如權(quán)利要求1所述的注意力檢測(cè)方法，其特征在于，步驟S2中，提取所述視頻信息的連續(xù)三幀圖像，使用所述連續(xù)三幀圖像計(jì)算中間幀圖像與前后兩幀圖像的兩個(gè)差分圖像，再將所述兩個(gè)差分圖像中的對(duì)應(yīng)像素相乘，進(jìn)而通過預(yù)設(shè)的閾值來分割出目標(biāo)區(qū)域。

3.如權(quán)利要求1或2所述的注意力檢測(cè)方法，其特征在于，步驟S3中，在所述目標(biāo)區(qū)域的基礎(chǔ)上進(jìn)行人臉的檢測(cè)包括：

采用基于HSV與YCbCr色彩空間的多人臉檢測(cè)方法建立膚色模型實(shí)現(xiàn)人臉定位，結(jié)合膚色特性在對(duì)應(yīng)色彩空間中的取值范圍進(jìn)行圖像分割，然后根據(jù)相應(yīng)的比例進(jìn)行人臉檢測(cè)定位；優(yōu)選地，先利用中值濾波方法對(duì)分割后的圖像進(jìn)行降噪處理再進(jìn)行人臉檢測(cè)定位。

4.如權(quán)利要求1至3任一項(xiàng)所述的注意力檢測(cè)方法，其特征在于，步驟S3中，所述卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、池化層、全連接層以及輸出層，優(yōu)選地，卷積層數(shù)3-5層。

5.如權(quán)利要求4所述的注意力檢測(cè)方法，其特征在于，步驟S3中，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取包括：

從輸入層Input到卷積層conv1，進(jìn)行卷積操作，輸出特征圖；

從卷積層conv1到池化層pool1，進(jìn)行池化操作，輸出特征圖；

從池化層pool1到卷積層conv2，進(jìn)行卷積操作，輸出特征圖；

從卷積層conv2到池化層pool2，進(jìn)行池化操作，輸出特征圖；

從池化層pool2到卷積層conv3，進(jìn)行卷積操作，輸出特征圖；

然后通過全連接層Fcl輸出多維的特征向量。

6.如權(quán)利要求1至5任一項(xiàng)所述的注意力檢測(cè)方法，其特征在于，步驟S3中，利用進(jìn)化算法中的遺傳算法與進(jìn)化策略相結(jié)合的方式對(duì)卷積算法中由各卷積層提取的人臉特征進(jìn)行尋優(yōu)處理，其中，通過確定適應(yīng)度函數(shù)，進(jìn)行交叉計(jì)算，得到人臉最優(yōu)特征子集。

7.如權(quán)利要求1至6任一項(xiàng)所述的注意力檢測(cè)方法，其特征在于，步驟S3還包括：通過特征可視化技術(shù)，將提取到的特征圖進(jìn)行部分尋優(yōu)。

8.如權(quán)利要求1至7任一項(xiàng)所述的注意力檢測(cè)方法，其特征在于，步驟S3中，所述識(shí)別人眼采用基于AdaBoost的人眼檢測(cè)算法，選用的分類器的訓(xùn)練樣本是以瞳孔為中心的、以眉毛上沿為邊界的睜開的人眼樣本。

9.一種基于CNN的注意力檢測(cè)系統(tǒng)，其特征在于，包括信息采集模塊和信息處理裝置，所述信息采集模塊用于采集包含待檢測(cè)人員面部的視頻信息，所述信息處理裝置經(jīng)配置以用于：對(duì)采集的所述視頻信息進(jìn)行處理，確定圖像中的目標(biāo)區(qū)域；在所述目標(biāo)區(qū)域的基礎(chǔ)上進(jìn)行人臉的檢測(cè)，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并識(shí)別人眼，如果檢測(cè)到睜開的人眼則判斷待檢測(cè)人員注意力集中，如果未檢測(cè)到睜開的人眼則判斷待檢測(cè)人員的注意力不集中。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的注意力檢測(cè)方法的步驟S2-步驟S3。