[發(fā)明專利]基于人臉表情識(shí)別的顧客滿意度獲取方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910645551.6
• 申請(qǐng)日: 2019-07-17
• 公開(kāi)（公告）號(hào): CN110399821B
• 公開(kāi)（公告）日: 2023-05-30
• 發(fā)明（設(shè)計(jì)）人: 趙勤;高浩然;陳宇寧;盧柄屹;侯瑞君;徐騰
• 申請(qǐng)（專利權(quán)）人: 上海師范大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/774;G06V10/82;G06N3/0464;G06V10/764;G06V10/77
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 葉敏華

1.一種基于人臉表情識(shí)別的顧客滿意度獲取方法，其特征在于，包括以下步驟：

S1、通過(guò)攝像頭采集圖像；

S2、基于Haar特征的AdaBoost人臉檢測(cè)方法，對(duì)采集圖像進(jìn)行人臉檢測(cè)，并對(duì)檢測(cè)到的人臉圖片進(jìn)行標(biāo)記及轉(zhuǎn)化；

S3、選取fer2013表情數(shù)據(jù)集，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，得到表情識(shí)別模型；

S4、由表情識(shí)別模型對(duì)標(biāo)記的人臉圖片進(jìn)行表情識(shí)別，得到表情分類結(jié)果；

S5、根據(jù)表情分類結(jié)果，獲取對(duì)應(yīng)的顧客滿意度結(jié)果；

所述步驟S3具體包括以下步驟：

S31、選取fer2013表情數(shù)據(jù)集作為表情識(shí)別數(shù)據(jù)集，將表情識(shí)別數(shù)據(jù)集中的圖片按照8:1:1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并將訓(xùn)練集、驗(yàn)證集和測(cè)試集分別轉(zhuǎn)化成對(duì)應(yīng)的二維矩陣；

S32、對(duì)表情識(shí)別數(shù)據(jù)集中的所有圖片進(jìn)行灰度化和歸一化處理；

S33、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，其中，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由依次連接的處理層、flatten層、第一全連接層、第一dropout層、第二全連接層、第二dropout層和softmax層組成，其中，處理層包括依次連接的三個(gè)子處理層，子處理層由依次連接的第一零填充層、第一卷積層、第二零填充層、第二卷積層、最大池化層和子處理dropout層組成；

S34、輸入訓(xùn)練集的二維矩陣給卷積神經(jīng)網(wǎng)絡(luò)，在子處理層中，第一零填充層對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，在訓(xùn)練集圖片外圍補(bǔ)充0像素點(diǎn)，之后輸入第一卷積層，由過(guò)濾器進(jìn)行卷積運(yùn)算，得到第一特征圖，第一特征圖依次經(jīng)過(guò)第二零填充層和第二卷積層后，得到第二特征圖，再由最大池化層對(duì)第二特征圖進(jìn)行區(qū)域最大化操作，最終從子處理dropout層輸出處理后的訓(xùn)練集二維向量；

S35、經(jīng)過(guò)三個(gè)子處理層后，將處理后的訓(xùn)練集二維向量輸入給flatten層，使二維向量展平成一維向量，再依次經(jīng)過(guò)第一全連接層、第一dropout層、第二全連接層和第二dropout層，最終由softmax層輸出訓(xùn)練集的分類結(jié)果，完成卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)確定；

S36、輸入驗(yàn)證集和測(cè)試集的二維矩陣給參數(shù)確定完成的卷積神經(jīng)網(wǎng)絡(luò)，由驗(yàn)證集對(duì)參數(shù)確定完成的卷積神經(jīng)網(wǎng)絡(luò)的泛化能力進(jìn)行驗(yàn)證，由測(cè)試集得到卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)的值，若該損失函數(shù)的值在預(yù)設(shè)閾值范圍內(nèi)，則完成卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，得到表情識(shí)別模型，否則需返回步驟S34。

2.根據(jù)權(quán)利要求1所述的一種基于人臉表情識(shí)別的顧客滿意度獲取方法，其特征在于，所述步驟S2具體包括以下步驟：

S21、從采集圖像中提取Haar特征；

S22、基于訓(xùn)練數(shù)據(jù)集，對(duì)AdaBoost分類器進(jìn)行訓(xùn)練分類，得到人臉?lè)诸惼鳎?/p>

S23、根據(jù)采集圖像中提取的Harr特征，由人臉?lè)诸惼鬟M(jìn)行人臉檢測(cè)，對(duì)采集圖像中檢測(cè)到的人臉圖片進(jìn)行標(biāo)記，并將標(biāo)記的人臉圖片轉(zhuǎn)化為48像素×48像素。

3.根據(jù)權(quán)利要求2所述的一種基于人臉表情識(shí)別的顧客滿意度獲取方法，其特征在于，所述步驟S21具體是將采集圖像的內(nèi)部特征分為四種類型：邊緣特征、線性特征、中心特征和對(duì)角線特征，所述邊緣特征、線性特征、中心特征和對(duì)角線特征組合成Haar特征模板，其中，Haar特征模板內(nèi)包括白色矩形區(qū)域和黑色矩形區(qū)域，Haar特征的特征值具體為：

式中，C表示Haar特征的特征值，GS表示灰度值，W表示白色矩形區(qū)域，B表示黑色矩形區(qū)域。