[發明專利]一種基于表情識別的智慧博物館管理系統

有效

• 申請號: 202011404738.6
• 申請日: 2020-12-02
• 公開（公告）號: CN112446337B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 趙軻;張碩;陶鑫;郝聰婷;曹韜;宋翔宇;王念慈;宮新策
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/50;G06V10/774;G06K9/62;G06V10/82;G06N3/04;G06N3/08;G06Q10/06;G06Q50/26
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 甘茂

1.一種基于表情識別的智慧博物館管理系統，包括：視頻采集模塊、人臉檢測模塊、人臉識別模塊、表情識別模塊、數據處理模塊、數據庫及可視化模塊；其特征在于，所述數據庫中預存人臉信息文件夾，所述視頻采集模塊為設置于博物館的每一個展位的攝像頭，通過攝像頭采集得到相應展位的視頻圖像、并輸入人臉檢測模塊，由人臉檢測模塊檢測視頻圖像中的人臉圖像、分別輸入人臉識別模塊和表情識別模塊；所述人臉識別模塊訪問數據庫中人臉信息文件夾，得到人臉圖像的身份信息、并與人臉圖像的幀數信息共同存儲于數據庫中；所述表情識別模塊對人臉圖像進行表情識別，得到表情類別、并存儲于數據庫中；所述數據處理模塊訪問數據庫，計算得到評價指標，并通過可視化模塊進行展示；

所述可視化模塊的可視化方法具體為：

針對游客：根據其參觀展位的前后順序、結合博物館地圖繪制參觀路徑圖，且參觀路徑上的每一個展位標記游客停留時間和表情評分；參觀路徑圖通過微信小程序或APP進行推送至游客，實現可視化；

針對管理者：將各個展位的滿意度評分和吸引力評分通過熱力圖實時顯示；具體為：首先獲取博物館地圖，然后根據數據處理模塊得到的各個展位滿意度和吸引力評分，進行博物館地圖上的熱力圖實時顯示。

2.按權利要求1所述基于表情識別的智慧博物館管理系統，其特征在于，所述人臉檢測模塊采用多任務級聯卷積網絡(MTCNN)模型，所述人臉識別模塊采用FaceNet網絡模型。

3.按權利要求1所述基于表情識別的智慧博物館管理系統，其特征在于，所述表情識別模塊采用A_mini_Xception網絡模型，所述A_mini_Xception網絡模型包括兩個部分，其中，第一部分包含順序連接的2個普通卷積核和5組深度可分離卷積，且每個卷積核后面都會跟著批處理的歸一化操作；每個深度可分離卷積由兩個分支構成，第一分支為順序連接的2個3×3的可分離卷積核(Separable Convolution)與1個最大池化層，第二分支為1個1×1的可分離卷積核，第一分支與第二分支的數據經過殘差連接(residual connection)后輸入到第二部分；第二部分由順序連接的1個3×3的普通卷積核、1個全局平均池化層、1個Softmax層。

4.按權利要求3所述基于表情識別的智慧博物館管理系統，其特征在于，所述A_mini_Xception網絡模型的訓練過程如下：

步驟1.構建訓練集：

步驟1.1.通過互聯網采集或者公開數據集獲取情感圖像，依據情感圖像中表情進行分類：高興、感興趣、專注、困惑、厭煩和疲勞，并制作類型標簽：高興、感興趣、專注、困惑、厭煩和疲勞依次標記為第1類～第6類；

步驟1.2.數據預處理，將情感圖像輸入人臉檢測模型，得到人臉圖像；再對人臉圖像依次進行灰度歸一化和直方圖均衡化處理；將灰度歸一化和直方圖均衡化處理后的人臉圖像及其分類標簽作為訓練樣本，進而得到訓練集；

步驟2.模型訓練：

設置損失函數，采用Adam優化器對網絡模型進行訓練；所述損失函數為：

其中，n為輸入樣本數，m為分類數；y_im表示第i個樣本為第m類的模型預測值，表示第i個樣本的類型標簽。

5.按權利要求1所述基于表情識別的智慧博物館管理系統，其特征在于，所述數據處理模塊中，評價指標包括：游客于每一個展位的駐留時間和滿意度評分，游客對博物館的滿意度評分，每一個展位的滿意度評分和吸引力評分，博物館的總體滿意度評分和平均參觀時間；

每個評價指標的具體計算過程如下：

1)游客于每一個展位的駐留時間和滿意度評分：

駐留時間計算：將游客最后一次出現在本展位的幀數與第一次出現在本展位的幀數進行差值計算，得出游客于本展位的駐留時間；

滿意度計算：以10分為滿分機制為每一類表情賦值：高興：10分、感興趣：8分、專注：7分、困惑：5分、疲勞：3分、厭煩：1分；計算游客于本展位駐留時間內表情分數的平均值作為游客對展位的滿意度評分；

2)游客對博物館的滿意度評分：

針對單一游客建立滿意度計算模型：

R_k＝α₁·x₁+α₂·x₂+...+α_M·x_M+β·T+γ

其中，R_k表示游客k對博物館的滿意度評分，x₁,x₂,...,x_M分別表示游客k參觀第1～第M個展位的滿意度評分，α₁,α₂,...,α_M,β,γ均為預設權重，M為展位總數，T表示游客參觀博物館的總時長；

3)每一個展位的滿意度評分和吸引力評分：

針對單個展位建立吸引力評分模型；假設預設時段共有游客N人，展位數量為M，設表示游客k在第i個展位的表情評分，表示游客k在第i個展位的參觀時間，k＝1,2,...,N，i＝1,2,...,M，R_k表示游客k的滿意度評分；建立單個展位建立吸引力評分模型為：

其中，Q_i表示第i個展位吸引力評分，xⁱ表示第i個展位的滿意度評分：

4)博物館的總體滿意度評分和平均參觀時間：

針對博物館建立綜合評分模型，包括總體滿意度評分與平均參觀時長，其中，

總體滿意度指數R_tol：

平均參觀時長T′：