[發明專利]一種客戶體驗的采集方法及系統

在審

• 申請號: 201710448336.8
• 申請日: 2017-06-14
• 公開（公告）號: CN107341688A
• 公開（公告）日: 2017-11-10
• 發明（設計）人: 閆少建
• 申請（專利權）人: 北京萬相融通科技股份有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06K9/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種客戶體驗的采集方法，其特征在于，該方法包括如下步驟：

S1、實時采集客戶進入商戶直至客戶離開的全過程圖像；

S2、采用人臉識別技術，通過對S1采集到的客戶圖像分析，生成客戶情緒指標。

2.根據權利要求1所述客戶體驗的采集方法，其特征在于，所述S2包括：

S21、建立人臉情緒表情數據庫；

S22、采用人臉識別技術檢測人臉面部特征，準確標出人臉的位置和大小，獲取客戶面部圖像，經預處理后存儲，再進行人臉圖像特征提取，將提取出的人臉圖像特征與人臉情緒表情數據庫中的表情圖像做比對，生成客戶情緒指標。

3.根據權利要求2所述客戶體驗的采集方法，其特征在于，所述S22中通過人臉圖像特征提取，獲得客戶面部表情圖像，將客戶面部表情圖像與人臉情緒表情數據庫中的表情圖像逐一比對，選取人臉情緒表情數據庫中與客戶面部表情相似度最高的表情圖像，該表情圖像所對應的情緒指標，即為客戶當前情緒指標。

4.根據權利要求3所述客戶體驗的采集方法，其特征在于，所述S22中將客戶面部表情圖像與人臉情緒表情數據庫中的表情圖像逐一比對時，采用幾何特征提取方法，分別將客戶面部表情圖像中、人臉情緒表情數據庫的表情圖像中的嘴、眉毛、鼻子、眼睛這些人臉表情的顯著特征的形狀和位置變化進行定位和測量，確定出各自圖像中嘴、眉毛、鼻子、眼睛形狀、大小、距離及相互比例，最后將客戶面部表情圖像中嘴、眉毛、鼻子、眼睛形狀、大小、距離及相互比例與人臉情緒表情數據庫的表情圖像中的嘴、眉毛、鼻子、眼睛形狀、大小、距離及相互比例進行比對。

5.根據權利要求2所述客戶體驗的采集方法，其特征在于，所述S21在人臉情緒表情數據庫中，對每種情緒指標賦予數值；

所述S22中得到客戶情緒指標后，建立以客戶進入商戶直至離開商戶時間為橫軸，客戶情緒指標賦予的數值為縱軸的函數關系，并生成可視化顯示。

6.根據權利要求2所述客戶體驗的采集方法，其特征在于，所述S22中獲取客戶面部圖像時，還包括將從S1獲取的客戶圖像實時分析視頻幀，從視頻幀中提取人臉圖像序列、采集圖像的時間、以及采集客戶圖像裝置的IP地址信息。

7.根據權利要求6所述客戶體驗的采集方法，其特征在于，所述S22中還包括根據采集圖像的時間、采集客戶圖像裝置的IP地址信息進行時間區段、位置區域客戶情緒指標的統計分析。

8.根據權利要求2所述客戶體驗的采集方法，其特征在于，所述S21中還包括創建商戶輸入區域，商戶可輸入與客戶交流得到的客戶情緒指標，在人臉情緒表情數據庫添加商戶上傳、選取的客戶面圖像和客戶情緒指標，進行深度學習。

9.一種客戶體驗的采集系統，其特征在于，該系統包括圖像采集模塊、與圖像采集模塊連接的客戶情緒分析模塊；

圖像采集模塊用于實時采集客戶進入商戶直至客戶離開商戶的全過程圖像；

客戶情緒分析模塊用于通過對采集到的客戶圖像分析，生成客戶情緒指標。

10.根據權利要求9所述客戶體驗的采集系統，其特征在于，所述客戶情緒分析模塊包括人臉情緒表情數據庫、人臉識別芯片、比對模塊、生成客戶情緒指標模塊；

人臉識別芯片包括相互連接的人臉檢測模塊、獲取客戶面部圖像模塊、人臉圖像預處理模塊、人臉圖像特征提取模塊；

人臉情緒表情數據庫用于建立人臉情緒表情數據庫；

人臉識別芯片用于檢測人臉面部特征，準確標出人臉的位置和大小，獲取客戶面部圖像，經預處理后存儲，再進行人臉圖像特征提取；

比對模塊用于將提取出的人臉圖像特征與人臉情緒表情數據庫中的表情圖像做比對；

生成客戶情緒指標模塊用于接收比對模塊的結果，將結果進行可視化顯示；

人臉情緒表情數據庫包括設置情緒指標模塊，設置情緒指標模塊將人臉情緒表情數據庫中每種情緒指標賦予數值；

生成客戶情緒指標模塊包括分析客戶情緒趨勢模塊，分析客戶情緒趨勢模塊用于得到客戶情緒指標后，建立以客戶進入商戶直至離開商戶時間為橫軸，客戶情緒指標賦予的數值為縱軸的函數關系，并生成可視化顯示；

生成客戶情緒指標模塊包括實時分析視頻幀模塊，實時分析視頻幀模塊用于從獲取的客戶面部圖像中從視頻幀中提取人臉圖像序列、采集圖像的時間、以及采集客戶圖像裝置的IP地址信息；

生成客戶情緒指標模塊包括與實時分析視頻幀模塊連接的客戶情緒指標統計分析模塊，客戶情緒指標統計分析模塊用于根據從實時分析視頻幀模塊獲取的人臉圖像序列、采集圖像的時間、采集客戶面部圖像裝置的IP地址信息進行時間區段、位置區域客戶情緒指標的統計分析；

人臉情緒表情數據庫包括商戶輸入模塊，用于商戶輸入與客戶交流得到的客戶情緒指標，添加商戶上傳、選取的客戶面圖像和對應的情緒指標，使人臉情緒表情數據庫進行深度學習。