[發明專利]基于人臉識別的無人值守門店客戶數據整合方法

在審

• 申請號: 201710673598.4
• 申請日: 2017-08-09
• 公開（公告）號: CN107609476A
• 公開（公告）日: 2018-01-19
• 發明（設計）人: 肖亮;李陽;王銅安;汪澍
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q20/40
• 代理公司: 杭州天正專利事務所有限公司33201
• 代理人: 王兵,黃美娟

1.基于人臉識別的無人值守門店客戶數據整合方法，包括以下步驟：

步驟1.人臉圖像數據庫：這里的數據庫是一個圖片集合，假設圖片是關于u_v個人物的；每個人都拍攝了u_w張不同表情的面部照片，這里將拍攝角度、光照等不同條件都當作不同的表情，每一張圖片是一個行列的矩陣，則每張圖片的像素點的總數為令即u_j代表圖片的像素點總數；通常情況下，u_j≥5000，且u_j>u_wu_v；將每張同一人物在不同表情下的圖片的所有列向量按照從左到右的順序從上到下拼接起來，形成列向量，每張圖片就可以表示成一個長度為u_j的列向量；最終可以將數據庫中的圖片組織成張量的形式，并且張量A的三個模態分別為圖像模態，表情模態，人物模態；

步驟2.人臉圖像采集及檢測：在支付階段的人臉識別，只要客戶進入到采集設備的拍攝范圍內，采集設備就會自動搜索并拍攝用戶的人臉圖像；人臉檢測機制在圖像中準確標定出人臉的位置和大小，將有用的信息挑出來；

步驟3.人臉圖像預處理：數據庫是一個圖片的集合，所以在支付階段為了實現快速支付，圖像的傳輸速度是關鍵，所以對人臉圖像進行壓縮傳輸是解決支付階段中圖像傳輸速度最好的解決辦法；

若將人臉圖像表示為m×n維矩陣Q，將矩陣Q進行奇異值分解得到

Q＝WΣT^S(1)

式中，W、T分別成為左、右標架矩陣，∑則稱為奇異值矩陣；對人臉圖像的數據壓縮就是對W、∑、T采取標架矩陣替代法進行壓縮；

將采集到人臉圖像轉換為矩陣Σ＝W^SQT利用它來提取奇異值；傳輸奇異值矩陣∑、左標架矩陣假W和右標架矩陣T的數據，將采集到的下一幀人臉圖像轉換為矩陣Q，利用式∑＝W^SQT提取奇異值；利用奇異值矩陣∑替代原人臉圖像矩陣進行傳輸；假定壓縮后的人臉圖像為Q'，根據人臉圖像矩陣的壓縮規則有：

SNR(R-R')≥SNR_M(2)

因此可以直接利用Σ代替人臉圖像進行傳輸和壓縮，同時實現將傳輸過來的奇異值矩陣數據利用式Q＝W∑T^S在輸出端恢復為人臉圖像；這種壓縮方法的壓縮比較高，為：

Pr=LB-LdLB---(3)]]>

步驟4.匹配與識別：若u_j>u_wu_v,可對張量A進行精簡的操作：

A＝P×_jK×_wY×_vC(4)

其中是核心張量，與都是正交陣，是列正交陣，矩陣K，Y,C分別對應張量的圖像模態分量、表情模態分量和人物模態分量；也可將(4)式寫成如下形式：

A＝D×_vC,D＝P×_jK×_wY(5)

將表情的值固定，則對于某個確定的w值為：

A(:,w,:)＝D(:,w,:)×_vC(6)

A(:,w,:)和D(:,w,:)是張量的切面，可將它們看作矩陣，記為A_w和D_w；對于任意的表情w，都有如下線性關系：

A＝D_w×C^T，w＝1,2,...,u_w(7)

注意到相同的正交矩陣C出現在了全部的u_w個線性關系中；令則式(7)中第v列可寫成如下式子：

av(w)=Dwcv---(8)]]>

它表明矩陣D_w的列向量共同組成了表情w的一組基底，即表情坐標系；即數據庫中所有存在的人物的第w個表情都存在于該組基底構成的線性空間中，對于人物v的表情w，則存在一個對應該坐標系下的坐標c_v；通過這種方法進行分解，就提取出了人物的特征信息；接下來就是識別過程，假設向量是一張未知人物的未知表情的照片為被測圖片，要識別被測圖片是否在數據庫中，假設它是第v個人物的第w張表情的圖片，則z在該表情坐標系下的線性表示的坐標應該與c_v相等；于是，通過計算被測圖片在每一個表情坐標系下的坐標，并且將其與人物模態矩陣每一行進行比對來進行身份識別；若它與人物模態矩陣的任何一行的差的范數小于某一給定的閾值，就認為匹配成功，反之則匹配失敗；

步驟5.傳輸數據統一性：也就是使得在人臉識別的過程中將壓縮過后的圖片和文本或其他類型格式的數據以統一的格式在輸出端顯示；此過程需要涉及到移動事務管理器，因為配合支付終端涉及到交易事務數據，并且伴隨著人臉圖像和一些其他類型的文本信息等，都將通過移動事務管理器進行處理后以統一的數據格式進行傳輸；

步驟6.完成支付并采集存儲新人臉圖像完善數據庫：通過步驟4、步驟5完成了人臉識別支付工作，但是這個過程中有可能會遇到沒有在數據庫中存儲人臉圖像的人群存在；所以在這一步中為了便于門店管理、也為了完善某一地區內門店人臉數據庫的完整性，通過步驟1將此類人群的人臉面像添加至數據庫中，以備后續使用。