[發明專利]基于人臉識別和聲紋識別的交互式認證系統及方法

在審

• 申請號: 201611181543.3
• 申請日: 2016-12-20
• 公開（公告）號: CN106790054A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 劉東;李曉冬;楊震泉;彭世偉;孫云松;孟慶康
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06K9/00;G10L15/22;G10L15/26;G10L25/51
• 代理公司: 成都虹橋專利事務所(普通合伙)51124
• 代理人: 李凌峰

1.基于人臉識別和聲紋識別的交互式認證系統，包括終端及服務器，終端與服務器通過網絡連接，其特征在于，

所述終端用于獲取被檢測用戶的面部視頻及采集用戶輸入的語音音頻數據將其發送至服務器，且顯示服務器發送來的顯示提示信息；

所述服務器用于進行用戶面部特征參數進行匹配和用戶聲紋特征向量進行匹配，并將聲紋識別結果與人臉識別結果進行集合取交集，若交集中只有一個結果，則認為驗證成功，返回終端驗證成功信息。

2.如權利要求1所述的基于人臉識別和聲紋識別的交互式認證系統，其特征在于，

所述進行用戶面部特征參數進行匹配和用戶聲紋特征向量進行匹配是指：服務器從接收到的被檢測用戶的面部視頻獲取用戶面部特征參數，將獲取的用戶面部特征參數與服務器預先存儲的所有用戶面部特征參數進行匹配，匹配成功則得到人臉識別結果，然后向終端發送預設聲音口令文本，在接收到終端的語音采集模塊發送來的語音音頻數據后，將其轉換為文本內容，并將該文本內容與之前所發送的聲音口令文本進行匹配，匹配成功則提取該語音音頻數據中的聲紋特征向量，將其與服務器預先存儲的所有用戶聲紋特征向量進行匹配，匹配成功則得到聲紋識別結果。

3.如權利要求2所述的基于人臉識別和聲紋識別的交互式認證系統，其特征在于，所述終端包括顯示模塊、人臉視頻采集模塊、語音采集模塊及第一通訊模塊，服務器包括人臉識別模塊、語音識別模塊、驗證模塊、數據庫及第二通訊模塊，所述顯示模塊、人臉視頻采集模塊、語音采集模塊分別與第一通訊模塊連接，人臉識別模塊、語音識別模塊、驗證模塊分別與第二通訊模塊連接，人臉識別模塊、語音識別模塊分別與驗證模塊連接，數據庫模塊分別與人臉識別模塊、語音識別模塊及驗證模塊連接，第一通訊模塊與第二通訊模塊通過網絡連接，

所述人臉視頻采集模塊用于獲取被檢測用戶的面部視頻將其通過第一通訊模塊及第二通訊模塊發送至人臉識別模塊；

所述語音采集模塊用于采集用戶輸入的語音音頻數據將其通過第一通訊模塊及第二通訊模塊發送至語音識別模塊；

所述顯示模塊用于顯示服務器發送來的顯示提示信息，包括人臉識別失敗信息、聲音口令輸入不正確信息、驗證失敗信息、聲音口令文本及驗證成功信息；

所述第一通訊模塊及第二通訊模塊用于終端與服務器之間的信息交互；

所述人臉識別模塊用于接收到被檢測用戶的面部視頻后對其進行過濾及去噪，并提取關鍵幀，根據關鍵幀獲取用戶面部特征參數，選取其中的關鍵特征參數與數據庫中所存儲的所有用戶面部特征參數進行匹配，若匹配成功則將匹配成功結果發送給驗證模塊，該匹配成功結果即為人臉識別結果，若匹配失敗則將返回終端人臉識別失敗信息；

所述語音識別模塊用于在接收到驗證模塊發送來的語音識別請求后，向終端發送預設聲音口令文本，令終端通過顯示模塊顯示聲音口令文本，在接收到終端的語音采集模塊發送來的語音音頻數據后，將其轉換為文本內容，并將該文本內容與之前所發送的聲音口令文本進行匹配，若匹配失敗則認為識別失敗，返回終端聲音口令輸入不正確信息，若匹配成功則提取該語音音頻數據中的聲紋特征向量，將其與數據庫中所存儲的所有用戶聲紋特征向量進行匹配，若匹配失敗則認為識別失敗，返回終端語音識別失敗信息，若匹配成功則將匹配成功結果發送給驗證模塊，該匹配成功結果即為聲紋識別結果；

所述驗證模塊用于接收到人臉識別模塊發送來的匹配成功結果后，向語音識別模塊發送語音識別請求，在接收到語音識別模塊發送來的匹配成功結果后，將其與人臉識別模塊發送來的匹配成功結果進行集合取交集，若交集為空，則認為本次用戶驗證失敗，返回終端驗證失敗信息，若交集中只有一個結果，則認為驗證成功，返回終端驗證成功信息，若交集中有不止一個結果，則認為聲紋特征不明顯，向語音識別模塊重新發送語音識別請求，若此時已發送過預設數量的語音識別請求則認為本次用戶驗證失敗，返回終端驗證失敗信息。

4.如權利要求3所述的基于人臉識別和聲紋識別的交互式認證系統，其特征在于，所述人臉識別模塊中設置有圖像相似度預設值，在選取用戶面部特征參數中的關鍵特征參數與數據庫中所存儲的用戶面部特征參數進行匹配時，若匹配出的結果中各用戶面部特征參數相似度閾值小于圖像相似度預設值時，判定為匹配成功，否則判定為匹配失敗。

5.如權利要求3所述的基于人臉識別和聲紋識別的交互式認證系統，其特征在于，所述人臉識別模塊的匹配成功結果中包括用戶信息，所述用戶信息中包括用戶年齡信息。