[發明專利]多模態在線增量式來訪識別系統及其識別方法

有效

• 申請號: 201410500366.5
• 申請日: 2014-09-25
• 公開（公告）號: CN104361311B
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 申富饒;臧世博;干強;武慧凱;宗延琦;趙金熙
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L15/26
• 代理公司: 南京鐘山專利代理有限公司32252
• 代理人: 戴朝榮

技術領域

本發明屬于電子地圖的技術領域，具體涉及一種多模態在線增量式來訪識別系統及其識別方法。

背景技術

目前需要重點開發多種新型傳感器及先進條碼自動識別、射頻標簽、基于多種傳感信息的智能化信息處理技術，發展低成本的傳感器網絡和實時信息處理系統，提供更方便、功能更強大的信息服務平臺和環境。”

隨著傳感器技術以及信息融合技術的發展，傳統單傳感器系統已經不能滿足社會發展的需求，開發多傳感器的實時信息融合系統成為科研技術人員的當務之急。

傳統的人臉檢測與識別系統在監控防盜、企業考勤、信息安全等多個方面發揮了重要的作用，但是由于攝像頭單傳感器交互的局限性，會產生如下問題：

當人臉識別分類器識別錯誤時，無法通過其他傳感途徑的交互來修正分類器，從而導致人臉識別效果無法在線增量式改進，嚴重影響用戶體驗。因此在傳統的來訪識別系統中，增加傳感器進行信息融合是非常必要的。增加聲音傳感器(麥克風)，將人臉識別結果以語音的形式進行交互是最簡單直接的做法，但是傳統的語音識別存在如下問題：

語音識別需要語音輸入包含足夠多的語法信息，然而漢字姓名沒有任何語法內容，導致傳統的語音識別效果極差。

發明內容

本發明的目的提供一種多模態在線增量式來訪識別系統及其識別方法，包括電腦終端，所述的電腦終端同攝像頭、聲音傳感器以及音響設備相連接，所述的電腦終端中設置有多模態在線增量式來訪識別模塊、OPENCV視覺庫、第一配置文檔、第二配置文檔、用來存放人臉識別模型數據的文件和用于存放照片總數和照片的分類對象的屬性的總數的文檔。并結合其識別方法可有效避免現有技術中的當人臉識別分類器識別錯誤時無法通過其他傳感途徑的交互來修正分類器、導致人臉識別效果無法在線增量式改進，嚴重影響用戶體驗以及漢字姓名沒有任何語法內容導致傳統的語音識別效果極差的缺陷。

為了克服現有技術中的不足，本發明提供了一種多模態在線增量式來訪識別系統及其識別方法的解決方案，具體如下：

一種多模態在線增量式來訪識別系統，包括電腦終端1，所述的電腦終端1同攝像頭2、聲音傳感器3以及音響設備9相連接，所述的電腦終端1中設置有多模態在線增量式來訪識別模塊4、OPENCV視覺庫7、第一配置文檔5、第二配置文檔6、用來存放人臉識別模型數據的文件8和用于存放照片總數和照片的分類對象的屬性的總數的文檔。

所述的第一配置文檔5包括照片的名字和照片的分類對象的屬性。

所述的第二配置文檔6包括人臉所對應的姓名和人臉的分類對象的屬性。

所述的聲音傳感器3也能被話筒或麥克風替代。

所述的多模態在線增量式來訪識別模塊4包括用于訓練的子模塊、人臉檢測子模塊，人臉識別子模塊、語音識別和合成子模塊、姓名識別子模塊以及人臉判斷子模塊。

所述的用于訓練的子模塊能夠讀取出第一配置文檔5中的照片的名字和照片的分類對象的屬性，根據照片的名字和照片的分類對象的屬性在OPENCV視覺庫7中進行人臉識別模型的訓練，得到符合當前應用場景的人臉識別模型；

所述的多模態在線增量式來訪識別系統的識別方法，步驟如下：

步驟1：準備和初始化階段，所述的準備和初始化階段方法如下:

電腦終端1啟動多模態在線增量式來訪識別模塊4來調用用于訓練的子模塊，用于訓練的子模塊首先讀取出第一配置文檔5中的照片的名字和照片的分類對象的屬性，根據照片的名字和照片的分類對象的屬性在OPENCV視覺庫7中進行人臉識別模型的訓練，得到符合當前應用場景的人臉識別模型，并把照片總數和照片的分類對象的屬性的總數存儲到用于存放照片總數和照片的分類對象的屬性的總數的文檔以及把訓練好的人臉識別模型數據保存在用來存放人臉識別模型數據的文件中；

步驟2：進入初始化階段，所述的初始化階段包括啟動人臉檢測子模塊，人臉識別子模塊和姓名識別子模塊分別進行人臉檢測的初始化，人臉識別的初始化和姓名識別的初始化，具體如下：