[發(fā)明專利]基于多模態(tài)交互式的信息采集方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011243517.5
• 申請日: 2020-11-10
• 公開（公告）號: CN112069484A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 羅冠;游強;胡衛(wèi)明
• 申請（專利權(quán)）人: 中國科學院自動化研究所
• 主分類號: G06F21/32
• 分類號: G06F21/32;G06F16/9035;G06F16/9038;G06K9/62
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于多模態(tài)交互式的信息采集方法，其特征在于，所述信息采集方法包括：

基于待驗證人員的人臉圖像和人聲片段進行身份認證；

通過所述待驗證人員的人臉圖像和人聲片段，預(yù)識別與所述待驗證人員相關(guān)的屬性信息；

獲取待驗證人員的需求信息；

根據(jù)所述需求信息及所述屬性信息，確定問卷內(nèi)容；所述問卷內(nèi)容以多模態(tài)的交互形式展示給待驗證人員，以得到待驗證人員的多模態(tài)問卷答案；

將所述多模態(tài)問卷答案進行信息融合；

根據(jù)融合的結(jié)果進行信息的有效性驗證。

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述基于待驗證人員的人臉圖像和人聲片段進行身份認證，具體包括：

獲取待驗證人員的人臉圖像和人聲片段；

提取所述人臉圖像的人臉編碼向量以及人聲片段的聲紋向量；

根據(jù)所述人臉編碼向量及聲紋向量，確定數(shù)據(jù)庫中是否有匹配的人臉編碼和聲紋向量；如果有則認證通過，否則確定所述待驗證人員為新用戶，將所述待驗證人員的人臉編碼和聲紋向量存儲至所述數(shù)據(jù)庫中，并設(shè)置唯一的ID標識；所述數(shù)據(jù)庫中存儲有多組用戶信息，各所述用戶信息包括ID標識、人臉編碼、聲紋向量及用戶的問卷信息。

3.根據(jù)權(quán)利要求2所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述根據(jù)所述人臉編碼向量及聲紋向量，確定數(shù)據(jù)庫中是否有匹配的人臉編碼和聲紋向量，具體包括：

計算待驗證的人臉編碼向量和聲紋向量與數(shù)據(jù)庫中每一個ID標識下的人臉編碼向量和聲紋向量的相似度，當兩者相似度同時達到對應(yīng)的相似度閾值時，確定所述數(shù)據(jù)庫中有匹配的人臉編碼向量和聲紋向量。

4.根據(jù)權(quán)利要求2所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述基于待驗證人員的人臉圖像和人聲片段進行身份認證，還包括：

在身份認證通過后，根據(jù)所述待驗證人員的人臉圖像和人聲片段對所述數(shù)據(jù)庫進行更新。

5.根據(jù)權(quán)利要求4所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述在身份認證通過后，根據(jù)所述待驗證人員的人臉圖像和人聲片段對所述數(shù)據(jù)庫進行更新，具體包括：

假定本次提取的人臉編碼向量為F(n)、聲紋向量為S(n)，而數(shù)據(jù)庫中存放的匹配的人臉編碼向量為F(o)、聲紋向量為S(o)，則本次認證后更新到數(shù)據(jù)庫的人臉編碼向量與聲紋向量分別：

；

；

其中，為遺忘指數(shù)。

6.根據(jù)權(quán)利要求1所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述屬性信息包括：采集設(shè)備狀況、環(huán)境狀況及用戶狀態(tài)中至少一者；

所述采集設(shè)備狀況包括采集設(shè)備的分辨率；

所述環(huán)境狀況包括環(huán)境的明暗、安靜與嘈雜中至少一者；

所述用戶狀態(tài)包括性別、年齡、身高體重指數(shù)及心情狀態(tài)中至少一者。

7.根據(jù)權(quán)利要求1所述的基于多模態(tài)交互式的信息采集方法，其特征在于，所述問卷內(nèi)容以多模態(tài)的交互形式展示給待驗證人員，具體包括：

待驗證人員能夠通過選擇閱讀問題然后點擊選項的形式交互；或者通過選擇語音進行問答的形式交互；或者上傳對應(yīng)的圖像就能完成信息的自動識別和填寫；或者實時地以視頻形式與問卷進行交互。

8.一種基于多模態(tài)交互式的信息采集系統(tǒng)，其特征在于，所述信息采集系統(tǒng)包括：

認證登錄單元，用于基于待驗證人員的人臉圖像和人聲片段進行身份認證；

預(yù)識別單元，用于通過所述待驗證人員的人臉圖像和人聲片段，預(yù)識別與所述待驗證人員相關(guān)的屬性信息；

獲取單元，用于獲取待驗證人員的需求信息；

確定單元，用于根據(jù)所述需求信息及所述屬性信息，確定問卷內(nèi)容；所述問卷內(nèi)容以多模態(tài)的交互形式展示給待驗證人員，以得到待驗證人員的多模態(tài)問卷答案；

融合單元，用于將所述多模態(tài)問卷答案進行信息融合；

驗證單元，用于根據(jù)融合的結(jié)果進行信息的有效性驗證。