[發明專利]終端交互方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201911357310.8
• 申請日: 2019-12-25
• 公開（公告）號: CN111178226A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 熊瑋
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F3/01;G10L15/25;G10L17/22;G10L25/15;G10L25/18;G10L25/24;G10L25/45;G10L25/57;G10L25/63
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

1.一種基于人工智能的終端交互方法，其特征在于，包括下述步驟：

獲取第一待驗證視頻和第一待驗證音頻；

將所述第一待驗證音頻的特征參數輸入至識別模型以對所述第一待驗證音頻進行分析得到第一音頻分析值；

通過人臉圖像的面部動作識別技術對所述第一待驗證視頻進行分析以得到第一視頻分析值；

根據所述第一音頻分析值和所述第一視頻分析值確定是否提供供用戶進行交互操作的交互界面；以及

在提供交互界面后，定時地獲取第二待驗證視頻和第二待驗證音頻；

基于所述第二待驗證視頻和第二待驗證音頻重新進行分析以確定是否關閉交互界面。

2.根據權利要求1所述的終端交互方法，其特征在于，所述對所述第一待驗證視頻進行分析以得到第一視頻分析值包括：

在所述第一待驗證視頻中提取存在微表情的圖像序列；

獲取所述圖像序列中每一張圖像的情緒編碼；

在同一個圖像序列的圖像中，將情緒編碼相同的圖像分為一組，并根據分組中的圖像確定每組情緒編碼的分值，以分值最大的分組對應的情緒編碼作為所述圖像序列的圖像情緒編碼；

根據所述圖像序列的圖像情緒編碼確定所述第一視頻分析值。

3.根據權利要求2所述的終端交互方法，其特征在于，所述在所述第一待驗證視頻中提取存在微表情的圖像序列包括：

在所述第一待驗證視頻中，按照預設的時間間隔提取抽樣圖像；

判斷每張抽樣圖像中是否存在微表情；

當抽樣圖像中存在微表情時，獲取所述第一待驗證視頻中與所述抽樣圖像鄰近的圖像以組成所述圖像序列。

4.根據權利要求2所述的終端交互方法，其特征在于，所述根據分組中的圖像確定每組情緒編碼的分值包括：

按照圖像在所述待驗證視頻中出現的時間對所述圖像序列中的每一張圖像進行排列，并根據排列的順序設置每一張圖像的權值，所述權值為一個跟隨排列的順序先遞增后遞減的數列；

以每組中所有圖像的權值相加以得到該組對應的情緒編碼的分值。

5.根據權利要求2所述的終端交互方法，其特征在于，所述圖像序列為多個圖像序列，所述根據所述圖像序列的圖像情緒編碼確定所述第一視頻分析值包括：

對每個圖像序列賦予相同的權值；

識別每個圖像序列的時間段，將第一待驗證音頻按識別到的時間段進行分段，得到與每個圖像序列對應的音頻片段；

對所述音頻片段進行分析以獲得每個圖像序列對應的音頻情緒編碼；

當音頻情緒編碼與同時間段內的圖像序列的圖像情緒編碼相同時，增大該圖像序列對應的權值；

將圖像情緒編碼相同的圖像序列分為一組，并將每組中圖像序列對應的權值相加以得到每組圖像序列的分值，以分值最大的分組對應的圖像情緒編碼為所述第一視頻分析值。

6.根據權利要求1所述的終端交互方法，其特征在于，所述根據所述第一音頻分析值和所述第一視頻分析值確定是否提供供用戶進行交互操作的交互界面包括：

按照預設的規則確定所述第一音頻分析值對應的音頻分值和所述第二視頻分析值對應的視頻分值；

從所述第一待驗證視頻中提取圖像數據進行人臉匹配以獲得人臉匹配率；

以所述人臉匹配率為權值計算所述音頻分值和所述視頻分值的加權和；

當所述加權和大于安全閾值時，提供相應的交互界面；

當所述加權和小于或等于安全閾值時，則不提供相應的交互界面。

7.根據權利要求1所述的終端交互方法，其特征在于，所述定時地獲取第二待驗證視頻和第二待驗證音頻包括：

獲取當前交互界面的安全等級；

根據所述安全等級確定獲取第二待驗證視頻和第二待驗證音頻的頻率，并按照所述頻率獲取第二待驗證視頻和第二待驗證音頻。