[發(fā)明專利]一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011036983.6
• 申請(qǐng)日: 2020-09-28
• 公開（公告）號(hào): CN112201228A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 黃晨宇
• 申請(qǐng)（專利權(quán)）人: 蘇州貝果智能科技有限公司
• 主分類號(hào): G10L15/18
• 分類號(hào): G10L15/18;G10L15/25;G10L15/02;G10L15/08;G10L25/57
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，包括以下方法：

基于多模態(tài)對(duì)齊的語音情感識(shí)別的模型，首先通過語音進(jìn)行識(shí)別，識(shí)別時(shí)，通過視頻設(shè)備、錄音設(shè)備進(jìn)行語音的收集，收集好的語音信息先進(jìn)行分類，分類后的語音進(jìn)行特征標(biāo)記，然后將收集好的語音進(jìn)行分析，利用雙向長(zhǎng)短期記憶模型對(duì)音頻基于幀進(jìn)行高維特征表示，且對(duì)語音識(shí)別出的文字進(jìn)行特征化，對(duì)特征化的語音與相對(duì)應(yīng)的文字進(jìn)行匹配，匹配后的語音按照情緒特征進(jìn)行分類，最后對(duì)識(shí)別出來的文字和信息進(jìn)行整理，將整理的信息再次特征化。

2.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，基于多模態(tài)融合的訓(xùn)練，進(jìn)行人工智能的語音訓(xùn)練，人機(jī)互動(dòng)包含語音、圖片、視頻和文字，從幀序列中提取出語音和圖像視頻特征，按語音對(duì)應(yīng)的視頻片段，在各個(gè)中間階段的不同模態(tài)之間的特征可以融合，在最后把不同模態(tài)的特征合并連接在一起又會(huì)形成混合的特征向量，最后融合的特征集，可以用支持向量機(jī)自動(dòng)進(jìn)行二分類。

3.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，語音識(shí)別相關(guān)的視頻在于嘴部的圖像和運(yùn)動(dòng)信息，將嘴部作為感興趣區(qū)域，嘴部感興趣區(qū)域都縮放到歸一化的像素尺寸，進(jìn)一步降維，用1-4幀連續(xù)視頻作為輸入，對(duì)應(yīng)3-10幀連續(xù)語音的幀，對(duì)每個(gè)模態(tài)，在時(shí)間上進(jìn)行特征平均值歸一化，時(shí)間序列的導(dǎo)數(shù)用歸一化線性斜率表示，體現(xiàn)了信號(hào)的變化特征，在訓(xùn)練和實(shí)際使用中，對(duì)缺失一種模態(tài)，即缺失語音、文字和視頻的情況，依靠其它一種或二種模態(tài)進(jìn)行工作，語音來自獨(dú)立麥克風(fēng)或從視頻中提取，文字來自字幕、用戶打字輸入，圖像視頻中識(shí)別出的字符。

4.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，多模態(tài)語義識(shí)別服務(wù)還包括自然語言理解引擎，自然語言理解引擎采用多模態(tài)推理技術(shù)，對(duì)于多個(gè)領(lǐng)域的客服知識(shí)庫(kù)，引擎采用文本聚類技術(shù)自動(dòng)將知識(shí)點(diǎn)分為不同的子類，在每個(gè)子類知識(shí)庫(kù)的推理過程中采用不同的參數(shù)，表現(xiàn)為多個(gè)相互獨(dú)立的引擎模態(tài)，細(xì)化推理顆粒度，同時(shí)在軟件技術(shù)上采用多線程方式。

5.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，融合文字與圖像視頻深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，利用文字和視覺之間的交叉相關(guān)提供用戶問題的答案，多模態(tài)神經(jīng)網(wǎng)絡(luò)模型包含圖像神經(jīng)網(wǎng)絡(luò)用于描述圖像信息，另一個(gè)文字語義匹配神經(jīng)網(wǎng)絡(luò)進(jìn)行文本信息中的單詞的語義構(gòu)建，兩種模態(tài)之間的融合體現(xiàn)在由模型學(xué)習(xí)圖像與文本之間的關(guān)聯(lián)匹配關(guān)系。

6.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，基于手機(jī)拍照時(shí)的彩色圖像和手機(jī)自帶的激光測(cè)距得到的深度圖，二者通過雙模態(tài)信息的融合，實(shí)現(xiàn)機(jī)器人對(duì)目標(biāo)的理解和分類。

7.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，基于文字的深度學(xué)習(xí)網(wǎng)絡(luò)和基于圖像的網(wǎng)絡(luò)，在各層的中間特征層面進(jìn)行多模態(tài)融合，并且在最后的輸出進(jìn)行融合，從而對(duì)圖文并茂的內(nèi)容進(jìn)行綜合理解，可以理解用戶表達(dá)的喜怒哀樂情緒。

8.根據(jù)權(quán)利要求1所述的一種基于人工智能的多模態(tài)語義識(shí)別服務(wù)接入方法，其特征在于，自然語言處理是在技術(shù)層面上的深度學(xué)習(xí)和知識(shí)層面上語言學(xué)應(yīng)用的結(jié)合，語言學(xué)領(lǐng)域研究包括：詞干提取、詞形還原、分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、詞義消歧、組塊識(shí)別、句法分析、語義角色標(biāo)注、共指消解、篇章分析。