[發(fā)明專利]一種跨模態(tài)情感知識(shí)圖譜構(gòu)建方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910089045.3
• 申請(qǐng)日: 2019-01-30
• 公開（公告）號(hào): CN111506697A
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 王春雷;尉遲學(xué)彪;毛鵬軒
• 申請(qǐng)（專利權(quán)）人: 北京入思技術(shù)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F16/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供一種跨模態(tài)情感知識(shí)圖譜構(gòu)建方法及裝置，所述方法包括：接收用戶跨模態(tài)情感數(shù)據(jù)；提取所述跨模態(tài)情感數(shù)據(jù)中每種模態(tài)情感數(shù)據(jù)的情感特征值；根據(jù)所述情感特征值生成情感共現(xiàn)矩陣；根據(jù)聚類算法對(duì)所述情感共現(xiàn)矩陣進(jìn)行情感傾向聚類，將所述情感共現(xiàn)矩陣中第一模態(tài)情感特征值集合和第二模態(tài)情感特征值集合同時(shí)劃分到多個(gè)不同的情感傾向子集；最后構(gòu)建由情感傾向、第一模態(tài)情感特征值子集、第二模態(tài)情感特征值子集組成的三元組，并將該三元組結(jié)構(gòu)作為跨模態(tài)情感知識(shí)圖譜。從而為情感知識(shí)圖譜的跨模態(tài)應(yīng)用場(chǎng)景提供更為有價(jià)值的參考。

技術(shù)領(lǐng)域

本發(fā)明涉及情感計(jì)算技術(shù)領(lǐng)域，具體涉及一種跨模態(tài)情感知識(shí)圖譜構(gòu)建方法及裝置。

背景技術(shù)

情感計(jì)算技術(shù)在人工智能研究特別是人機(jī)交互應(yīng)用領(lǐng)域具有至關(guān)重要的作用。隨著5G通信、虛擬現(xiàn)實(shí)、車聯(lián)網(wǎng)等先進(jìn)技術(shù)的普及，信息交流及人機(jī)交互形態(tài)也從文字、圖像、音頻、視頻等單一模態(tài)逐步過渡到相互融合的多種媒體形態(tài)。因此，跨模態(tài)情感計(jì)算成為近年來情感計(jì)算的研究熱點(diǎn)。

傳統(tǒng)的情感知識(shí)圖譜構(gòu)建過程中，不能將來自異構(gòu)跨模態(tài)情感特征有效關(guān)聯(lián)，因此以單一模態(tài)情感特征為核心所構(gòu)建的情感知識(shí)圖譜是一個(gè)個(gè)孤立的抽取圖譜，無法真正反映跨模態(tài)數(shù)據(jù)中的情感知識(shí)。為了形成一個(gè)真正的跨模態(tài)情感知識(shí)圖譜，則需要將這些情感知關(guān)聯(lián)和集成在一起，從而有效支撐跨模態(tài)情感計(jì)算過程。因此，有必要提出一種新的情感知識(shí)圖譜構(gòu)建方法及裝置。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種跨模態(tài)情感知識(shí)圖譜構(gòu)建方法，所述方法包括：步驟S101，接收用戶跨模態(tài)情感數(shù)據(jù)；步驟S102，提取所述跨模態(tài)情感數(shù)據(jù)中每種模態(tài)情感數(shù)據(jù)的情感特征值；步驟S103，根據(jù)所述情感特征值生成情感共現(xiàn)矩陣；步驟S104，根據(jù)聚類算法對(duì)所述情感共現(xiàn)矩陣進(jìn)行情感傾向聚類，將所述情感共現(xiàn)矩陣中第一模態(tài)情感特征值集合和第二模態(tài)情感特征值集合同時(shí)劃分到多個(gè)不同的情感傾向子集；以及步驟S105，構(gòu)建由情感傾向、第一模態(tài)情感特征值子集、第二模態(tài)情感特征值子集組成的三元組。

示例性地，所述步驟S103中所述情感共現(xiàn)矩陣中的元素用以指示所述元素所在的行對(duì)應(yīng)的第一模態(tài)情感特征值與所述元素所在的列對(duì)應(yīng)的第二模態(tài)情感特征值之間的共現(xiàn)次數(shù)。示例性地，所述步驟S104中所述情感傾向聚類算法為概率潛在語義分析算法。

另一方面，本發(fā)明還提供一種跨模態(tài)情感知識(shí)圖譜構(gòu)建裝置，所述裝置包括：情感數(shù)據(jù)接收模塊，用于接收用戶跨模態(tài)情感數(shù)據(jù)；情感特征提取模塊，用于提取所述跨模態(tài)情感數(shù)據(jù)中每種模態(tài)情感數(shù)據(jù)的情感特征值；情感共現(xiàn)矩陣生成模塊，用于根據(jù)所述情感特征值生成情感共現(xiàn)矩陣；情感傾向劃分模塊，用于根據(jù)聚類算法對(duì)所述情感共現(xiàn)矩陣進(jìn)行情感傾向聚類，將所述情感共現(xiàn)矩陣中第一模態(tài)情感特征值集合和第二模態(tài)情感特征值集合同時(shí)劃分到多個(gè)不同的情感傾向子集；以及知識(shí)圖譜生成模塊，用于構(gòu)建由情感傾向、第一模態(tài)情感特征值子集、第二模態(tài)情感特征值子集組成的三元組。

示例性地，所述情感共現(xiàn)矩陣生成模塊中所述情感共現(xiàn)矩陣中的元素用以指示所述元素所在的行對(duì)應(yīng)的第一模態(tài)情感特征值與所述元素所在的列對(duì)應(yīng)的第二模態(tài)情感特征值之間的共現(xiàn)次數(shù)。示例性地，所述情感傾向劃分模塊中所述情感傾向聚類算法為概率潛在語義分析算法。

本發(fā)明提供的跨模態(tài)情感知識(shí)圖譜構(gòu)建方法及裝置能夠?qū)碜援悩?gòu)跨模態(tài)情感特征進(jìn)行有效關(guān)聯(lián)和劃分，從而實(shí)現(xiàn)跨模態(tài)情感知識(shí)圖譜的構(gòu)建，為跨模態(tài)情感計(jì)算的應(yīng)用場(chǎng)景提供更為有價(jià)值的參考。

附圖說明

本發(fā)明的下列附圖在此作為本發(fā)明的一部分用于理解本發(fā)明。附圖中示出了本發(fā)明的實(shí)施例及其描述，用來解釋本發(fā)明的原理。

附圖中：

圖1示出了根據(jù)本發(fā)明的實(shí)施例的一種跨模態(tài)情感知識(shí)圖譜構(gòu)建方法100的流程圖；

圖2示出了根據(jù)本發(fā)明的實(shí)施例的一種跨模態(tài)情感知識(shí)圖譜構(gòu)建裝置200的結(jié)構(gòu)框圖。