[發(fā)明專利]一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識表示方法

在審

• 申請?zhí)枺?/td>: 202110687397.6
• 申請日: 2021-06-21
• 公開（公告）號: CN113486190A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 劉建毅;張茹;李萌;呂智帥
• 申請（專利權(quán)）人: 北京郵電大學(xué);北京慧科信安科技有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/383;G06F16/583;G06F40/30;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識表示方法，該模型將實(shí)體基于結(jié)構(gòu)，基于圖像以及基于類別的知識表示統(tǒng)一進(jìn)行聯(lián)合訓(xùn)練，完成多模態(tài)知識圖譜表示。包括：實(shí)體圖像信息的嵌入方法，負(fù)責(zé)實(shí)體圖像特征信息的抽取以及從圖像空間到知識空間的轉(zhuǎn)換；實(shí)體類別信息的嵌入方法，對實(shí)體類別和對應(yīng)三元組關(guān)系的語義聯(lián)系進(jìn)行建模，構(gòu)建實(shí)體基于類別下的表示；融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識表示模型，負(fù)責(zé)融合實(shí)體圖像信息和實(shí)體類別信息多模態(tài)的知識表示學(xué)習(xí)。本發(fā)明通過構(gòu)造多模態(tài)知識表示方法，為解決知識圖譜推理技術(shù)中的數(shù)據(jù)稀疏問題，高效計(jì)算實(shí)體和關(guān)系的語義聯(lián)系，融合和推理的性能提供了新的思路。

技術(shù)領(lǐng)域

本發(fā)明屬于知識圖譜推理技術(shù)，尤其涉及信息檢索、問答系統(tǒng)和智能對話等人工智能相關(guān)領(lǐng)域。

背景技術(shù)

隨著第五代移動通信(Fifth Generation,5G)時代的到來，互聯(lián)網(wǎng)技術(shù)得到了快速發(fā)展，數(shù)據(jù)的體量和維度爆炸性增長，面對海量數(shù)據(jù)，用戶對搜索的精準(zhǔn)化和智能化的需求日益增長，為用戶提供能夠讀懂用戶需求的智能服務(wù)，這一問題亟待解決。知識圖譜作為一種直觀的發(fā)現(xiàn)、管理和利用知識的知識表達(dá)方式應(yīng)運(yùn)而生。要理解知識圖譜，首先要對知識庫做出說明。知識庫(knowledge base,KB)是將人類知識結(jié)構(gòu)化形成的知識系統(tǒng)，其中包含了基本事實(shí)、通用規(guī)則和其它有關(guān)信息，在知識庫中，將世界上的具象事物與抽象概念等表示為實(shí)體(entity)，將實(shí)體之間的聯(lián)系表示為關(guān)系(relation)。

在知識庫中，知識通常是以三元組的形式對實(shí)體與實(shí)體之間的關(guān)系進(jìn)行表示。不同實(shí)體之間根據(jù)不同的關(guān)系連接在一起，通過眾多三元組的鏈接，知識庫中儲存的知識最終構(gòu)成錯綜復(fù)雜的知識圖譜 (Knowledge graph,KG)，其中實(shí)體用知識圖譜中的節(jié)點(diǎn)表示，而關(guān)系則用連接節(jié)點(diǎn)的邊來表示。

為了提高搜索速度和準(zhǔn)確性、改善用戶搜索體驗(yàn)，知識圖譜這一概念最早于2012年被美國GOOGLE公司提出。GOOGLE公司從多來源進(jìn)行信息收集，并進(jìn)行數(shù)據(jù)整合完成知識抽取，再經(jīng)過知識融合等步驟最終完成知識圖譜的構(gòu)建。知識圖譜在GOOGLE搜索上的成功應(yīng)用激起了很多國內(nèi)外互聯(lián)網(wǎng)公司對于知識圖譜的研究興趣，越來越多的公司開始嘗試將知識圖譜應(yīng)用到具體業(yè)務(wù)上，例如微軟開發(fā)的用于智能搜索和廣告業(yè)務(wù)的Probase，F(xiàn)acebook用于智能搜索和個性化推薦的社交圖譜，阿里巴巴用于智能導(dǎo)購、智能搜索、個性化推薦以及智能問答的電商知識圖譜，美團(tuán)用于多種生活場景智能搜索和個性化推薦的AI大腦知識圖譜等等，知識圖譜已經(jīng)在多個領(lǐng)域展現(xiàn)出了良好的應(yīng)用前景。

在信息爆炸的時代，越來越多的大型知識圖譜被構(gòu)建出來用來存儲知識，如Freebase、DBpedia、WordNet和Wikidata等，一方面知識庫中已經(jīng)存在了海量的數(shù)據(jù)，另一方面，每天又會有大量的新知識產(chǎn)生，如何有效地將新知識與已有知識融合，更好地利用海量知識中存在的有價值信息，是我們?nèi)缃褙酱鉀Q的問題。基于網(wǎng)絡(luò)形式的知識表示在大規(guī)模的知識圖譜下存在著計(jì)算效率低下和數(shù)據(jù)稀疏等問題。目前大部分開放的知識圖譜主要是由人工或者半自動化的方式構(gòu)建，導(dǎo)致這些圖譜面臨著嚴(yán)重的知識缺失問題，同時由于知識圖譜本身圖結(jié)構(gòu)的存儲方式，導(dǎo)致計(jì)算效率低下。

為解決這些問題，知識推理方法應(yīng)運(yùn)而生，作為知識圖譜的研究熱點(diǎn)之一，可以應(yīng)對上述問題，完成知識圖譜的補(bǔ)全。知識表示學(xué)習(xí)的目的是希望通過一定的方法實(shí)現(xiàn)知識圖譜中實(shí)體和關(guān)系的分布式表示，完成知識圖譜中實(shí)體和關(guān)系低維連續(xù)向量空間的轉(zhuǎn)換。知識表示學(xué)習(xí)方法旨在解決計(jì)算效率低下和數(shù)據(jù)稀疏的問題，捕獲實(shí)體和關(guān)系之間的語義聯(lián)系時可以采用計(jì)算低維稠密向量之間相似度的方法，使得知識表示學(xué)習(xí)各項(xiàng)任務(wù)的性能得到了顯著提升，因此在知識圖譜補(bǔ)全、智能搜索等任務(wù)中得到了廣泛應(yīng)用。