[發(fā)明專利]一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識(shí)表示方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110687397.6
• 申請(qǐng)日: 2021-06-21
• 公開（公告）號(hào): CN113486190A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 劉建毅;張茹;李萌;呂智帥
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué);北京慧科信安科技有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/383;G06F16/583;G06F40/30;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識(shí)表示方法，其特征在于，包括：

A、實(shí)體圖像信息的嵌入方法：通過設(shè)計(jì)圖編碼器來完成實(shí)體圖像特征信息的抽取以及從圖像空間到知識(shí)空間的轉(zhuǎn)換，利用注意力機(jī)制來對(duì)圖像信息進(jìn)行篩選組合，使用圖像特征和實(shí)體以及對(duì)應(yīng)關(guān)系特征的相關(guān)性大小作為注意力分?jǐn)?shù)計(jì)算依據(jù)，構(gòu)建實(shí)體基于圖像的表示；

B、實(shí)體類別信息的嵌入方法：通過注意力機(jī)制對(duì)實(shí)體類別和對(duì)應(yīng)三元組關(guān)系的語(yǔ)義聯(lián)系進(jìn)行建模，構(gòu)建實(shí)體基于類別下的表示；

C、融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)圖注意力網(wǎng)絡(luò)知識(shí)表示：將實(shí)體類別信息，將實(shí)體結(jié)構(gòu)特征、實(shí)體圖像特征和實(shí)體類別特征結(jié)合起來，使用GAT模型進(jìn)行訓(xùn)練，實(shí)現(xiàn)多模態(tài)知識(shí)表示模型的構(gòu)建。

2.根據(jù)權(quán)利要求1所述的一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識(shí)表示方法，其特征在于，步驟A進(jìn)一步包括以下步驟：

A1、實(shí)體圖像編碼器：使用VGG16 Net模型從實(shí)體圖像中抽取圖像特征，并使用圖像映射矩陣完成實(shí)體圖像特征表示向量從圖像空間到知識(shí)空間的轉(zhuǎn)換，圖像映射矩陣定義如下：

p_i＝tanh(W·f_i+b)

其中，p_i表示實(shí)體圖像在知識(shí)空間中的表示，表示映射矩陣，d_i表示圖像特征向量的維度，而d_s則表示知識(shí)空間向量的維度,b表示一個(gè)偏置向量；

A2、多圖像的注意力機(jī)制：通過TransE模型訓(xùn)練得到實(shí)體基于結(jié)構(gòu)的實(shí)體表示向量和關(guān)系表示向量，采用縮放點(diǎn)積模型來計(jì)算每個(gè)實(shí)體對(duì)應(yīng)的多個(gè)圖像表示向量的注意力分?jǐn)?shù)，并在縮放點(diǎn)積模型引入了除以的操作，可以避免當(dāng)輸入向量維度較高時(shí)結(jié)果方差過大的問題；注意力打分函數(shù)具體計(jì)算公式如下：

其中，p_i代表實(shí)體的第i個(gè)圖像的表示向量，v_s代表實(shí)體基于結(jié)構(gòu)的實(shí)體表示向量和該實(shí)體對(duì)應(yīng)的關(guān)系表示向量的拼接向量。

3.根據(jù)權(quán)利要求1所述的一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識(shí)表示方法，其特征在于，步驟B進(jìn)一步包括以下步驟：

B1、實(shí)體類別編碼器：首先確定實(shí)體類別對(duì)應(yīng)的說明文本語(yǔ)句，然后使用卷積神經(jīng)網(wǎng)絡(luò)完成對(duì)實(shí)體類別說明文本語(yǔ)句特征的抽取，最終得到實(shí)體類別特征向量；

B2、多類別的注意力機(jī)制：通過注意力機(jī)制來計(jì)算實(shí)體類別與實(shí)體關(guān)系之間的相關(guān)性大小，最終形成實(shí)體基于類別信息的知識(shí)表示；將計(jì)算出的注意力分?jǐn)?shù)為實(shí)體的不同類別表示向量賦予權(quán)重，做加權(quán)求和操作，得到最終的實(shí)體基于類別的表示向量：

其中，α_ic代表實(shí)體的第i個(gè)類別的注意力權(quán)值，q_i代表實(shí)體的第i個(gè)類別的表示向量，r_s代表和當(dāng)前實(shí)體的第i個(gè)類別出現(xiàn)在同一個(gè)三元組中的關(guān)系表示向量。

4.根據(jù)權(quán)利要求1所述的一種融合實(shí)體圖像信息和實(shí)體類別信息的多模態(tài)知識(shí)表示方法，其特征在于，步驟C進(jìn)一步包括以下步驟：

C1、多頭注意力神經(jīng)網(wǎng)絡(luò)層：將無向圖中的邊進(jìn)行擴(kuò)展，表示為知識(shí)圖譜中的有向關(guān)系路徑；然后對(duì)關(guān)系路徑進(jìn)行知識(shí)表示，并對(duì)當(dāng)前實(shí)體節(jié)點(diǎn)的n跳鄰居的語(yǔ)義信息進(jìn)行挖掘；最后，在每個(gè)圖注意力層之后標(biāo)準(zhǔn)化當(dāng)前得到的實(shí)體表示向量；

C2、損失函數(shù)設(shè)計(jì)：對(duì)于給定有效三元組(h,r,t)，通過學(xué)習(xí)到的實(shí)體和關(guān)系的嵌入使得實(shí)體t是實(shí)體h通過關(guān)系r連接的最近鄰居，得分函數(shù)定義為：f_r(h,t)＝‖h+r-t‖對(duì)于給定有效三元組，模型的損失函數(shù)定義如下：

L(Ω)＝∑_(h,r,t)∈G∑_{(h,r,t)′∈G′}[f_r′(h,t)-f_r(h,t)+γ]₊

其中，[x]₊表示x的正部分，γ表示邊緣超參數(shù)；

C3、解碼器設(shè)計(jì)：將卷積神經(jīng)網(wǎng)絡(luò)ConvKB模型作為解碼器網(wǎng)絡(luò)，獲取訓(xùn)練收斂后節(jié)點(diǎn)和關(guān)系向量，每個(gè)三元組的元素由一個(gè)列向量表示，每個(gè)3列矩陣組成一個(gè)三元組；為了得到更深層次的知識(shí)表示，采用多個(gè)過濾器操作生成不同的特征圖，通過特征圖的串聯(lián)得到單個(gè)特征向量。