[發(fā)明專利]一種基于Horn邏輯與圖神經(jīng)網(wǎng)絡(luò)的場(chǎng)景圖譜向量化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910027540.1
• 申請(qǐng)日: 2019-01-11
• 公開(kāi)（公告）號(hào): CN109753570A
• 公開(kāi)（公告）日: 2019-05-14
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)海;羅宇舟;曾娟
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

1.一種基于Horn邏輯與圖神經(jīng)網(wǎng)絡(luò)的場(chǎng)景圖譜向量化方法，其特征在于，包括如下步驟：

步驟1、以場(chǎng)景圖譜中的視覺(jué)三元組作為輸入，從給定的場(chǎng)景圖譜中抽取Horn規(guī)則；

步驟2、以抽取的Horn規(guī)則以及場(chǎng)景圖譜中的視覺(jué)三元組作為輸入，經(jīng)過(guò)推理以及篩選產(chǎn)生新的視覺(jué)三元組并添加到場(chǎng)景圖譜中；

步驟3、采用實(shí)體向量與關(guān)系向量之間的圖神經(jīng)網(wǎng)絡(luò)模型，對(duì)場(chǎng)景圖譜的視覺(jué)三元組中實(shí)體向量與關(guān)系向量進(jìn)行建模；采用實(shí)體向量與關(guān)系向量之間的翻譯模型，建立得分函數(shù)作為圖神經(jīng)網(wǎng)絡(luò)模型的輸出模塊；

步驟4、進(jìn)行場(chǎng)景圖譜視覺(jué)三元組的預(yù)測(cè)和場(chǎng)景圖譜視覺(jué)三元組的分類，以驗(yàn)證圖神經(jīng)網(wǎng)絡(luò)模型的有效性。

2.根據(jù)權(quán)利要求1所述的場(chǎng)景圖譜向量化方法，其特征在于，步驟1中利用AMIE規(guī)則抽取器從場(chǎng)景圖譜中抽取形如的Horn規(guī)則；步驟2中，推理過(guò)程用當(dāng)前視覺(jué)三元組對(duì)抽取的Horn規(guī)則的前提條件進(jìn)行實(shí)例化，然后根據(jù)Horn規(guī)則推理得出實(shí)例化的結(jié)論；篩選通過(guò)推理過(guò)程得到的視覺(jué)三元組，遍歷所有推理出來(lái)的視覺(jué)三元組，檢查其是否已經(jīng)是場(chǎng)景圖譜中已經(jīng)存在的視覺(jué)三元組，若是則舍棄該推理出的視覺(jué)三元組；否則將該推理出的視覺(jué)三元組添加到場(chǎng)景圖譜中的視覺(jué)三元組中。

3.根據(jù)權(quán)利要求1或2所述的場(chǎng)景圖譜向量化方法，其特征在于，步驟3中，圖神經(jīng)網(wǎng)絡(luò)模型包括傳播模塊、輸出模塊以及損失函數(shù)；先對(duì)場(chǎng)景圖譜中所有實(shí)體和關(guān)系進(jìn)行向量的初始化；根據(jù)所有的視覺(jué)三元組進(jìn)行建圖，以視覺(jué)三元組的實(shí)體為點(diǎn)，關(guān)系為邊建圖；在建好的圖中，假設(shè)對(duì)圖中的任意節(jié)點(diǎn)，其周圍鄰居節(jié)點(diǎn)與當(dāng)前節(jié)點(diǎn)存在著信息的相互傳遞，以傳播模塊對(duì)這一假設(shè)進(jìn)行建模：對(duì)圖中的任意節(jié)點(diǎn)，找出與其相鄰接的節(jié)點(diǎn)，將其相鄰接的節(jié)點(diǎn)的實(shí)體向量通過(guò)轉(zhuǎn)換函數(shù)得到轉(zhuǎn)換后的實(shí)體向量，再對(duì)轉(zhuǎn)換后的鄰居實(shí)體向量進(jìn)行池化操作，來(lái)提取相應(yīng)有效特征；然后經(jīng)過(guò)池化操作之后所得的最終向量作為當(dāng)前實(shí)體的向量，完成傳播過(guò)程；在輸出模塊中，由傳播模塊所得到的所有實(shí)體向量以及初始化的關(guān)系向量，利用翻譯模型的得分函數(shù)，計(jì)算視覺(jué)三元組的得分作為輸出結(jié)果，完成圖神經(jīng)網(wǎng)絡(luò)的前向傳播；以最小化所設(shè)計(jì)的損失函數(shù)為優(yōu)化目標(biāo)，利用隨機(jī)梯度下降算法進(jìn)行優(yōu)化，完成圖神經(jīng)網(wǎng)絡(luò)的反向傳播。

4.根據(jù)權(quán)利要求3所述的場(chǎng)景圖譜向量化方法，其特征在于，傳播模塊的實(shí)體向量表示如下：

S_head(e)＝{T_head(v_h；h，r，e)|(h，r，e)∈N_head(e)}

S_tail(e)＝{T_tail(v_t；e，r，t)|(e，r，t)∈N_tail(e)}

v_e＝P(S_head(e)∪S_tail(e))

其中，N_head(e)＝{(h，r，e)|(h，r，e)∈G}、N_tail＝{(e，r，t)|(e，r，t)∈G}分別表示頭實(shí)體的鄰居實(shí)體和尾實(shí)體的鄰居實(shí)體，G代場(chǎng)景圖譜，S_head、S_tail分別表示頭實(shí)體鄰居向集合和尾實(shí)體鄰居向量集合，T表示轉(zhuǎn)換函數(shù)，其轉(zhuǎn)換函數(shù)如下：

T(v)＝v，恒等；

T(v)＝tanh(Av)，單tanh層；

T(v)＝ReLU(Av)，單ReLU層；

其中，A是參數(shù)矩陣，P表示池化操作，其池化操作如下

加和池化；

均值池化；

最大值池化；

其中，S＝{x₁，x₂，…x_n}是鄰居向量的集合，x_i表示一個(gè)向量。

5.根據(jù)權(quán)利要求3或4所述的場(chǎng)景圖譜向量化方法，其特征在于，采用的翻譯模型為TransE翻譯模型，以TransE翻譯模型的得分函數(shù)作為輸出模塊：

f(h，r，t)＝|v_h+v_r-v_t|_L1/L2

其中，L₁、L₂分別表示向量之間的曼哈頓距離和歐式距離；

根據(jù)得分函數(shù)，設(shè)計(jì)損失函數(shù)，并通過(guò)最小化損失函數(shù)，學(xué)習(xí)到實(shí)體和關(guān)系的最終向量表示，達(dá)到優(yōu)化目標(biāo)；所設(shè)計(jì)的損失函數(shù)L為：

其中，[τ-f(h′_i，r′_i，t′_i)]₊＝max(0，τ-f(h′_i，r′_i，t′_i))；τ為設(shè)定的邊際值；(h，r，t)表示場(chǎng)景圖譜中的正例視覺(jué)三元組，h表示頭實(shí)體，t表示尾實(shí)體，r表示頭實(shí)體和尾實(shí)體之間的關(guān)系，(h′，r′，t′)表示場(chǎng)景圖譜中隨機(jī)替換頭實(shí)體、關(guān)系或者尾實(shí)體得到的負(fù)例視覺(jué)三元組；其中，正例視覺(jué)三元組包括場(chǎng)景圖譜中的視覺(jué)三元組和由Horn規(guī)則推理出來(lái)的視覺(jué)三元組。