[發(fā)明專利]一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場(chǎng)景文本視覺(jué)問(wèn)答方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110691232.6
• 申請(qǐng)日: 2021-06-22
• 公開(kāi)（公告）號(hào): CN113360621A
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 郭欣雨
• 申請(qǐng)（專利權(quán)）人: 遼寧工程技術(shù)大學(xué)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06K9/62;G06F40/35;G06N3/04
• 代理公司: 北京華夏正合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11017
• 代理人: 韓登營(yíng)

1.一種基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場(chǎng)景文本視覺(jué)問(wèn)答方法，其特征在于，包括以下步驟：

步驟1：構(gòu)建多模態(tài)圖；

步驟2：使用問(wèn)題詞序列來(lái)生成自注意力權(quán)重，將經(jīng)過(guò)預(yù)處理的問(wèn)題詞嵌入與兩個(gè)獨(dú)立的權(quán)重相乘分別得到視覺(jué)問(wèn)題特征和文本問(wèn)題特征；

步驟3：在視覺(jué)問(wèn)題特征和文本問(wèn)題特征的指導(dǎo)下計(jì)算注意力權(quán)重，輸入到softmax中，然后將權(quán)重與特征節(jié)點(diǎn)對(duì)應(yīng)相乘即得到過(guò)濾后的向量；

步驟4：利用語(yǔ)義上下文完善視覺(jué)節(jié)點(diǎn)，使子圖之間的信息相互融合，更準(zhǔn)確地回答關(guān)于場(chǎng)景圖像中文本的問(wèn)題；

步驟5：更新之后的節(jié)點(diǎn)與對(duì)應(yīng)問(wèn)題特征相乘后連接輸出預(yù)測(cè)答案。

2.如權(quán)利要求1所述的基于模態(tài)推理圖神經(jīng)網(wǎng)絡(luò)的場(chǎng)景文本視覺(jué)問(wèn)答方法，其特征在于，在步驟2中，給定T個(gè)單詞的問(wèn)題，使用預(yù)訓(xùn)練的BERT把單詞嵌入到特征序列中，然后使用兩個(gè)獨(dú)立的雙層MLP生成兩組注意力權(quán)重，生成視覺(jué)問(wèn)題特征和文本問(wèn)題特征。