[發(fā)明專利]一種基于BERT模型及文本-圖像關(guān)系傳播的多模態(tài)命名實(shí)體識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011642129.4
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112733533A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 孫霖;王躋權(quán);翁芳勝;孫宇軒;鄭增威
• 申請(qǐng)（專利權(quán)）人: 浙大城市學(xué)院
• 主分類號(hào): G06F40/279
• 分類號(hào): G06F40/279;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 杭州九洲專利事務(wù)所有限公司 33101
• 代理人: 張羽振

本發(fā)明涉及一種基于BERT模型及文本?圖像關(guān)系傳播的多模態(tài)命名實(shí)體識(shí)別方法，包括：步驟1、設(shè)計(jì)RpBERT，RpBERT為基于文本?圖像關(guān)系傳播的多模態(tài)命名實(shí)體識(shí)別的BERT模型；步驟2、通過(guò)不同的概率門(mén)G，進(jìn)行關(guān)系傳播；關(guān)系傳播包括軟關(guān)系傳播和硬關(guān)系傳播的兩種門(mén)控傳播；步驟2.1、軟關(guān)系傳播：將概率門(mén)G的輸出視為連續(xù)分布，根據(jù)文本?圖像關(guān)系的強(qiáng)弱對(duì)視覺(jué)特征進(jìn)行過(guò)濾；步驟2.2、硬關(guān)系傳播；步驟3、采用多任務(wù)學(xué)習(xí)方式為多模態(tài)命名實(shí)體識(shí)別訓(xùn)練RpBERT。本發(fā)明的有益效果是：本發(fā)明在實(shí)驗(yàn)中深入分析了使用關(guān)系傳播前后視覺(jué)注意的變化。并在多模態(tài)命名實(shí)體識(shí)別的數(shù)據(jù)集上達(dá)到了可達(dá)到的最先進(jìn)的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于社交推文的多模態(tài)命名實(shí)體識(shí)別領(lǐng)域，主要涉及在多模態(tài)BERT模型中引入了一種文本-圖像關(guān)系傳播的方法，并提出一種多任務(wù)算法來(lái)訓(xùn)練和驗(yàn)證關(guān)系傳播對(duì)多模態(tài)命名實(shí)體識(shí)別數(shù)據(jù)集的影響。

背景技術(shù)

近年來(lái)，社交媒體帖子的多模態(tài)命名實(shí)體識(shí)別受到了關(guān)注。Moon等人于2018年在In Proceedings of the 2018Conference of the North American Chapter of theAssociation for Computational Linguistics學(xué)術(shù)會(huì)議上發(fā)表的論文《MultimodalNamed Entity Recognition for Short Social Media Posts》中提出了一個(gè)模態(tài)注意力模塊。該模塊計(jì)算了單詞嵌入、字符嵌入和視覺(jué)特征的加權(quán)模態(tài)組合。Lu等人在InProceedings of the 56th Annual Meeting of the Association for ComputationalLinguistic會(huì)議上發(fā)表論文《Visual attention model for name tagging inmultimodal social media》中提出了一種用視覺(jué)注意模型來(lái)尋找與文本內(nèi)容相關(guān)的圖像區(qū)域。通過(guò)文本查詢向量和區(qū)域視覺(jué)表征之和的線性投影計(jì)算圖像區(qū)域的注意權(quán)重。提取的視覺(jué)上下文特征被合并到biLSTM模型的字級(jí)輸出中。Zhang等人(2018)在In Thirty-Second AAAI Conference on Artificial Intelligence會(huì)議上表的論文《Adaptivecoattention network for named entity recognition in tweets》設(shè)計(jì)了一個(gè)自適應(yīng)共同注意網(wǎng)絡(luò)(ACN)層，該層位于LSTM和CRF層之間。ACN包含一個(gè)門(mén)控多模態(tài)融合模塊，用于學(xué)習(xí)視覺(jué)和語(yǔ)言特征的融合向量；設(shè)計(jì)了一個(gè)過(guò)濾門(mén)來(lái)判斷融合特征是否有助于提高每個(gè)令牌的標(biāo)注精度，過(guò)濾門(mén)的輸出分?jǐn)?shù)由sigmoid激活函數(shù)計(jì)算。Arshad等人在In2019International Conference on Document Analysis and Recognition會(huì)議上發(fā)表的論文《Aiding Intra-Text Representations with Visual Context for MultimodalNamed Entity Recognition》也提出了每個(gè)分詞的門(mén)控多模態(tài)融合表示，門(mén)控融合是視覺(jué)注意特征和詞嵌入對(duì)齊特征的加權(quán)和。視覺(jué)注意特征由VGG-19(VGG-19是由Simonyan和Zisserman在2014發(fā)表的論文《Very deep convolutional networks for large-scaleimage recognition》中提出的模型)視覺(jué)特征的加權(quán)和計(jì)算得出，權(quán)重是單詞查詢和圖像特征之間的附加注意分?jǐn)?shù)；當(dāng)視覺(jué)線索與文本相關(guān)時(shí)，圖像的整體注意力就不能被提取出來(lái)。圖2(b)展示了失敗的例子，其中不相關(guān)的圖像提供了誤導(dǎo)性的視覺(jué)注意并產(chǎn)生了預(yù)測(cè)誤差。