[發明專利]基于圖片和句子的多模態聯合事件檢測方法

有效

• 申請號: 202110660692.2
• 申請日: 2021-06-15
• 公開（公告）號: CN113535949B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 張旻;曹祥彪;湯景凡;姜明
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/55;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于圖片和句子的多模態聯合事件檢測方法，同時從圖片和句子中識別事件。本發明一方面利用現有的單模態數據集分別學習圖片和文本事件分類器；另一方面利用已有的圖片與標題對訓練圖片句子匹配模塊，找出多模態文章中語義相似度最高的圖片和句子，從而獲取圖片實體和單詞在公共空間的特征表示。這些特征有助于圖片和文本事件分類器之間共享參數，得到共享事件分類器。最后，利用少量的多模態標注數據對模型進行測試，利用共享事件分類器分別獲取圖片和句子描述的事件及其類型。本發明從圖片和句子中識別事件,利用視覺特征和文本特征的互補性，不僅提高了單模態事件分類的性能，而且可以發現文章中更完整的事件信息。

技術領域

本發明設計事件檢測方法，具體來講是一種基于圖片和句子的多模態聯合事件檢測的方法，屬于多模態信息抽取領域。

背景技術

隨著電腦、手機等現代科技逐漸走入尋常百姓家，參與社交平臺互動、瀏覽新聞網站等行為已成為人們獲取網絡信息的主要途徑，這也極大簡化了網民獲取信息的流程。隨之而來的是消費信息的網絡用戶不斷增加，據中國互聯網絡信息中心發布的第47次《中國互聯網絡發展狀況統計報告》¹顯示，截至2020年12月，中國網民人數達到98900萬，相較于去年3月份，網民人數增加了8540萬人。因此，每天都會有大量新的信息涌入網絡，這些信息通常以文本、圖片、音頻等多種形式在大眾之間進行傳播。在面對如此海量且雜亂無章的網絡信息時，信息抽取技術能對數據進行處理，并將結構化的信息展示給用戶，從而準確地為用戶提供有價值、感興趣的信息。

信息抽取是為了從圖片、文本或音頻中抽取出結構化的信息，進行存儲和展示，同時也是構建知識圖譜的重要技術手段，通常由命名實體識別、關系抽取和事件抽取三個子任務構成。以文本為例，命名實體識別任務是為了發現描述地緣政治、設施、人名的實體。關系抽取任務的目的是確定兩個實體之間的二元語義關系。而事件抽取任務包括事件檢測(找出句中的觸發詞，并確定它們的事件類型)和論元識別(為每個參與事件的實體分配論元角色)兩個環節。相比關系抽取，事件抽取任務能夠同時抽取多實體間的相互關系，從而獲得更加細粒度的結構化信息。因此，事件抽取任務更具挑戰性。

事件檢測是事件抽取任務的重要環節，該環節可以識別出標志著事件發生的圖片動作和文本觸發詞，并將其分類為預定義的事件類型。在網絡輿情分析、情報收集等領域有著廣泛的應用。

發明內容

本發明主要針對于圖片或句子等單模態數據提供的信息往往不足以進行正確的事件分類，通常需要借助于其他模態的特征信息。提出了一種基于圖片和句子的多模態聯合事件檢測方法，同時從圖片和句子中識別事件。提出的一種基于圖片和句子的多模態聯合事件檢測的方法。

基于圖片和句子的多模態聯合事件檢測的方法，按照如下步驟進行：

步驟1、文本事件檢測模塊首先對文本特征進行編碼，獲取句中單詞的特征表示序列對于第j個候選觸發詞，然后將其對應的特征向量輸入文本事件分類器Softmax_T，獲取第j個候選觸發詞觸發的事件類型概率分布，其中，文本事件分類器的損失函數定義為L^T；

步驟2、對圖片特征進行編碼，獲取圖片中描述動作以及多個實體的特征表示序列然后將圖片實體特征向量輸入圖片事件分類器Softmax_I，獲取當前圖片描述的事件類型概率分布，其中，圖片事件分類器的損失函數定義為L^I；