[發明專利]基于關系圖注意力神經網絡的事件時序關系識別方法

有效

• 申請號: 202011471742.4
• 申請日: 2020-12-15
• 公開（公告）號: CN112507077B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 徐小良;高通
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/211;G06F40/216;G06F40/289;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明公開了一種基于關系圖注意力神經網絡的時序關系識別方法，該方法主要包括以下步驟：首先對事件句進行依存關系分析，獲取相關的依存樹；然后使用一種圖遞歸構建策略將依存樹轉化為時序圖；隨后利用關系圖注意力神經網絡對時序圖進行信息更新，獲取時序圖中每個節點的隱藏狀態；最后從節點隱藏狀態集合中提取出有關觸發詞的隱藏狀態和句子表示向量，并將其放入到softmax函數中實現事件時序關系識別。本發明能夠有效處理長距離非局部語義信息，捕獲融合深層次的隱藏信息，顯著提升了事件時序關系識別的準確度。

技術領域

本發明涉及自然語言處理領域，具體涉及一種基于關系圖注意力神經網絡的事件時序關系識別方法。

背景技術

事件時序關系識別是當前頗具挑戰的一個自然語言處理任務，它能夠幫助我們細致分析一些錯綜復雜的數據信息，并推動了許多下游任務的發展，比如信息檢索、關系預測等。事件時序關系識別任務旨在探究不同事件句中的不同事件間的時序關系，并采用觸發詞表示被提及的事件。觸發詞通常是事件句中的一個或者多個連續的動詞。下面是取自TimeBank-Dense語料的一個示例，描述了事件時序關系“BEFORE”,即事件“invite”發生在事件“visit”之前。

事件句1：The main positive for Castro to invite the Pope isinternational,this government is not as closed,as intolerant,as totalitarianas some make it out to be。

事件句2：One of the scenarios widely advanced before the visit is thatthrough the Pope,Cuba,still led by Castro,can begin a more productiverelationship with the world。

較早的事件時序關系識別方法普遍采用機器學習的方法，通過人工標注的句法、詞性等特征并結合SVM等模型進行時序關系分類。但是頻繁的人工標注造成了時間成本驟增，不適合大規模系統的應用。一些知識庫的構建降低了時間成本，但識別性能仍得不到本質的提升。

近幾年，深度學習技術發展迅猛，CNN和RNN等模型均在不同任務中取得了不錯的效果，一些研究者開始將其運用在事件時序關系識別任務中。通過對事件句進行語義依存分析，然后截取最短依存路徑，并利用Bi-LSTM等模型進行表示學習，時序關系識別性能得到較高提升。但是當前的大多方法普遍基于順序模型，不能有效處理長距離非局部語義信息，容易造成部分重要的深層次隱藏語義信息被丟失遺忘，導致事件時序關系整體識別性能的降低。

發明內容

本發明提供了基于關系圖注意力神經網絡的事件時序關系識別方法，旨在解決當前較多方法存在的難以有效處理長距離非局部語義信息并遺漏丟失部分重要的深層次隱藏語義信息的問題。

本發明的技術方案如下：

Step1：時序圖構建。

首先對事件句對進行語義依存分析，獲得兩個依存樹。針對每個依存樹，查找觸發詞所處位置，并以觸發詞以起點，遞歸查找它的相鄰節點，直到p跳的相鄰節點為止，并保留該階段內被查找的節點，其中p為遞歸次數。

為了加強事件句對間的語義聯系和長距離分詞間的語義表示，后期加入了一些人工構造的邊。為了簡化操作和提升運算能力，本方法放棄了具體定義的依存關系，使用抽象的關系類型表示分詞間的聯系，定義的關系類型如下：

Depend-Head類型邊：通過依存分析工具獲得的邊。

Head-Depend類型邊：新定義的邊，與Depend-Head類型邊方向相反。

Self-Loop類型邊：新定義的邊，該邊指向分詞本身。