[發明專利]一種基于知識圖譜的金融文本聯合抽取分類方案

在審

• 申請號: 202110992343.0
• 申請日: 2021-08-27
• 公開（公告）號: CN113821636A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 景泳霖;鄒鴻岳;周靖宇
• 申請（專利權）人: 上海快確信息科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/36;G06F40/126;G06N3/08;G06Q40/04
• 代理公司: 深圳華屹智林知識產權代理事務所(普通合伙) 44785
• 代理人: 陳建

1.一種基于知識圖譜的金融文本聯合抽取分類方案，其特征在于：它包含1)文本預訓練模塊，采用(包括但不限于)Bert等比較成熟的預訓練模型，對文本進行預訓練編碼，獲得固定維度的字符或詞向量；2)數值定制化編碼模塊，傳統的預訓練針對數值編碼，都采用與文本字符相同的編碼方式，這種方式不能并不能包含高階的數值信息，如“2.3％、101901448”根據數值的大小、數字的長度等等數值特性，專業人員根據經驗可以判斷第一個數值是利率、第二個數值是債券代碼的。采用傳統的對“0/1/2/...”進行單獨編碼的方式，容易丟失高階的數值結構信息。因此數值編碼模塊采用基于數值映射高階特征，并對高階特征進行編碼的方式；3)融合無監督知識圖譜的注意力層，原始的自注意力機制能夠對文本進行很好的編碼學習，但在金融語料的背景之中,數值編碼所占的比例很高，并且對下游任務有重要意義，強調數值位置對attention關系的影響。在原始注意力機制上進行創新優化：4)基于注意力層的輸出，對下游的聯合任務進行分流；5)解碼層，針對抽取任務，采用詞槽填充解碼器(slot filling decoder)作為抽取任務的解碼器，對編碼結果進行解碼，獲得序列標注結果。另一方面通過邏輯函數進行意圖分類，獲得意圖識別結果。

2.根據權利要求1所述的一種基于知識圖譜的金融文本聯合抽取分類方案，其特征在于：所述的步驟2)數值定制化編碼模塊具體方式為：2.1)首先構建金融數值的高階特征，包含并不限于以下幾個維度：維度1:數據是否為數字0-9，結果為布爾類型；維度2:數值的大小，基于金融業務特點分為幾個不同的范圍值；維度3:臨近(2-gram)字符是否有特殊符號/字母(如％,IB,SH等)；維度4-10:獨有參數維度,參與與訓練,為文本側維度的一個補充，2.2)其次，采用采用正則表達式，從文本中提取出相應的數值字符，并判斷在各維度上的對應值。獲得[維度1，維度2，…]的高階特征文本，2.3)對各高階維度的特征文本[維度4，維度5，…]通過定制化數值預訓練模型(customized embedding只訓練數值的1-gram)獲得對應的特征文本編碼，2.4)優點是(a).將無限的數值映射到有限的高階特征表征上，解決了文本預訓練對應數值編碼的無分階類型問題。(b).高階特征所包含的金融行業的隱含邏輯，有利于下游模型的學習。(c).算法模型針對數值具有更強的泛化學習能力【如：2.34％，5.48％能夠讓模型學到相同的特征信息】(d).能夠解決普通預訓練文本編碼的邊界漂移問題。

3.根據權利要求1所述的一種基于知識圖譜的金融文本聯合抽取分類方案，其特征在于：所述的步驟3)融合無監督知識圖譜的注意力層具體方式為：3.1)基于原始注意力機制其中Q,K,V均為上游輸入的隱層H的非線性變換,其注意力得分定義為：

3.2)為強化強調數值位置對attention關系的影響，我們引入知識圖譜函數G(·)∈R^(N*N)，其中N為句子最大長度；將注意力函數從新定義為：∈是一個正常數，保證了加入新值后的正則化的有效性；

3.3)無監督知識圖譜函數的定義為：

其中W_ij是模型學習訓練參數。

3.4)無監督知識圖譜的訓練參數的初始化方案，為強化數值/字母特殊符號之間的聯系，并且與自注意力機制得分數值范圍保持一致,讓正則化能發揮原有作用。我們定義了M(X)作為知識圖譜硬連接的初始化矩陣，其定義如下：

因為是一個比較小的數值,非軟連接(常數連接)的初始,賦予知識圖譜的參數學習更大的可能性。

4.根據權利要求1所述的一種基于知識圖譜的金融文本聯合抽取分類方案，其特征在于：所述的步驟4)基于注意力層的輸出具體方式為：4.1)基于信息抽取任務，本方案將上述輸出通過非線性函數變化，獲得發射矩陣，作為文字序列分析任務解碼層的輸入；4.2)基于意圖識別任務，將注意力層的輸出通過text-CNN層，并且將它與發射矩陣結果，通過非線性變換層進行融合得到新的特征圖(feature map)，作為意圖分類任務的最后一層輸入；4.3)(optional)對于知識圖譜的特征輸出G(M(x))可以在未來下游任務中發揮作用,比結構化任務等。