[發明專利]一種基于遮蔽語言模型的金融領域多重關系抽取方法

有效

• 申請號: 202010394859.0
• 申請日: 2020-05-09
• 公開（公告）號: CN111597812B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 周露
• 申請（專利權）人: 北京合眾鼎成科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06N20/00
• 代理公司: 北京知元同創知識產權代理事務所(普通合伙) 11535
• 代理人: 劉元霞

1.一種基于遮蔽語言模型的金融領域多重關系抽取方法,其特征在于，包括以下步驟：

S1:利用遮蔽語言模型對輸入的數據集編碼為句向量；所述遮蔽語言模型學習融合左右兩側的語境表征，從而預訓練一個深度雙向多頭注意力語言模型，使用所述深度雙向多頭注意力語言模型在大規模語料上進行預訓練后，能夠應用于各種不同自然語言處理任務的遷移學習；

S2:利用基于概率圖思想的融合模型首先從所述步驟S1句向量中抽取主語向量，然后從所述主語向量中抽取賓語向量，最后根據所述主語向量和取賓語向量抽取其對應的謂語向量；

S3:提出所述步驟S2中的主語向量、賓語向量和謂語向量，并將其映射為對應的字符串；

其中所述基于概率圖思想的融合模型的公式為：

P(s，p，o)＝P(s)P(o|s)P(p|s，o)

其中，s指主語向量，p指謂語向量，o為賓語向量。

2.根據權利要求1所述的基于遮蔽語言模型的金融領域多重關系抽取方法,其特征在于：所述步驟S2是利用概率圖思想的融合模型首先從所述步驟S1句向量中抽取主語向量，然后根據所述主語向量提取對應的賓語向量和謂語向量。

3.根據權利要求1所述的基于遮蔽語言模型的金融領域多重關系抽取方法,其特征在于：所述步驟S1中句向量的序列包含詞向量序列、位置編碼序列和遮蔽編碼序列三部分。

4.根據權利要求1所述的基于遮蔽語言模型的金融領域多重關系抽取方法,其特征在于：所述步驟S1利用遮蔽語言模型對輸入的數據集編碼為句向量前，將所述數據集構建遠程監督所需的輔助知識庫，將遠程監督的結果作為模型的訓練特征。