[發明專利]文本語料的處理方法和裝置

有效

• 申請號: 201911419932.9
• 申請日: 2019-12-31
• 公開（公告）號: CN111160035B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張強;喻波;王志海;魏力;謝福進
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/04;G06N3/084
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王淼

1.一種文本語料的處理方法，其特征在于，包括：

識別文本語料中的多個實體，以及多個實體關系；

基于所述多個實體和所述多個實體關系，構建結構化矩陣，其中，所述結構化矩陣中的每個實體標注了對應的實體標簽，每個實體關系標注了對應的關系標簽；

使用神經網絡模型中的反向傳播算法來更新所述神經網絡模型的模型參數；

使用更新了模型參數的神經網絡模型來訓練所述結構化矩陣中的數據，訓練得到聯合抽取模型，其中，所述聯合抽取模型用于對文本語句進行預測；

其中，基于所述多個實體和所述多個實體關系，構建結構化矩陣，包括：讀取結構化數據中包含的所述多個實體和所述多個實體關系；遍歷所述文本語料中的句子，將每個句子中字編號，實體，實體標簽，實體關系的關系標簽，作為列表封裝到所述文本語料的句子中，得到所述結構化矩陣，其中，所述結構化矩陣用于確定所述實體之間的復合關系特征。

2.根據權利要求1所述的方法，其特征在于，在基于所述多個實體和所述多個實體關系，構建結構化矩陣之前，所述方法還包括：

對所述文本語料進行標注，其中，所述文本語料的標注包括：每個實體的實體標簽，每個實體關系的關系標簽；

基于所述文本語料的標注結果，獲取包含了所述文本語料中實體之間的復合關系的結構化數據，其中，所述復合關系表征所述實體之間多對多的關系。

3.根據權利要求1所述的方法，其特征在于，使用更新了模型參數的神經網絡模型來訓練所述結構化矩陣中的數據，訓練得到聯合抽取模型，包括：

將所述結構化矩陣表征的所述文本語料輸入到所述神經網絡模型的輸入層；

從所述結構化矩陣中提取特征得到字符向量集，并將所述字符向量集和加載的字向量進行拼接，得到拼接結果；

通過所述神經網絡模型的隱藏層的雙向LSTM對所述拼接結果進行特征提取，得到總雙向輸出狀態和當前時刻的雙向輸出狀態；

將所述總雙向輸出狀態進行拼接，得到激活函數的輸入，并進行關系分類，得到每個實體標簽的得分；

將得分最高的實體標簽進行詞嵌入，得到嵌入標簽；

將所述總雙向輸出狀態和所述嵌入標簽進行拼接，并通過Bi-LSTM模型和激活函數計算得到實體之間的實體關系和每個實體關系的關系標簽的得分；

基于所述關系標簽的得分得到所述聯合抽取模型。

4.根據權利要求1至3中任意一項所述的方法，其特征在于，在基于所述多個實體和所述多個實體關系，構建結構化矩陣之后，所述方法還包括：

采用基于SVD的降維算法，將所述結構化矩陣進行奇異值分解，使得所述結構化矩陣壓縮至低維空間中。

5.根據權利要求1所述的方法，其特征在于，在使用更新了模型參數的神經網絡模型來訓練所述結構化矩陣中的數據的過程中，所述方法還包括：

基于語料的訓練條件來判斷所述結構化矩陣的訓練狀態，并利用滑動平均算法得到所述聯合抽取模型的最優模型，其中，所述訓練條件包括如下至少之一：設定閾值、訓練次數、訓練目標和訓練頻率。

6.根據權利要求1所述的方法，其特征在于，在訓練得到聯合抽取模型之后，所述方法還包括：

使用至少一種評估標準來評估所述聯合抽取模型，得到評估結果，其中，所述評估標準包括如下至少之一：準確率、精確率和召回率。