[發明專利]一種數據提取方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210011342.8
• 申請日: 2022-01-06
• 公開（公告）號: CN114398878A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 景泳霖;李藝彬;鄒鴻岳;周靖宇
• 申請（專利權）人: 北京快確信息科技有限公司
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06F40/126;G06N3/04;G06N3/08
• 代理公司: 廣東良馬律師事務所 44395
• 代理人: 王寧

1.一種數據提取方法,其特征在于,所述方法包括：

獲取用于訓練的文本數據，對文本數據進行預處理，生成預處理的文本數據；

根據預處理的文本數據分別提取出數字樣本和字符樣本；

對數字樣本進行單獨編碼，生成數字編碼；

通過多頭注意力和雙向長短期記憶結構的編碼模型對字符樣本進行編碼，生成字符編碼；

獲取預先設置的金融數字規則庫，對金融數字規則庫進行映射后，生成人工標注的訓練標簽；

將數字編碼、字符編碼及人工標注的訓練標簽輸入CRF模型進行解碼，生成數字提取模型；

獲取待處理的文本數據，將文本數據輸入數字提取模型，生成數字預測結果。

2.根據權利要求1所述的方法，其特征在于，所述獲取用于訓練的文本數據，對文本數據進行預處理，生成預處理的文本數據，包括：

獲取用于訓練的文本數據，根據正則表達式對數字進行提取，對提取的數字進行預處理；

根據預先設置的條件對金融數據規則進行梳理。

3.根據權利要求2所述的方法，其特征在于，所述對數字樣本進行單獨編碼，生成數字編碼，包括：

通過獨熱編碼對數字樣本進行單獨編碼，生成數字編碼。

4.根據權利要求3所述的方法，其特征在于，所述通過獨熱編碼對數字樣本進行單獨編碼，生成數字編碼，包括：

通過獨熱編碼對數字樣本進行單獨編碼，對編碼后的數字樣本中融入數值在文本的位置編碼和數據類型，生成目標編碼矩陣。

5.根據權利要求3所述的方法，其特征在于，所述通過獨熱編碼對數字樣本進行單獨編碼，生成數字編碼，包括：

通過獨熱編碼對數字樣本進行單獨編碼，生成編碼矩陣；

根據padding或自編碼器對編碼矩陣進行改編，生成目標編碼矩陣。

6.根據權利要求4或5所述的方法，其特征在于，所述將數字編碼、字符編碼及人工標注的訓練標簽輸入CRF模型進行解碼，生成數字提取模型，包括：

將數字編碼、字符編碼輸入CRF模型,并通過人工標注的訓練標簽對CRF模型進行遠程監督訓練；

獲取訓練過程中CRF模型的標簽識別結果；

若標簽的數據標記為0，則通過遠程監督判斷其是否為有效的金融數字；

若是有效的金融數字，則獲取預設的金融先驗規則，進行預先映射；

判斷映射結果是否滿足目標要求，若映射結果滿足目標要求則將映射結果整理成模型信號，傳入CRF模型的目標函數中，完成訓練，生成數字提取模型。

7.根據權利要求6所述的方法，其特征在于，所述獲取訓練過程中CRF模型的標簽識別結果，包括：

獲取訓練過程中CRF模型的預測的結果信息并提取，將提取的信息整理成標準輸出格式的標簽識別結果。

8.一種數據提取裝置，其特征在于，所述裝置包括：

數據處理模塊，用于獲取用于訓練的文本數據，對文本數據進行預處理，生成預處理的文本數據；

樣本提取模塊，用于根據預處理的文本數據分別提取出數字樣本和字符樣本；

數字編碼模塊，用于對數字樣本進行單獨編碼，生成數字編碼；

字符編碼模塊，用于通過多頭注意力和雙向長短期記憶結構的編碼模型對字符樣本進行編碼，生成字符編碼；

訓練標簽生成模塊，用于獲取預先設置的金融數字規則庫，對金融數字規則庫進行映射后，生成人工標注的訓練標簽；

解碼模塊，用于將數字編碼、字符編碼及人工標注的訓練標簽輸入CRF模型進行解碼，生成數字提取模型；

數字預測模塊，用于獲取待處理的文本數據，將文本數據輸入數字提取模型，生成數字預測結果。