[發明專利]從非結構化數據中提取結構化數據方法及裝置

在審

• 申請號: 202110262891.8
• 申請日: 2021-03-11
• 公開（公告）號: CN112966038A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 陳洲;張志恒;沈云;莫鈞濤
• 申請（專利權）人: 國泰新點軟件股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F40/205;G06F40/174;G06N3/04
• 代理公司: 蘇州謹和知識產權代理事務所(特殊普通合伙) 32295
• 代理人: 徐磊

1.一種從非結構化數據中提取結構化數據的方法，其特征在于，所述方法包括：

獲取目標文檔，所述目標文檔包括待提取的非結構化數據；

對所述目標文檔進行數據切割，得到所述目標文檔中的多個數據片段；

將所述多個數據片段依次輸入預先訓練的數據分類模型，得到每個數據片段包括的各個分類標簽和每個分類標簽對應的數據內容；所述數據分類模型預先使用多組訓練數據訓練得到，每組訓練數據包括：多個樣本數據片段和每個樣本數據片段對應的分類標簽標注；

將每種分類標簽和對應的數據內容存儲至結構化數據庫，得到結構化數據；

通過表單顯示所述結構化數據。

2.根據權利要求1所述的方法，其特征在于，所述對所述目標文檔進行數據切割，得到所述目標文檔中的多個數據片段，包括：

通過文件內容提取工具，提取所述目標文檔中的文本內容；

按照預設標點符號對所述文本內容進行數據切割，得到所述多個數據片段。

3.根據權利要求1所述的方法，其特征在于，所述分類標簽基于所述非結構化數據的數據提取需求確定。

4.根據權利要求3所述的方法，其特征在于，將所述多個數據片段依次輸入預先訓練的數據分類模型，得到每個數據片段包括的各個分類標簽和每個分類標簽對應的數據片段之前，還包括：

獲取樣本文檔；

對所述樣本文檔進行數據切割，得到所述樣本文檔中的多個樣本數據片段；

根據所述數據提取需求對每個樣本數據片段進行標注，得到對應的分類標簽標注；

將所述樣本數據片段輸入預設的神經網絡模型中，得到模型結果；

基于預設的損失函數、所述模型結果和所述分類標簽標注對所述神經網絡模型進行訓練，得到所述數據分類模型。

5.根據權利要求4所述的方法，其特征在于，所述樣本文檔包括與所述數據提取需求相關的非結構化數據。

6.根據權利要求1所述的方法，其特征在于，所述數據分類模型基于轉換器的雙向編碼器表示BERT模型建立。

7.根據權利要求1所述的方法，其特征在于，所述通過表單顯示所述結構化數據，包括：

通過網頁以表單的形式顯示所述結構化數據。

8.根據權利要求1所述的方法，其特征在于，所述目標文檔為word文檔，且所述待提取的非結構化數據在所述word文檔中以非固定格式存儲，且有歷史存量文檔。

9.一種從非結構化數據中提取結構化數據裝置，其特征在于，所述裝置包括：

文檔獲取模塊，用于獲取目標文檔，所述目標文檔包括待提取的非結構化數據；

數據切割模塊，用于對所述目標文檔進行數據切割，得到所述目標文檔中的多個數據片段；

數據分類模塊，用于將所述多個數據片段依次輸入預先訓練的數據分類模型，得到每個數據片段包括的各個分類標簽和每個分類標簽對應的數據內容；所述數據分類模型預先使用多組訓練數據訓練得到，每組訓練數據包括：多個樣本數據片段和每個樣本數據片段對應的分類標簽標注；

結構化存儲模塊，用于將每種分類標簽和對應的數據內容存儲至結構化數據庫，得到結構化數據；

數據顯示模塊，用于通過表單顯示所述結構化數據。

10.根據權利要求9所述的裝置，其特征在于，所述目標文檔為word文檔，且所述待提取的非結構化數據在所述word文檔中以非固定格式存儲，且有歷史存量文檔。