[發明專利]數據抽取方法、裝置、計算機設備和存儲介質

有效

• 申請號: 201910634368.6
• 申請日: 2019-07-15
• 公開（公告）號: CN110515974B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 張國銳;戴勇
• 申請（專利權）人: 金蝶軟件（中國）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/9535
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 陳小娜

1.一種數據抽取方法，所述方法包括：

獲取攜帶有待抽取數據標識的數據抽取任務；

根據所述數據抽取任務獲取與所述待抽取數據標識對應的待抽取數據；

從所述待抽取數據中分頁抽取中間數據，所述中間數據中包括錯誤標識數據；所述錯誤標識數據為抽取出的所述中間數據中存在錯誤的數據；

統計所述錯誤標識數據所對應的多種特征信息；

針對各特征信息，從所述中間數據中讀取滿足所述特征信息的部分中間數據，基于所述部分中間數據中錯誤標識數據與所述部分中間數據的比值，得到所述特征信息對應的數據錯誤率，將所述數據錯誤率大于第一閾值的特征信息標記為目標特征；

根據所述目標特征生成抽取條件；

根據所述抽取條件從所述待抽取數據中進行抽取，得到符合所述抽取條件的目標數據。

2.根據權利要求1所述的方法，其特征在于，所述數據抽取任務中還攜帶了所述中間數據對應的配置信息，所述配置信息中包括數量占比；所述從所述待抽取數據中分頁抽取中間數據包括：

獲取內存資源信息，根據所述內存資源信息確定數據容量條件；

從所述待抽取數據中提取滿足所述數據容量條件的原始數據；

基于過濾條件對所述原始數據進行過濾，得到過濾后的數據；

從所述過濾后的數據中按照所述數量占比進行隨機抽取，得到中間數據；

重復執行所述從所述待抽取數據中抽取滿足所述數據容量條件的原始數據的步驟，直到遍歷所有所述待抽取數據。

3.根據權利要求2所述的方法，其特征在于，所述配置信息中還包括屬性信息；所述根據所述內存資源信息確定數據容量條件包括：

根據所述屬性信息確定每個屬性對應的數據的內存占用空間；

統計所述配置信息中所述中間數據包括的所有屬性對應的數據的內存占用空間之和，得到所述中間數據對應的內存占用空間；

計算所述內存資源信息中的內存資源空間與所述中間數據對應的內存占用空間的比值，生成數據容量條件。

4.根據權利要求1所述的方法，其特征在于，所述根據所述目標特征生成抽取條件包括：

將不同特征類型的目標特征進行組合，得到多個組合條件；

根據所述組合條件從所述中間數據中提取對應的測試數據；

利用所述測試數據計算在所述中間數據中所述組合條件對應的數據錯誤率；

將所述組合條件對應的數據錯誤率大于第二閾值且包含的所述目標特征最多的組合條件標記為抽取條件。

5.根據權利要求1所述的方法，其特征在于，在所述根據所述抽取條件從所述待抽取數據中進行抽取，得到符合所述抽取條件的目標數據的步驟之后，所述方法還包括：

將所述目標數據對應的數據量與所述中間數據對應的數據量進行比對；

當所述目標數據對應的數據量大于所述中間數據對應的數據量時，則從所述目標數據中隨機抽取所述中間數據對應數據量的目標數據。

6.一種數據抽取裝置，其特征在于，所述裝置包括：

任務獲取模塊，用于獲取攜帶有待抽取數據標識的數據抽取任務；

數據獲取模塊，用于根據所述數據抽取任務獲取與所述待抽取數據標識對應的待抽取數據；

數據抽取模塊，用于從所述待抽取數據中分頁抽取中間數據，所述中間數據中包括錯誤標識數據；所述錯誤標識數據為抽取出的所述中間數據中存在錯誤的數據；

特征信息統計模塊，用于統計所述錯誤標識數據所對應的多種特征信息；

目標特征標記模塊，用于針對各特征信息，從所述中間數據中讀取滿足所述特征信息的部分中間數據，基于所述部分中間數據中錯誤標識數據與所述部分中間數據的比值，得到所述特征信息對應的數據錯誤率，將所述數據錯誤率大于第一閾值的特征信息標記為目標特征；

抽取條件生成模塊，用于根據所述目標特征生成抽取條件；

所述數據抽取模塊還用于根據所述抽取條件從所述待抽取數據中進行抽取，得到符合所述抽取條件的目標數據。