[發明專利]一種數據導出的方法及設備

在審

• 申請號: 201910973879.0
• 申請日: 2019-10-14
• 公開（公告）號: CN110851249A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 丁永
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 冷仔

1.一種數據導出的方法，其特征在于，包括：

若滿足預設的數據導出觸發條件，則獲取所述數據導出觸發任務關聯的所有數據導出任務；

統計所述數據導出任務的任務個數，以及檢測本地的線程池內的線程個數；

基于所述任務個數以及所述線程個數，將所述線程池內的空閑線程劃分為查詢線程以及導出線程；

調用所述查詢線程從數據庫中提取各個所述數據導出任務關聯的目標數據，并通過所述導出線程將所述目標數據寫入預設的任務數據文檔。

2.根據權利要求1所述的方法，其特征在于，所述調用所述查詢線程從數據庫中提取各個所述數據導出任務關聯的目標數據，并通過所述導出線程將所述目標數據寫入預設的任務數據文檔，包括：

采集各個所述導出線程的瞬時最大導出量，并根據所述瞬時最大導出量以及所述導出線程的導出線程個數，計算額定導出數據量；

解析各個所述數據導出任務的任務內容，并基于所述任務內容確定期望數據量；

根據所述額定導出數據量以及各個所述數據導出任務的所述期望數據量，將所有所述數據導出任務劃分為至少一個導出任務組；所述導出任務組內所有所述數據導出任務的期望數據量之和小于或等于所述額定導出數據量；

通過所述查詢線程以及所述導出線程分別對各個所述導出任務組執行數據導出操作。

3.根據權利要求2所述的方法，其特征在于，所述通過所述查詢線程以及所述導出線程分別對各個所述導出任務組執行數據導出操作，包括：

調用所述查詢線程分別從所述數據庫中提取各個所述導出任務組內所有數據導出任務的所述目標數據；

若檢測到查詢任一所述導出任務組內所有所述數據導出任務的所述目標數據，則輸出數據導出指令；所述數據導出指令攜帶有所述導出任務組的組編號；

若接收到所述數據導出指令，則控制所述導出線程對所述組編號對應的所述數據導出任務的目標數據執行數據導出操作。

4.根據權利要求2所述的方法，其特征在于，所述解析各個所述數據導出任務的任務內容，并基于所述任務內容確定期望數據量，包括：

通過預設的語義解析算法，提取所述任務內容中的任務關鍵詞；

查詢各個所述任務關鍵詞在所述數據庫中的詞頻參量，并將所述詞頻參量導入預設的期望數據轉換模型，計算所述詞頻參量的期望數據參量；所述期望數據轉換模型具體為：

其中，ξ_Data為所述期望數據參量；WF為所述詞頻參量；BF為基準詞頻；BaseData為基準數據量；

根據所述任務內容的所有所述期望數據參量，確定所述期望數據量。

5.根據權利要求1-4任一項所述的方法，其特征在于，在所述若滿足預設的數據導出觸發條件，則獲取所述數據導出觸發任務關聯的所有數據導出任務之前，還包括：

接收用戶終端發送的數據導出請求；所述數據導出請求包括數據原始文本；

提取所述數據原始文本中的查詢關鍵詞；

識別各個所述查詢關鍵詞在所述數據庫的數據表關聯的數據類型，建立所述查詢關鍵詞與所述數據類型的關聯關系；

根據所述關聯關系輸出所述數據導出請求的數據導出任務。

6.一種數據導出的設備，其特征在于，包括：

數據導出觸發單元，用于若滿足預設的數據導出觸發條件，則獲取所述數據導出觸發任務關聯的所有數據導出任務；

線程個數統計單元，用于統計所述數據導出任務的任務個數，以及檢測本地的線程池內的線程個數；

線程劃分單元，用于基于所述任務個數以及所述線程個數，將所述線程池內的空閑線程劃分為查詢線程以及導出線程；

數據導出執行單元，用于調用所述查詢線程從數據庫中提取各個所述數據導出任務關聯的目標數據，并通過所述導出線程將所述目標數據寫入預設的任務數據文檔。