[發明專利]數據導入方法、裝置、設備及計算機程序產品

有效

• 申請號: 202110659020.X
• 申請日: 2021-06-15
• 公開（公告）號: CN113342885B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 俞小偉;曠波;文海榮;王大飛;江旻
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/21;G06F9/50
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種數據導入方法，其特征在于，所述數據導入方法包括：

確定對目標數據庫的并發數據導入任務；

獲取各所述并發數據導入任務上一次的實際導入速率；

計算各所述并發數據導入任務上一次的實際導入速率之和，得到當前并發導入速率；

若所述當前并發導入速率大于0，則獲取所述目標數據庫的安全每秒處理事務數TPS、安全每秒進行讀寫操作的次數IOPS、當前TPS和當前IOPS；

計算所述當前TPS與所述安全TPS之差，得到TPS偏差，計算所述當前IOPS與所述安全IOPS之差，得到IOPS偏差；

根據所述TPS偏差和IOPS偏差的大小，確定偏差值較大的目標當前指標，所述目標當前指標為所述當前TPS和當前IOPS中的一個；

根據所述目標當前指標和所述并發數據導入任務的預設優先級確定各所述并發數據導入任務的最優導入速率，按照與各所述并發數據導入任務按照對應的最優導入速率執行所述并發數據導入任務。

2.如權利要求1所述的數據導入方法，其特征在于，所述根據所述目標當前指標和所述并發數據導入任務的預設優先級確定各所述并發數據導入任務的最優導入速率的步驟包括：

根據所述并發數據導入任務的數量和各所述并發數據導入任務的預設優先級，確定各所述并發數據導入任務的并發資源占比；

根據所述目標當前指標對應的目標安全指標、所述目標當前指標和當前并發導入速率，確定期待并發導入速率；

計算各所述并發數據導入任務的所述并發資源占比和期待并發導入速率之積，作為所述并發數據導入任務的最優導入速率。

3.如權利要求1所述的數據導入方法，其特征在于，所述確定對目標數據庫的并發數據導入任務的步驟之前，還包括：

獲取對目標數據庫的原始數據導入任務，基于所述目標數據庫的預設最大并發值控制各所述原始數據導入任務進行搶鎖；

將搶鎖成功的原始數據導入任務確定為并發數據導入任務。

4.如權利要求3所述的數據導入方法，其特征在于，所述基于所述目標數據庫的預設最大并發值控制各所述原始數據導入任務進行搶鎖的步驟包括：

確定所述原始數據導入任務中存在依賴關系的依賴任務組和不存在依賴關系的非依賴任務組；其中，所述依賴任務組中的原始數據導入任務按照依賴關系順序搶鎖；

基于所述目標數據庫的預設最大并發值，控制所述依賴任務組和所述非依賴任務組進行搶鎖，其中，每一所述依賴任務組在同一時刻的允許搶鎖任務的數量為1。

5.如權利要求3所述的數據導入方法，其特征在于，所述獲取對目標數據庫的原始數據導入任務的步驟之前，還包括：

接收數倉數據導出請求，根據所述數倉數據導出請求獲取填寫于預設導出任務配置表頁面中的數倉數據導出信息；所述數據導出信息包括源數倉信息、目標導出數據信息和目標數據庫信息；

基于所述數據導出信息生成對目標數據庫的原始數據導入任務。

6.如權利要求1所述的數據導入方法，其特征在于，所述獲取所述目標數據庫的當前TPS的步驟包括：

獲取所述目標數據庫從上一次啟動至當前時刻所執行的第一更新語句數量、第一刪除語句數量和第一插入語句數量；

在距所述當前時刻預設時長的第二時刻，獲取所述目標數據庫從上一次啟動至所述第二時刻所執行的第二更新語句數量、第二刪除語句數量和第二插入語句數量；

根據所述第一更新語句數量、第一刪除語句數量、第一插入語句數量、第二更新語句數量、第二刪除語句數量和第二插入語句數量和所述預設時長確定當前TPS。