[發明專利]數據接入方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110096250.X
• 申請日: 2021-01-25
• 公開（公告）號: CN112685427A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 拉卡拉支付股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/28
• 代理公司: 北京智宇正信知識產權代理事務所(普通合伙) 11876
• 代理人: 李明卓

本公開實施例公開了一種數據接入方法、裝置、電子設備、存儲介質及程序產品，所述方法包括：接收數據獲取請求；所述數據獲取請求包括待導入數據的配置數據；根據所述配置數據確定數據導入參數；根據所述數據導入參數確定進行數據導入的線程的并行線程數量以及每個線程需要導入數據的子數據量；其中，所述線程所要導入數據的子數據量之和為所述待導入數據的總數據量；并行執行所述并行線程數量個所述線程，由所述線程從生產平臺獲取待導入數據。該技術方案在可以加快數據接入量較大的數據抽取過程的進程，以便通過提升數據抽取速度來降低數據庫快照過舊發生的幾率，從而大大提升了數據量大的數據表的接入成功率、降低了接入失敗對下游業務的影響。

技術領域

本公開實施例涉及計算機技術領域，具體涉及一種數據接入方法、裝置、電子設備及存儲介質。

背景技術

大數據集群系統通常會對生產系統的數據進行集中存儲，方便管理以及供下游使用。而生產系統中存儲數據的數據表存在一個問題，即數據量過大，比如商戶表、終端表等，一個數據表中的數據量可能會超過千萬條。生成系統中存儲數據的數據表還存在另一個問題，也即生產系統中的部分數據表可以通過增量接入的方式獲取，可以降低每次的數據抽取量，而還有一些數據表可能受限于當初的設計或業務數據的實際情況，在數據抽取時只能全量接入，不能通過增量方式接入，而每次抽取的數據量超過千萬的接入會比較容易出現失敗的情況。本公開發明人發現，接入失敗的一個原因是數據庫快照過舊，而這些接入數據表是比較重要的業務表的情況下，如果接入失敗則容易對下游業務(報表、分潤、賬務等)造成嚴重的業務影響。因此，如何在數據接入過程中避免出現由于一次數據接入量過大而導致失敗的問題是當前需要解決的技術問題之一。

發明內容

本公開實施例提供一種數據接入方法、裝置、電子設備、存儲介質及程序產品。

第一方面，本公開實施例中提供了一種數據接入方法，包括：

接收數據獲取請求；所述數據獲取請求包括待導入數據的配置數據；

根據所述配置數據確定數據導入參數；

根據所述數據導入參數確定進行數據導入的線程的并行線程數量以及每個線程需要導入數據的子數據量；其中，所述線程所要導入數據的子數據量之和為所述待導入數據的總數據量；

并行執行所述并行線程數量個所述線程，由所述線程從生產平臺獲取待導入數據。

進一步地，根據所述配置數據確定所述數據導入參數，包括：

根據所述配置數據確定數據導入方式為全量數據導入方式還是增量數據導入方式；

在所述數據導入方式為增量數據導入方式時，確定所述待導入數據在生成平臺中的數據源的導入開始位置。

進一步地，根據所述配置數據確定所述數據導入參數，包括：

確定所述配置數據中用于指定并行線程數量的參數。

進一步地，根據所述配置數據確定所述數據導入參數，還包括：

確定所述配置數據中用于分割所述待導入數據的數據分割字段。

進一步地，根據所述數據導入參數確定進行數據導入的并行線程數量以及每個線程需要導入數據的子數據量，包括：

在所述指定并行線程數量的參數為空時，將所述并行線程數量確定為默認值。

進一步地，根據所述數據導入參數確定進行數據導入的并行線程數量以及每個線程需要導入數據的子數據量，包括：

根據所述數據分割字段在所述待導入數據中的最大值以及最小值確定所述待導入數據的數據總量；

根據所述數據總量以及所述并行線程數量確定每個線程需要導入數據的子數據量。