[發明專利]數據傳輸方法、裝置、電子設備、存儲介質及程序產品

在審

• 申請號: 202011597431.2
• 申請日: 2020-12-29
• 公開（公告）號: CN112597234A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 拉卡拉支付股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京智宇正信知識產權代理事務所(普通合伙) 11876
• 代理人: 李明卓

本公開實施例公開了一種數據傳輸方法、裝置、電子設備、存儲介質及程序產品，所述方法包括：獲取目標海量數據；基于所述目標海量數據生成目標數據文件；將所述目標數據文件發送至數據中間組件，以備目標數據庫在需要時向所述數據中間組件請求下載所述目標數據文件。該技術方案借助海量數據中轉存儲機制不僅能夠有效避免由于海量數據或者次海量數據的寫入而導致的數據庫IO高峰、數據庫IO失衡、數據庫性能下降、用戶體驗變差、甚至數據庫運行癱瘓的情況，而且還能夠保障數據庫的IO均衡，提升數據庫的性能。

技術領域

本公開實施例涉及數據處理技術領域，具體涉及一種數據傳輸方法、裝置、電子設備、存儲介質及程序產品。

背景技術

隨著科學技術以及互聯網技術的發展，越來越多的海量數據需要被處理以及被傳輸。現有技術中，在大數據平臺處理或計算完畢，生成海量數據或者次海量數據，將生成的海量數據或者次海量數據推送至相應的數據庫中時，通常是將所述海量數據或者次海量數據直接寫入至相應的數據庫中，但由于大數據平臺對于接收數據的數據庫的數據流量情況并不了解，因此，經常會出現海量數據或者次海量數據的寫入導致數據庫產生IO(輸入輸出)高峰、影響IO均衡、數據庫性能下降、用戶體驗變差，嚴重時還有可能造成數據庫運行癱瘓。

發明內容

本公開實施例提供一種數據傳輸方法、裝置、電子設備、存儲介質及程序產品。

第一方面，本公開實施例中提供了一種數據傳輸方法。

具體的，所述數據傳輸方法，包括：

獲取目標海量數據；

基于所述目標海量數據生成目標數據文件；

將所述目標數據文件發送至數據中間組件，以備目標數據庫在需要時向所述數據中間組件請求下載所述目標數據文件。

結合第一方面，本公開實施例在第一方面的第一種實現方式中，所述目標數據文件為一個或多個。

結合第一方面和第一方面的第一種實現方式，本公開實施例在第一方面的第二種實現方式中，當所述目標數據文件為多個時，所述基于所述目標海量數據生成目標數據文件，包括：

獲取預設數據長度，并根據所述預設數據長度將所述目標海量數據劃分為多個目標數據文件；

生成目標數據索引文件，其中，所述目標數據索引文件包括所述多個目標數據文件的標識信息及所述多個目標數據文件的生成順序信息；

所述將所述目標數據文件發送至數據中間組件，被實施為：

將所述多個目標數據文件和所述目標數據索引文件發送至數據中間組件。

結合第一方面、第一方面的第一種實現方式和第一方面的第二種實現方式，本公開在第一方面的第三種實現方式中，所述數據中間組件為中間文件服務器或消息中間件。

結合第一方面、第一方面的第一種實現方式、第一方面的第二種實現方式和第一方面的第三種實現方式，本公開在第一方面的第四種實現方式中，還包括：

響應于確認所述目標數據文件傳輸完成，向所述目標數據庫發送目標數據文件接收提示消息，其中，所述目標數據文件接收提示消息攜帶有存儲所述目標數據文件的數據中間組件地址及目標數據文件屬性信息。

第二方面，本公開實施例中提供了一種數據傳輸方法。

具體的，所述數據傳輸方法，包括：

接收目標平臺發送的目標數據文件接收提示消息，其中，所述目標數據文件接收提示消息攜帶有存儲所述目標數據文件的數據中間組件地址及目標數據文件屬性信息；

響應于確認滿足數據傳輸條件，從所述目標數據文件接收提示消息中獲取存儲所述目標數據文件的數據中間組件地址及目標數據文件屬性信息；