[發明專利]一種數據快速導入的方法、系統及計算機存儲介質在審

申請號：	202010423357.6	申請日：	2020-05-19
公開（公告）號：	CN111597244A	公開（公告）日：	2020-08-28
發明（設計）人：	周成剛	申請（專利權）人：	北京思特奇信息技術股份有限公司
主分類號：	G06F16/25	分類號：	G06F16/25;G06F16/27;G06F9/50
代理公司：	北京輕創知識產權代理有限公司 11212	代理人：	姜展志
地址：	100089 北京市海淀***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據快速導入方法系統計算機存儲介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明涉及一種數據文件快速導入的方法、系統及計算機存儲介質，其方法包括，基于分布式文件處理機制，將待導入數據文件拆分成多個拆分數據文件；基于多主機節點并行運行，將分布在各主機節點上的拆分數據文件導入數據庫中；基于多主機多線程部署并運行運算，對數據庫中的所有拆分數據文件進行分析處理，生成多個目標子文件；基于分布式文件處理機制，將所有目標子文件通過分層分級逐步合并，生成多個最終文件；將所有最終文件導入目標數據庫中。本發明用分布式文件、多主機節點、多進程、高并發的處理機制將大數據進行拆分—入庫—分析處理—合并—導入幾個步驟，可以實現大數據的快速導入，提升后臺批量數據導入的速度。

技術領域

本發明涉及大數據處理領域，具體涉及一種數據快速導入的方法、系統及計算機存儲介質。

背景技術

新業務的推廣往往伴隨著成本/收益的控制，這就涉及到用戶范圍的圈定，而用戶圈定后如何快速與業務掛勾，目前是在業務上增加目標范圍這樣的規則，但前提是需要將用戶給定的范圍按不同的業務不同的打標標識對應入庫才能做到。以前該類操作，一個通宵可分析并處理千萬級數量，但隨著業務的發展，用戶要求的響應速度要達到每小時分析并處理千萬級，那么現有的處理方法無法滿足日益增長的業務需求。

發明內容

本發明所要解決的技術問題是提供一種數據快速導入的方法、系統及計算機存儲介質，可以實現大數據的快速導入，提升后臺批量數據導入的速度，快速響應大批量文件導入的需求。

本發明解決上述技術問題的技術方案如下：一種數據文件快速導入的方法，包括以下步驟，

S1，基于分布式文件處理機制，將待導入數據文件拆分成分布在多主機節點上的多個拆分數據文件；

S2，基于多主機節點并行運行，將分布在各主機節點上的所述拆分數據文件導入數據庫中；

S3，基于多主機多線程部署并運行運算，對所述數據庫中的所有所述拆分數據文件進行分析處理，生成多個目標子文件；

S4，基于分布式文件處理機制，將所有所述目標子文件通過分層分級逐步合并，生成多個最終文件；

S5，將所有所述最終文件導入目標數據庫中。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，在所述S1中，所述待導入數據為大數據。

進一步，在所述S1中，所述待導入數據按打標標識進行拆分。

進一步，所述數據庫具體為分布式內存數據庫。