[發明專利]一種數據存儲的方法

在審

• 申請號: 202010053679.6
• 申請日: 2020-01-17
• 公開（公告）號: CN111258978A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 徐格
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/17;G06F9/54
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 葉思

本申請適用于大數據技術領域，提供了一種數據存儲的方法，用于解決現有技術中Kafka采集的數據無法及時進行數據分流和入庫的問題，所述方法包括：從Kafka消息隊列中獲取待分流的目標數據；獲取所述目標數據的目標屬性標識；根據預設的屬性標識和預設的存儲空間的映射關系，確定所述目標屬性標識對應的目標存儲空間，所述目標存儲空間為Hadoop分布式文件系統HDFS服務器上的存儲空間；向所述HDFS服務器發送將所述目標數據寫入所述目標存儲空間的指示消息。

技術領域

本申請屬于大數據處理技術領域，尤其涉及一種數據存儲的方法和一種服務器。

背景技術

隨著云時代的來臨，大數據也吸引了越來越多的關注。大數據需要特殊的技術，以有效地處理大量的數據。例如，在進行大數據的采集和入庫時，常見地可以應用Kafka和Hadoop兩種技術。其中，Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。Hadoop是一種分布式系統基礎架構，其核心設計包括Hadoop分布式文件系統(Hadoop distributed file system，HDFS)和MapReduce。HDFS是一種分布式文件系統，MapReduce是一種編程模型，用于對大規模數據集的并行運算。

需要說明的是，由于大數據中往往包括各類數據，因此在進行入庫時，需要實現數據的分流入庫，也即，將各類數據存放到為各個數據類別預設的存儲空間中。具體地，利用Kafka和Hadoop進行大數據的采集和入庫時，首先需要采用Kafka完成數據的采集。之后，將Kafka中采集的數據先寫入HDFS中，最后再利用MapReduce計算引擎每隔一段預設時間將已寫入HDFS的數據移動到與該數據的數據類別對應的存儲空間中，完成數據入庫。

在上述的過程中，對Kafka采集的數據進行數據分流時，還需要先寫入到HDFS中，寫入過程需要花費一定時間，這樣就使得Kafka采集的數據無法及時進行數據分流和入庫。

發明內容

有鑒于此，本申請實施例提供了一種數據存儲的方法，以解決現有技術中Kafka采集的數據無法及時進行數據分流和入庫的問題。

本申請實施例的第一方面提供了一種數據存儲的方法，可以包括：

從Kafka消息隊列中獲取待分流的目標數據；

獲取該目標數據的目標屬性標識；

根據預設的屬性標識和預設的存儲空間的映射關系，確定該目標屬性標識對應的目標存儲空間，該目標存儲空間為Hadoop分布式文件系統HDFS服務器上的存儲空間；

向該HDFS服務器發送將該目標數據寫入該目標存儲空間的指示消息。

在一些可能的實現方式中，該根據預設的屬性標識和預設的存儲空間的映射關系，確定該目標屬性標識對應的目標存儲空間，可以包括：

根據該目標數據的該目標屬性標識，利用flink引擎、storm引擎或sparkstreaming引擎從該映射關系中查詢確定該目標屬性標識對應的該目標存儲空間。

在一些可能的實現方式中，該目標屬性標識可以包括該目標數據的創建者標識，用戶標識或數據類別標識中的至少一種。

本申請實施例的第二方面提供了一種數據存儲的方法，可以包括：

Hadoop分布式文件系統HDFS服務器獲取目標服務器發送的將目標數據寫入目標存儲空間的指示消息，該目標數據由該目標服務器從Kafka消息隊列中獲取，該目標存儲空間為該目標服務器在確定該目標數據的目標屬性標識后，根據預設的屬性標識和預設的存儲空間的映射關系確定的與該目標屬性標識對應的存儲空間；

該HDFS服務器將該目標數據寫入該目標存儲空間。