[發明專利]標簽系統數據的存儲方法和裝置

有效

• 申請號: 201710476509.7
• 申請日: 2017-06-21
• 公開（公告）號: CN107330024B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 郝鑄
• 申請（專利權）人: 華為機器有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊貝貝;劉芳

本申請提供一種標簽系統數據的存儲方法和裝置。該方法包括：獲取在標簽計算任務完成時，按列格式存儲在工作目錄中的列族文件；列族文件中包括一個標識列和至少一個標簽列；根據列族文件的列族名稱，將列族文件移動到歸檔目錄中與列族名稱對應的歸檔子目錄下。通過將列族文件按列格式存儲，提高了數據批量讀寫吞吐率，方便了數據更新。同時，由于標簽計算任務的計算結果直接存儲在HDFS中，減少了數據的移動，將數據延遲降低到了最低，降低了成本。通過存儲列族文件的多個版本，也方便了對列族文件的版本管理，根據多版本的列族文件進行基于時間序列的分許。

技術領域

本申請涉及數據處理領域，尤其涉及一種標簽系統數據的存儲方法和裝置。

背景技術

在大數據時代，為方便數據分析和信息挖掘，數據越來越多的以標簽系統的形式存儲。用戶標簽系統是一種常見的標簽系統應用，用戶標簽可用于對用戶進行精準快速的分析和畫像。

標簽系統中的數據存儲和分析多采用大數據生態系統(hadoop)的技術組件實現。示例性的，通常基于計算引擎spark或Map-Reduce對數據進行批量計算，然后將計算結果存儲在非關系型的數據庫(NoSQL)中，如鍵值(key-value)類型數據庫。在存儲過程中通常以實體標識為行主鍵，將標簽按照key-value的形式存入NoSQL數據庫，方便后續在NoSQL數據庫中做數據的查詢分析。

但是，由于NoSQL數據庫將數據按key存儲，導致數據吞吐率較差，數據的批量讀寫性能差。

發明內容

本申請提供一種標簽系統數據的存儲方法和裝置，用以解決現有標簽系統中，將標簽數據存儲在NoSQL數據庫中，導致數據吞吐率較差，數據的批量讀寫性能差的問題。

本申請一方面提供一種標簽系統數據的存儲方法，該方法包括：

獲取在標簽計算任務完成時，按列格式存儲在工作目錄中的列族文件；所述列族文件中包括一個標識列和至少一個標簽列；

根據所述列族文件的列族名稱，將所述列族文件移動到歸檔目錄中與所述列族名稱對應的歸檔子目錄下。

在一種實施方式中，所述根據所述列族文件的列族名稱，將所述列族文件移動到歸檔目錄中與所述列族名稱對應的歸檔子目錄下，包括：

根據所述列族文件的時間信息，在所述歸檔子目錄下創建與所述時間信息對應的二級歸檔子目錄，將所述列族文件移動到所述二級歸檔子目錄下；或者

根據所述列族文件的時間信息，修改所述列族文件的列族名稱，將所述修改列族名稱后的列族文件存儲在在所述歸檔子目錄下。

在一種實施方式中，所述根據所述列族文件的列族名稱，將所述列族文件移動到歸檔目錄中與所述列族名稱對應的歸檔子目錄下之后，所述方法還包括：

根據預設更新周期，將所述歸檔目錄中的所有第一列族文件備份在時間序列目錄中；

其中，各所述第一列族文件的更新周期與所述預設更新周期相同，所述第一列族文件為所屬的歸檔子目錄中的最晚存入的列族文件。

在一種實施方式中，所述將所述列族文件移動到歸檔目錄中與所述列族名稱對應的歸檔子目錄下之前，所述方法還包括：

在所述歸檔目錄中創建與所述列族名稱對應的歸檔子目錄。

在一種實施方式中，所述將所述列族文件移動到歸檔目錄中與所述列族名稱對應的歸檔子目錄下之前，所述方法還包括：

當所述歸檔子目錄中的列族文件或二級歸檔子目錄的個數等于預設數值時，根據列族文件或二級歸檔子目錄的時間信息，在所述歸檔子目錄中刪除預設個數個列族文件或二級歸檔子目錄。