[發明專利]一種存儲大數據的方法、裝置、設備及存儲介質

在審

• 申請號: 201810358724.1
• 申請日: 2018-04-20
• 公開（公告）號: CN108549711A
• 公開（公告）日: 2018-09-18
• 發明（設計）人: 許洪騰;袁瑞康;鐘靈;黃永慧
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種存儲大數據的方法，其特征在于，包括：

根據數據采集請求采集數據；

將所述數據按照預設的存儲規則存儲至文件數據集中并分別為所述數據設置標識信息；

將所述標識信息存儲于數據庫中；

建立所述數據和所述數據庫中的所述標識信息的鏈接關系。

2.根據權利要求1所述的方法，其特征在于，在所述將所述數據按照預設的存儲規則存儲至文件數據集中并分別為所述數據設置標識信息之后，進一步包括：

提取所述數據的關鍵詞信息；

對應的，所述將所述標識信息存儲于數據庫中；建立所述數據和所述數據庫中的所述標識信息的鏈接關系具體為：

將所述標識信息和對應數據的關鍵詞信息存儲于數據庫中；

建立所述數據和所述數據庫中的所述標識信息與所述關鍵詞信息的鏈接關系。

3.根據權利要求1所述的方法，其特征在于，在所述根據數據采集請求采集數據之后，進一步包括：

根據實際要求對所述數據進行校驗，并刪除不符合所述實際要求的數據離群點。

4.根據權利要求1所述的方法，其特征在于，在所述根據數據采集請求采集數據之后，進一步包括：

按照預設格式對所述數據進行格式轉換。

5.根據權利要求1所述的方法，其特征在于，在所述將所述數據按照預設的存儲規則存儲至文件數據集中并分別為所述數據設置標識信息之前，進一步包括：

對所述數據進行數據組合和/或數據清洗和/或數據校驗。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述數據采集請求具體為根據實際數據采集對象、實際數據分析需求、實際數據存儲需要和實際數據產生規模分析得出。

7.根據權利要求6所述的方法，其特征在于，所述數據采集請求具體為根據預先設置的時間周期得出。

8.一種存儲大數據的裝置，其特征在于，包括：

數據采集模塊，用于根據數據采集請求采集數據；

第一存儲模塊，用于將所述數據按照預設的存儲規則存儲至文件數據集中并分別為所述數據設置標識信息；

第二存儲模塊，用于將所述標識信息存儲于數據庫中；

建立鏈接模塊，用于建立所述數據和所述數據庫中的所述標識信息的鏈接關系。

9.一種存儲大數據的設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任一項所述的存儲大數據的方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的存儲大數據的方法的步驟。