[發明專利]一種數據存儲方法和裝置

有效

• 申請號: 201210438962.6
• 申請日: 2012-11-06
• 公開（公告）號: CN102915373A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 倪穎杰;姚建華;李祖華;張軍;朱開顏;劉桂英;馬飛;李弢
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 駱蘇華

技術領域

本申請涉及大數據處理技術領域，更具體的說是涉及一種數據存儲方法和裝置。

背景技術

隨著數據生成的自動化以及數據生成速度的加快，需要處理的數據量急劇增加，大數據時代已經降臨。大數據具有體量大、數據類型繁多等特點，大數據的分析挖掘則要從各種各樣類型的數據中，快速獲取到有價值的數據。

在進行大數據的分析挖掘之前，一般需要采集并存儲獲取到的海量數據信息。大數據包括結構化、半結構化和非結構化等多類數據，目前，常見的大數據存儲方式有兩種，其中一種是將采集到的數據均作為結構化數據存儲到關系數據庫系統中，但是以這種存儲方式進行大數據存儲時，則會影響到文本等數據的查詢速度；另一種存儲方式是將采集到的數據均作為非結構化數據存儲到文件系統中，但是該種存儲方式進行數據存儲時，則無法進行較為復雜的統計分析。同時，由于關系數據庫和文件系統的架構差別較大，當對數據存儲方式進行變化時，無法靈活的調整數據存儲方式。

發明內容

有鑒于此，本申請提供一種數據存儲方法和裝置，以該種方式進行存儲時，減少現有技術中存在的查詢速度慢以及統計分析不便的情況，并能夠有效提高調整數據存儲的靈活性。

為實現上述目的，本申請提供如下技術方案：一種數據存儲方法，包括：

獲取待分析數據集；

確定所述數據集中的各個子數據集的數據類別；

查詢預置的數據類別與數據分類規則的對應關系，確定所述子數據集的數據分類規則；

按照所述子數據集的數據分類規則，將所述子數據集劃分為第一子數據集和第二子數據集，并確定所述第一子數據集和第二子數據集中各項數據的存儲模式；

依據所述存儲模式，將所述第一子數據集中的各項數據存儲至結構化數據存儲區，將所述第二子數據集存儲至非結構化數據存儲區。

優選的，在依據所述存儲模式，將所述第一子數據集中的各項數據存儲至結構化數據存儲區，將所述第二子數據集存儲至非結構化數據存儲區之前，還包括：

構建唯一標識所述子數據集的特征碼；

所述依據所述存儲模式，將所述第一子數據集中的各項數據存儲至結構化數據存儲區，將所述第二子數據集存儲至非結構化數據存儲區，包括：

依據所述存儲模式，將所述特征碼與第一子數據集中的各項數據對應存儲至結構化數據存儲區，并將所述特征碼與第二子數據集中的各項數據對應存儲至非結構化數據存儲區。

優選的，所述獲取待分析數據集，包括：

從采集到的原始數據中抽取指定比例的數據作為所述待分析數據集。

優選的，所述確定所述數據集中的各個子數據集的數據類別，包括：

分析所述數據集中各個子數據集的數據的組織格式，確定所述子數據集的數據的組織格式對應的數據類別。

優選的，所述確定所述數據集中的各個子數據集的數據類別，包括：

查詢所述數據集中的各個子數據集中所包含的數據標識，確定與所述子數據集中所包含的數據標識對應的數據類別。

優選的，所述存儲模式，包括：

數據項的數據存儲格式、數據項的數據存儲空間和/或索引信息。

優選的，還包括：

接收對所述預置的數據類別與數據分類規則的對應關系的更新請求；

依據所述更新請求，更改或添加數據類別與數據分類規則的對應關系。

另一方面，對應本申請的數據存儲方法，本申請還提供了一種數據存儲裝置，包括：

數據獲取單元，用于獲取待分析數據集；

類別確定單元，用于確定所述數據集中的各個子數據集的數據類別；

分類規則確定單元，用于查詢預置的數據類別與數據分類規則的對應關系，確定所述子數據集的數據分類規則；

數據分類單元，用于按照所述子數據集的數據分類規則，將所述子數據集劃分為第一子數據集和第二子數據集，并確定所述第一子數據集和第二子數據集中各項數據的存儲模式；

存儲單元，用于依據所述存儲模式，將所述第一子數據集中的各項數據存儲至結構化數據存儲區，將所述第二子數據集存儲至非結構化數據存儲區。

優選的，所述裝置還包括：

特征碼生成單元，用于構建唯一標識所述子數據集的特征碼；

所述存儲單元，具體為：用于依據所述存儲模式，將所述特征碼與第一子數據集中的各項數據對應存儲至結構化數據存儲區，并將所述特征碼與第二子數據集中的各項數據對應存儲至非結構化數據存儲區。