[發明專利]數據存儲方法、數據查詢方法、裝置及系統

有效

• 申請號: 201410676906.5
• 申請日: 2014-11-21
• 公開（公告）號: CN105630847B
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 姚永剛;王才平;朱凱;林育佳;劉忠真;吳澤君
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/14
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種數據存儲方法，其特征在于，所述方法包括：

將數據文件按照所述數據文件的屬性信息存儲至第一文件系統中，所述屬性信息包括所述數據文件對應的時間范圍和文件名，所述數據文件包括至少一條數據記錄；

對于每條所述數據記錄，提取所述數據記錄中需要建立索引的一個索引字段值、所述數據文件的文件名和所述數據記錄在所述數據文件中的偏移值，根據所述索引字段值、所述數據文件的文件名和所述數據記錄在所述數據文件中的偏移值生成與所述數據記錄對應的一條索引信息，其中，每條所述數據記錄中需要建立索引的索引字段值為一個或一個以上，所述索引信息用于指示所述數據記錄對應的所述數據文件和所述數據記錄在所述數據文件中的存儲位置；

將所述索引信息存儲至第二文件系統中，以便于根據查詢請求中的至少兩個索引字段值中的每個索引字段值在所述第二文件系統的至少一個索引表中查詢對應的索引信息，將各個所述索引字段值對應的索引信息取交集，得到交集后的索引信息，根據所述查詢請求中的時間范圍在所述第一文件系統中查找至少一個數據文件，根據交集后的所述索引信息中的目標數據記錄對應的數據文件的文件名在所述至少一個數據文件中查找匹配的數據文件，并根據交集后的所述索引信息中的偏移值在所述匹配的數據文件中查找目標數據記錄，所述第二文件系統的數據查詢速度高于所述第一文件系統的數據查詢速度。

2.根據權利要求1所述的方法，其特征在于，所述將所述索引信息存儲至第二文件系統中，包括：

在所述第二文件系統中的至少一個索引表中查找所述數據記錄所屬的時間范圍內的至少一個索引表，每個索引表對應各自的時間范圍和索引字段名稱；

對于與所述數據記錄對應的每條索引信息，在所述時間范圍內的至少一個索引表中，查詢與所述索引信息中的所述索引字段值所對應的索引字段名稱相匹配的索引表；

將所述索引信息寫入匹配的所述索引表。

3.根據權利要求2所述的方法，其特征在于，所述將所述索引信息寫入匹配的所述索引表，包括：

將所述索引信息中的所述索引字段值寫入所述索引表中的主鍵列，所述索引表中包括所述主鍵列和至少一個時間列，每個時間列對應一個時間段，每個時間段是所述時間范圍中的一個時間段；

根據所述數據記錄的生成時間，將所述索引信息中的所述數據文件的文件名和所述數據記錄在所述數據文件中的偏移值寫入與所述索引字段值所在行的對應時間列中。

4.一種數據查詢方法，其特征在于，所述方法包括：

接收查詢請求，所述查詢請求攜帶時間范圍和至少兩個索引字段值；

提取所述查詢請求中攜帶的至少兩個索引字段值，根據每個所述索引字段值在第二文件系統的至少一個索引表中查詢對應的索引信息，將各個所述索引字段值對應的索引信息取交集，得到交集后的索引信息，所述索引信息用于指示目標數據記錄對應的數據文件和所述目標數據記錄在所述數據文件中的存儲位置，所述索引信息包括從所述目標數據記錄中提取出的所述索引字段值、所述目標數據記錄對應的數據文件的文件名和所述目標數據記錄在所述數據文件中的偏移值；

根據所述查詢請求中攜帶的時間范圍在第一文件系統中查找至少一個數據文件，根據交集后的所述索引信息中的所述目標數據記錄對應的數據文件的文件名在所述至少一個數據文件中查找匹配的數據文件，根據交集后的所述索引信息中的所述目標數據記錄在所述數據文件中的偏移值在所述匹配的數據文件中查找所述目標數據記錄，所述第二文件系統的數據查詢速度高于所述第一文件系統的數據查詢速度，所述第一文件系統中的數據文件按照所述數據文件的屬性信息存儲，所述屬性信息包括所述數據文件對應的時間范圍和文件名。

5.根據權利要求4所述的方法，其特征在于，所述根據每個所述索引字段值在所述第二文件系統中的至少一個索引表中查詢對應的索引信息，包括：

對于每個所述索引字段值，在所述第二文件系統中的至少一個索引表中，查詢與所述索引字段值所對應的索引字段名稱相匹配的索引表，所述第二文件系統中的每個索引表對應各自的索引字段名稱；

在相匹配的所述索引表中，根據所述索引字段值查詢對應的索引信息。