[發明專利]一種數據處理和查詢方法和裝置

有效

• 申請號: 201010115869.2
• 申請日: 2010-03-01
• 公開（公告）號: CN102193917A
• 公開（公告）日: 2011-09-21
• 發明（設計）人: 齊驥;錢嶺;郭磊濤;羅治國;孫少陵;張松波;張衛平
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鑫媛睿博知識產權代理有限公司 11297
• 代理人: 龔家驊

1.一種數據處理的方法，其特征在于，包括：

為數據建立第一級索引，所述數據存儲在至少一個文件中，所述第一級索引用于索引各文件，所述文件中存儲有相應的數據；

在各文件中分別建立第二級索引，所述第二級索引用于在相應文件中索引相應的數據。

2.如權利要求1所述的方法，其特征在于，所述數據存儲在文件中的方法具體為：根據數據的字段屬性值設置關鍵字，并根據文件的設定容量和所述關鍵字對數據進行分割，將分割得到的不超過所述設定容量的每部分數據存儲到相應的文件中，每一個文件具有對應的文件標識。

3.如權利要求1所述的方法，其特征在于，建立第一級索引的方法具體為：根據數據的字段屬性值設置關鍵字，根據所述關鍵字建立第一級索引，所述第一級索引中包括：所述關鍵字以及與所述關鍵字對應的文件標識。

4.如權利要求1所述的方法，其特征在于，建立第二級索引的方法具體為：

根據數據的字段屬性值設置關鍵字，根據所述關鍵字建立第二級索引，所述第二級索引中包括：所述關鍵字、與所述關鍵字對應的數據在文件中的位置偏移量。

5.如權利要求1所述的方法，其特征在于，所述數據為呼叫記錄數據，各文件中的呼叫記錄數據按照用戶通信號碼歸類存儲，每個用戶通信號碼對應的呼叫記錄數據按呼叫記錄數據的時間屬性排序；

將數據存儲在文件中的方法具體為：提取數據的日期屬性，按照日期值將數據存儲到各文件中，每個文件中的數據具有相同的日期值，每一個文件具有對應的文件標識；

建立第一級索引的方法具體為：根據呼叫記錄數據的日期和用戶通信號碼屬性建立第一級索引，所述第一級索引包括：日期值、用戶通信號碼和文件標識，所述文件標識對應的文件存儲有該用戶通信號碼在該日期所產生的呼叫記錄數據；

建立第二級索引的方法具體為：針對每個文件，根據文件中的呼叫記錄數據的用戶通信號碼屬性建立第二級索引，所述第二級索引包括：用戶通信號碼，以及該用戶通信號碼產生的呼叫記錄數據在文件中的位置偏移量；或者，針對每個文件，根據文件中的呼叫記錄數據的用戶通信號碼和通信時間屬性建立第二級索引，所述第二級索引包括：用戶通信號碼，通信時間以及該用戶通信號碼在該通信時間產生的呼叫記錄數據在文件中的位置偏移量。

6.如權利要求1-5任一項所述的方法，其特征在于，建立第二級索引后，還包括：對文件進行壓縮。

7.如權利要求1-5任一項所述的方法，其特征在于，采用多個并行執行的任務執行數據處理，所述多個任務分布在多個節點，每個任務處理所述數據中的部分數據。

8.一種數據查詢方法，其特征在于，數據具有第一級索引和第二級索引，所述第一級索引用于在各文件中索引存儲相應數據的文件，所述第二級索引用于在相應文件中索引相應的數據，該方法包括：

根據接收到的數據查詢請求、利用第一級索引在各個文件中查找，得到查詢到的文件，該文件存儲有該查詢請求所查詢的數據；

根據所述數據查詢請求、利用第二級索引在所查詢到的文件中查找，得到該查詢請求所查詢的數據。

9.如權利要求8所述的方法，其特征在于，所述第一級索引中包括：關鍵字以及與所述關鍵字對應的文件標識；

根據接收到的數據查詢請求、利用第一級索引在各個文件中查找，得到查詢到的文件的方法具體為：

從所述數據查詢請求中獲取查詢條件，從第一級索引中查找該與查詢條件匹配的關鍵字所對應的文件標識，根據所述文件標識確定對應文件為存儲有該查詢請求所查詢的數據的文件。

10.如權利要求8所述的方法，其特征在于，各文件中的數據按照設定的關鍵字排序；所述第二級索引包括關鍵字、與所述關鍵字對應的數據在文件中的位置偏移量；

根據所述數據查詢請求、利用第二級索引在所查詢到的文件中查找，得到該查詢請求所查詢的數據的方法具體為：

從所述數據查詢請求中獲取查詢條件，從第二級索引中查找與該查詢條件匹配的關鍵詞所對應的數據在文件中的位置偏移量，根據所述數據在文件中的位置偏移量確定所請求查詢的數據。