[發(fā)明專利]一種信息處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201510801280.0
• 申請日: 2015-11-19
• 公開（公告）號: CN106776598B
• 公開（公告）日: 2019-12-13
• 發(fā)明（設計）人: 陳洪嶺
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 11270 北京派特恩知識產權代理有限公司
• 代理人: 王花麗;張穎玲

1.一種信息處理方法，其特征在于，所述方法包括：

獲取列式數據庫中存儲的列文件中數據；

獲取分區(qū)算法集合，所述分區(qū)算法集合包括兩種及兩種以上的分區(qū)算法；

將所述列文件中數據作為所述分區(qū)算法結合中各種分區(qū)算法的輸入，通過所述分區(qū)算法輸出分區(qū)后的文件；

利用分區(qū)后的文件計算所述分區(qū)算法集合中每一種分區(qū)算法的分區(qū)效率；

將列式數據庫的標識信息、所采用的分區(qū)算法及其對應的分區(qū)效率對應地存儲起來。

2.根據權利要求1所述的方法，其特征在于，所述分區(qū)算法集合至少包括：范圍分區(qū)算法、列式分區(qū)算法和列族分區(qū)算法。

3.根據權利要求1所述的方法，其特征在于，所述獲取列式數據庫中存儲的列文件中數據，包括：

通過FTP方式從所述列式數據庫獲取原始日志，將所述原始日志按列生成多個列文件數據。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述方法還包括：

獲取分區(qū)規(guī)則；

分析所述列文件中數據的特征；

將所述列文件中數據的特征與所述分區(qū)規(guī)則進行比對；

判斷所述列文件中數據的特征是否與所述分區(qū)規(guī)則匹配，得到判斷結果；

當所述判斷結果表明所述列文件中數據的特征與所述分區(qū)規(guī)則不匹配時，在將所述列文件中數據作為所述分區(qū)算法結合中各種分區(qū)算法的輸入。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

當所述判斷結果表明所述列文件中數據的特征與所述分區(qū)規(guī)則匹配時，獲取所述分區(qū)規(guī)則對應的分區(qū)算法及其對應的分區(qū)效率。

6.根據權利要求1或2或3或5所述的方法，其特征在于，所述方法還包括：將分區(qū)后的文件作為列文件中數據，然后再獲取分區(qū)算法集合，將所述列文件中數據作為所述分區(qū)算法結合中各種分區(qū)算法的輸入，通過所述分區(qū)算法輸出分區(qū)后的文件；通過所述分區(qū)算法集合中每一種分區(qū)算法的分區(qū)效率。

7.根據權利要求1或2或3或5所述的方法，其特征在于，所述利用分區(qū)后的文件計算所述分區(qū)算法集合中每一種分區(qū)算法的分區(qū)效率，包括：

根據各個分區(qū)算法分區(qū)后的文件進行分區(qū)評估，得到分區(qū)比例；

對分區(qū)后的文件進行查詢測試，得到查詢時間；

根據分區(qū)算法的分區(qū)效率＝分區(qū)比例/平均查詢時間，計算得到分區(qū)算法的分區(qū)效率。

8.根據權利要求1或2或3或5所述的方法，其特征在于，所述方法還包括：將列式數據庫的標識信息、所采用的分區(qū)算法及其對應的分區(qū)效率以及查詢時間對應地存儲起來。

9.一種信息處理裝置，其特征在于，所述裝置包括第一獲取單元、第二獲取單元、分區(qū)單元、計算單元和存儲單元，其中：

所述第一獲取單元，用于獲取列式數據庫中存儲的列文件中數據；

所述第二獲取單元，用于獲取分區(qū)算法集合，所述分區(qū)算法集合包括兩種及兩種以上的分區(qū)算法；

所述分區(qū)單元，用于將所述列文件中數據作為所述分區(qū)算法結合中各種分區(qū)算法的輸入，通過所述分區(qū)算法輸出分區(qū)后的文件；

所述計算單元，用于利用分區(qū)后的文件計算所述分區(qū)算法集合中每一種分區(qū)算法的分區(qū)效率；

所述存儲單元，用于將列式數據庫的標識信息、所采用的分區(qū)算法及其對應的分區(qū)效率對應地存儲起來。

10.根據權利要求9所述的裝置，其特征在于，所述第一獲取單元，包括獲取模塊和生成模塊，其中：

所述獲取模塊，用于通過FTP方式從所述列式數據庫獲取原始日志；

所述生成模塊，用于將所述原始日志按列生成多個列文件數據。