[發明專利]一種大數據處理方法及系統

在審

• 申請號: 201610294824.3
• 申請日: 2016-05-05
• 公開（公告）號: CN107346312A
• 公開（公告）日: 2017-11-14
• 發明（設計）人: 岑春祥;王升元;蘇文平;郄威;孟利青
• 申請（專利權）人: 中國移動通信集團內蒙古有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產權代理有限公司11270
• 代理人: 張穎玲,蔣雅潔

1.一種大數據處理方法，其特征在于，所述方法包括：

獲取包含不同類型大數據文件的原始文件；

將所述原始文件根據大數據文件的類型拆分為不同歸類的多個子數據文件；

對所述多個子數據文件按照不同歸類分配相應的服務器，并在不同服務器上同時對所述多個子數據文件進行處理。

2.根據權利要求1所述的方法，其特征在于，所述獲取包含不同類型大數據文件的原始文件，包括：

創建經二次開發的實現排版功能的表格；

建立所述表格的顯示邏輯與內存數據庫之間的關聯關系；

識別對所述表格的操作命令，根據所述操作命令以及關聯關系，從所述內存數據庫中獲取包含不同類型大數據文件的原始文件，并以表格形式呈現；

其中，所述內存數據庫用于存儲不同類型的大數據文件。

3.根據權利要求2所述的方法，其特征在于，在所述建立所述表格的顯示邏輯與內存數據庫之間的關聯關系之后，所述方法還包括：

根據所述表格的行號，對內存數據庫中的數據建立索引，并根據所述建立的索引讀取內存數據庫中相應的數據。

4.根據權利要求1、2或3所述的方法，其特征在于，在所述將所述原始文件拆分為不同歸類的多個子數據文件時，所述方法還包括：

采集對所述原始文件拆分操作對應的sql語句；

解析出所述sql語句中的數據表以及所述數據表中的字段和字段值；

根據所述數據表以及所述數據表中的字段和字段值，自動生成代碼，并對所述生成的代碼進行編譯，生成動態鏈接庫文件或可執行程序文件，執行拆分包含大數據文件的原始文件。

5.根據權利要求1所述的方法，其特征在于，在進行拆分操作時，若請求 拆分的數量大于預定限額，查詢用戶的歷史數據；

基于所述歷史數據在聚類后的分類中查找對應分類。

6.一種大數據處理系統，其特征在于，所述系統包括：獲取單元、拆分單元和處理單元；其中，

所述獲取單元，用于獲取包含不同類型大數據文件的原始文件；

所述拆分單元，用于將所述原始文件根據大數據文件的類型拆分為不同歸類的多個子數據文件；

所述處理單元，用于對所述多個子數據文件按照不同歸類分配相應的服務器，并在不同服務器上同時對所述多個子數據文件進行處理。

7.根據權利要求6所述的系統，其特征在于，所述獲取單元包括：

表格創建單元，用于創建經二次開發的實現排版功能的表格；

關聯關系建立單元，用于建立所述表格的顯示邏輯與內存數據庫之間的關聯關系；

第一處理單元，用于識別對所述表格的操作命令，根據所述操作命令以及關聯關系，從所述內存數據庫中獲取包含不同類型大數據文件的原始文件，并以表格形式呈現；

其中，所述內存數據庫用于存儲不同類型的大數據文件。

8.根據權利要求7所述的系統，其特征在于，所述獲取單元還包括索引建立單元，用于在所述關聯關系建立單元建立所述表格的顯示邏輯與內存數據庫之間的關聯關系之后，根據所述表格的行號，對內存數據庫中的數據建立索引，并根據所述建立的索引讀取內存數據庫中相應的數據。

9.根據權利要求6、7或8所述的系統，其特征在于，在所述拆分單元將所述原始文件拆分為不同歸類的多個子數據文件時，所述系統還包括：

采集單元，用于采集對所述原始文件拆分操作對應的sql語句；

解析單元，用于解析出所述sql語句中的數據表以及所述數據表中的字段和字段值；

第二處理單元，用于根據所述數據表以及所述數據表中的字段和字段值， 自動生成代碼，并對所述生成的代碼進行編譯，生成動態鏈接庫文件或可執行程序文件，執行拆分包含大數據文件的原始文件。

10.根據權利要求6所述的系統，其特征在于，在進行拆分操作時，若請求拆分的數量大于預定限額，查詢用戶的歷史數據；

基于所述歷史數據在聚類后的分類中查找對應分類。