[發明專利]一種實現大數據處理的方法及裝置

有效

• 申請號: 201310646544.0
• 申請日: 2013-12-04
• 公開（公告）號: CN103617268B
• 公開（公告）日: 2017-01-18
• 發明（設計）人: 王志軍;廖慧
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 栗若木,白瑩

1.一種實現大數據處理的方法，其特征在于，包括：

在分布式系統基礎架構hadoop外部環境，利用預先設置的拆分策略拆分hadoop總查詢任務；

按照拆分的hadoop查詢任務，在hadoop的分布式存儲系統中分別進行hadoop內部查詢；

將各內部查詢結果按照預先設置的存儲策略存儲在hadoop外部環境；

通過hadoop外部查詢方式對存儲信息進行統計并顯示。

2.根據權利要求1所述的方法，其特征在于，所述拆分策略包括：根據時間分布、和/或，查詢用戶流量使用類型進行查詢拆分。

3.根據權利要求1所述的方法，其特征在于，所述進行統計的方法包括：

對各拆分任務的內部查詢結果的每一頁進行查詢統計，并將各拆分任務每一頁內部查詢結果的查詢統計信息進行合并，得到相應拆分任務的統計信息；

將相應拆分任務的統計信息進行合并，得到總查詢任務的統計結果。

4.根據權利要求1所述的方法，其特征在于，所述按照存儲策略存儲在hadoop外部環境包括：

將內部查詢結果按照存儲策略分為：常態數據和非常態數據；

按照常態數據和非常態數據進行分級存儲，

當內部查詢結果是常態數據，當常態數據量大于hadoop外部環境的內存容量時，根據內存容量，首先，曾經訪問過的查詢頁面保存在內存中，再將內部查詢結果部分存入內存；剩余常態數據存入hadoop外部環境的硬盤中；當常態數據量小于hadoop外部環境的內存容量時，將所有內部查詢結果存儲在內存中；

當內部查詢結果為非常態數據，將內部查詢結果全部存儲在外部環境的硬盤中。

5.根據權利要求4所述的方法，其特征在于，該方法還包括：按照查詢頻率，設定刪除周期以刪除內部查詢結果中的常態數據。

6.一種實現大數據處理的裝置，其特征在于，設置于hadoop外部環境，包括：控制單元、任務拆分單元、分級存儲單元、統計顯示單元；其中，

控制單元，用于在接收到查詢任務時，控制任務拆分單元進行任務拆分；控制分級存儲單元對內部查詢結果進行存儲；控制統計顯示單元對存儲的內部查詢結果進行統計及顯示；

任務拆分單元，用于預先設置的拆分策略拆分hadoop總查詢任務，發往hadoop內部進行數據查詢；

分級存儲單元，用于設置接收hadoop內部查詢結果，按照存儲策略存儲在hadoop外部環境；

統計顯示單元，用于通過查詢指令對分級存儲信息進行統計和顯示。

7.根據權利要求6所述的裝置，其特征在于，所述的拆分策略包括：根據時間分布、和/或，查詢用戶流量使用類型進行查詢拆分。

8.根據權利要求6所述的裝置，其特征在于，所述進行統計包括：

對各拆分任務的內部查詢結果的每一頁進行查詢統計，并將各拆分任務每一頁查詢統計信息進行合并，得到相應拆分任務的統計信息；

將相應拆分任務的統計信息進行合并，得到總查詢任務的統計結果。

9.根據權利要求6所述的裝置，其特征在于，所述按照存儲策略存儲在hadoop外部環境包括：

將內部查詢結果按照存儲策略分為：常態數據和非常態數據；

按照常態數據和非常態數據進行分級存儲，

當內部查詢結果是常態數據，當常態數據量大于hadoop外部環境的內存容量時，根據內存容量，首先，曾經訪問過的查詢頁面保存在內存中，再將內部查詢結果部分存入內存；剩余常態數據存入hadoop外部環境的硬盤中；當常態數據量小于hadoop外部環境的內存容量時，將所有內部查詢結果存儲在內存中；

當內部查詢結果為非常態數據，將內部查詢結果全部存儲在外部環境的硬盤中。

10.根據權利要求9所述的裝置，其特征在于，該裝置還包括刪除單元，用于按照查詢頻率，設置刪除周期以刪除內部查詢結果中的常態數據。