[發明專利]基于分布式文件存儲的網站頁面內容統計的方法和系統

在審

• 申請號: 201410038246.8
• 申請日: 2014-01-26
• 公開（公告）號: CN103729479A
• 公開（公告）日: 2014-04-16
• 發明（設計）人: 瞿繼合;趙哲;曹東;李建濤
• 申請（專利權）人: 北京北緯通信科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/34
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇;于淼

1.一種基于分布式文件存儲的網站頁面內容統計的方法，其特征在于，包括：

采集訪問日志，并將所述訪問日志存入分布式文件存儲數據庫中，以小時為單位存儲到所述分布式文件存儲數據庫中的相應的集合文檔中；

對存儲到所述分布式文件存儲數據庫中的訪問日志進行分解并找出該訪問日志中的有效日志信息，將有效日志信息與該訪問日志建立映射關系；

對該訪問日志下的所有有效日志信息進行化簡操作，輸出化簡后的有效日志信息，根據所述化簡后的有效日志信息，輸出該訪問日志下的以訪問為主鍵的點擊量和對應的流量中間數據的值，或輸出該訪問日志下的以訪問和會話身份為主鍵的獨立訪客數量和對應的流量中間數據的值。

2.如權利要求1所述的基于分布式文件存儲的網站頁面內容統計的方法，其特征在于，所述有效日志信息，包括：mobile字段、url字段、query字段和/或op字段。

3.如權利要求2所述的基于分布式文件存儲的網站頁面內容統計的方法，其特征在于，將有效日志信息與該訪問日志建立映射關系，進一步為：將所述mobile字段、url字段、query字段和/或op字段的對應值通過所述分布式文件存儲數據庫中的分布式計算中設定的該訪問日志的特征值建立映射關系。

4.如權利要求1所述的基于分布式文件存儲的網站頁面內容統計的方法，其特征在于，以小時為單位存儲到所述分布式文件存儲數據庫中的相應的集合文檔中，進一步為：以小時為單位，按照格式為日志通量yyyyMMddHH的方式存儲到所述分布式文件存儲數據庫中的相應的集合文檔中。

5.如權利要求1所述的基于分布式文件存儲的網站頁面內容統計的方法，其特征在于，對該訪問日志下的所有有效日志信息進行化簡操作，輸出化簡后的有效日志信息，根據所述化簡后的有效日志信息，輸出該訪問日志下的以訪問為主鍵的點擊量和對應的流量中間數據的值，或輸出該訪問日志下的以訪問和會話身份為主鍵的獨立訪客數量和對應的流量中間數據的值，進一步為：

對該訪問日志下的所有有效日志信息進行化簡操作，輸出化簡后的有效日志信息，根據所述化簡后的有效日志信息以小時、天、周、月或年為單位，輸出該訪問日志下的以訪問為主鍵的點擊量和對應的流量中間數據的值，或輸出該訪問日志下的以訪問和會話身份為主鍵的獨立訪客數量和對應的流量中間數據的值。

6.一種基于分布式文件存儲的網站頁面內容統計的系統，其特征在于，包括：采集訪問日志模塊、查找分析模塊和化簡統計模塊；其中，

所述采集訪問日志模塊，將所述訪問日志存入分布式文件存儲數據庫中，以小時為單位存儲到所述分布式文件存儲數據庫中的相應的集合文檔中；

所述查找分析模塊，對存儲到所述分布式文件存儲數據庫中的訪問日志進行分解并找出該訪問日志中的有效日志信息，將有效日志信息與該訪問日志建立映射關系發送給所述化簡統計模塊；

所述化簡統計模塊，對該訪問日志下的所有有效日志信息進行化簡操作，輸出化簡后的有效日志信息，根據所述化簡后的有效日志信息，輸出該訪問日志下的以訪問為主鍵的點擊量和對應的流量中間數據的值，或輸出該訪問日志下的以訪問和會話身份為主鍵的獨立訪客數量和對應的流量中間數據的值。

7.如權利要求6所述的基于分布式文件存儲的網站頁面內容統計的系統，其特征在于，所述有效日志信息，包括：mobile字段、url字段、query字段和/或op字段。

8.如權利要求7所述的基于分布式文件存儲的網站頁面內容統計的系統，其特征在于，所述查找分析模塊，進一步為：對存儲到所述分布式文件存儲數據庫中的訪問日志進行分解并找出該訪問日志中的mobile字段、url字段、query字段和/或op字段，將所述mobile字段、url字段、query字段和/或op字段的對應值通過所述分布式文件存儲數據庫中的分布式計算中設定的該訪問日志的特征值建立映射關系發送給所述化簡統計模塊。

9.如權利要求6所述的基于分布式文件存儲的網站頁面內容統計的系統，其特征在于，所述采集訪問日志模塊，進一步為：將所述訪問日志存入分布式文件存儲數據庫中，以小時為單位，按照格式為日志通量yyyyMMddHH的方式存儲到所述分布式文件存儲數據庫中的相應的集合文檔中。

10.如權利要求6所述的基于分布式文件存儲的網站頁面內容統計的系統，其特征在于，所述化簡統計模塊，進一步為對該訪問日志下的所有有效日志信息進行化簡操作，輸出化簡后的有效日志信息，根據所述化簡后的有效日志信息以小時、天、周、月或年為單位，輸出該訪問日志下的以訪問為主鍵的點擊量和對應的流量中間數據的值，或輸出該訪問日志下的以訪問和會話身份為主鍵的獨立訪客數量和對應的流量中間數據的值。