[發明專利]一種用于單服務器上多網站數據采集的系統和方法

在審

• 申請號: 201710629402.1
• 申請日: 2017-07-28
• 公開（公告）號: CN107194017A
• 公開（公告）日: 2017-09-22
• 發明（設計）人: 朱安明
• 申請（專利權）人: 四川思途智旅軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/32
• 代理公司: 四川力久律師事務所51221
• 代理人: 王蕓,張偉

技術領域

本發明涉及網絡信息技術領域，尤其涉及一種用于單服務器上多網站數據采集的系統和方法。

背景技術

網站流量泛指網站的訪問量，其可用一個網站一段時間內訪問者的數量、訪問者所瀏覽的網頁的點擊率和平均停留時間等指標來加以描述。隨著互聯網技術的飛速發展，網站流量和客戶群體以及他們的需求被越來越多的人重視。網站的開發者和管理者需要確切地知道有多少人訪問自己的網站、他們來自哪里、對網站的哪些欄目和服務感興趣、一般都瀏覽哪些信息、他們的需求是什么等訪問者相關訪問信息。因此，為了對網站的開發者和管理者提供有意義的訪問者訪問信息，以便對網站的邏輯結構、網站運行狀況、服務器負載等具體情況進行更加有效的跟蹤和改進，需要對網站流量、訪問IP、訪問者行為等數據的采集進行科學的統計和分析。

常規的數據采集，主要是直接通過服務器真實物理網卡，或者在網頁上嵌入代碼、或者在WEB服務器應用上添加第三方模塊來收集訪問者信息。但是，針對獨立服務器上，多網站的數據采集，這些常規的網站數據采集方法所采集的數據過于籠統，對某一個特定的網站沒有實際價值，采集的數據也不具有準確性、參考性，因此并不能真正對網站運營狀況進行全面、準確的評估，也難以為網站運營者提供有意義的參考。

發明內容

本發明的目的之一至少在于，針對上述現有技術存在的問題，提供一種用于單服務器上多網站數據采集的系統和方法，能夠針對單個獨立服務器上的每個網站進行精確地多維度數據采集，其采集的數據關聯性強、準確度和完整度高，能夠全面、準確反映單獨立服務器上的多個網站各自的運營狀況。

為了實現上述目的，本發明采用的技術方案包括以下各方面。

一種用于單服務器上多網站數據采集的系統，其包括：數據采集模塊、本地存儲模塊、控制模塊、以及展示模塊；

其中，所述數據采集模塊包括多個數據采集進程，每個數據采集進程用于獲取單個WEB服務器上部署的多個網站中特定網站的運行數據；

所述本地存儲模塊包括多個數據代理進程，每個數據代理進程具有與每個數據采集進程對應的起始存儲地址和存儲空間，用于通過與其對應的數據采集進程獲取特定網站的運行數據，并將所采集的運行數據中的特定部分或者全部存儲在本地存儲模塊中；

所述控制模塊用于控制WEB服務器中每個網站的開啟或者關閉，并在開啟網站的同時為其分配對應的數據代理進程，以及通過總監控進程從本地存儲模塊獲取特定網站的運行數據；

展示模塊，用于根據控制模塊設置的顯示條件和對應的運行數據生成圖形文件，并將所生成的圖形文件展示在顯示器上。

優選地，所述運行數據包括：每個網站的登錄用戶數量、每一頁面的用戶停留時間、每一頁面文件的緩存大小、每一頁面的讀取數量、每一頁面的寫入數量、每一頁面內存占用率、每一頁面的CPU占用率、以及每一頁面的網卡流量占用率。

優選地，所述每個數據采集進程用于獲取特定一個網站的多項運行數據，或者所述WEB服務器上全部網站的同一項或多項運行數據。

優選地，所述系統進一步包括遠端采集數據庫，用于存儲多個本地存儲模塊發送的運行數據；所述控制模塊進一步用于通過總監控進程從遠端采集數據庫獲取多個本地存儲模塊的發送的運行數據。

優選地，所述系統進一步包括告警模塊，用于當所采集的運行數據中的一項或多項達到預設的報警閾值時，生成告警信息。

一種用于單服務器上多網站數據采集的方法，其包括：

建立多個數據采集進程，每個數據采集進程與單個WEB服務器上部署的多個網站中特定的網站相對應，以獲取特定網站的運行數據；

根據已經建立的數據采集進程建立一一對應的相同數量的數據代理進程，并為每個數據代理進程分配對應的本地存儲模塊中的起始存儲地址和存儲空間；

將通過數據采集進程獲取的運行數據通過數據代理進程寫入本地存儲模塊；

通過總監控進程從本地存儲模塊獲取特定網站的運行數據；

根據控制模塊設置的顯示條件和對應的運行數據生成圖形文件，并將所生成的圖形文件展示在顯示器上。

優選地，所述方法進一步包括通過docker控制器來控制WEB服務器上部署的多個網站和對應的數據代理進程。

優選地，所述方法進一步包括：周期地將存儲在本地存儲模塊的運行數據同步到遠端采集數據庫中，或者根據網絡流量的占用率，在網絡空閑時將存儲在本地存儲模塊的運行數據同步到遠端采集數據庫中。