[發明專利]一種用于單服務器上多網站數據采集的系統和方法

在審

• 申請號: 201710629402.1
• 申請日: 2017-07-28
• 公開（公告）號: CN107194017A
• 公開（公告）日: 2017-09-22
• 發明（設計）人: 朱安明
• 申請（專利權）人: 四川思途智旅軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/32
• 代理公司: 四川力久律師事務所51221
• 代理人: 王蕓,張偉

1.一種用于單服務器上多網站數據采集的系統，其特征在于，所述系統包括：數據采集模塊、本地存儲模塊、控制模塊、以及展示模塊；

其中，所述數據采集模塊包括多個數據采集進程，每個數據采集進程用于獲取單個WEB服務器上部署的多個網站中特定網站的運行數據；

所述本地存儲模塊包括多個數據代理進程，每個數據代理進程具有與每個數據采集進程對應的起始存儲地址和存儲空間，用于通過與其對應的數據采集進程獲取特定網站的運行數據，并將所采集的運行數據中的特定部分或者全部存儲在本地存儲模塊中；

所述控制模塊用于控制WEB服務器中每個網站的開啟或者關閉，并在開啟網站的同時為其分配對應的數據代理進程，以及通過總監控進程從本地存儲模塊獲取特定網站的運行數據；

展示模塊，用于根據控制模塊設置的顯示條件和對應的運行數據生成圖形文件，并將所生成的圖形文件展示在顯示器上。

2.根據權利要求1所述的系統，其特征在于，所述運行數據包括：每個網站的登錄用戶數量、每一頁面的用戶停留時間、每一頁面文件的緩存大小、每一頁面的讀取數量、每一頁面的寫入數量、每一頁面內存占用率、每一頁面的CPU占用率、以及每一頁面的網卡流量占用率。

3.根據權利要求2所述的系統，其特征在于，所述每個數據采集進程用于獲取特定一個網站的多項運行數據，或者所述WEB服務器上全部網站的同一項或多項運行數據。

4.根據權利要求1所述的系統，其特征在于，所述系統進一步包括遠端采集數據庫，用于存儲多個本地存儲模塊發送的運行數據；所述控制模塊進一步用于通過總監控進程從遠端采集數據庫獲取多個本地存儲模塊的發送的運行數據。

5.根據權利要求1所述的系統，其特征在于，所述系統進一步包括告警模塊，用于當所采集的運行數據中的一項或多項達到預設的報警閾值時，生成告警信息。

6.一種用于單服務器上多網站數據采集的方法，其特征在于，所述方法包括：

建立多個數據采集進程，每個數據采集進程與單個WEB服務器上部署的多個網站中特定的網站相對應，以獲取特定網站的運行數據；

根據已經建立的數據采集進程建立一一對應的相同數量的數據代理進程，并為每個數據代理進程分配對應的本地存儲模塊中的起始存儲地址和存儲空間；

將通過數據采集進程獲取的運行數據通過數據代理進程寫入本地存儲模塊；

通過總監控進程從本地存儲模塊獲取特定網站的運行數據；

根據控制模塊設置的顯示條件和對應的運行數據生成圖形文件，并將所生成的圖形文件展示在顯示器上。

7.根據權利要求6所述的方法，其特征在于，所述方法進一步包括通過docker控制器來控制WEB服務器上部署的多個網站和對應的數據代理進程。

8.根據權利要求6所述的方法，其特征在于，所述方法進一步包括：周期地將存儲在本地存儲模塊的運行數據同步到遠端采集數據庫中，或者根據網絡流量的占用率，在網絡空閑時將存儲在本地存儲模塊的運行數據同步到遠端采集數據庫中。

9.根據權利要求6所述的方法，其特征在于，所述生成圖形文件包括：根據所采集的運行數據生成包括動態圖表的網頁頁面文件。

10.根據權利要求6所述的方法，其特征在于，所述方法進一步包括：當所采集的運行數據中的一項或多項達到預設的報警閾值時，在展示模塊上顯示告警信息；或者通過郵件應用進程向預先設置的告警接收地址發送告警郵件；或者通過無線通信網絡接口向預先設置的告警接收號碼發送告警消息或者撥打告警語音電話。