[發(fā)明專利]一種收集用戶在互聯(lián)網(wǎng)上產(chǎn)生的信息數(shù)據(jù)的系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201310224829.5
• 申請日: 2013-06-07
• 公開（公告）號: CN103326896A
• 公開（公告）日: 2013-09-25
• 發(fā)明（設(shè)計(jì)）人: 崔國祥;姚健;潘柏宇;盧述奇
• 申請（專利權(quán)）人: 合一信息技術(shù)（北京）有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京慶峰財(cái)智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11417
• 代理人: 劉元霞

1.一種收集用戶在互聯(lián)網(wǎng)上產(chǎn)生的信息數(shù)據(jù)的系統(tǒng)，其特征在于該系統(tǒng)包括：

代理模塊，用于接收調(diào)用方通過參數(shù)形式傳入的將要收集的日志的類型和傳輸協(xié)議，并與監(jiān)控集群模塊建立長連接與監(jiān)控集群模塊進(jìn)行通信，以及當(dāng)用戶訪問網(wǎng)頁產(chǎn)生相應(yīng)日志數(shù)據(jù)時(shí)，將日志數(shù)據(jù)信息收集下來，在日志數(shù)據(jù)前加上傳入的日志類型，根據(jù)傳輸協(xié)議傳輸日志數(shù)據(jù)到接收集群模塊；

監(jiān)控集群模塊，與接收集群模塊中的所有服務(wù)器進(jìn)行通信，來判斷接收集群模塊中的服務(wù)器的服務(wù)狀態(tài)，通過監(jiān)控管理模塊寫入接收集群模塊的配置文件，所述配置文件用于定義接收集群模塊針對不同類型日志數(shù)據(jù)所采取的對應(yīng)處理方式；

接收集群模塊，用于在接收到日志數(shù)據(jù)后，根據(jù)代理模塊給日志數(shù)據(jù)加上的日志類型標(biāo)示判斷出日志數(shù)據(jù)的類型，根據(jù)該日志數(shù)據(jù)類型獲取配置中對應(yīng)類型的日志數(shù)據(jù)的處理方式進(jìn)行處理。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

所述代理模塊在傳輸日志數(shù)據(jù)之前，與監(jiān)控集群模塊進(jìn)行通信,從而獲取接收集群模塊中的服務(wù)器的服務(wù)狀態(tài)及接收集群服務(wù)器信息，監(jiān)控集群模塊判斷接收集群服務(wù)器正常服務(wù)數(shù)量是否小于接收集群服務(wù)器總數(shù)量的一半，如果小于一半，將返回接收集群服務(wù)狀態(tài)不良好，反之，接收服務(wù)器服務(wù)狀態(tài)良好，當(dāng)接收集群狀態(tài)為良好時(shí)，代理模塊根據(jù)反饋的接收集群服務(wù)器信息以指定的傳輸協(xié)議方式發(fā)送日志到指定的接收集群服務(wù)器，反之，代理模塊要將日志數(shù)據(jù)信息進(jìn)行本地存儲。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

當(dāng)監(jiān)控集群模塊上的接收集群的配置文件生成或更新時(shí)，將配置信息加載到接收集群模塊中，配置信息包括了各種類型日志的處理方式。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于：

接收集群模塊中的服務(wù)器在注冊時(shí)會將接收集群服務(wù)器信息傳送給監(jiān)控集群模塊，所述信息包括接收集群服務(wù)器IP地址和服務(wù)端口信息。

5.根據(jù)權(quán)利要求1中所述的系統(tǒng)，其特征在于：

所述處理方式包括以下方式中的一種或幾種：基于分布式文件系統(tǒng)的存儲，本地存儲，基于UDP協(xié)議的轉(zhuǎn)發(fā)，基于TCP協(xié)議的轉(zhuǎn)發(fā)。

6.一種收集用戶在互聯(lián)網(wǎng)上產(chǎn)生的信息數(shù)據(jù)的方法，其特征在于該方法包括：

步驟（1）代理模塊用于接收調(diào)用方通過參數(shù)形式傳入的將要收集的日志的類型和傳輸協(xié)議；

步驟（2）當(dāng)用戶訪問網(wǎng)頁產(chǎn)生相應(yīng)日志數(shù)據(jù)時(shí)，將日志數(shù)據(jù)信息收集下來，在日志數(shù)據(jù)前加上傳入的日志類型；

步驟（3）代理模塊與監(jiān)控集群模塊建立長連接與監(jiān)控集群模塊進(jìn)行通信；

步驟（4）監(jiān)控集群模塊與接收集群模塊中的所有服務(wù)器進(jìn)行通信，來判斷接收集群模塊中的服務(wù)器的服務(wù)狀態(tài)；

步驟（5）當(dāng)接收集群模塊中的服務(wù)器狀態(tài)為良好，監(jiān)控集群模塊反饋接收集群服務(wù)器信息給代理模塊，代理模塊以指定的傳輸協(xié)議方式發(fā)送日志到指定的接收集群服務(wù)器，反之，代理模塊要將日志數(shù)據(jù)信息進(jìn)行本地存儲。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于：

所述步驟（4）中判斷接收集群模塊的服務(wù)器狀態(tài)是指監(jiān)控集群模塊判斷接收集群服務(wù)器正常服務(wù)數(shù)量是否小于接收集群服務(wù)器總數(shù)量的一半，如果小于一半，將返回接收集群服務(wù)狀態(tài)不良好，反之，接收服務(wù)器服務(wù)狀態(tài)良好。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于：

監(jiān)控集群模塊通過監(jiān)控管理模塊寫入接收集群模塊的配置文件，所述配置文件用于定義接收集群模塊針對不同類型日志數(shù)據(jù)所采取的對應(yīng)處理方式。

9.根據(jù)權(quán)利要求6所述的方法，其特征在于該方法進(jìn)一步包括：

接收集群模塊在接收到日志數(shù)據(jù)后，根據(jù)代理模塊給日志數(shù)據(jù)加上的日志類型標(biāo)示判斷出日志數(shù)據(jù)的類型，根據(jù)該日志數(shù)據(jù)類型獲取配置中對應(yīng)類型的日志數(shù)據(jù)的處理方式進(jìn)行處理。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于：

所述處理包括以下方式中的一種或幾種：基于分布式文件系統(tǒng)的存儲，本地存儲，基于UDP協(xié)議的轉(zhuǎn)發(fā)，基于TCP協(xié)議的轉(zhuǎn)發(fā)。