[發(fā)明專利]一種數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集的方法

有效

• 申請?zhí)枺?/td>: 201110182451.8
• 申請日: 2011-06-30
• 公開（公告）號: CN102857480A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設計）人: 韓磊
• 申請（專利權）人: 北京新媒傳信科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 王瑩

技術領域

本發(fā)明涉及數(shù)據(jù)業(yè)務技術領域，特別涉及一種數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集的方法。

背景技術

數(shù)據(jù)采集系統(tǒng)做為數(shù)據(jù)平臺的統(tǒng)一數(shù)據(jù)入口，為數(shù)據(jù)平臺提供數(shù)據(jù)的接收、解密、解析、存儲等功能，數(shù)據(jù)采集系統(tǒng)使用HTTP(HyperText?Transfer?Protocol，超文本傳輸協(xié)議)協(xié)議，接收POST方法的數(shù)據(jù)。由于數(shù)據(jù)發(fā)起方的系統(tǒng)和接口比較多，并在未來一段時間內(nèi)會逐漸增加新的數(shù)據(jù)發(fā)起方和接口，所以要求數(shù)據(jù)采集系統(tǒng)必須能夠靈活的變更接口；同時，在某一接口進行變更時，不得影響其它接口的正常工作。

現(xiàn)有方案之一使用nginx軟件作為HTTP服務器，編寫模塊實現(xiàn)數(shù)據(jù)的接收、解密、解析、存儲等功能。由于nginx的軟件設計結構要求模塊在變更后，需要將整個nginx軟件一起重新編譯、重啟服務，所以無法靈活的變更接口。并且，限制在nginx的框架之下，很難實現(xiàn)復雜的邏輯；nginx軟件過于龐大，很多功能使用不到，浪費服務器資源。

發(fā)明內(nèi)容

(一)要解決的技術問題

本發(fā)明要解決的技術問題是：如何提供一種數(shù)據(jù)采集系統(tǒng)及其數(shù)據(jù)采集的方法，以便能夠對接口進行靈活的變更，而不影響其他接口的正常工作。

(二)技術方案

為解決上述技術問題，本發(fā)明提高一種數(shù)據(jù)采集系統(tǒng)，其包括：工作單元100；

所述工作單元100包括：協(xié)議層子單元103和命令子單元104；

所述協(xié)議層子單元103包括URL模塊1031；

所述URL模塊1031包括接口子模塊10311；

所述命令子單元104包括用于監(jiān)聽管理命令類型的HTTP連接請求的網(wǎng)絡端口，所述命令子單元104用于將監(jiān)聽到的所述管理命令類型的HTTP連接請求發(fā)送給所述協(xié)議層子單元103；

所述協(xié)議層子單元103用于接收HTTP連接請求，并根據(jù)所述連接請求，通知所述工作單元100加載和初始化所述URL模塊1031以及所述URL模塊1031的接口子模塊10311，或者調用所述URL模塊1031；

所述URL模塊1031用于對所述連接請求中的數(shù)據(jù)進行解密和分類，并根據(jù)所述數(shù)據(jù)的類型調用所述接口子模塊10311；

所述接口子模塊10311用于將所述數(shù)據(jù)寫入本地文件系統(tǒng)。

優(yōu)選地，所述工作單元100還包括：接收子單元101和傳輸子單元102；

所述接收子單元101包括用于監(jiān)聽數(shù)據(jù)接收類型的HTTP連接請求的網(wǎng)絡端口，所述接收子單元101用于將監(jiān)聽到的所述數(shù)據(jù)接收類型的HTTP連接請求發(fā)送給所述協(xié)議層子單元103；

所述傳輸子單元102包括用于監(jiān)聽數(shù)據(jù)傳輸類型的HTTP連接請求的網(wǎng)絡端口，所述傳輸子單元102用于將監(jiān)聽到的所述數(shù)據(jù)傳輸類型的HTTP連接請求發(fā)送給所述協(xié)議層子單元103。

優(yōu)選地，所述系統(tǒng)還包括：管理單元200；所述管理單元200用于向所述工作單元100發(fā)送數(shù)據(jù)傳輸類型和命令管理類型的HTTP連接請求，并且用于接收所述工作單元100發(fā)送的，數(shù)據(jù)傳輸完成消息和數(shù)據(jù)接收完成消息。

本發(fā)明還提供一種所述數(shù)據(jù)采集系統(tǒng)實現(xiàn)數(shù)據(jù)采集的方法，其包括步驟：

C：加載并且初始化URL模塊和所述URL模塊的接口子模塊；

D：接收HTTP連接請求，如果所述連接請求的類型為管理命令類型，執(zhí)行所述步驟C，如果所述連接請求的類型為數(shù)據(jù)傳輸類型，執(zhí)行步驟E，如果所述連接請求的類型為數(shù)據(jù)接收類型，執(zhí)行步驟F；

E：將所述連接請求中的數(shù)據(jù)寫入分布式文件系統(tǒng)，然后向管理單元發(fā)送數(shù)據(jù)傳輸完成消息，執(zhí)行所述步驟D；

F：調用所述URL模塊對所述連接請求中的數(shù)據(jù)進行解密和分類；

G：根據(jù)所述連接請求中的數(shù)據(jù)的類型，調用所述接口模塊，將所述連接請求中的數(shù)據(jù)寫入本地文件系統(tǒng)，判斷所述接口模塊的處理周期是否結束，如果結束，向所述管理單元發(fā)送數(shù)據(jù)接收完成消息，然后執(zhí)行所述步驟D，否則，直接執(zhí)行所述步驟D。

優(yōu)選地，在所述步驟C之前還包括步驟B：創(chuàng)建主進程和多個子進程，所述子進程通過接收子單元的網(wǎng)絡端口和命令子單元的網(wǎng)絡端口監(jiān)聽HTTP連接請求，所述主進程通過所述接收子單元的網(wǎng)絡端口、所述命令子單元的網(wǎng)絡端口和傳輸子單元的網(wǎng)絡端口監(jiān)聽HTTP連接請求。

優(yōu)選地，在所述步驟B之前還包括步驟A：讀取工作單元的系統(tǒng)配置文件。

優(yōu)選地，所述步驟D具體包括步驟：

D1：接收HTTP連接請求；