[發明專利]一種數據采集系統及其數據采集的方法

有效

• 申請號: 201110182451.8
• 申請日: 2011-06-30
• 公開（公告）號: CN102857480A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 韓磊
• 申請（專利權）人: 北京新媒傳信科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種數據采集系統，其特征在于，包括：工作單元(100)；

所述工作單元(100)包括：協議層子單元(103)和命令子單元(104)；

所述協議層子單元(103)包括URL模塊(1031)；

所述URL模塊(1031)包括接口子模塊(10311)；

所述命令子單元(104)包括用于監聽管理命令類型的HTTP連接請求的網絡端口，所述命令子單元(104)用于將監聽到的所述管理命令類型的HTTP連接請求發送給所述協議層子單元(103)；

所述協議層子單元(103)用于接收HTTP連接請求，并根據所述連接請求，通知所述工作單元(100)加載和初始化所述URL模塊(1031)以及所述URL模塊(1031)的接口子模塊(10311)，或者調用所述URL模塊(1031)；

所述URL模塊(1031)用于對所述連接請求中的數據進行解密和分類，并根據所述數據的類型調用所述接口子模塊(10311)；

所述接口子模塊(10311)用于將所述數據寫入本地文件系統。

2.如權利要求1所述的系統，其特征在于，所述工作單元(100)還包括：接收子單元(101)和傳輸子單元(102)；

所述接收子單元(101)包括用于監聽數據接收類型的HTTP連接請求的網絡端口，所述接收子單元(101)用于將監聽到的所述數據接收類型的HTTP連接請求發送給所述協議層子單元(103)；

所述傳輸子單元(102)包括用于監聽數據傳輸類型的HTTP連接請求的網絡端口，所述傳輸子單元(102)用于將監聽到的所述數據傳輸類型的HTTP連接請求發送給所述協議層子單元(103)。

3.如權利要求1所述的系統，其特征在于，所述系統還包括：管理單元(200)；所述管理單元(200)用于向所述工作單元(100)發送數據傳輸類型和命令管理類型的HTTP連接請求，并且用于接收所述工作單元(100)發送的，數據傳輸完成消息和數據接收完成消息。

4.一種權利要求1至3之一所述數據采集系統實現數據采集的方法，其特征在于，包括步驟：

C：加載并且初始化URL模塊和所述URL模塊的接口子模塊；

D：接收HTTP連接請求，如果所述連接請求的類型為管理命令類型，執行所述步驟C，如果所述連接請求的類型為數據傳輸類型，執行步驟E，如果所述連接請求的類型為數據接收類型，執行步驟F；

E：將所述連接請求中的數據寫入分布式文件系統，然后向管理單元發送數據傳輸完成消息，執行所述步驟D；

F：調用所述URL模塊對所述連接請求中的數據進行解密和分類；

G：根據所述連接請求中的數據的類型，調用所述接口模塊，將所述連接請求中的數據寫入本地文件系統，判斷所述接口模塊的處理周期是否結束，如果結束，向所述管理單元發送數據接收完成消息，然后執行所述步驟D，否則，直接執行所述步驟D。

5.如權利要求4所述的方法，其特征在于，在所述步驟C之前還包括步驟B：創建主進程和多個子進程，所述子進程通過接收子單元的網絡端口和命令子單元的網絡端口監聽HTTP連接請求，所述主進程通過所述接收子單元的網絡端口、所述命令子單元的網絡端口和傳輸子單元的網絡端口監聽HTTP連接請求。

6.如權利要求5所述的方法，其特征在于，在所述步驟B之前還包括步驟A：讀取工作單元的系統配置文件。

7.如權利要求5所述的方法，其特征在于，所述步驟D具體包括步驟：

D1：接收HTTP連接請求；

D2：如果所述連接請求通過所述命令子單元的網絡端口監聽獲得，則所述連接請求的類型為管理命令類型，執行步驟C；

D3：如果所述連接請求通過所述傳輸子單元的網絡端口監聽獲得，則所述連接請求的類型為數據傳輸類型，執行步驟E；

D4：如果所述連接請求通過所述接收子單元的網絡端口監聽獲得，則所述連接請求的類型為數據接收類型，執行步驟F。