[發明專利]一種B/S結構系統的數據抓取系統無效
| 申請號： | 201210141517.3 | 申請日： | 2012-05-08 |
| 公開（公告）號： | CN102654886A | 公開（公告）日： | 2012-09-05 |
| 發明（設計）人： | 吳衛平 | 申請（專利權）人： | 上海互聯網軟件有限公司;上海互軟信息科技有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30;H04L29/08 |
| 代理公司： | 上海金盛協力知識產權代理有限公司 31242 | 代理人： | 王松 |
| 地址： | 200136 上海市浦東*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 結構 系統 數據 抓取 | ||
1.一種B/S結構系統的數據抓取系統，其特征在于，所述數據抓取系統包括：
地址列表獲取模塊，用以獲取需要抓取的網頁的地址列表信息；
網頁數據請求模塊，用以根據網頁的地址列表信息提出請求，得到網頁的內容；
網頁數據抓取模塊，用以分析網頁的結構，并提取出想要的內容。
2.根據權利要求1所述的B/S結構系統的數據抓取系統，其特征在于：
所述數據抓取系統進一步包括：模擬登錄模塊，用以根據登錄驗證信息模擬登錄；登錄后，再進行數據的抓取。
3.根據權利要求1所述的B/S結構系統的數據抓取系統，其特征在于：
所述網頁數據抓取模塊用以根據數據發送的源地址與目標地址抓取所需的網頁中的數據，抓取的數據為TCP/IP數據包，對TCP/IP數據包進行解析后獲得HTTP協議中的文本數據。
4.根據權利要求3所述的B/S結構系統的數據抓取系統，其特征在于：
所述數據抓取系統還包括第一數據抓取子系統，用以抓取C/S結構系統的數據，包括鉤子加載模塊、抓取鉤子模塊、配置文件生成模塊；
所述鉤子加載模塊用以根據進程數量生成設定數量的抓取鉤子模塊，配置給需要抓取的進程；一個進程配置一個抓取鉤子模塊，或者多個進程配置一個抓取鉤子模塊，或者一個進程配置多個抓取鉤子模塊；
所述抓取鉤子模塊用以監控其對應進程中業務數據的傳遞，并抓取相應的業務數據；
所述配置文件生成模塊用以將所述抓取鉤子模塊抓取的業務數據按照可配置的格式寫入配置文件中，供其他系統進行數據錄入；
所述鉤子加載模塊、抓取鉤子模塊、配置文件生成模塊設置于第一C/S業務系統對應的計算機中；所述系統還包括設置于第二C/S業務系統對應的計算機中的數據利用模塊，用以根據所述配置文件生成模塊生成的配置文件獲取相應數據，并進行數據錄入。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海互聯網軟件有限公司;上海互軟信息科技有限公司，未經上海互聯網軟件有限公司;上海互軟信息科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201210141517.3/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：人體感應照明裝置
- 下一篇：一種多工藝樁孔施工方法
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
