[發明專利]一種B/S結構系統的數據抓取系統

無效

• 申請號: 201210141517.3
• 申請日: 2012-05-08
• 公開（公告）號: CN102654886A
• 公開（公告）日: 2012-09-05
• 發明（設計）人: 吳衛平
• 申請（專利權）人: 上海互聯網軟件有限公司;上海互軟信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 上海金盛協力知識產權代理有限公司 31242
• 代理人: 王松

技術領域

本發明屬于計算機及互聯網技術領域，涉及一種數據抓取系統，尤其涉及一種B/S結構系統的數據抓取系統。

背景技術

目前在電子政務的推動工作中，往往要遇到這樣一個問題：各政府部門條線系統在建設各自的信息系統時，對于與其他部門的信息系統的對接問題的考慮不周，這導致了各個系統之間缺乏橫向聯系，無法共享一些公共的數據信息。

這種現象引發了一系列的問題：包括系統數據的冗余，數據的缺失，甚至是不同系統中相通對象的描述數據嚴重不符；還存在二次數據錄入的問題，相關系統數據維護者可能要向多個系統錄入相關的數據，客觀上加重了系統數據維護者的工作量。這一現象是與系統建設推動工作效率、減輕工作強度的初衷相違背的。但是要合理解決上述問題，不僅僅要靠技術上突破，還往往需要政府拿出切實可行政務電子化的發展方針，要有一個合理并彈性的，能協調各條線部門聯橫發展的路線來。

例如，上海各區縣鎮都在進行電子政務的建設，大都遇到一個問題，民政和勞保兩條線中都有各自先前建設的老系統，一個是B/S結構的，一個是C/S結構的。遇到的實際困難是：這兩個系統的后臺數據庫是無法向第三方公開的，也就是說，第三方無法直接向這些數據庫中讀寫維護相關數據，所以客觀上講，第三方只有通過現有這兩個系統來（合法地）完成數據維護。同時由于第三方要建立由上海區縣政府所使用信息系統，這不可避免的會使用到民政和勞保的數據信息。如果采用同步錄入數據，也就出現了前節所提到的二次錄入的問題。

此外，還有一些業務數據只能通過網頁的方式訪問、查看，很難成為可以直接利用的數據資源，數據展示格式已固定不變，不能夠靈活運用。

發明內容

本發明所要解決的技術問題是：提供一種B/S結構系統的數據抓取系統，可方便快捷地抓取其他B/S結構業務系統的數據，并提供給其他業務系統錄入。

為解決上述技術問題，本發明采用如下技術方案：

一種B/S結構系統的數據抓取系統，所述數據抓取系統包括：

地址列表獲取模塊，用以獲取需要抓取的網頁的地址列表信息；

網頁數據請求模塊，用以根據網頁的地址列表信息提出請求，得到網頁的內容；

網頁數據抓取模塊，用以分析網頁的結構，并提取出想要的內容。

作為本發明的一種優選方案，所述數據抓取系統進一步包括：模擬登錄模塊，用以根據登錄驗證信息模擬登錄；登錄后，再進行數據的抓取。

作為本發明的一種優選方案，所述網頁數據抓取模塊用以根據數據發送的源地址與目標地址抓取所需的網頁中的數據，抓取的數據為TCP/IP數據包，對TCP/IP數據包進行解析后獲得HTTP協議中的文本數據。

作為本發明的一種優選方案，所述數據抓取系統還包括第一數據抓取子系統，用以抓取C/S結構系統的數據，包括鉤子加載模塊、抓取鉤子模塊、配置文件生成模塊；

所述鉤子加載模塊用以根據進程數量生成設定數量的抓取鉤子模塊，配置給需要抓取的進程；一個進程配置一個抓取鉤子模塊，或者多個進程配置一個抓取鉤子模塊，或者一個進程配置多個抓取鉤子模塊；

所述抓取鉤子模塊用以監控其對應進程中業務數據的傳遞，并抓取相應的業務數據；

所述配置文件生成模塊用以將所述抓取鉤子模塊抓取的業務數據按照可配置的格式寫入配置文件中，供其他系統進行數據錄入；

所述鉤子加載模塊、抓取鉤子模塊、配置文件生成模塊設置于第一C/S業務系統對應的計算機中；所述系統還包括設置于第二C/S業務系統對應的計算機中的數據利用模塊，用以根據所述配置文件生成模塊生成的配置文件獲取相應數據，并進行數據錄入。

本發明的有益效果在于：本發明提出的B/S結構系統的數據抓取系統，可方便快捷地抓取其他B/S結構業務系統的數據，并提供給其他業務系統錄入。

本發明使用WINDOWS?SOCKET的方法抓取流經網絡的網頁中的數據，當用戶提交網頁數據時，B/S程序就能夠根據數據發送的源地址與目標地址抓取所需的網頁中的數據，因為是抓取的TCP/IP數據包，需要對其進行解析從而獲得HTTP協議中的文本數據。

附圖說明

圖1為實施例一中數據抓取系統的框架圖。

圖2為實施例一中數據抓取系統的組成示意圖。

圖3為實施例一中第一數據抓取子系統的組成示意圖。

圖4為實施例一中第一數據抓取流程的流程圖。

圖5為實施例一中第二數據抓取流程的流程圖。

圖6為實施例二中B/S結構系統的數據抓取系統的組成示意圖。

具體實施方式