[發(fā)明專利]一種房屋信息采集服務(wù)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410545328.1
• 申請(qǐng)日: 2014-10-15
• 公開(kāi)（公告）號(hào): CN104317857B
• 公開(kāi)（公告）日: 2019-03-22
• 發(fā)明（設(shè)計(jì)）人: 賈巖
• 申請(qǐng)（專利權(quán)）人: 深圳市易圖資訊股份有限公司
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

1.一種房屋信息采集服務(wù)系統(tǒng)，其特征在于，包括：

網(wǎng)站爬蟲(chóng)組件，用于針對(duì)一個(gè)網(wǎng)站的抓取工作，針對(duì)網(wǎng)站的頁(yè)面元素與特點(diǎn)進(jìn)行專門的解析，完成數(shù)據(jù)抽取后，映射到對(duì)應(yīng)的數(shù)據(jù)實(shí)體當(dāng)中，再交給網(wǎng)站爬蟲(chóng)服務(wù)模塊進(jìn)行數(shù)據(jù)的保存；

監(jiān)控服務(wù)模塊，用于監(jiān)控網(wǎng)站爬蟲(chóng)服務(wù)模塊的工作情況，及各個(gè)網(wǎng)站爬蟲(chóng)組件的工作情況，及時(shí)發(fā)現(xiàn)網(wǎng)站爬蟲(chóng)組件是否工作正常，抓取的數(shù)據(jù)是否正確；

管理服務(wù)模塊，用于整個(gè)網(wǎng)站爬蟲(chóng)服務(wù)的管理與配置；

部署服務(wù)模塊，用于升級(jí)了網(wǎng)站爬蟲(chóng)組件后部署升級(jí)網(wǎng)站爬蟲(chóng)組件；

調(diào)度服務(wù)模塊，用于調(diào)度網(wǎng)站爬蟲(chóng)服務(wù)里面的網(wǎng)站爬蟲(chóng)組件如何工作、什么時(shí)候工作、什么時(shí)候停止；

所述網(wǎng)站爬蟲(chóng)組件具體工作流程包括：

向服務(wù)器發(fā)送自己設(shè)定好的請(qǐng)求；

通過(guò)http將Web服務(wù)器上站點(diǎn)的網(wǎng)頁(yè)代碼提取出來(lái)；

根據(jù)一定的正則表達(dá)式提取出所需要的信息；

廣度優(yōu)先搜索從網(wǎng)頁(yè)中某個(gè)鏈接出發(fā)，訪問(wèn)該鏈接網(wǎng)頁(yè)上的所有鏈接，訪問(wèn)完成后，再通過(guò)遞歸算法實(shí)現(xiàn)下一層的訪問(wèn)。

2.根據(jù)權(quán)利要求1所述的房屋信息采集服務(wù)系統(tǒng)，其特征在于，所述網(wǎng)站爬蟲(chóng)組件，還用于在抓取的網(wǎng)站它的頁(yè)面元素與認(rèn)證模式發(fā)生變化時(shí)，進(jìn)行相應(yīng)的升級(jí)改造。

3.根據(jù)權(quán)利要求1所述的房屋信息采集服務(wù)系統(tǒng)，其特征在于，所述管理服務(wù)模塊用于對(duì)服務(wù)的啟動(dòng)與停止，網(wǎng)站爬蟲(chóng)組件的生命周期進(jìn)行管理。

4.根據(jù)權(quán)利要求1所述的房屋信息采集服務(wù)系統(tǒng)，其特征在于，所述網(wǎng)站爬蟲(chóng)組件基于多線程。