[發(fā)明專利]一種從互聯(lián)網(wǎng)上自動獲取紡織公司信息的爬蟲設(shè)計方法

無效

• 申請?zhí)枺?/td>: 201110222524.1
• 申請日: 2011-08-04
• 公開（公告）號: CN102279883A
• 公開（公告）日: 2011-12-14
• 發(fā)明（設(shè)計）人: 樂嘉錦;戢清雨;于守健;顏超;楊明華;林海
• 申請（專利權(quán)）人: 東華大學(xué);上海華匯流行面料工程發(fā)展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q10/00;G06Q50/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

技術(shù)領(lǐng)域

?本發(fā)明涉及一種將紡織技術(shù)與計算機(jī)技術(shù)相結(jié)合從互聯(lián)網(wǎng)上自動獲取紡織公司信息的爬蟲設(shè)計方法，屬于紡織技術(shù)領(lǐng)域。

背景技術(shù)

傳統(tǒng)上，一個紡織平臺網(wǎng)站需要獲得紡織公司信息往往通過人工在互聯(lián)網(wǎng)上查詢、打電話、實地考察等方式獲取。這種傳統(tǒng)獲得信息的方式，存在以下問題：第一、耗時耗力；第二、人工成本很大；第三、獲取信息整理歸類繁瑣；第四、缺乏靈活性；第五、因人工各種因素，效率很低；第六、出錯可能性很高。

由于上述問題，紡織平臺網(wǎng)站難以迅速獲取信息，有問題不能及時高效解決，嚴(yán)重制約了紡織平臺網(wǎng)站用戶積累、信息更新和服務(wù)水平的提高。為此，非常有必要設(shè)計出一種能自動獲取互聯(lián)網(wǎng)紡織公司信息的方法。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種方法，通過該方法來自動獲取互聯(lián)網(wǎng)紡織公司信息。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種從互聯(lián)網(wǎng)上自動獲取紡織公司信息的爬蟲設(shè)計方法，其特征在于，步驟為：

步驟1、設(shè)置獲取互聯(lián)網(wǎng)上紡織公司的信息的入口點；

步驟2、從入口點開始的每一個網(wǎng)頁，在此過程中，自動過濾掉已經(jīng)解析的網(wǎng)頁；

步驟3、從解析的網(wǎng)頁數(shù)據(jù)中，獲取紡織公司的信息，并將其存入數(shù)據(jù)庫中；

步驟4、通過數(shù)據(jù)庫中的紡織公司信息，由系統(tǒng)自動發(fā)送郵件給相應(yīng)的紡織公司進(jìn)行紡織平臺網(wǎng)站的推廣。

通過本發(fā)明所提供的方法，紡織平臺網(wǎng)站能夠迅速獲取紡織公司的信息，給紡織平臺網(wǎng)站積累用戶、信息更新和提高服務(wù)水平帶來了便利。

附圖說明

圖1為本發(fā)明提供的一種從互聯(lián)網(wǎng)上自動獲取紡織公司信息的爬蟲設(shè)計方法的流程圖；

圖2為過濾已解析網(wǎng)頁的流程圖。

具體實施方式

為使本發(fā)明更明顯易懂，茲以一優(yōu)選實施例，并配合附圖作詳細(xì)說明如下。

本發(fā)明提供了一種從互聯(lián)網(wǎng)上自動獲取紡織公司信息的爬蟲設(shè)計方法，如圖1所示，其步驟為：

步驟1、設(shè)置獲取互聯(lián)網(wǎng)上紡織公司的信息的入口點；

步驟2、按照廣度優(yōu)先的原則，從入口點開始的每一個網(wǎng)頁，在此過程中，自動過濾掉已經(jīng)解析的網(wǎng)頁，如圖2所示，其步驟為：

步驟2.1、獲取需要解析的網(wǎng)頁；

步驟2.2、判斷當(dāng)前需要解析的網(wǎng)頁是否解析過，若是，則在選擇下一個網(wǎng)頁后跳回執(zhí)行步驟2.1，否則，進(jìn)入步驟2.3；

步驟2.3、對當(dāng)前網(wǎng)頁進(jìn)行解析。

步驟3、從解析的網(wǎng)頁數(shù)據(jù)中，獲取紡織公司的信息，并將其存入數(shù)據(jù)庫中，紡織公司的信息包括公司地址、郵箱、聯(lián)系人、傳真、或網(wǎng)站地址；

步驟4、通過數(shù)據(jù)庫中的紡織公司信息，由系統(tǒng)自動發(fā)送郵件給相應(yīng)的紡織公司進(jìn)行紡織平臺網(wǎng)站的推廣。