[發(fā)明專利]一種基于云平臺的網(wǎng)站信息采集方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202310076203.8
• 申請日: 2023-02-07
• 公開（公告）號: CN115982503B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 梁禮津;柴玉軍;曹偉
• 申請（專利權(quán)）人: 深圳慧梧科技有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/951;G06F16/953;G06F16/906
• 代理公司: 北京科創(chuàng)易佰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 16113
• 代理人: 石文麗

本發(fā)明公開了一種基于云平臺的網(wǎng)站信息采集方法，搭建信息采集系統(tǒng)，所述信息系統(tǒng)包括信息采集服務(wù)器，以及多臺信息處理服務(wù)器，所述信息采集服務(wù)器在接收到信息采集的指令后，對所述指令進(jìn)行解析，得到待采集數(shù)據(jù)的對應(yīng)的標(biāo)簽和此次采集的數(shù)據(jù)的定制化級別；在得到到按照解析的指令得到的標(biāo)簽對應(yīng)的經(jīng)過初級存儲的信息數(shù)據(jù)后，所述數(shù)據(jù)處理策略進(jìn)一步包括數(shù)據(jù)拆分策略，即數(shù)據(jù)拆分后對應(yīng)發(fā)送的多臺信息處理服務(wù)器；所述多臺信息處理服務(wù)器執(zhí)行其自身對應(yīng)的數(shù)據(jù)處理功能，并將處理后的數(shù)據(jù)進(jìn)行保存于各自的數(shù)據(jù)庫中，用戶能夠選擇是否屏蔽數(shù)據(jù)存儲的一個或者多個信息處理服務(wù)器的數(shù)據(jù)處理功能，然后進(jìn)行顯示采集到的信息。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)大數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于云平臺的網(wǎng)站信息采集方法及系統(tǒng)。

背景技術(shù)

定向采集系統(tǒng)是網(wǎng)絡(luò)蜘蛛的一種，它是網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的核心部分。它通過對互聯(lián)網(wǎng)上已知信息源（即網(wǎng)絡(luò)鏈接，URL:?Universal?Resource?Locator)的不斷抓取海量網(wǎng)頁內(nèi)容，獲取其中所有主題相關(guān)內(nèi)容。定向采集系統(tǒng)的優(yōu)劣集中體現(xiàn)在其抓取網(wǎng)頁內(nèi)容的速度、質(zhì)量以及抓取內(nèi)容和采集主題的匹配程度。目前，絕大多數(shù)的網(wǎng)絡(luò)蜘蛛都是單機(jī)版的，對于信息源和采集主題的管理相對比較簡單，通常是由管理員在服務(wù)器端進(jìn)行簡單配置，配置好后所有用戶均在此配置的制約下使用網(wǎng)絡(luò)蜘蛛。這樣，當(dāng)用戶需要有針對自己的需求進(jìn)行個性化配置時，就得不到滿足了。尤其當(dāng)這些個性化的需求日益增長時，目前的網(wǎng)絡(luò)蜘蛛就顯得捉襟見肘了。

同時，數(shù)據(jù)采集的信息處理由于數(shù)據(jù)量的問題導(dǎo)致后期處理較為困難，并且聚類的效果也不明顯，同時用戶采集的數(shù)據(jù)保存和信息安全都是需要額外注意的地方。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明公開了一種基于云平臺的網(wǎng)站信息采集方法，所述網(wǎng)站信息采集方法包括如下步驟：

步驟1，搭建信息采集系統(tǒng)，所述信息系統(tǒng)包括信息采集服務(wù)器，以及多臺信息處理服務(wù)器，所述信息采集服務(wù)器在接收到信息采集的指令后，對所述指令進(jìn)行解析，得到待采集數(shù)據(jù)的對應(yīng)的標(biāo)簽和此次采集的數(shù)據(jù)的定制化級別；

步驟2，所述信息采集服務(wù)器獲取所述數(shù)據(jù)的定制化級別，并查詢所述定制化級別對應(yīng)的數(shù)據(jù)處理策略，所述數(shù)據(jù)處理策略首先對采集的數(shù)據(jù)按照標(biāo)簽類型進(jìn)行分別初級存儲，所述初級存儲為對采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗后存儲于所述信息采集服務(wù)器，按照所述標(biāo)簽分類檢查標(biāo)簽對應(yīng)的數(shù)據(jù)的一致性并處理采集數(shù)據(jù)的無效值和缺失值，其中，每個標(biāo)簽下的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的方向不同，文字類型的數(shù)據(jù)需要檢測文字可讀性和完整性而數(shù)字類的數(shù)據(jù)需要進(jìn)行轉(zhuǎn)換將數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)換為文字類型以減少數(shù)字類型數(shù)據(jù)缺失；

步驟3，在得到到按照解析的指令得到的標(biāo)簽對應(yīng)的經(jīng)過初級存儲的信息數(shù)據(jù)后，所述數(shù)據(jù)處理策略進(jìn)一步包括數(shù)據(jù)拆分策略，根據(jù)數(shù)據(jù)拆分策略對需要進(jìn)行拆分的標(biāo)簽下的數(shù)據(jù)進(jìn)行數(shù)據(jù)拆分，所述數(shù)據(jù)拆分策略包括數(shù)據(jù)拆分后的數(shù)據(jù)去處，即數(shù)據(jù)拆分后對應(yīng)發(fā)送的多臺信息處理服務(wù)器；

步驟4，所述多臺信息處理服務(wù)器執(zhí)行其自身對應(yīng)的數(shù)據(jù)處理功能，并將處理后的數(shù)據(jù)進(jìn)行保存于各自的數(shù)據(jù)庫中，所述數(shù)據(jù)庫構(gòu)建數(shù)據(jù)索引表并發(fā)送回所述信息采集服務(wù)器，所述信息采集服務(wù)器再發(fā)送預(yù)設(shè)格式的采集數(shù)據(jù)對應(yīng)的數(shù)據(jù)索引集合；

步驟5，用戶的客戶端在接收到預(yù)設(shè)格式數(shù)據(jù)索引集合后，能夠選擇是否屏蔽數(shù)據(jù)存儲的一個或者多個信息處理服務(wù)器的數(shù)據(jù)處理功能，然后進(jìn)行顯示采集到的信息，即用戶直接按照數(shù)據(jù)索引集合顯示處理后的數(shù)據(jù)內(nèi)容或者屏蔽部分的信息處理服務(wù)器的數(shù)據(jù)處理按照數(shù)據(jù)索引集合顯示在部分處理后的數(shù)據(jù)和部分未處理的數(shù)據(jù)。

更進(jìn)一步地，所述數(shù)據(jù)拆分策略，首先根據(jù)最小拆分單元對標(biāo)簽對應(yīng)的初級存儲的數(shù)據(jù)進(jìn)行編號，每個編號對應(yīng)于一個最小拆分單元，根據(jù)標(biāo)簽對應(yīng)的預(yù)設(shè)關(guān)鍵詞進(jìn)行關(guān)鍵詞的定位，在定位到關(guān)鍵詞所在的數(shù)據(jù)信息的位置之后，再以所述數(shù)據(jù)拆分策略規(guī)定的最小拆分單元拆分出關(guān)鍵詞對應(yīng)的編號區(qū)域。

更進(jìn)一步地，所述最小拆分單元為詞、句或者段落中的一種或多種的組合。