[發(fā)明專利]一種基于HTML標(biāo)簽的網(wǎng)頁(yè)正文提取方法及裝置

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210213554.0
• 申請(qǐng)日: 2012-06-27
• 公開(kāi)（公告）號(hào): CN102779169A
• 公開(kāi)（公告）日: 2012-11-14
• 發(fā)明（設(shè)計(jì)）人: 劉迎春;魏華峰;方筠捷
• 申請(qǐng)（專利權(quán)）人: 江蘇新瑞峰信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于HTML標(biāo)簽的網(wǎng)頁(yè)正文提取裝置，包括中央處理器、寄存器、轉(zhuǎn)義字符轉(zhuǎn)換處理單元、凈化處理單元、存儲(chǔ)器，其特征是，中央處理單元按照如下步驟執(zhí)行網(wǎng)頁(yè)正文的提取：

（1）中央處理器將網(wǎng)頁(yè)的HTML代碼以文本形式讀入寄存器中，并將寄存器中的字符全部小寫化，便于后面的字符匹配；

（2）中央處理器通過(guò)掃描寄存器，將HTML網(wǎng)頁(yè)劃分成Head和Body兩大區(qū)域塊；

（3）中央處理器調(diào)用凈化處理單元，通過(guò)以下3個(gè)環(huán)節(jié)對(duì)寄存器進(jìn)行凈化：

①刪除head區(qū)域塊中與網(wǎng)頁(yè)標(biāo)題無(wú)關(guān)的內(nèi)容，

②確定body區(qū)域塊中網(wǎng)頁(yè)正文標(biāo)題的位置，

③刪除body區(qū)域塊中與網(wǎng)頁(yè)正文無(wú)關(guān)的內(nèi)容；

（4）中央處理器調(diào)用轉(zhuǎn)義字符轉(zhuǎn)換處理單元，把寄存器里面的轉(zhuǎn)義字符轉(zhuǎn)化成正常字符；

（5）中央處理器依次在存儲(chǔ)器中保存寄存器中網(wǎng)頁(yè)信息，即為提取的網(wǎng)頁(yè)正文部分。

2.一種基于HTML標(biāo)簽的網(wǎng)頁(yè)正文提取方法，通過(guò)含有中央處理器、寄存器、轉(zhuǎn)義字符轉(zhuǎn)換處理單元、凈化處理單元、存儲(chǔ)器的裝置提取出網(wǎng)頁(yè)的正文內(nèi)容，其特征是，該方法包括以下步驟：

（1）中央處理器將網(wǎng)頁(yè)的HTML代碼以文本形式讀入寄存器中，并將寄存器中的字符全部小寫化，便于后面的字符匹配；

（2）中央處理器通過(guò)掃描寄存器，將HTML網(wǎng)頁(yè)劃分成Head和Body兩大區(qū)域塊；

（3）中央處理器調(diào)用凈化處理單元，通過(guò)以下3個(gè)環(huán)節(jié)對(duì)寄存器進(jìn)行凈化：

①刪除head區(qū)域塊中與網(wǎng)頁(yè)標(biāo)題無(wú)關(guān)的內(nèi)容，

②確定body區(qū)域塊中網(wǎng)頁(yè)正文標(biāo)題的位置，

③刪除body區(qū)域塊中與網(wǎng)頁(yè)正文無(wú)關(guān)的內(nèi)容；

（4）中央處理器調(diào)用轉(zhuǎn)義字符轉(zhuǎn)換處理單元，把寄存器里面的轉(zhuǎn)義字符轉(zhuǎn)化成正常字符；

（5）中央處理器依次在存儲(chǔ)器中保存寄存器中網(wǎng)頁(yè)信息，即為提取的網(wǎng)頁(yè)正文部分。

3.一種Web全文檢索中間件，由信息采集接口、信息采集模塊、信息處理模塊、全文檢索模塊和檢索接口組成，其中，信息采集模塊對(duì)來(lái)自信息采集接口的Web網(wǎng)頁(yè)進(jìn)行抓取并對(duì)抓取所得到的URL進(jìn)行去重處理；信息處理模塊先對(duì)信息采集模塊采集到的網(wǎng)頁(yè)內(nèi)容進(jìn)行正文提取，后對(duì)提取結(jié)果進(jìn)行分詞并建立索引；全文檢索模塊內(nèi)部封裝了全文檢索、用戶檢索條件解析、對(duì)檢索結(jié)果進(jìn)行排序以及提高用戶體驗(yàn)的個(gè)性化操作功能，對(duì)外提供了檢索接口，其特征是，信息處理模塊中對(duì)信息采集模塊采集到的網(wǎng)頁(yè)內(nèi)容進(jìn)行正文提取的裝置是如權(quán)利要求1所述的一種基于HTML標(biāo)簽的網(wǎng)頁(yè)正文提取裝置。

4.如權(quán)利要求3所述的一種Web全文檢索中間件，信息采集模塊對(duì)來(lái)自信息采集接口的Web網(wǎng)頁(yè)進(jìn)行抓取時(shí)采用多線程抓取。

5.一種中間件的Web全文檢索方法，該中間件由信息采集接口、信息采集模塊、信息處理模塊、全文檢索模塊和檢索接口組成，全文檢索包括以下步驟：

（1）信息采集模塊對(duì)來(lái)自信息采集接口的Web網(wǎng)頁(yè)進(jìn)行抓取并對(duì)抓取所得到的URL進(jìn)行去重處理；

（2）信息處理模塊先對(duì)信息采集模塊采集到的網(wǎng)頁(yè)內(nèi)容進(jìn)行正文提取，后對(duì)提取結(jié)果進(jìn)行分詞并建立索引；

（3）全文檢索模塊內(nèi)部封裝了全文檢索、用戶檢索條件解析、對(duì)檢索結(jié)果進(jìn)行排序以及提高用戶體驗(yàn)的個(gè)性化操作功能，對(duì)外提供了檢索接口；

其特征是，信息處理模塊中對(duì)信息采集模塊采集到的網(wǎng)頁(yè)內(nèi)容進(jìn)行正文提取的方法是如權(quán)利要求2所述的一種基于HTML標(biāo)簽的網(wǎng)頁(yè)正文提取方法。

6.如權(quán)利要求5所述的一種Web全文檢索中間件的構(gòu)造方法，信息采集模塊對(duì)來(lái)自信息采集接口的Web網(wǎng)頁(yè)進(jìn)行抓取時(shí)采用多線程抓取。

7.一種文檔搜索系統(tǒng)，其特征是，由人機(jī)接口和如權(quán)利要求3所述的一種Web全文檢索中間件組成，人機(jī)接口提供起始URL給中間件的信息采集接口，并顯示中間件通過(guò)檢索接口輸出的檢索結(jié)果。

8.一種文檔搜索的方法，通過(guò)人機(jī)接口和一種Web全文檢索中間件進(jìn)行文檔檢索，其特征是，包括以下步驟：

（1）人機(jī)接口提供起始URL給中間件的信息采集接口；

（2）中間件調(diào)用如權(quán)利要求5所述的一種中間件的Web全文檢索方法，檢索結(jié)果通過(guò)檢索接口輸出；

（3）檢索結(jié)果通過(guò)人機(jī)接口顯示。