[發(fā)明專利]一種基于期望列表的網(wǎng)頁(yè)內(nèi)容抽取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310362840.8
• 申請(qǐng)日: 2013-08-16
• 公開(kāi)（公告）號(hào): CN103440294A
• 公開(kāi)（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 王佰玲;謝虎成;黃俊恒;宮名;劉揚(yáng);詹春燕
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工業(yè)大學(xué)(威海)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，涉及一種基于期望列表的網(wǎng)頁(yè)內(nèi)容抽取方法。?

背景技術(shù)

Xpath是一種表達(dá)XML節(jié)點(diǎn)路徑的表達(dá)式，可以方便的定位到XML的一個(gè)節(jié)點(diǎn)。XPath的處理是網(wǎng)頁(yè)分析的一項(xiàng)常規(guī)工作，需要把一個(gè)網(wǎng)頁(yè)作為XML文件作為輸入流，給XPath引擎處理，最后輸出定位的文本。XPath的分析速度是整個(gè)網(wǎng)頁(yè)分析速度的關(guān)鍵之一。?

處理XPath有多重方式。需要先用語(yǔ)法分析器將文本表達(dá)式轉(zhuǎn)換為內(nèi)存結(jié)構(gòu)，然后使用DOM樹(shù)模型的XML文檔表達(dá)并依此查詢。但是在網(wǎng)頁(yè)處理的環(huán)境中，這種做法因?yàn)閮?nèi)存和速度的關(guān)系，效果并不太好。所以之后有人提出了流式XPath的概念：它去除了原來(lái)XPath中定義的部分后退等元素，使得XPath的分析可以以一種一次掃描而不必來(lái)回移動(dòng)的方式進(jìn)行，所以速度得到了巨大的提高。流式XPath通常和SAX的XML模型結(jié)合工作，SAX模型不必建立內(nèi)存節(jié)點(diǎn)，是一次遍歷的方式。速度更快，在這次遍歷工作中一邊分析XML元素，一邊處理XPath。這樣來(lái)實(shí)現(xiàn)流式XPath的規(guī)范要求。?

嚴(yán)重依賴SAX分析因不同的SAX引擎而有不同的效果。但是在大部分情況下無(wú)法知道一個(gè)SAX引擎是否針對(duì)以下情況進(jìn)行優(yōu)化：1.同時(shí)分析多條XPath。2.錯(cuò)誤檢測(cè)和錯(cuò)誤恢復(fù)。3.跳過(guò)不必要的分析。其中第1點(diǎn)需要XPath分析器使用數(shù)據(jù)結(jié)構(gòu)處理，第2點(diǎn)根據(jù)不同的SAX引擎有不同的效果。SAX通常的做法是對(duì)所有的節(jié)點(diǎn)都進(jìn)行分析處理，然后使用回調(diào)函數(shù)通知上層。上層根據(jù)節(jié)點(diǎn)名稱選擇性的處理，不需要的節(jié)點(diǎn)就丟棄不處理。所以上面的第3點(diǎn)是無(wú)論如何也做不到的。?

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種基于期望列表的網(wǎng)頁(yè)內(nèi)容抽取方法，提出期望列表的概念。該概念主要描述我們需要什么內(nèi)容，就去查詢它，如果不需要這個(gè)內(nèi)容，可以放心的忽略它。這實(shí)際上是受到人類自身處理XML的啟發(fā)，如果要我們自身拿著XPath結(jié)構(gòu)去分析一個(gè)XML文件。那么我們自然也是一層一層的去查詢它，查到第一層才會(huì)去想查詢第二層。到此為止都和機(jī)器處理是一樣的，但是我們能夠跳過(guò)不需要的內(nèi)容。例如我們查?詢的XPath不包含任何屬性內(nèi)容，那么我們自然不需要去注意XML節(jié)點(diǎn)的屬性。這樣的唯一好處就是能夠加速分析。?

本發(fā)明期望列表的完整內(nèi)容包含三方面的內(nèi)容：?

1.不使用結(jié)構(gòu)化分析工具，僅僅使用字符串查找方式；?

2.使用期望狀態(tài)機(jī)來(lái)指揮分析工作；?

3.使用期望列表來(lái)表達(dá)查詢狀態(tài)。?

具體技術(shù)方案為：?

一種基于期望列表的網(wǎng)頁(yè)內(nèi)容抽取方法，包括以下步驟：?

a.一開(kāi)始，將狀態(tài)設(shè)置為PARSE_BEGIN(b)；?

b.在PARSE_BEGIN中，清理所有列表的內(nèi)容，準(zhǔn)備進(jìn)行新一輪的分析，并將所有XPath鏈表的第一個(gè)節(jié)點(diǎn)加入期望列表中，并將狀態(tài)設(shè)置為PARSE_TAG_BEG(c)；?

c.在PARSE-TAG_BEG中，查找第一個(gè)出現(xiàn)的′<′字符，并根據(jù)條件轉(zhuǎn)到相應(yīng)的狀態(tài)：?

如果開(kāi)頭是<!--，表明此節(jié)點(diǎn)是注釋節(jié)點(diǎn)，轉(zhuǎn)到PARSE_COMMENT-BEG(1)，?

如果開(kāi)頭是<／，則出棧并轉(zhuǎn)入到PARSE_CHILD_TEXT(i)狀態(tài).表明一個(gè)子節(jié)點(diǎn)的結(jié)束，?

如果開(kāi)頭是<!**，表明此節(jié)點(diǎn)是動(dòng)作節(jié)點(diǎn)，不必分析，則轉(zhuǎn)入PARSE_IGNORE(j)狀態(tài)，?

默認(rèn)轉(zhuǎn)到PARSE_TAG狀態(tài)(d)；?

d.在PARSE_TAG狀態(tài)中，掃描出一個(gè)不以空格′>′，′/′結(jié)束的字符串.并且查找期望列表中是否有匹配的項(xiàng).如果有則看有沒(méi)有下一個(gè)XPath節(jié)點(diǎn).沒(méi)有的話則表示查找完成.通知上層有結(jié)果.有的話則把下一個(gè)節(jié)點(diǎn)加入期望列表，?

另外根據(jù)期望列表中是否要求處理屬性來(lái)決定轉(zhuǎn)移是到PARSE_ATTR_BEG(f)還是PARSE_TAG_END(e)；?

e.在PARSE_TAG-END中，掃描到′>′字符.然后執(zhí)行step_in操作.期望列表入棧，表明進(jìn)入一個(gè)子節(jié)點(diǎn).并轉(zhuǎn)移到PARSE_CHILD_TEXT(i)狀態(tài)；?

f.在PARSE_ATTR_BEG狀態(tài)直接轉(zhuǎn)移到PARSE_ATTR(g)狀態(tài)；?

g.在PARSE_ATTR狀態(tài)中如果出現(xiàn)′>′則轉(zhuǎn)為PARSE_ATTR_END(h).否則繼續(xù)掃描一個(gè)屬性，狀態(tài)不變；?