[發(fā)明專利]網(wǎng)頁數(shù)據(jù)捕獲設(shè)備及其網(wǎng)頁數(shù)據(jù)擷取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611000331.0
• 申請(qǐng)日: 2016-11-14
• 公開（公告）號(hào): CN108021600A
• 公開（公告）日: 2018-05-11
• 發(fā)明（設(shè)計(jì)）人: 黃奕翔;邱育賢;蕭暉議
• 申請(qǐng)（專利權(quán)）人: 財(cái)團(tuán)法人資訊工業(yè)策進(jìn)會(huì)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 徐偉

1.一種用于網(wǎng)頁數(shù)據(jù)捕獲設(shè)備的網(wǎng)頁數(shù)據(jù)擷取方法，該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備自一網(wǎng)頁服務(wù)器接收多個(gè)網(wǎng)頁數(shù)據(jù)，該網(wǎng)頁數(shù)據(jù)擷取方法包含：

(a)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該等網(wǎng)頁數(shù)據(jù)的多個(gè)統(tǒng)一資源尋址器URL的地址關(guān)聯(lián)性，將該等網(wǎng)頁數(shù)據(jù)分為至少一URL群組，其中，該至少一URL群組包含一第一URL群組，該第一URL群組包含至少部分該等網(wǎng)頁數(shù)據(jù)；

(b)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備自該第一URL群組的部分該等網(wǎng)頁數(shù)據(jù)中，挑選一第一網(wǎng)頁數(shù)據(jù)以及一第二網(wǎng)頁數(shù)據(jù)；

(c)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備解析該第一網(wǎng)頁數(shù)據(jù)以及該第二網(wǎng)頁數(shù)據(jù)得一網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合，其中，該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合包含多個(gè)網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)，各該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)報(bào)含相對(duì)應(yīng)的一XML路徑語言以及一文字內(nèi)容；

(d)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合的該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等XML路徑語言的路徑關(guān)聯(lián)性以及該等文字內(nèi)容的文字關(guān)聯(lián)性，將該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合的該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)分為多個(gè)網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組，其中，各該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組至少包含部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)；

(e)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備分別計(jì)算各該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組的部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的一文字內(nèi)容總和；

(f)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該等文字內(nèi)容總和，判斷該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組的至少一主要網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組；

(g)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該至少一主要網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組包含的部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等XML路徑語言，決定一網(wǎng)頁主要內(nèi)容擷取信息。

2.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)擷取方法，其特征在于，該第一URL群組中，部分該等網(wǎng)頁數(shù)據(jù)的該等URL間的最小編輯距離皆小于一URL門檻值。

3.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)擷取方法，其特征在于，步驟(b)更包含：

(b1)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備自該第一URL群組的部分該等網(wǎng)頁數(shù)據(jù)中，挑選數(shù)據(jù)量最高的該第一網(wǎng)頁數(shù)據(jù)以及數(shù)據(jù)量第二高的該第二網(wǎng)頁數(shù)據(jù)。

4.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)擷取方法，其特征在于，步驟(c)后更包含：

(c1)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備自該等文字內(nèi)容中挑選至少一無效文字內(nèi)容以及至少一重復(fù)節(jié)點(diǎn)數(shù)據(jù)，并將相對(duì)應(yīng)于該至少一無效文字內(nèi)容以及至少一重復(fù)節(jié)點(diǎn)數(shù)據(jù)的網(wǎng)頁節(jié)點(diǎn)自該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合中刪除。

5.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)擷取方法，其特征在于，步驟(d)更包含：

(d1)令網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合的該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等XML路徑語言的路徑關(guān)聯(lián)性，將該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)集合的該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)分為多個(gè)路徑群組，其中，各該路徑群組的部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等XML路徑語言間的最小編輯距離皆小于一XML門檻值；

(d2)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備針對(duì)各該路徑群組，根據(jù)部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等文字內(nèi)容的文字關(guān)聯(lián)性，將各該路徑群組分為該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組；

其中，各該路徑群組中，部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的各該文字內(nèi)容具有一用語頻率向量；

其中，各該路徑群組中，各該網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組的部分該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)的該等文字內(nèi)容的該等用語頻率向量間的余弦值大于一文字內(nèi)容門檻值。

6.如權(quán)利要求1所述的網(wǎng)頁數(shù)據(jù)擷取方法，其特征在于，步驟(f)更包含：

(f1)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備將該等文字內(nèi)容總和排序成一文字內(nèi)容總和序列；

(f2)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備計(jì)算該文字內(nèi)容總和序列中相鄰文字內(nèi)容總和的多個(gè)差值；

(f3)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備挑選該等差值的一最大差值；

(f4)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該最大差值，將該文字內(nèi)容總和序列分為一主要區(qū)域以及一次要區(qū)域；

(f5)令該網(wǎng)頁數(shù)據(jù)捕獲設(shè)備根據(jù)該主要區(qū)域，判斷該等網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組的該至少一主要網(wǎng)頁節(jié)點(diǎn)數(shù)據(jù)群組。