[發(fā)明專利]一種web網(wǎng)頁(yè)的正文內(nèi)容提取方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010032139.X
• 申請(qǐng)日: 2020-01-13
• 公開（公告）號(hào): CN111241446A
• 公開（公告）日: 2020-06-05
• 發(fā)明（設(shè)計(jì)）人: 馬曉峰;范淵
• 申請(qǐng)（專利權(quán)）人: 杭州安恒信息技術(shù)股份有限公司
• 主分類號(hào): G06F16/958
• 分類號(hào): G06F16/958;G06K9/62;H04L29/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 郄晨芳

1.一種web網(wǎng)頁(yè)的正文內(nèi)容提取方法，其特征在于，包括：

根據(jù)目標(biāo)web網(wǎng)頁(yè)的源代碼確定出與所述目標(biāo)web網(wǎng)頁(yè)對(duì)應(yīng)的DOM樹；其中，所述DOM樹的葉子節(jié)點(diǎn)表示所述目標(biāo)web網(wǎng)頁(yè)中的網(wǎng)頁(yè)內(nèi)容；

按照預(yù)設(shè)規(guī)則對(duì)各所述網(wǎng)頁(yè)內(nèi)容進(jìn)行監(jiān)聽埋點(diǎn)，并統(tǒng)計(jì)用戶對(duì)各所述網(wǎng)頁(yè)內(nèi)容的操作信息；

利用預(yù)先訓(xùn)練出的決策樹根據(jù)文本密度規(guī)則、所述目標(biāo)web網(wǎng)頁(yè)的頁(yè)面布局、各所述網(wǎng)頁(yè)內(nèi)容對(duì)應(yīng)的操作信息分別判斷各所述網(wǎng)頁(yè)內(nèi)容是否為正文內(nèi)容，提取出所述目標(biāo)web網(wǎng)頁(yè)的正文內(nèi)容。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)目標(biāo)web網(wǎng)頁(yè)的源代碼確定出與所述目標(biāo)web網(wǎng)頁(yè)對(duì)應(yīng)的DOM樹之后，進(jìn)一步包括：

判斷所述網(wǎng)頁(yè)內(nèi)容中是否存在敏感詞匯；

若是，則發(fā)出對(duì)應(yīng)的提示信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述統(tǒng)計(jì)用戶對(duì)各所述網(wǎng)頁(yè)內(nèi)容的操作信息具體包括：

統(tǒng)計(jì)所述用戶瀏覽各所述網(wǎng)頁(yè)內(nèi)容的時(shí)間長(zhǎng)度和/或所述用戶對(duì)各所述網(wǎng)頁(yè)內(nèi)容的點(diǎn)選操作的次數(shù)和/或所述用戶在各所述網(wǎng)頁(yè)內(nèi)容上進(jìn)行的輸入操作的次數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)目標(biāo)web網(wǎng)頁(yè)的源代碼確定出與所述目標(biāo)web網(wǎng)頁(yè)對(duì)應(yīng)的DOM樹之后，進(jìn)一步包括：

對(duì)所述DOM樹中的網(wǎng)頁(yè)內(nèi)容進(jìn)行數(shù)據(jù)清洗操作。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，在所述按照預(yù)設(shè)規(guī)則對(duì)各所述網(wǎng)頁(yè)內(nèi)容進(jìn)行監(jiān)聽埋點(diǎn)，并統(tǒng)計(jì)用戶對(duì)各所述網(wǎng)頁(yè)內(nèi)容的操作信息之后，進(jìn)一步包括：

確定出所述用戶瀏覽時(shí)間最長(zhǎng)和/或輸入操作次數(shù)最多的目標(biāo)網(wǎng)頁(yè)內(nèi)容；

將所述目標(biāo)網(wǎng)頁(yè)內(nèi)容進(jìn)行突出顯示。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括：

記錄存在所述敏感詞匯的所述目標(biāo)web網(wǎng)頁(yè)的網(wǎng)址。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，進(jìn)一步包括：

根據(jù)所述文本密度規(guī)則、所述頁(yè)面布局、所述網(wǎng)頁(yè)內(nèi)容和對(duì)應(yīng)的操作信息確定出所述目標(biāo)web網(wǎng)頁(yè)的網(wǎng)頁(yè)類型。

8.一種web網(wǎng)頁(yè)的正文內(nèi)容提取裝置，其特征在于，包括：

設(shè)置模塊，用于根據(jù)目標(biāo)web網(wǎng)頁(yè)的源代碼確定出與所述目標(biāo)web網(wǎng)頁(yè)對(duì)應(yīng)的DOM樹；其中，所述DOM樹的葉子節(jié)點(diǎn)表示所述目標(biāo)web網(wǎng)頁(yè)中的網(wǎng)頁(yè)內(nèi)容；

統(tǒng)計(jì)模塊，用于按照預(yù)設(shè)規(guī)則對(duì)各所述網(wǎng)頁(yè)內(nèi)容進(jìn)行監(jiān)聽埋點(diǎn)，并統(tǒng)計(jì)用戶對(duì)各所述網(wǎng)頁(yè)內(nèi)容的操作信息；

提取模塊，用于利用預(yù)先訓(xùn)練出的決策樹根據(jù)文本密度規(guī)則、所述目標(biāo)web網(wǎng)頁(yè)的頁(yè)面布局、各所述網(wǎng)頁(yè)內(nèi)容對(duì)應(yīng)的操作信息分別判斷各所述網(wǎng)頁(yè)內(nèi)容是否為正文內(nèi)容，提取出所述目標(biāo)web網(wǎng)頁(yè)的正文內(nèi)容。

9.一種web網(wǎng)頁(yè)的正文內(nèi)容提取設(shè)備，其特征在于，包括：

存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的web網(wǎng)頁(yè)的正文內(nèi)容提取方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的web網(wǎng)頁(yè)的正文內(nèi)容提取方法的步驟。