[發(fā)明專利]網(wǎng)頁分類方法及裝置

在審

• 申請?zhí)枺?/td>: 202210693255.5
• 申請日: 2022-06-17
• 公開（公告）號: CN115130038A
• 公開（公告）日: 2022-09-30
• 發(fā)明（設(shè)計）人: 李元楷;齊向東;吳云坤;邱喆彬;王躍東;彭越
• 申請（專利權(quán)）人: 奇安信科技集團股份有限公司;奇安信網(wǎng)神信息技術(shù)（北京）股份有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/906;G06K9/62
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 孟省

1.一種網(wǎng)頁分類方法，其特征在于，包括：

提取目標(biāo)網(wǎng)頁的結(jié)構(gòu)信息和文本信息，根據(jù)所述結(jié)構(gòu)信息和所述文本信息確定詞向量；

將所述詞向量進行降維處理后輸入分類預(yù)測模型，得到分類結(jié)果，所述分類預(yù)測模型是根據(jù)用于訓(xùn)練的詞向量集和與其對應(yīng)的標(biāo)簽集訓(xùn)練得到的，所述用于訓(xùn)練的詞向量集是根據(jù)用于訓(xùn)練的網(wǎng)頁的結(jié)構(gòu)信息和文本信息提取得到的，所述標(biāo)簽集中的標(biāo)簽用于表征相應(yīng)詞向量的分類。

2.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類方法，其特征在于，所述提取目標(biāo)網(wǎng)頁的結(jié)構(gòu)信息和文本信息之前，還包括：

獲取初始數(shù)據(jù)集，所述初始數(shù)據(jù)集包括至少一類網(wǎng)頁；

將所述初始數(shù)據(jù)集進行異常點剔除、格式整合和數(shù)據(jù)清洗中的至少一種處理，得到處理后的數(shù)據(jù)集；

根據(jù)預(yù)設(shè)的網(wǎng)頁指紋規(guī)則確定所述處理后的數(shù)據(jù)集的標(biāo)簽，得到標(biāo)簽集，所述處理后的數(shù)據(jù)集與所述標(biāo)簽集一一對應(yīng)；

提取所述處理后的數(shù)據(jù)集的結(jié)構(gòu)信息和文本信息，根據(jù)所述處理后的數(shù)據(jù)集的結(jié)構(gòu)信息和文本信息確定詞向量集，所述詞向量集與所述標(biāo)簽集一一對應(yīng)，根據(jù)所述詞向量集與所述標(biāo)簽集訓(xùn)練所述分類預(yù)測模型，在訓(xùn)練過程中隨機取樣，并行計算特征收益，通過二階導(dǎo)數(shù)方法加速梯度下降。

3.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類方法，其特征在于，所述提取目標(biāo)網(wǎng)頁的結(jié)構(gòu)信息和文本信息，包括：

通過分詞算法提取所述目標(biāo)網(wǎng)頁的結(jié)構(gòu)信息和所述文本信息。

4.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類方法，其特征在于，所述根據(jù)所述結(jié)構(gòu)信息和所述文本信息確定詞向量，包括：

根據(jù)所述結(jié)構(gòu)信息和所述文本信息，通過Skip-Gram模型確定詞向量。

5.根據(jù)權(quán)利要求1所述的網(wǎng)頁分類方法，其特征在于，所述將所述詞向量進行降維處理后輸入分類預(yù)測模型，得到分類結(jié)果，包括：

通過潛在語義分析方式對所述詞向量進行降維處理后輸入分類預(yù)測模型，得到分類結(jié)果。

6.根據(jù)權(quán)利要求5所述的網(wǎng)頁分類方法，其特征在于，所述通過潛在語義分析方式對所述詞向量進行降維處理后輸入分類預(yù)測模型，得到分類結(jié)果，包括：

通過潛在語義分析方式對所述詞向量進行降維處理后輸入XGBoost模型，得到分類結(jié)果。

7.一種網(wǎng)頁分類裝置，其特征在于，包括：

第一處理模塊，用于提取目標(biāo)網(wǎng)頁的結(jié)構(gòu)信息和文本信息，根據(jù)所述結(jié)構(gòu)信息和所述文本信息確定詞向量；

第二處理模塊，用于將所述詞向量進行降維處理后輸入分類預(yù)測模型，得到分類結(jié)果，所述分類預(yù)測模型是根據(jù)用于訓(xùn)練的詞向量集和與其對應(yīng)的標(biāo)簽集訓(xùn)練得到的，所述用于訓(xùn)練的詞向量集是根據(jù)用于訓(xùn)練的網(wǎng)頁的結(jié)構(gòu)信息和文本信息提取得到的，所述標(biāo)簽集中的標(biāo)簽用于表征相應(yīng)詞向量的分類。

8.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1至6任一項所述的網(wǎng)頁分類方法的步驟。

9.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至6任一項所述的網(wǎng)頁分類方法的步驟。

10.一種計算機程序產(chǎn)品，其上存儲有可執(zhí)行指令，其特征在于，該指令被處理器執(zhí)行時使處理器實現(xiàn)如權(quán)利要求1至6中任一項所述的網(wǎng)頁分類方法的步驟。