[發明專利]一種融合壓縮DOM樹結構向量的網絡行為預測方法

有效

• 申請號: 202011342632.8
• 申請日: 2020-11-25
• 公開（公告）號: CN112668309B
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 陳偉寧
• 申請（專利權）人: 紫光云技術有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/284;G06F40/154;G06F16/35;G06F18/25
• 代理公司: 天津濱海科緯知識產權代理有限公司 12211
• 代理人: 劉瑩

1.一種融合壓縮DOM樹結構向量的網絡行為預測方法，其特征在于包括：

文本語料篩選，用于增強預測的準確性；

詞向量模型，用于增強模型說服力，考慮到每個詞在文本中的重要程度不同，結合TF-IDF原理，計算每個詞的權重，并在引入權重后進行加權平均，最終表示整段文本的特征向量；

壓縮DOM樹結構向量生成與向量融合，不同類型網站中的網頁DOM樹在節點使用和整體結構上都具有一定特點，因此可將DOM樹的結構轉化為向量，并作為輔助條件與文本特征向量融合，構建成最終的融合向量；

將DOM樹結構向量初始維度設置為15維，并在此向量中按DOM節點順序以div標簽開始描述節點標簽信息，在描述過程中，若在15維內未達到被描述結構的最大深度，則在15維表示完成后終止表示；若在15維內達到最大深度則剩余向量補0，若不在則相應位置置0，根據此規則，將DOM樹結構中的其中一條向量表示為：

v＝[x₁,x₂,…,x₁₅]

當多次重復出現相同結構時，可將該結構進行壓縮簡化表達，則在向量末尾追加一維構成16維向量：

v＝[x₁,x₂,…,x₁₅,num]

將全部向量表示為矩陣形式：

對上述向量進行壓縮，得到出現頻次最高的前五位，考慮到網頁之間的容量差異，將出現頻次統一為位次高低形式而不使用比例形式：

[x₁,x₂,…,x₁₅,5]

[x₁₆,x₁₇,…,x₃₀,4]

[x₃₁,x₃₂,…,x₄₅,3]

[x₄₆,x₄₇,…,x₆₀,2]

[x₆₁,x₆₂,…,x₇₅,1]

最后將上述向量進行扁平化壓縮：

[x₁,…,x₁₅,5,x₁₆,…,x₃₀,4,x₃₁,…,x₄₅,3,x₄₆,…,x₆₀,2,x₆₁,…,x₇₅,1]。

2.根據權利要求1所述的一種融合壓縮DOM樹結構向量的網絡行為預測方法，其特征在于：在文本語料篩選中，將以下信息作為網頁中的語料文本：title網頁標題信息標簽1個，keywords網頁關鍵詞標簽1個，description網頁詳細描述標簽1個，a網頁鏈接標簽50個。

3.根據權利要求1所述的一種融合壓縮DOM樹結構向量的網絡行為預測方法，其特征在于：為了增強模型說服力，考慮到每個詞在文本中的重要程度不同，結合TF-IDF原理，計算每個詞的權重，并在引入權重后進行加權平均，最終表示整段文本的特征向量；

首先按如下公式計算詞頻：

式中n_w為特征詞w在文本中出現的次數，N為文本中特征詞總數，則T_F用來衡量特征詞在文本中的重要程度；n_k指第k個特征詞在文本中出現的次數；

然后計算逆文本概率：

式中D為文本總數，Q為包含特征詞的文本數，則I_DF用于衡量特征詞在所有文本中的重要程度；

結合上述兩式可得，特征詞權重為：

f_TF-IDF＝T_F×I_DF

因此，引入詞權重的文本特征向量表示方法為：

其中，v(t_i)表示詞t_i的詞向量，f(t_i)表示由特征詞權重公式計算出的詞t_i的權重，V(D)表示D文本的特征向量，n表示文本的詞數量。