[發明專利]一種基于強化學習的網絡爬蟲自主行為控制方法

在審

• 申請號: 202111029385.0
• 申請日: 2021-09-03
• 公開（公告）號: CN113761314A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 馬武彬;吳亞輝;鄧蘇;周浩浩
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06K9/62;G06F17/18
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

1.一種基于強化學習的網絡爬蟲自主行為控制方法，其特征在于，所述方法包括：

獲取訓練數據集，并對訓練集中的超鏈接以及超鏈接上下文進行規范化，形成訓練數據集中超鏈接的狀態空間和動作空間；

對狀態空間中不同主題間的超鏈接進行統計，并計算每個主題的超鏈接累積收益；

利用LDA主題模型計算得到當前需要爬取的網頁中每個超鏈接上下文的主題分布；

根據網頁中超鏈接上下文的主題分布，選取概率最大的主題作為超鏈接上下文的主題，得到網絡爬蟲的初始主題和目的主題，選取累積收益最大的超鏈接進行網絡爬蟲爬取。

2.如權利要求1所述的一種基于強化學習的網絡爬蟲自主行為控制方法，其特征在于，所述獲取訓練數據集，包括：

從網頁數據中提取每個網頁的超鏈接以及超鏈接上下文語句，將所提取的超鏈接以及超鏈接上下文語句構成訓練數據集T＝{(t_i,h_i)|i＝1,2,…,N}，其中t_i表示第i個超鏈接的上下文，h_i表示第i個超鏈接，N為訓練數據集的大小。

3.如權利要求2所述的一種基于強化學習的網絡爬蟲自主行為控制方法，其特征在于，所述對訓練集中的超鏈接以及超鏈接上下文進行規范化，形成訓練數據集中超鏈接的狀態空間和動作空間，包括：

將訓練數據集中超鏈接上下文所對應的主題預設為K＝{k_j,j＝1,2,…,m}，其中k_j為訓練數據集中的第j種主題，m表示訓練數據集中共有m種主題，mn；

形成訓練數據集中超鏈接的狀態空間和動作空間，所述狀態空間即S＝K，動作空間即A＝{a_j,j＝1,2,…,m}，其中a_j表示采用網絡爬蟲動作a_j從一個主題沿著超鏈接到達另一個主題。

4.如權利要求3所述的一種基于強化學習的網絡爬蟲自主行為控制方法，其特征在于，所述對狀態空間中不同主題間的超鏈接進行統計，包括：

狀態空間中的每個主題s_i∈S，統計從該主題到達目標主題s_j的所有超鏈接對于每條超鏈接其中表示從s_i采取網絡爬蟲動作a₀，到達主題即為s_i+1，最終超鏈接的結尾即為目標主題s_j。

5.如權利要求4所述的一種基于強化學習的網絡爬蟲自主行為控制方法，其特征在于，所述計算不同超鏈接的價值，包括：

對于路徑的超鏈接累積收益Q(g)為：

其中：

S表示主題的狀態空間；

表示超鏈接的第v段；

a_v表示第v段所采用的網絡爬蟲動作，到達超鏈接的第v+1段；

γ表示折扣因子，1γ2；

E表示期望操作；

表示超鏈接的累積收益；

表示在超鏈接第v段，采用網絡爬蟲動作a_v獲得的收益；

計算不同主題的超鏈接價值，得到超鏈接累積收益表Q＝{Q_ij(g)|i∈S,j∈S,j≠i,g＝1,2,…}，Q_ij(g)表示以主題i為初始主題，以主題j為目的主題，當前立即采用從主題i到主題j的超鏈接獲取到的超鏈接超鏈接累積收益。