[發(fā)明專利]一種基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的聚焦爬蟲鏈接價(jià)值預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811442700.0
• 申請(qǐng)日: 2018-11-29
• 公開（公告）號(hào): CN109614534B
• 公開（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 李石君;黎文丹;楊濟(jì)海;余偉;余放;李宇軒
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F16/951
• 分類號(hào): G06F16/951;G06F16/955;G06N3/06
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魯力

1.一種基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的聚焦爬蟲鏈接價(jià)值預(yù)測(cè)方法，其特征在于，包括：

步驟1，用戶根據(jù)需要配置主題相關(guān)的種子站點(diǎn)URL集合、配置主題相關(guān)關(guān)鍵詞及其對(duì)應(yīng)權(quán)重；在聚焦爬蟲啟動(dòng)時(shí)，系統(tǒng)自動(dòng)載入主題相關(guān)URL和主題關(guān)鍵詞；

步驟2，構(gòu)建兩個(gè)具有相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，并初始化各層神經(jīng)元的權(quán)重和偏置；構(gòu)建大小為MEMORY_SIZE的記憶庫，用于存放歷史信息；指定訓(xùn)練集的大小為BATCH_SIZE；

步驟3，給每個(gè)種子站點(diǎn)URL設(shè)置一個(gè)默認(rèn)鏈接價(jià)值，并將種子站點(diǎn)URL放入待爬行隊(duì)列；

步驟4，在待爬行隊(duì)列中按URL鏈接的鏈接價(jià)值大小逆序排列，鏈接價(jià)值包含了對(duì)鏈接目標(biāo)網(wǎng)頁主題相關(guān)度的預(yù)測(cè)和從該鏈接出發(fā)能找到主題相關(guān)頁面的潛力的預(yù)測(cè)，選擇鏈接價(jià)值最大的URL鏈接作為爬行目標(biāo)；

步驟5，下載器下載爬行目標(biāo)對(duì)應(yīng)的目標(biāo)網(wǎng)頁，從網(wǎng)頁中抽取網(wǎng)頁內(nèi)容相關(guān)信息并計(jì)算網(wǎng)頁主題相關(guān)度；

步驟6，從目標(biāo)網(wǎng)頁中抽取子鏈接URL，將子鏈接的文字信息和結(jié)構(gòu)信息特征化，得到子鏈接特征向量；子鏈接的特征項(xiàng)包括以下八項(xiàng)：URL錨文本主題相關(guān)度、URL周圍文字主題相關(guān)度、URL所在頁面主題相關(guān)度、URL所在頁面子鏈接錨文本主題相關(guān)度均值、父URL的鏈接價(jià)值、距離為1的父頁面主題相關(guān)度均值、距離為2的父頁面主題相關(guān)度均值、距離為3的父頁面主題相關(guān)度均值；

步驟7，用增強(qiáng)學(xué)習(xí)方法和兩個(gè)結(jié)構(gòu)相同參數(shù)不同的神經(jīng)網(wǎng)絡(luò)計(jì)算URL的鏈接價(jià)值實(shí)際值和估計(jì)值，并計(jì)算誤差，用梯度下降法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)并更新兩個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)；

步驟8，將子鏈接及其相應(yīng)價(jià)值估計(jì)值放入待爬行的優(yōu)先隊(duì)列；

步驟9，重復(fù)步驟4至步驟8直至滿足停止條件；當(dāng)滿足以下任意條件即可停止：

條件一、超過爬行時(shí)間閾值；

條件二、爬行深度超過深度閾值；

條件三、無法獲取新的URL地址。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的聚焦爬蟲鏈接價(jià)值預(yù)測(cè)方法，其特征在于，步驟2具體操作方法是：構(gòu)建的兩個(gè)三層神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的第一層為輸入層，神經(jīng)元個(gè)數(shù)與特征向量的維數(shù)一致；神經(jīng)網(wǎng)絡(luò)的第二層為隱藏層，具有至少16個(gè)神經(jīng)元；神經(jīng)網(wǎng)絡(luò)的第三層為輸出層，只有一個(gè)神經(jīng)元，使用relu作為激活函數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的聚焦爬蟲鏈接價(jià)值預(yù)測(cè)方法，其特征在于，步驟5具體包括以下子步驟：

步驟5.1、抽取網(wǎng)頁不同位置的文字信息：能夠概括和表達(dá)網(wǎng)頁內(nèi)容主題的文字信息包括：網(wǎng)頁URL鏈接錨文本、網(wǎng)頁標(biāo)題、網(wǎng)頁描述信息、網(wǎng)頁關(guān)鍵詞信息、網(wǎng)頁正文內(nèi)容；網(wǎng)頁標(biāo)題可以從title標(biāo)簽中抽取，網(wǎng)頁描述信息可以從meta name＝”description”標(biāo)簽中抽取，網(wǎng)頁關(guān)鍵詞信息可以從meta name＝”keywords”標(biāo)簽中抽取；

步驟5.2、構(gòu)造位置-關(guān)鍵詞詞頻矩陣：

位置-關(guān)鍵詞詞頻矩陣是一個(gè)m*n的矩陣，m為不同位置的個(gè)數(shù)，n為主題關(guān)鍵詞個(gè)數(shù)；矩陣中每一個(gè)分量tf_ij表示第i個(gè)位置上第j個(gè)關(guān)鍵詞的詞頻，詞頻的計(jì)算方法為n_ij表示第i個(gè)位置上第j個(gè)關(guān)鍵詞出現(xiàn)的次數(shù)，∑_kn_ik表示第i個(gè)位置上所有關(guān)鍵詞出現(xiàn)的總數(shù)；

步驟5.3、計(jì)算網(wǎng)頁主題特征向量：

第一個(gè)矩陣是一個(gè)1*m的位置權(quán)值矩陣，代表著不同位置的重要程度，p_i表示第i個(gè)位置的權(quán)值；第二個(gè)矩陣是一個(gè)m*n的位置-關(guān)鍵詞詞頻矩陣，代表不同位置不同關(guān)鍵詞出現(xiàn)頻率；

步驟5.4、用余弦相似度計(jì)算主題特征向量和網(wǎng)頁主題特征向量的相似度：

其中，w_i表示第i個(gè)關(guān)鍵詞的權(quán)重。