[發明專利]網站數據爬取方法和裝置、電子設備、及可讀存儲介質

有效

• 申請號: 202010154421.5
• 申請日: 2020-03-07
• 公開（公告）號: CN111475699B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 吳飛鵬
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/953;G06F16/957;G06V30/413
• 代理公司: 上海晨皓知識產權代理事務所(普通合伙) 31260
• 代理人: 成麗杰

1.一種網站數據爬取方法，其特征在于，包括：

通過訓練，生成圖片識別模型，所述圖片識別模型用于識別輸入模型中的圖片的網站模板類型；所述網站模板類型攜帶有網站的長截圖中包含的元素類型以及各個元素類型在長截圖中的位置；

根據選擇的話題，獲取至少一個網站中與所述話題相關的文章鏈接的長截圖；

利用所述圖片識別模型，從所述至少一個網站的所述長截圖中提取出與所述話題相關的各個元素類型的內容數據；

所述通過訓練，生成圖片識別模型的步驟包括：

獲取至少一個所述網站中不同話題的文章鏈接的長截圖；

使用圖片標注工具，對所述長截圖中的各元素類型的位置進行標注，確定所述長截圖的網站模板類型；

將已標注的所述長截圖輸入到神經網絡模型中進行訓練，生成圖片識別模型；

計算所述圖片識別模型識別出的所述長截圖網站模板類型與實際的所述長截圖網站模板類型之間的匹配率；

當所述匹配率大于預定值時，結束模型訓練，完成所述圖片識別模型的訓練。

2.根據權利要求1所述的方法，其特征在于，所述利用所述圖片識別模型，從所述至少一個網站的所述長截圖中提取出與所述話題相關的各個元素類型的內容數據的步驟包括：

利用所述圖片識別模型，對所述長截圖的至少一個元素類型進行識別，確定所述長截圖的網站模板類型；

對應所述網站模板類型攜帶的長截圖中各個元素類型和各個元素類型在圖片中的位置，將所述長截圖分成至少一個子圖片，并獲取各個所述子圖片對應的元素類型；

將所述子圖片作為對應的所述元素類型的內容數據，并存儲。

3.根據權利要求2所述的方法，其特征在于，

所述對應所述網站模板類型攜帶的長截圖中各個元素類型和各個元素類型在圖片中的位置，將所述長截圖分成至少一個子圖片，并獲取各個所述子圖片對應的元素類型的步驟包括：對應所述網站模板類型攜帶的長截圖中各個元素類型和各個元素類型在圖片中的位置，從所述長截圖中提取預定的元素類型所對應的子圖片，并獲取提取出的所述子圖片對應的元素類型；

所述將所述子圖片作為對應的所述元素類型的內容數據，并存儲的步驟包括：將提取出的所述子圖片作為對應的所述元素類型的內容數據，并存儲。

4.根據權利要求2所述的方法，其特征在于，所述將所述子圖片作為對應的所述元素類型的內容數據，并存儲的步驟包括：

通過文字識別方式OCR，識別所述子圖片的文字內容；

將所述子圖片的文字內容，作為所述子圖片對應的所述元素類型的內容數據，并存儲。

5.根據權利要求1所述的方法，其特征在于，所述元素類型包括：網站標識、網站名稱、文章標題、文章內容、評論數量、發布時間、點贊數量和/或轉發數量。

6.一種網站數據爬取裝置，其特征在于，包括：

訓練單元，用于獲取至少一個所述網站中不同話題的文章鏈接的長截圖；

使用圖片標注工具，對所述長截圖中的各元素類型的位置進行標注，確定所述長截圖的網站模板類型；

將已標注的所述長截圖輸入到神經網絡模型中進行訓練，生成圖片識別模型；

計算所述圖片識別模型識別出的所述長截圖網站模板類型與實際的所述長截圖網站模板類型之間的匹配率；

當所述匹配率大于預定值時，結束模型訓練，完成所述圖片識別模型的訓練，所述圖片識別模型用于識別輸入模型中的圖片的網站模板類型；所述網站模板類型攜帶有網站的長截圖中包含的元素類型以及各個元素類型在長截圖中的位置；

獲取單元，用于根據選擇的話題，獲取至少一個網站中與所述話題相關的文章鏈接的長截圖；

提取單元，用于利用所述圖片識別模型，從所述至少一個網站的所述長截圖中提取出與所述話題相關的各個元素類型的內容數據。