[發明專利]新聞自動生成方法、裝置、設備及存儲介質

在審

• 申請號: 202110732750.8
• 申請日: 2021-06-29
• 公開（公告）號: CN113486279A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 溫強;馬萬里
• 申請（專利權）人: 平安信托有限責任公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/955;G06F16/951;G06K9/62
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種新聞自動生成方法，其特征在于，所述方法包括：

網址抓取步驟：利用定時抓取任務獲取原始新聞網址集，對所述原始新聞網址集中各網址的頁面進行網址抓取，將抓取到的網址作為待處理網址，并匯總所有待處理網址作為所述原始新聞網址集，重復所述網址抓取步驟，直到所述原始新聞網址集中所有網址抓取完畢，得到標準新聞網址集；

新聞爬取順序圖步驟：對所述標準新聞網址集進行過濾得到待抓取新聞網址集，根據所述利用定時抓取任務獲取的原始新聞網址集及所述待抓取新聞網址集構建新聞爬取順序圖；

新聞生成步驟：利用所述新聞爬取順序圖進行數據采集，并對采集到的數據進行新聞生成及排序，得到排列新聞。

2.如權利要求1所述的新聞自動生成方法，其特征在于，所述利用定時抓取任務獲取原始新聞網址集，包括：

利用預設的抓取內容規則及預設的抓取時間規則設置所述定時抓取任務，并基于所述定時抓取任務從目標網址集中獲取新聞網址集；

利用預設的優先級排列順序對所述新聞網址集進行優先級排序，得到所述原始新聞網址集。

3.如權利要求2所述的新聞自動生成方法，其特征在于，所述對所述標準新聞網址集進行過濾得到待抓取新聞網址集，包括：

利用預設的主題提取算法計算所述抓取內容規則中關鍵詞與所述標準新聞網址集中新聞網頁的頁面相似度；

將所有頁面相似度大于等于預設的相似度閾值的新聞網址匯總，得到所述待抓取新聞網址集。

4.如權利要求3所述的新聞自動生成方法，其特征在于，所述利用預設的主題提取算法計算所述抓取內容規則中關鍵詞與所述標準新聞網址集中新聞網頁的頁面相似度，包括：

對所述新聞網頁進行分塊處理，得到文本內容塊及相關鏈接塊；

依次計算所述關鍵詞與所述文本內容塊的相似度、以及所述關鍵詞與所述相關鏈接塊的相似度，分別得到文本相似度及鏈接相似度，基于所述文本相似度及所述鏈接相似度對所述新聞頁面進行頁面相似度計算，得到所述頁面相似度。

5.如權利要求4所述的新聞自動生成方法，其特征在于，所述依次計算所述關鍵詞與所述文本內容塊的相似度、以及所述關鍵詞與所述相關鏈接塊的相似度，分別得到文本相似度及鏈接相似度，包括：

利用下述公式執行相似度計算：

其中，R_P為頁面相似度，T為所述關鍵詞，n表示所述新聞頁面中文本內容塊的個數，m表示所述新聞頁面中相關鏈接塊的個數，表示第i個包含所述關鍵詞的文本內容塊的文本，表示第j個包含所述關鍵詞的相關鏈接塊的文本，V_T為所述關鍵詞的文本，為所述文本相似度，為所述鏈接相似度。

6.如權利要求1所述的新聞自動生成方法，其特征在于，所述根據所述利用定時抓取任務獲取的原始新聞網址集及所述待抓取新聞網址集構建新聞爬取順序圖，包括：

將所述原始新聞網址集中原始網址對應的新聞網頁作為父節點，將所述待抓取新聞網址集中標準網址對應的新聞網頁作為子節點；

構建所述父節點向所述子節點的有向邊，匯總所述父節點、所述子節點及所述有向邊得到所述新聞爬取順序圖。

7.如權利要求1或2所述的新聞自動生成方法，其特征在于，所述對所述原始新聞網址集中各網址的頁面進行網址抓取，將抓取到的網址作為待處理網址，包括：

將所述原始新聞網址集中的網址保存至待處理網址隊列；

依次解析所述待處理網址隊列中網址的域名地址，得到對應域名地址的網頁；

抓取所述網頁中的新聞網址，將抓取到的所有新聞網址作為所述待處理網址并保存至所述待處理網址隊列。