[發明專利]一種數據處理的方法、裝置、系統、設備及可讀存儲介質在審
| 申請號: | 202310914514.7 | 申請日: | 2023-07-25 |
| 公開(公告)號: | CN116629209A | 公開(公告)日: | 2023-08-22 |
| 發明(設計)人: | 張榮國;吳韶華 | 申請(專利權)人: | 蘇州浪潮智能科技有限公司 |
| 主分類號: | G06F40/154 | 分類號: | G06F40/154;G06F40/166;G06T11/60;G06F40/216 |
| 代理公司: | 北京連和連知識產權代理有限公司 11278 | 代理人: | 張元;馬鵬林 |
| 地址: | 215000 江蘇省蘇州*** | 國省代碼: | 江蘇;32 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 數據處理 方法 裝置 系統 設備 可讀 存儲 介質 | ||
1.一種數據處理的方法,其特征在于,包括以下步驟:
獲取超文本標記語言文章,并將超文本標記語言文章進行預處理;
將預處理后的超文本標記語言文章轉化為帶有預設標簽的預設格式文檔;
以所述預設標簽為節點計算節點的得分;
基于計算的得分獲取最優父節點,并基于最優父節點提取文本段落和圖像段落;
將提取的文本段落和圖像段落組合成新的文章。
2.根據權利要求1所述的方法,其特征在于,所述以所述預設標簽為節點計算節點的得分的步驟包括:
獲取超文本標記語言文章中對應于預設標簽的節點,并將節點按層級排序。
3.根據權利要求2所述的方法,其特征在于,所述獲取超文本標記語言文章中對應于預設標簽的節點,并將節點按層級排序的步驟包括:
獲取超文本標記語言文章中標簽為預設標簽組中的標簽的節點,并將節點加入到節點列表中并按層級排序。
4.根據權利要求3所述的方法,其特征在于,還包括:
對節點列表中的節點的文本進行分詞,并統計停用詞數量;
響應于停用詞數量小于等于第一預設值,將對應節點在節點列表中刪除。
5.根據權利要求3所述的方法,其特征在于,還包括:
基于預設公式計算節點列表中每個節點的鏈接密集度。
6.根據權利要求5所述的方法,其特征在于,所述基于預設公式計算節點列表中每個節點的鏈接密集度的步驟包括:
基于以下公式計算鏈接密集度:鏈接密集度=節點下的鏈接數量*節點下所有鏈接的文本連接起來進行分詞后的分詞數量/節點的文本分詞數量。
7.根據權利要求6所述的方法,其特征在于,還包括:
響應于鏈接密集度大于第二預設值,將對應節點在節點列表中刪除。
8.根據權利要求3所述的方法,其特征在于,所述以所述預設標簽為節點計算節點的得分的步驟包括:
計算節點列表中的節點數量,初始化增強參數,初始化底層節點數量;
順序選取節點列表中的每個節點,并初始化增強分數;
判斷節點數量是否大于第三預設值;
響應于節點數量不大于第三預設值,計算所選取節點的文本的停用詞數量,并基于停用詞數量和增強分數計算所述選取節點的父節點的得分,并將所述父節點的得分加到父節點的總得分中;
基于父節點的得分計算節點的父節點的父節點的得分,并將所述父節點的父節點的得分加到父節點的父節點的總得分中;
響應于所述選取節點的父節點沒有在節點列表中,將所述選取節點的父節點加入到節點列表中;
響應于所述選取節點的父節點的父節點沒有在節點列表中,將所述選取節點的父節點的父節點加入到節點列表中;
響應于所述選取節點不是節點列表中最后一個節點,重復上述步驟。
9.根據權利要求8所述的方法,其特征在于,所述判斷節點數量是否大于第三預設值的步驟之前還包括:
更新增強分數和增強參數。
10.根據權利要求9所述的方法,其特征在于,所述更新增強分數和增強參數的步驟包括:
將增強分數更新為1/當前增強參數*50;
將增強參數更新為當前增強參數加1。
11.根據權利要求9所述的方法,其特征在于,還包括:
響應于節點數量大于第三預設值,判斷節點數量減節點序號是否小于等于底層節點數量;
響應于節點數量減節點序號小于等于底層節點數量,更新增強分數。
12.根據權利要求11所述的方法,其特征在于,所述更新增強分數的步驟包括:
根據公式:(底層節點數量–(節點數量減節點序號))2計算更新后的增強分數。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于蘇州浪潮智能科技有限公司,未經蘇州浪潮智能科技有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202310914514.7/1.html,轉載請聲明來源鉆瓜專利網。





