[發明專利]一種數據處理的方法、裝置、系統、設備及可讀存儲介質

在審

• 申請號: 202310914514.7
• 申請日: 2023-07-25
• 公開（公告）號: CN116629209A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 張榮國;吳韶華
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F40/154
• 分類號: G06F40/154;G06F40/166;G06T11/60;G06F40/216
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張元;馬鵬林

本發明提供了一種數據處理的方法、裝置、系統、設備及可讀存儲介質，方法包括：獲取超文本標記語言文章，并將超文本標記語言文章進行預處理；將預處理后的超文本標記語言文章轉化為帶有預設標簽的預設格式文檔；以所述預設標簽為節點計算節點的得分；基于計算的得分獲取最優父節點，并基于最優父節點提取文本段落和圖像段落；將提取的文本段落和圖像段落組合成新的文章。通過使用本發明的方案，能夠在網頁中提取高質量的文本數據和高質量的圖像數據，能夠使提取出的文本數據和圖像數據的順序與頁面中的順序保持一致。

技術領域

本發明涉及計算機領域，并且更具體地涉及一種數據處理的方法、裝置、系統、設備及可讀存儲介質。

背景技術

近年來，互聯網上面的多模態數據越來越多，其中包括文本數據、圖像數據等，而這些數據都以HTML（HyperText?Markup?Language，超文本標記語言）網頁的形式存在，如何從這些HTML網頁中通過數據清洗獲得文本數據和圖像數據以用于人工智能模型的訓練和推理已成為熱門的研究方向。

現有技術中的文本抽取技術是提取HTML中的所有文本數據，其中包含了垃圾數據，比如一些超鏈接標題和低質量文本，并且文本抽取技術只支持提取文本數據，不支持提取圖像數據。現有技術中的圖像的抽取一般是通過HTML標簽“img”來進行提取的，HTML圖像抽取技術只能抽取圖像數據，不能抽取文本數據。即使使用上述兩種方法分別從同一個HTML網頁中提取文本和圖像，也無法將提取的數據關聯起來，即不知道文本數據中的某一個段落是和哪張圖像相關的。

發明內容

有鑒于此，本發明實施例的目的在于提出一種數據處理的方法、裝置、系統、設備及可讀存儲介質，通過使用本發明的技術方案，能夠在網頁中提取高質量的文本數據，能夠在網頁中提取高質量的圖像數據，能夠使提取出的文本數據和圖像數據的順序與頁面中的順序保持一致。

基于上述目的，本發明的實施例的一個方面提供了一種數據處理的方法，包括以下步驟：

獲取超文本標記語言文章，并將超文本標記語言文章進行預處理；

將預處理后的超文本標記語言文章轉化為帶有預設標簽的預設格式文檔；

以所述預設標簽為節點計算節點的得分；

基于計算的得分獲取最優父節點，并基于最優父節點提取文本段落和圖像段落；

將提取的文本段落和圖像段落組合成新的文章。

根據本發明的一個實施例，所述以所述預設標簽為節點計算節點的得分的步驟包括：

獲取超文本標記語言文章中對應于預設標簽的節點，并將節點按層級排序。

根據本發明的一個實施例，所述獲取超文本標記語言文章中對應于預設標簽的節點，并將節點按層級排序的步驟包括：

獲取超文本標記語言文章中標簽為預設標簽組中的標簽的節點，并將節點加入到節點列表中并按層級排序。

根據本發明的一個實施例，還包括：

對節點列表中的節點的文本進行分詞，并統計停用詞數量；

響應于停用詞數量小于等于第一預設值，將對應節點在節點列表中刪除。

根據本發明的一個實施例，還包括：

基于預設公式計算節點列表中每個節點的鏈接密集度。

根據本發明的一個實施例，所述基于預設公式計算節點列表中每個節點的鏈接密集度的步驟包括：

基于以下公式計算鏈接密集度：鏈接密集度=節點下的鏈接數量*節點下所有鏈接的文本連接起來進行分詞后的分詞數量/節點的文本分詞數量。

根據本發明的一個實施例，還包括：

響應于鏈接密集度大于第二預設值，將對應節點在節點列表中刪除。

根據本發明的一個實施例，所述以所述預設標簽為節點計算節點的得分的步驟包括：