[發明專利]數據的處理方法、裝置、存儲介質及設備

在審

• 申請號: 202111493020.3
• 申請日: 2021-12-08
• 公開（公告）號: CN114281921A
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 羅健;張鶴立;楊煉鋼;王健;王澤源;楊鵬基;陳啟;楊迪
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/957;G06F40/289
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 宋興;臧建明

本申請提供的一種數據的處理方法、裝置、存儲介質及設備，首先獲取搜索引擎的數據源設備中的新增數據，隨后，根據新增數據的類型，將新增數據中的預設信息組合為待分詞數據，然后，對待分詞數據進行分詞，生成待搜索數據。通過該方式，可以實時或定期地獲取數據源設備中的新增數據，并根據新增數據的類型確定待搜索數據，從而可以對多種類型的數據進行采集及處理，進而提高了搜索引擎返回的搜索結果的全面性。

技術領域

本發明涉及數據搜索技術領域，尤其涉及一種數據的處理方法、裝置、存儲介質及設備。

背景技術

隨著信息技術的快速發展，數據的來源越來越多，數據量也日益增加。為了終端設備可以全面、準確地查找到所需資料或信息，搜索引擎的數據處理系統需要具備能夠接收海量的、多數據源的數據的能力。

現有的搜索引擎的數據處理系統，通過搜尋程序采集各個數據源中的文本數據并存儲在搜索引擎數據庫中，然后根據搜索關鍵詞對搜索引擎數據庫中的數據進行檢索，并將檢索到的數據返回給終端設備。

然而，現有技術中，只能采集文本類的結構化數據并進行搜索調優，從而導致數據采集及處理的局限性大，進而降低了搜索引擎返回的搜索結果的全面性。

發明內容

本申請提供一種數據的處理方法、裝置、存儲介質及設備，以解決現有技術中數據采集及處理的局限性大的技術問題。

第一方面，本申請提供一種數據的處理方法，所述方法包括：

獲取搜索引擎的數據源設備中的新增數據；

根據所述新增數據的類型，將所述新增數據中的預設信息組合為待分詞數據；

對所述待分詞數據進行分詞，生成待搜索數據。

一種可選的實施方式中，所述新增數據的類型與所述預設信息存在映射關系。

一種可選的實施方式中，若所述新增數據的類型為文件類數據，則所述將所述新增數據中的預設信息組合為待分詞數據，包括：

獲取所述文件類數據對應的文件讀取組件；

使用所述文件讀取組件從所述文件類數據中提取所述文件類數據對應的第一預設信息；

將所述第一預設信息組合為所述待分詞數據。

一種可選的實施方式中，若所述新增數據的類型為非文件類數據，則所述將所述新增數據中的預設信息組合為待分詞數據，包括：

確定所述非文件類數據是否為結構化數據；

若否，則從所述非文件類數據中提取所述非文件類數據對應的第二預設信息；

將所述第二預設信息組合為所述待分詞數據。

一種可選的實施方式中，在所述確定所述非文件類數據是否為結構化數據之后，所述方法還包括：

若是，則將所述非文件類數據作為所述待分詞數據。

一種可選的實施方式中，所述對所述待分詞數據進行分詞，生成待搜索數據，包括：

根據所述待分詞數據的分詞需求，將所述待分詞數據中的至少一個預設信息確定為待分詞字段；

根據所述待分詞字段對應的預設信息的類型，確定所述待分詞數據的分詞器；

使用所述分詞器對所述待分詞字段進行分詞，生成所述待搜索數據。

一種可選的實施方式中，在所述對所述待分詞數據進行分詞，生成待搜索數據之后，還包括：

根據所述待搜索數據對應的數據源設備，將所述待搜索數據存儲至索引庫中；