[發(fā)明專利]數(shù)據(jù)的處理方法、裝置、存儲介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202111493020.3
• 申請日: 2021-12-08
• 公開（公告）號: CN114281921A
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計）人: 羅健;張鶴立;楊煉鋼;王健;王澤源;楊鵬基;陳啟;楊迪
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/957;G06F40/289
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 宋興;臧建明

1.一種數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

獲取搜索引擎的數(shù)據(jù)源設(shè)備中的新增數(shù)據(jù)；

根據(jù)所述新增數(shù)據(jù)的類型，將所述新增數(shù)據(jù)中的預(yù)設(shè)信息組合為待分詞數(shù)據(jù)；

對所述待分詞數(shù)據(jù)進(jìn)行分詞，生成待搜索數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述新增數(shù)據(jù)的類型與所述預(yù)設(shè)信息存在映射關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述新增數(shù)據(jù)的類型為文件類數(shù)據(jù)，則所述將所述新增數(shù)據(jù)中的預(yù)設(shè)信息組合為待分詞數(shù)據(jù)，包括：

獲取所述文件類數(shù)據(jù)對應(yīng)的文件讀取組件；

使用所述文件讀取組件從所述文件類數(shù)據(jù)中提取所述文件類數(shù)據(jù)對應(yīng)的第一預(yù)設(shè)信息；

將所述第一預(yù)設(shè)信息組合為所述待分詞數(shù)據(jù)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述新增數(shù)據(jù)的類型為非文件類數(shù)據(jù)，則所述將所述新增數(shù)據(jù)中的預(yù)設(shè)信息組合為待分詞數(shù)據(jù)，包括：

確定所述非文件類數(shù)據(jù)是否為結(jié)構(gòu)化數(shù)據(jù)；

若否，則從所述非文件類數(shù)據(jù)中提取所述非文件類數(shù)據(jù)對應(yīng)的第二預(yù)設(shè)信息；

將所述第二預(yù)設(shè)信息組合為所述待分詞數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述確定所述非文件類數(shù)據(jù)是否為結(jié)構(gòu)化數(shù)據(jù)之后，所述方法還包括：

若是，則將所述非文件類數(shù)據(jù)作為所述待分詞數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述待分詞數(shù)據(jù)進(jìn)行分詞，生成待搜索數(shù)據(jù)，包括：

根據(jù)所述待分詞數(shù)據(jù)的分詞需求，將所述待分詞數(shù)據(jù)中的至少一個預(yù)設(shè)信息確定為待分詞字段；

根據(jù)所述待分詞字段對應(yīng)的預(yù)設(shè)信息的類型，確定所述待分詞數(shù)據(jù)的分詞器；

使用所述分詞器對所述待分詞字段進(jìn)行分詞，生成所述待搜索數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對所述待分詞數(shù)據(jù)進(jìn)行分詞，生成待搜索數(shù)據(jù)之后，還包括：

根據(jù)所述待搜索數(shù)據(jù)對應(yīng)的數(shù)據(jù)源設(shè)備，將所述待搜索數(shù)據(jù)存儲至索引庫中；

根據(jù)預(yù)設(shè)的第一搜索關(guān)鍵詞，在所述索引庫中建立所述第一搜索關(guān)鍵詞與所述待搜索數(shù)據(jù)之間的倒排索引。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在所述建立所述第一搜索關(guān)鍵詞與待搜索數(shù)據(jù)之間的倒排索引之后，還包括：

接收終端設(shè)備發(fā)送的查詢請求，所述查詢請求中包含第二搜索關(guān)鍵詞；

根據(jù)所述第二搜索關(guān)鍵詞，從所述索引庫的待搜索數(shù)據(jù)中確定出搜索數(shù)據(jù)；

將所述搜索數(shù)據(jù)輸入至中文分詞模型中，確定篩選后的搜索數(shù)據(jù)，所述中文分詞模型用于根據(jù)預(yù)設(shè)的詞匯權(quán)重參數(shù)對所述搜索數(shù)據(jù)進(jìn)行篩選。

9.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述獲取數(shù)據(jù)源設(shè)備中的新增數(shù)據(jù)之后，還包括：

將所述新增數(shù)據(jù)緩存至所述新增數(shù)據(jù)的類型對應(yīng)的存儲系統(tǒng)中。

10.一種數(shù)據(jù)的處理裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取搜索引擎的數(shù)據(jù)源設(shè)備中的新增數(shù)據(jù)；

處理模塊，用于根據(jù)所述新增數(shù)據(jù)的類型，將所述新增數(shù)據(jù)中的預(yù)設(shè)信息組合為待分詞數(shù)據(jù)；對所述待分詞數(shù)據(jù)進(jìn)行分詞，生成待搜索數(shù)據(jù)。

11.一種計算機(jī)存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)執(zhí)行指令，所述計算機(jī)執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1至9任意一項所述的方法。

12.一種電子設(shè)備，其特征在于，包括：處理器和存儲器；其中，所述存儲器存儲有計算機(jī)程序，所述計算機(jī)程序適于由所述處理器加載并執(zhí)行如權(quán)利要求1至9任意一項所述的方法。