[發明專利]數據泛化方法、裝置、設備和介質

有效

• 申請號: 201910015940.0
• 申請日: 2019-01-08
• 公開（公告）號: CN109740161B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 周環宇;馮欣偉;余淼
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/247
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據泛化方法，其特征在于，包括：

根據各檢索項中的詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組；

將目標檢索項中的詞語和歷史檢索項中的詞語進行匹配；

將匹配不一致的詞語作為目標詞語；

根據目標檢索項和歷史檢索項中的目標詞語，確定目標檢索項組中目標檢索項與歷史檢索項的轉換損失；

根據目標檢索項組中目標檢索項與歷史檢索項間的轉換損失，從所述歷史檢索項中確定所述目標檢索項的泛化檢索項；其中，所述轉換損失是指從一個檢索項變換成另一個檢索項所需的損失；其中，所述根據目標檢索項組中目標檢索項與歷史檢索項間的轉換損失，從所述歷史檢索項中確定所述目標檢索項的泛化檢索項之前，還包括：

將目標檢索項中各詞與其他檢索項中各詞的相似度的最小值之和，作為由目標檢索項轉換為其他檢索項的第一轉換損失；

將其他檢索項中各詞與目標檢索項中各詞的相似度的最小值之和，作為由其他檢索項轉換為目標檢索項的第二轉換損失；

根據第一轉換損失和第二轉換損失確定目標檢索項和歷史檢索項的轉換損失。

2.根據權利要求1所述的方法，其特征在于，所述根據各檢索項中的詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組，包括：

確定檢索項中各詞語的重要性；

將檢索項中重要性大于第一重要性閾值的詞語作為目標詞語；

根據目標詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組。

3.根據權利要求1所述的方法，其特征在于，所述根據各檢索項中的詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組，包括：

匹配各檢索項中的詞語；

若至少兩個檢索項中包括至少一個相同詞語，則將所述至少兩個檢索項劃分為一組。

4.根據權利要求1所述的方法，其特征在于，所述根據各檢索項中的詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組之前，還包括：

對檢索項中包括的同義詞語和/或標識相同實體的詞語進行統一。

5.根據權利要求4所述的方法，其特征在于，所述對檢索項中包括的同義詞語和/或標識相同實體的詞語進行統一，包括：

對檢索項中重要性大于第二重要性閾值的同義詞語和/或標識相同實體的詞語進行統一。

6.一種數據泛化裝置，其特征在于，包括：

分組模塊，用于根據各檢索項中的詞語，對包括待泛化的目標檢索項和歷史檢索項的檢索項集進行分組；

泛化模塊，包括：

泛化單元，用于根據目標檢索項組中目標檢索項與歷史檢索項間的轉換損失，從所述歷史檢索項中確定所述目標檢索項的泛化檢索項，其中，所述轉換損失是指從一個檢索項變換成另一個檢索項所需的損失；

不同損失確定模塊，用于所述根據目標檢索項組中目標檢索項與歷史檢索項間的轉換損失，從所述歷史檢索項中確定所述目標檢索項的泛化檢索項之前，將目標檢索項中各詞與其他檢索項中各詞的相似度的最小值之和，作為由目標檢索項轉換為其他檢索項的第一轉換損失；將其他檢索項中各詞與目標檢索項中各詞的相似度的最小值之和，作為由其他檢索項轉換為目標檢索項的第二轉換損失；

最終損失確定模塊，用于根據第一轉換損失和第二轉換損失確定目標檢索項和歷史檢索項的轉換損失；

匹配模塊，用于根據目標檢索項組中目標檢索項與歷史檢索項間的轉換損失，從所述歷史檢索項中確定所述目標檢索項的泛化檢索項之前，將目標檢索項中的詞語和歷史檢索項中的詞語進行匹配；

目標詞語確定模塊，用于將匹配不一致的詞語作為目標詞語；

損失確定模塊，用于根據目標檢索項和歷史檢索項中的目標詞語，確定目標檢索項組中目標檢索項與歷史檢索項的轉換損失。