[發明專利]文檔的重復性識別方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202110341532.1
• 申請日: 2021-03-30
• 公開（公告）號: CN112926314A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 林妙真;陳文森;李木海;林倩;林宜領;朱富榮
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/44
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種文檔的重復性識別方法，其特征在于，包括：

提取目標文檔的至少兩個目標詞語，并根據所述至少兩個目標詞語，構建所述目標文檔的目標詞語序列；其中，所述目標詞語至少包括所述目標文檔中的名詞、動詞和數量詞；

確定所述目標詞語序列中每個字的獨熱編碼向量；

根據所述目標詞語序列中每個字的獨熱編碼向量，確定所述目標文檔的特征向量；

根據其他文檔的特征向量與所述目標文檔的特征向量之間的距離，確定所述目標文檔的重復性。

2.根據權利要求1所述的方法，其特征在于，確定所述目標詞語序列中每個字的獨熱編碼向量，包括：

對于每個字，基于設定字符序列，對該字關聯的目標字符進行獨熱編碼，得到該字的獨熱編碼向量；其中，設定字符序列包括聲母和數字。

3.根據權利要求1所述的方法，其特征在于，根據所述目標詞語序列中每個字的獨熱編碼向量，確定所述目標文檔的特征向量，包括：

基于設定滑動窗口，遍歷所述目標詞語序列，得到至少兩個詞語片段；

根據所述目標詞語序列中每個字的獨熱編碼向量，確定至少兩個詞語片段的詞語特征向量；

根據所述至少兩個詞語片段的詞語特征向量，確定所述目標文檔的特征向量。

4.根據權利要求3所述的方法，其特征在于，根據所述目標詞語序列中每個字的獨熱編碼向量，確定至少兩個詞語片段的詞語特征向量，包括：

對于每一詞語片段，確定該詞語片段中每個字在所述目標文檔中的出現頻次；

根據該詞語片段中每個字在所述目標文檔中的出現頻次，以及該詞語片段中每個字的獨熱編碼向量，確定該詞語片段的詞語特征向量。

5.根據權利要求4所述的方法，其特征在于，根據該詞語片段中每個字在所述目標文檔中的出現頻次，以及該詞語片段中每個字的獨熱編碼向量，確定該詞語片段的詞語特征向量，包括：

將該詞語片段中每個字的獨熱編碼向量進行映射變換，得到該詞語片段中每個字的字特征向量；

根據所述該詞語片段中每個字的字特征向量，以及該詞語片段中每個字在所述目標文檔中的出現頻次，得到該詞語片段的詞語特征向量。

6.根據權利要求3所述的方法，其特征在于，根據所述至少兩個詞語片段的詞語特征向量，確定所述目標文檔的特征向量，包括：

將所述至少兩個詞語片段的詞語特征向量按行拼接，得到所述目標文檔的中間向量；

對所述目標文檔的中間向量按列求和，得到所述目標文檔的行向量；

對所述行向量按位進行映射變換，得到所述目標文檔的特征向量。

7.根據權利要求1所述的方法，其特征在于，根據其他文檔的特征向量與所述目標文檔的特征向量之前的距離，確定目標文檔的重復性，包括：

將所述其他文檔的特征向量拼接成數字，得到所述其他文檔的特征簽名；

將所述目標文檔的特征向量拼接成數字，得到所述目標文檔的特征簽名；

根據所述其他文檔的特征簽名和所述目標文檔的特征簽名之間的距離，確定所述目標文檔的重復性。

8.根據權利要求1所述的方法，其特征在于，還包括：

確定目標文檔的全局簽名和局部簽名；

將文檔集中與所述目標文檔的全局簽名不同且局部簽名相同的文檔，作為所述目標文檔的其他文檔。

9.根據權利要求8所述的方法，其特征在于，確定目標文檔的局部簽名，包括：

確定所述目標文檔的至少兩個關鍵詞；其中，所述關鍵詞至少包括名詞和動詞；

對所述至少兩個關鍵詞進行哈希運算，得到所述目標文檔的局部簽名。