[發明專利]數據去重標記碼生成方法、系統、電子設備及存儲介質

在審

• 申請號: 202110996617.3
• 申請日: 2021-08-27
• 公開（公告）號: CN113627132A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 劉瑞熙;王兆元;李青龍
• 申請（專利權）人: 北京智慧星光信息技術有限公司
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/216;G06F40/289;G06F40/242;G06F16/383
• 代理公司: 北京智宇正信知識產權代理事務所(普通合伙) 11876
• 代理人: 李明卓

1.一種數據去重標記碼生成方法，其特征在于，包括：

獲取招投標數據集，所述招投標數據集中包括多個采集到的招投標數據；

根據招投標數據集得到每一個招投標數據的招標標題、招標內容、招標編號、招標單位名稱和招標階段類型；

根據每一個招投標數據的招標標題得到每一個招投標數據對應的標題特征；

根據每一個招投標數據的招標內容得到每一個招投標數據對應的內容特征；

根據每一個招投標數據的招標編號得到每一個招投標數據對應的編號特征；

根據每一個招投標數據的招標單位名稱得到每一個招投標數據對應的單位名稱特征；

根據每一個招投標數據的招標階段類型得到每一個招投標數據對應的階段類型特征；

根據每一個招投標數據的標題特征、內容特征、編號特征、單位名稱特征和階段類型特征得到每一個招投標數據對應的數據編碼；

根據每一個招投標數據的標題特征、內容特征、編號特征和單位名稱特征得到每一個招投標數據對應的組編碼；

根據每一個招投標數據的數據編碼和組編碼得到每一個招投標數據對應的去重標記碼。

2.根據權利要求1所述的數據去重標記碼生成方法，其特征在于，根據每一個招投標數據的招標標題得到每一個招投標數據對應的標題特征的步驟中，包括：

獲取預設階段類別字典；

根據預設階段類別字典分別去除每一個招投標數據的招標標題中的階段類型詞；

對去除階段類型詞的招標標題進行分詞，得到每一個招投標數據對應的標題分詞；

分別計算每一個招投標數據對應的標題分詞中每一分詞的TFIDF值；

將TFIDF值高的第一預設數量的分詞作為標題提取關鍵詞；

將標題提取關鍵詞按照第一預設順序進行排序，得到標題排序關鍵詞，并將標題排序關鍵詞作為每一個招投標數據對應的標題特征。

3.根據權利要求1所述的數據去重標記碼生成方法，其特征在于，根據每一個招投標數據的招標內容得到每一個招投標數據對應的內容特征的步驟中，包括：

分別對每一個招投標數據的招標內容進行分詞，得到內容分詞；

根據預設停用詞字典去除內容分詞中的停用詞；

對去除停用詞后的內容分詞進行詞頻統計，將詞頻高的第二預設數量的內容分詞作為第一內容關鍵詞；

對去除停用詞后的內容分詞進行詞長度排序，將詞長度高的第三預設數量的內容分詞作為第二內容關鍵詞；

將第一內容關鍵詞和第二內容關鍵詞中共同出現的關鍵詞作為內容提取關鍵詞；

將內容提取關鍵詞按照第二預設順序進行排序，得到內容排序關鍵詞，并將內容排序關鍵詞作為每一個招投標數據對應的內容特征。

4.根據權利要求1所述的數據去重標記碼生成方法，其特征在于，根據每一個招投標數據的標題特征、內容特征、編號特征、單位名稱特征和階段類型特征得到每一個招投標數據對應的數據編碼的步驟中，包括：

將每一個招投標數據對應的標題特征、內容特征、編號特征、單位名稱特征和階段類型特征按照第一預設拼接順序進行拼接，得到第一拼接特征；

將第一拼接特征進行編碼加密，得到每一個招投標數據的數據編碼。

5.根據權利要求1所述的數據去重標記碼生成方法，其特征在于，根據每一個招投標數據的標題特征、內容特征、編號特征和單位名稱特征得到每一個招投標數據對應的組編碼的步驟中，包括：

將每一個招投標數據對應的標題特征、內容特征、編號特征和單位名稱特征按照第二預設拼接順序進行拼接，得到第二拼接特征；

將第二拼接特征進行編碼加密，得到每一個招投標數據的組編碼。

6.根據權利要求1所述的數據去重標記碼生成方法，其特征在于，根據每一個招投標數據的數據編碼和組編碼得到每一個招投標數據對應的去重標記碼的步驟之后，還包括：

獲取去重需求；

根據去重需求和每一個招投標數據對應的去重標記碼對招投標數據進行去重處理，得到去重后的招投標數據。