[發(fā)明專利]一種搜索文本折疊處理系統(tǒng)及其方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011465449.7
• 申請(qǐng)日: 2020-12-14
• 公開（公告）號(hào): CN112464639A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 張校源
• 申請(qǐng)（專利權(quán)）人: 上海愛數(shù)信息技術(shù)股份有限公司
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194;G06F40/279;G06F16/953;G06F16/9538;G06K9/00;G06K9/62
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 林君如

1.一種搜索文本折疊處理系統(tǒng)，其特征在于，包括指紋創(chuàng)建模塊(1)、數(shù)據(jù)庫(kù)(2)和折疊模塊(3)，所述指紋創(chuàng)建模塊(1)的輸入端連接至本地存儲(chǔ)端(5)，用于創(chuàng)建對(duì)應(yīng)于本地存儲(chǔ)端(5)各文本的的文檔指紋；

所述指紋創(chuàng)建模塊(1)的輸出端與數(shù)據(jù)庫(kù)(2)連接，以將文檔指紋及對(duì)應(yīng)的文本存儲(chǔ)于數(shù)據(jù)庫(kù)(2)中；

所述折疊模塊(3)的輸入端與數(shù)據(jù)庫(kù)(2)連接，所述數(shù)據(jù)庫(kù)(2)與搜索引擎端(4)連接，所述數(shù)據(jù)庫(kù)(2)根據(jù)搜索引擎端(4)的搜索指令，輸出相應(yīng)的搜索文本及對(duì)應(yīng)的文檔指紋給折疊模塊(3)；

所述折疊模塊(3)的輸出端連接至搜索引擎端(4)，所述折疊模塊(3)用于根據(jù)文檔指紋，對(duì)搜索文本進(jìn)行折疊處理，得到折疊文本數(shù)據(jù)，并將折疊文本數(shù)據(jù)傳輸給搜索引擎端(4)，以展示于搜索頁(yè)面上。

2.根據(jù)權(quán)利要求1所述的一種搜索文本折疊處理系統(tǒng)，其特征在于，所述折疊模塊(3)包括依次連接的相似度計(jì)算單元(31)以及折疊排序單元(32)，所述相似度計(jì)算單元(31)與數(shù)據(jù)庫(kù)(2)連接，用于根據(jù)文檔指紋，計(jì)算得到搜索文本之間的相似度，以構(gòu)建出相似度矩陣；

所述折疊排序單元(32)與搜索引擎端(4)連接，用于結(jié)合相似度矩陣以及預(yù)設(shè)的折疊閾值，按照搜索文本的傳入順序，將滿足折疊條件的搜索文本進(jìn)行折疊，得到折疊文本數(shù)據(jù)，并將折疊文本數(shù)據(jù)傳輸給搜索引擎端(4)進(jìn)行展示。

3.一種應(yīng)用權(quán)利要求1所述搜索文本折疊系統(tǒng)的搜索文本折疊方法，其特征在于，包括以下步驟：

S1、指紋創(chuàng)建模塊從本地存儲(chǔ)端獲取所有已存儲(chǔ)文本，分別對(duì)各文本依次進(jìn)行分詞、哈希計(jì)算、加權(quán)、合并、降維以及位移計(jì)算處理，得到對(duì)應(yīng)于各文本的文檔指紋；

S2、指紋創(chuàng)建模塊將文檔指紋及對(duì)應(yīng)的文本存儲(chǔ)于數(shù)據(jù)庫(kù)中；

S3、根據(jù)用戶輸入的搜索條件，搜索引擎端完成相應(yīng)搜索操作，從數(shù)據(jù)庫(kù)得到多個(gè)搜索文本及對(duì)應(yīng)的文檔指紋；

S4、折疊模塊從數(shù)據(jù)庫(kù)中按順序獲取所有搜索文本及對(duì)應(yīng)的文檔指紋，通過計(jì)算兩兩搜索文本之間的相似度，結(jié)合預(yù)設(shè)的折疊閾值，按照搜索文本的傳入順序，將滿足折疊條件的搜索文本進(jìn)行折疊，得到折疊文本數(shù)據(jù)，并將折疊文本數(shù)據(jù)傳輸給搜索引擎端；

S5、搜索引擎端將接收的折疊文本數(shù)據(jù)展示于搜索頁(yè)面。

4.根據(jù)權(quán)利要求3所述的一種搜索文本折疊處理方法，其特征在于，所述步驟S1中指紋創(chuàng)建模塊進(jìn)行分詞處理的具體過程為：對(duì)文本進(jìn)行分詞，得到有效的特征向量，并給每個(gè)特征向量設(shè)置對(duì)應(yīng)的權(quán)值。

5.根據(jù)權(quán)利要求4所述的一種搜索文本折疊處理方法，其特征在于，所述步驟S1中指紋創(chuàng)建模塊進(jìn)行哈希計(jì)算處理的具體過程為：通過哈希函數(shù)計(jì)算各個(gè)特征向量的哈希值，其中，哈希值具體為二進(jìn)制數(shù)0、1組成的n-bit簽名。

6.根據(jù)權(quán)利要求5所述的一種搜索文本折疊處理方法，其特征在于，所述步驟S1中指紋創(chuàng)建模塊進(jìn)行加權(quán)處理的具體過程為：在哈希值的基礎(chǔ)上，結(jié)合特征向量的權(quán)值，計(jì)算得到各特征向量的加權(quán)結(jié)果，其中，若哈希值的哈希元素為1，則將特征向量的權(quán)值與1正相乘；若哈希值的哈希元素為0，則將特征向量的權(quán)值與1負(fù)相乘，以此得到各特征向量對(duì)應(yīng)的加權(quán)結(jié)果。

7.根據(jù)權(quán)利要求6所述的一種搜索文本折疊處理方法，其特征在于，所述步驟S1中指紋創(chuàng)建模塊進(jìn)行降維處理的具體過程為：將所有特征向量的加權(quán)結(jié)果累加，降維得到一個(gè)64位的累加結(jié)果。

8.根據(jù)權(quán)利要求7所述的一種搜索文本折疊處理方法，其特征在于，所述步驟S1中指紋創(chuàng)建模塊進(jìn)行位移計(jì)算處理的具體過程為：按照每16位進(jìn)行一次位移計(jì)算，若大于或等于0，則向右位移一位加1；若小于0，則向右位移一位不加1，以此得到對(duì)應(yīng)于搜索文本的指紋整數(shù)值，即為文檔指紋。