[發(fā)明專利]一種題目去重方法和計(jì)算設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711261758.0
• 申請(qǐng)日: 2017-12-04
• 公開（公告）號(hào): CN107977347B
• 公開（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 宋偉偉;王勝前;李啟林;陳李江;劉帥;丁芳宏
• 申請(qǐng)（專利權(quán)）人: 海南云江科技有限公司
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194;G06F40/205;G06F40/284;G06F40/289
• 代理公司: 北京思睿峰知識(shí)產(chǎn)權(quán)代理有限公司 11396
• 代理人: 謝建云;趙愛軍

1.一種題目去重方法，適于對(duì)初始題組中的多道題目進(jìn)行去重處理，在計(jì)算設(shè)備中執(zhí)行，該方法包括：

分別對(duì)初始題組中的多道題目進(jìn)行預(yù)處理操作，得到第一題組；

分別計(jì)算第一題組中各題目的哈希值，并對(duì)具有同一哈希值的多道題目進(jìn)行去重處理，得到第二題組，具體包括：記錄首次出現(xiàn)的哈希值及該哈希值所對(duì)應(yīng)的題目編號(hào)；遍歷第一題組中的各題目，當(dāng)有其他題目的哈希值與已記錄的哈希值相同時(shí)，則對(duì)該相同哈希值的題目進(jìn)行優(yōu)先級(jí)比較，并保留其中優(yōu)先級(jí)最高的一道題目；

分別計(jì)算第二題組中各題目的simhash值，以及各題目的simhash值與其他題目的simhash值之間的相似度；

對(duì)于第二題組中的每道題目，按照相似度降序排序的方法提取預(yù)定數(shù)目個(gè)相近題目，得到第三題組；以及

分別統(tǒng)計(jì)各題目與其各相近題目之間的字符差異，并根據(jù)差異內(nèi)容對(duì)所述第三題組進(jìn)行去重處理，得到目標(biāo)題組；

其中，所述第二題組中各題目的simhash值的計(jì)算方法包括以下步驟：

分別對(duì)第二題組中各題目進(jìn)行分詞處理，并確定每個(gè)分詞的權(quán)重，具體包括，從各題目的文本中得到每個(gè)分詞的詞頻信息，采用TF-IDF方法確定每個(gè)分詞的權(quán)重，其中，數(shù)字類型的分詞的權(quán)重大于文字類型的權(quán)重；

分別計(jì)算各題目中每個(gè)分詞的哈希值，并結(jié)合其分詞權(quán)重對(duì)各哈希值進(jìn)行加權(quán)處理，得到各題目中每個(gè)分詞的哈希序列串，其中，將哈希值中為1的字節(jié)設(shè)置為正數(shù)權(quán)重，將哈希值中為0的字節(jié)設(shè)置為負(fù)數(shù)權(quán)重；以及

對(duì)于每道題目，將其所有分詞的哈希序列串中位于同一序列位的數(shù)值累加，并對(duì)各累加值進(jìn)行二進(jìn)制轉(zhuǎn)換，得到各題目的simhash值，其中，累加值的正數(shù)轉(zhuǎn)換為1，累加值中的負(fù)數(shù)轉(zhuǎn)換為0。

2.如權(quán)利要求1所述的題目去重方法，其中，所述相似度適于以海明距離、歐式距離或余弦相似度表示。

3.如權(quán)利要求1所述的題目去重方法，其中，所述計(jì)算設(shè)備中維護(hù)有差異詞表，該差異詞表包括各詞語(yǔ)的同義詞和各表述的同義表述，所述根據(jù)差異內(nèi)容對(duì)所述第三題組進(jìn)行去重處理的步驟包括：

對(duì)于數(shù)學(xué)學(xué)科內(nèi)兩道simhash值相近的題目，判斷其差異內(nèi)容是否包含數(shù)字類差異，若是則不進(jìn)行去重處理，反之則進(jìn)行去重處理；以及

對(duì)于其他學(xué)科內(nèi)兩道simhash值相近的題目，結(jié)合該差異詞表判斷其差異內(nèi)容是否為同義詞或同義表述，若是則進(jìn)行去重處理，反之則不進(jìn)行去重處理。

4.如權(quán)利要求1所述的題目去重方法，其中，所述預(yù)處理操作包括以下操作中的一種或多種：

去掉網(wǎng)頁(yè)標(biāo)記、將中文字符統(tǒng)一轉(zhuǎn)換為英文字符、將各種類型的空格轉(zhuǎn)換為英文空格、將各種字符統(tǒng)一至同一編碼、去掉停用詞、去掉字符集外的亂碼字符。

5.如權(quán)利要求4所述的題目去重方法，其中，所述計(jì)算設(shè)備中維護(hù)有映射關(guān)系表和停用詞表，其中，

所述映射關(guān)系表包括不同字符或符號(hào)的替換內(nèi)容，各題目的空格和字符轉(zhuǎn)換操作適于結(jié)合該映射關(guān)系表進(jìn)行；

所述去掉停用詞的步驟包括：對(duì)各題目進(jìn)行分詞處理，并將分詞后屬于停用詞表的詞匯去除。

6.如權(quán)利要求2所述的方法，其中，各分詞的權(quán)重適于根據(jù)TF-IDF方法確定，所述預(yù)定數(shù)目為10個(gè)。

7.一種計(jì)算設(shè)備，包括：

至少一個(gè)處理器；和

存儲(chǔ)有程序指令的存儲(chǔ)器，其中，所述程序指令被配置為適于由所述至少一個(gè)處理器執(zhí)行，所述程序指令包括用于執(zhí)行如權(quán)利要求1-6中任一項(xiàng)所述的方法的指令。

8.一種存儲(chǔ)有程序指令的可讀存儲(chǔ)介質(zhì)，當(dāng)所述程序指令被計(jì)算設(shè)備讀取并執(zhí)行時(shí)，使得所述計(jì)算設(shè)備執(zhí)行如權(quán)利要求1-6中任一項(xiàng)所述的方法。