[發明專利]一種題目去重方法和計算設備

有效

• 申請號: 201711261758.0
• 申請日: 2017-12-04
• 公開（公告）號: CN107977347B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 宋偉偉;王勝前;李啟林;陳李江;劉帥;丁芳宏
• 申請（專利權）人: 海南云江科技有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F40/205;G06F40/284;G06F40/289
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發明公開了一種題目去重方法，適于對初始題組中的多道題目進行去重處理，在計算設備中執行，該方法包括：分別對初始題組中的多道題目進行預處理操作，得到第一題組；分別計算第一題組中各題目的哈希值，并對具有同一哈希值的多道題目進行去重處理，得到第二題組；分別計算第二題組中各題目的simhash值，以及各題目的simhash值與其他題目的simhash值之間的相似度；對于第二題組中的每道題目，按照相似度降序排序的方法提取預定數目個相近題目，得到第三題組；以及分別統計各題目與其各相近題目之間的字符差異，并根據差異內容對所述第三題組進行去重處理，得到目標題組。本發明公開了對應的計算設備。

技術領域

本發明涉及電子教學領域，尤其涉及一種題目去重方法和計算設備。

背景技術

隨著計算機和互聯網技術的發展，中小學教育，乃至大學教育中的練習和考試題目均實現了電子化存儲，并可上傳到網絡上供學生使用，其中每個題目都會涉及特定知識點且具有特定難度。隨著時間的推移，題庫的題目會越來越多，而為用戶呈現題目時可能會出現一些非常相似的題目，此時需要對題目進行去重處理。而作為一道完整的題目，其涉及到上下文語義、標點和數字等多種因素，去重效果可能并不好。因此需要一種能夠更精確的對題目進行去重的方法，以提高用戶體驗。

發明內容

鑒于上述問題，本發明提出了一種題目去重方法和計算設備，以力圖解決或者至少解決上面存在的問題。

根據本發明的一個方面，提供一種題目去重方法，適于對初始題組中的多道題目進行去重處理，在計算設備中執行，該方法包括：分別對初始題組中的多道題目進行預處理操作，得到第一題組；分別計算第一題組中各題目的哈希值，并對具有同一哈希值的多道題目進行去重處理，得到第二題組；分別計算第二題組中各題目的simhash值，以及各題目的simhash值與其他題目的simhash值之間的相似度；對于第二題組中的每道題目，按照相似度降序排序的方法提取預定數目個相近題目，得到第三題組；以及分別統計各題目與其各相近題目之間的字符差異，并根據差異內容對所述第三題組進行去重處理，得到目標題組。

可選地，在根據本發明的題目去重方法中，第二題組中各題目的simhash值的計算方法包括以下步驟：分別對第二題組中各題目進行分詞處理，并確定每個分詞的權重；分別計算各題目中每個分詞的哈希值，并結合其分詞權重對各哈希值進行加權處理，得到各題目中每個分詞的哈希序列串；以及對于每道題目，將其所有分詞的哈希序列串中位于同一序列位的數值累加，并對各累加值進行二進制轉換，得到各題目的simhash值。

可選地，在根據本發明的題目去重方法中，相似度適于以海明距離、歐式距離或余弦相似度表示。

可選地，在根據本發明的題目去重方法中，對具有同一哈希值的多道題目進行去重處理的步驟包括：記錄首次出現的哈希值及該哈希值所對應的題目編號；以及遍歷第一題組中的各題目，當有其他題目的哈希值與已記錄的哈希值相同時，則對該相同哈希值的題目進行優先級比較，并保留其中優先級最高的一道題目。

可選地，在根據本發明的題目去重方法中，計算設備中維護有差異詞表，該差異詞表包括各詞語的同義詞和各表述的同義表述，根據差異內容對所述第三題組進行去重處理的步驟包括：對于數學學科內兩道simhash值相近的題目，判斷其差異內容是否包含數字類差異，若是則不進行去重處理，反之則進行去重處理；對于其他學科內兩道simhash值相近的題目，結合該差異詞表判斷其差異內容是否為同義詞或同義表述，若是則進行去重處理，反之則不進行去重處理。

可選地，在根據本發明的題目去重方法中，預處理操作包括以下操作中的一種或多種：去掉網頁標記、將中文字符統一轉換為英文字符、將各種類型的空格轉換為英文空格、將各種字符統一至同一編碼、去掉停用詞、去掉字符集外的亂碼字符。