[發明專利]一種試題的聚類方法、去重方法及系統

在審

• 申請號: 201910680927.7
• 申請日: 2019-07-26
• 公開（公告）號: CN110390019A
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 謝楚鵬;李可佳;郭晨陽
• 申請（專利權）人: 江蘇曲速教育科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06Q50/20
• 代理公司: 北京晟睿智杰知識產權代理事務所(特殊普通合伙) 11603
• 代理人: 于淼

1.一種試題的聚類方法，其特征在于，包括：

在所有參與聚類的試題中選取聚類中心試題；

確定所述聚類中心試題的重要關鍵字符記為第一字符串，確定待聚類試題的重要關鍵字符記為第二字符串，所述重要關鍵字符為新增、替換或者修改后會改變試題含義或者類型的字符；

計算所述第一字符串和所述第二字符串之間的加權編輯距離，所述加權編輯距離為所述第一字符串和所述第二字符串之間相互轉化的最少的加權操作次數；

根據所述加權編輯距離計算所述待聚類試題與所述聚類中心試題之間的相似度，其中，相似度r的計算公式為：

r＝(sum-dist)/sum，其中，sum為所述第一字符串和所述第二字符串的長度總和，dist為所述加權編輯距離；

將相似度大于預設閾值的所述待聚類試題與所述聚類中心試題歸為同一試題類。

2.根據權利要求1所述的聚類方法，其特征在于，

在所有參與聚類的試題中選取聚類中心試題的步驟之前，還包括：

統一試題格式，其中，包括：

對包含不同字符格式或者公式圖片的htm試題文件進行分類識別和內容解析，轉換成latex試題文本；

將latex試題文本轉換成可正常閱讀的文本格式。

3.根據權利要求1所述的聚類方法，其特征在于，

在所有參與聚類的試題中選取聚類中心試題的步驟具體包括：

根據試題的創建時間和試題的質量評價，對所有參與聚類的試題進行排序；

選擇排序為第一位的試題作為所述聚類中心試題。

4.根據權利要求1所述的聚類方法，其特征在于，

確定所述聚類中心試題的重要關鍵字符記為第一字符串，確定待聚類試題的重要關鍵字符記為第二字符串的步驟包括：

采用詞頻-逆文檔頻度模型構建重要關鍵字字符庫；

根據所述重要關鍵字字符庫確定所述第一字符串和所述第二字符串。

5.根據權利要求1所述的聚類方法，其特征在于，

所述加權編輯距離的操作包括：插入、刪除、替換；其中，在計算加權操作次數時：刪除記為一次操作，插入記為一次操作，替換記為兩次操作。

6.一種試題的去重方法，其特征在于，包括：

采用權利要求1至5任一項所述的試題的聚類方法對待去重試題組中的試題進行聚類處理；

刪除與所述聚類中心試題屬于同一試題類的試題。

7.一種試題的聚類系統，其特征在于，包括：聚類中心試題選取模塊、重要關鍵字符確定模塊、加權編輯距離計算模塊、相似度計算模塊和試題歸類模塊；其中，

所述聚類中心試題選取模塊，與所述重要關鍵字符確定模塊相連接，用于在所有參與聚類的試題中選取聚類中心試題，并將選取的所述聚類中心試題發送給所述重要關鍵字符確定模塊；

所述重要關鍵字符確定模塊，與所述加權編輯距離計算模塊相連接，用于確定所述聚類中心試題的重要關鍵字符記為第一字符串，確定待聚類試題的重要關鍵字符記為第二字符串，并將所述第一字符串和所述第二字符串發送給所述加權編輯距離計算模塊，所述重要關鍵字符為新增、替換或者修改后會改變試題含義或者類型的字符；

所述加權編輯距離計算模塊，與所述相似度計算模塊相連接，用于計算所述第一字符串和所述第二字符串之間的加權編輯距離，并將所述加權編輯距離發送給所述相似度計算模塊，所述加權編輯距離為所述第一字符串和所述第二字符串之間相互轉化的最少的加權操作次數；

所述相似度計算模塊，與試題歸類模塊相連接，用于根據所述加權編輯距離計算所述待聚類試題與所述聚類中心試題之間的相似度，并將所述相似度發送給所述試題歸類模塊，其中，相似度r的計算公式為：r＝(sum-dist)/sum，其中，sum為所述第一字符串和所述第二字符串的長度總和，dist為所述加權編輯距離；

所述試題歸類模塊，用于將相似度大于預設閾值的所述待聚類試題與所述聚類中心試題歸為同一試題類。