[發明專利]基于標題的文檔聚類方法、裝置、終端設備及介質

有效

• 申請號: 201911047481.0
• 申請日: 2019-10-30
• 公開（公告）號: CN110888981B
• 公開（公告）日: 2022-11-01
• 發明（設計）人: 趙洋;王宇;王亞奇;朱繼剛
• 申請（專利權）人: 深圳價值在線信息科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李娟

1.一種基于標題的文檔聚類方法，其特征在于，包括：

采集多個文檔，并對各個文檔進行預處理，各個文檔分別具有相應的文檔標題；

針對任一文檔，計算所述文檔的文檔標題與其他各個文檔的文檔標題之間的第一相似度；

將所述第一相似度大于第一預設閾值的多份文檔聚類為初始文檔簇；

針對所述初始文檔簇中的各個目標文檔，分別計算所述目標文檔的文檔標題與多個第二文檔的文檔標題之間的第二相似度，所述目標文檔為所述初始文檔簇中第一相似度大于所述第一預設閾值且小于第二預設閾值的文檔，所述第二文檔為不屬于所述初始文檔簇的文檔；

根據所述第二相似度更新所述初始文檔簇，得到目標文檔簇，并設置所述目標文檔簇的簇關鍵詞；

其中，所述計算所述文檔的文檔標題與其他各個文檔的文檔標題之間的第一相似度，包括：

對各個文檔的文檔標題進行分詞，統計各個文檔標題中的詞語個數；

針對任一文檔，分別統計所述文檔的文檔標題與其他各個文檔的文檔標題中包含的相同詞語的個數；

根據所述相同詞語在所述各個文檔標題的全部詞語中的比例，采用如下公式，逐個計算所述文檔的文檔標題與其他各個文檔的文檔標題之間的第一相似度：

(k/i+k/j)/((k/i)×(k/j))

其中，i為所述文檔的文檔標題中的詞語個數，j為待計算的另一文檔的文檔標題中的詞語個數，k為所述文檔的文檔標題與所述另一文檔的文檔標題中包含的相同詞語的個數；

所述根據所述第二相似度更新所述初始文檔簇，得到目標文檔簇，包括：

若所述第二文檔的文檔標題與任一目標文檔的文檔標題之間的第二相似度均小于或等于所述第二預設閾值，則舍棄所述第二文檔；

若所述第二文檔的文檔標題與任一目標文檔的文檔標題之間的第二相似度大于所述第二預設閾值，則將所述第二文檔添加至所述初始文檔簇；

當計算完全部第二文檔的文檔標題與各個目標文檔的文檔標題之間的第二相似度后，根據添加至所述初始文檔簇的各個第二文檔，得到目標文檔簇；

所述設置所述目標文檔簇的簇關鍵詞，包括：

分別統計各個詞語在所述目標文檔簇的全部文檔標題中出現的總次數；

根據所述各個詞語出現的總次數確定多個目標詞；

分別計算所述多個目標詞與多個第三文檔的文檔標題之間的第三相似度，若所述第三相似度大于所述第二預設閾值，則將所述第三文檔加入目標文檔簇，所述第三文檔為不屬于所述目標文檔簇的文檔；

當根據所述各個詞語出現的總次數確定出的多個目標詞不再發生變化時，設置當前的多個目標詞作為所述目標文檔簇的簇關鍵詞。

2.根據權利要求1所述的方法，其特征在于，所述根據所述各個詞語出現的總次數確定多個目標詞，包括：

根據所述各個詞語出現的總次數，從大到小順序排列所述各個詞語；

分別計算相鄰的兩個詞語出現的總次數之間的差值；

以目標差值對應的目標詞語，和所述出現的總次數超過所述目標詞語出現的總次數的多個其他詞語為目標詞，其中，所述目標差值為首次出現的超過預設數值的差值。

3.根據權利要求1所述的方法，其特征在于，還包括：

當接收到用戶輸入的檢索關鍵詞時，根據各個文檔簇的簇關鍵詞和所述檢索關鍵詞，確定檢索文檔簇，所述檢索文檔簇的簇關鍵詞至少包含所述檢索關鍵詞；

提取所述檢索文檔簇中的多個文檔，向所述用戶推薦所述檢索文檔簇中的多個文檔。