[發明專利]文本聚類方法、裝置、處理設備及存儲介質

有效

• 申請號: 202110238054.1
• 申請日: 2021-03-04
• 公開（公告）號: CN112966104B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 浦嘉澍;毛曉曦;范長杰;胡志鵬
• 申請（專利權）人: 網易(杭州)網絡有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

1.一種文本聚類方法，其特征在于，包括：

對樣本對話文本進行多次隨機數據分割，每次隨機數據分割過程中以預設的比例，從所述樣本對話文本中隨機獲取一個特征學習文本數據，并將所述樣本對話文本中其他文本數據確定為所述一個特征學習文本數據對應的超參學習文本數據；

分別根據多個特征學習文本數據進行模型訓練，得到多個語言模型；

采用得到的所述多個語言模型中每個語言模型對待處理文本進行識別，得到文本特征；

采用所述每個語言模型，對訓練所述每個語言模型采用的特征學習文本數據對應的超參學習文本數據進行識別，得到超參特征；

從所述超參特征中搜索目標超參數；

根據所述目標超參數，對預設的聚類算法中對應的超參數進行更新，得到所述每個語言模型對應的聚類算法；

采用所述每個語言模型對應的聚類算法對所述每個語言模型輸出的文本特征進行聚類，得到聚類結果；

對多個聚類結果進行融合，得到所述待處理文本的目標聚類結果。

2.根據權利要求1所述的方法，其特征在于，所述從所述超參特征中搜索目標超參數，包括：

從所述超參特征中隨機搜索所述目標超參數。

3.根據權利要求2所述的方法，其特征在于，所述從所述超參特征中隨機搜索所述目標超參數，包括：

根據預設的超參類型，從所述超參特征中隨機搜索所述超參類型對應的超參數為所述目標超參數。

4.根據權利要求1-3任一所述的方法，其特征在于，所述對多個聚類結果進行融合，得到所述待處理文本的目標聚類結果，包括：

確定每個聚類結果與其它聚類結果的互信息；

將最大互信息對應的聚類結果，確定為所述目標聚類結果。

5.根據權利要求1-3任一所述的方法，其特征在于，目標聚類結果包括：多個分類，所述方法還包括：

根據所述分類中的文本特征確定文本意圖，并為所述分類中的各文本特征標注所述文本意圖。

6.一種文本聚類裝置，其特征在于，包括：

獲取模塊，用于對樣本對話文本進行多次隨機數據分割，每次隨機數據分割過程中以預設的比例，從所述樣本對話文本中隨機獲取一個特征學習文本數據，并將所述樣本對話文本中其他文本數據確定為所述一個特征學習文本數據對應的超參學習文本數據；

訓練模塊，用于分別根據多個特征學習文本數據進行模型訓練，得到多個語言模型；

識別模塊，用于采用得到的所述多個語言模型中每個語言模型對待處理文本進行識別，得到文本特征；

第一識別模塊，用于采用所述每個語言模型，對訓練所述每個語言模型采用的特征學習文本數據對應的超參學習文本數據進行識別，得到超參特征；

搜索模塊，用于從所述超參特征中搜索目標超參數；

更新模塊，用于根據所述目標超參數，對預設的聚類算法中對應的超參數進行更新，得到所述每個語言模型對應的聚類算法；

聚類模塊，用于采用所述每個語言模型對應的聚類算法對所述每個語言模型輸出的文本特征進行聚類，得到聚類結果；

融合模塊，用于對多個聚類結果進行融合，得到所述待處理文本的目標聚類結果。

7.一種處理設備，其特征在于，包括：存儲器和處理器，所述存儲器存儲有所述處理器可執行的計算機程序，所述處理器執行所述計算機程序時實現上述權利要求1-5任一項所述的方法。

8.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被讀取并執行時，實現上述權利要求1-5任一項所述的方法。