[發明專利]語料分類方法、模型訓練方法及裝置

在審

• 申請號: 202111544148.8
• 申請日: 2021-12-16
• 公開（公告）號: CN114218384A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 劉昊騁;武思文;許韓晨璽
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06K9/62;G06N3/02
• 代理公司: 北京易光知識產權代理有限公司 11596
• 代理人: 武晨燕

本公開提供了語料分類方法、模型訓練方法及裝置，涉及人工智能技術領域，尤其涉及語音技術領域。具體實現方案為：針對各個文本，確定文本對應的文本向量；將針對多個文本確定出的多個文本向量進行聚類，得到多個文本向量類簇，每個文本向量類簇包含至少一個文本向量；根據多個文本向量類簇、以及各個文本與文本向量的對應關系，確定多個文本類簇，每個文本類簇包含至少一個文本。本公開能夠提高對語料分類的準確性。

技術領域

本公開涉及人工智能技術領域，尤其涉及語音技術領域，具體涉及一種預料分類方法、模型訓練方法及裝置。

背景技術

語料(Corpus)，通常是指一定數量和規模的文本資源集合。語料規模可大可小，大至千萬，甚至數億句或更大，小至幾百句。語料庫指經科學取樣和加工的大規模電子文本庫，其中存放的是在語言的實際使用中真實出現過的語言材料。互聯網本身就是一個巨大龐雜的語料庫，常見的語料庫如百科語料庫、新聞語料庫等。語料對于自然語言處理(Nature Language processing，NLP)等人工智能(Artificial Intelligence，AI)技術的發展有重要作用。語料庫中存在大量未經處理的原始語料，如何對這些原始語料進行分類和/或標注處理，得到處理后的更有使用價值的語料，是目前存在的問題。

發明內容

本公開提供了一種語料分類方法、模型訓練方法、裝置、電子設備以及存儲介質。

根據本公開的一方面，提供了一種語料分類方法，該語料包括多個文本，該方法包括：

針對各個所述文本，確定所述文本對應的文本向量；

將針對所述多個文本確定出的多個文本向量進行聚類，得到多個文本向量類簇，每個所述文本向量類簇包含至少一個所述文本向量；

根據所述多個文本向量類簇、以及各個所述文本與所述文本向量的對應關系，確定多個文本類簇，每個所述文本類簇包含至少一個所述文本。

根據本公開的另一方面，提供了一種模型訓練方法，該方法包括：

獲取用戶輸入的文本，將所述文本作為樣本文件；

確定輸入所述樣本文件的用戶的信息；

根據所述用戶的信息確定所述樣本文件的標簽；

采用所述樣本文件及所述樣本文件的標簽訓練模型。

根據本公開的另一方面，提供了一種語料分類裝置，該語料包括多個文本，該裝置包括：

文本向量確定模塊，用于針對各個所述文本，確定所述文本對應的文本向量；

聚類模塊，用于將針對所述多個文本確定出的多個文本向量進行聚類，得到多個文本向量類簇，每個所述文本向量類簇包含至少一個所述文本向量；

文本類簇確定模塊，用于根據所述多個文本向量類簇、以及各個所述文本與所述文本向量的對應關系，確定多個文本類簇，每個所述文本類簇包含至少一個所述文本。

根據本公開的另一方面，提供了一種模型訓練裝置，該裝置包括：

獲取模塊，用于獲取用戶輸入的文本，將所述文本作為樣本文件；

標識確定模塊，用于確定輸入所述樣本文件的用戶的信息；

標簽確定模塊，用于根據所述用戶的信息確定所述樣本文件的標簽；

訓練模塊，用于采用所述樣本文件及所述樣本文件的標簽訓練模型。

根據本公開的另一方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，