[發明專利]基于文本的行業識別模型的確定方法及裝置

在審

• 申請號: 202111150563.5
• 申請日: 2021-09-29
• 公開（公告）號: CN113688247A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 黃于晏;陳瑩瑩;李展鏗
• 申請（專利權）人: 有米科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 肖宇揚;江銀會

本發明公開了一種基于文本的行業識別模型的確定方法及裝置，通過分開使用來源于同一原始文本的中文文本訓練行業識別模型和使用英文文本訓練行業識別模型，得到中文文本行業識別模型和英文文本行業識別模型，減少了使用中英文文本共同訓練行業識別模型時由于可能存在引入中英文之間的關聯而導致訓練出的低準確性甚至無法訓練出行業識別模型的發生情況，能夠提高行業識別模型的訓練準確性以及可靠性，確定出了具有適用性強的行業識別模型，以及通過將文本中每個詞且與該詞相鄰詞的語義信息加載到該詞的特征向量上，有利于進一步提高行業識別模型的訓練精準性、可靠性以及適用性，有利于提高識別出與文本匹配的行業類別的準確性及效率。

技術領域

本發明涉及文本處理技術領域，尤其涉及一種基于文本的行業識別模型的確定方法及裝置。

背景技術

互聯網廣告作為不同行業的商家、企業宣傳、營銷產品的重要渠道，常包含對應宣傳產品的品牌、名稱以及相關的介紹、成分、標語，有效對其進行行業分類，有助于對不同行業的廣告形式和廣告中蘊含的品牌和品類進行探索。

隨著近年來國際品牌企業對中國市場的重視，廣告中涌現的英文類品牌和商品也越來越多。因其傳播的對象、發布平臺與表現手段的不同，對應的廣告文本數據具有中英文數據糅合、長度不一、口語化、模板化(如相同的句式嵌入不同的品牌或者單品名)和摻雜網絡流行語等特點，使得難以確定或者無法準確確定與廣告文本數據匹配的行業類別。

發明內容

本發明所要解決的技術問題在于，提供一種基于文本的行業識別模型的確定方法及裝置，能夠準確確定與廣告文本數據匹配的行業類別。

為了解決上述技術問題，本發明第一方面公開了一種基于文本的行業識別模型的確定方法，所述方法包括：

基于確定出的樣本文本的詞集合中每個詞的特征向量，確定所述樣本文本的詞集合中每個所述詞的目標向量，每個所述詞的目標向量中包含與該詞相鄰詞的語義信息，所述樣本文本的詞集合包括所述樣本文本的中文文本的詞集合或所述樣本文本的英文文本的詞集合；

將所述樣本文本的詞集合中每個所述詞的目標向量執行連接操作，得到目標樣本文本，并基于所述目標樣本文本訓練確定出的基礎行業識別模型，得到訓練后的行業識別模型，所述行業識別模型用于分析待識別行業的文本，得到與待識別行業的所述文本匹配的行業類別；

當所述樣本文本的詞集合為所述樣本文本的中文文本的詞集合時，訓練后的所述行業識別模型為中文文本行業識別模型；

當所述樣本文本的詞集合為所述樣本文本的英文文本的詞集合時，訓練后的所述行業識別模型為英文文本行業識別模型。

作為一種可選的實施方式，在本發明第一方面中，所述基于確定出的樣本文本的詞集合中每個詞的特征向量，確定所述樣本文本的詞集合中每個所述詞的目標向量，包括：

基于確定出的瓶頸層對樣本文本的詞集合中每個詞的特征向量執行行業分類學習操作，得到所述樣本文本的詞集合每個所述詞的瓶頸向量；

將所述樣本文本的詞集合中每個所述詞的瓶頸向量輸入確定出的雙向編碼器堆棧進行分析，得到所述樣本文本的詞集合中每個所述詞的目標向量。

作為一種可選的實施方式，在本發明第一方面中，所述將所述樣本文本的詞集合中每個所述詞的瓶頸向量輸入確定出的雙向編碼器堆棧進行分析，得到所述樣本文本的詞集合中每個所述詞的目標向量，包括：

將所述樣本文本的詞集合中每個所述詞的瓶頸向量輸入確定出的雙向編碼器的多個卷積層及非線性層，得到所述樣本文本的詞集合中每個所述詞的門控向量，每個所述詞的門控向量包括該詞的輸入門控向量、遺忘門控向量及輸出門控向量；

根據每個所述詞的遺忘門控向量、所述雙向編碼器中上一時刻的神經元狀態及每個所述詞的輸入門控向量，確定當前時刻所述雙向編碼器的神經元狀態；