[發明專利]直播分類方法、裝置、服務器和存儲介質

在審

• 申請號: 202010930175.8
• 申請日: 2020-09-07
• 公開（公告）號: CN114157876A
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 金志威
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/235;H04N21/435;H04N21/439;H04N21/44
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 黃海艷

1.一種直播分類方法，其特征在于，包括：

獲取待分類直播的直播文本信息和直播視頻流；

提取所述直播文本信息的文本特征，并提取所述直播視頻流的視覺特征；

對所述文本特征和所述視覺特征進行融合以生成對應的直播融合特征；

根據所述直播融合特征對所述待分類直播進行分類以生成所述待分類直播對應的直播類別。

2.根據權利要求1所述的直播分類方法，其特征在于，所述對所述文本特征和所述視覺特征進行融合以生成對應的直播融合特征，包括：

基于注意力機制，將所述文本特征之中的每個詞向量特征分別與所述視覺特征進行融合，獲得多個注意力特征；

根據神經網絡對所述多個注意力特征進行非線性變換以獲得中間融合特征；

將所述中間融合特征、所述文本特征和所述視覺特征進行拼接處理，以生成所述直播融合特征。

3.根據權利要求1所述的直播分類方法，其特征在于，所述根據所述直播融合特征對所述待分類直播進行分類以生成所述待分類直播對應的直播類別，包括：

將所述直播融合特征輸入至預先訓練的直播分類模型之中以生成所述待分類直播對應的直播類別；其中，所述直播分類模型已學習得到直播融合特征與直播類別間的映射關系。

4.根據權利要求3所述的直播分類方法，其特征在于，所述直播分類模型通過以下步驟訓練獲得：

獲取樣本直播的樣本直播文本信息和樣本直播視頻流，并獲取所述樣本直播所屬主播的類別標簽；

提取所述樣本直播文本信息的樣本文本特征，并提取所述樣本直播視頻流的樣本視覺特征；

對所述樣本文本特征和所述樣本視覺特征進行融合以生成對應的樣本直播融合特征；

將所述樣本直播融合特征輸入至初始分類模型以生成所述樣本直播的預測類別；以及

根據所述樣本直播所屬主播的類別標簽和所述樣本直播的預測類別訓練所述初始分類模型，獲取模型參數以生成所述直播分類模型。

5.根據權利要求4所述的直播分類方法，其特征在于，所述獲取所述樣本直播所屬主播的類別標簽，包括：

獲取所述所屬主播的用戶信息，并獲取所述所屬主播在目標時間段內發布的視頻；

從所述視頻中提取文本以生成視頻文本；

將所述用戶信息和所述視頻文本進行拼接處理，并從拼接處理后的文本信息中提取文本特征；

提取所述視頻的視覺特征；

將所述拼接處理后的文本信息中的文本特征和所述視頻的視覺特征進行融合處理以生成對應的主播融合特征；

將所述主播融合特征輸入至預設的用戶分類模型以獲取所述所屬主播的類別標簽。

6.根據權利要求4所述的直播分類方法，其特征在于，所述根據所述樣本直播所屬主播的類別標簽和所述樣本直播的預測類別訓練所述初始分類模型，獲取模型參數以生成所述直播分類模型，包括：

根據預設的損失函數計算所述預測類別與所述類別標簽之間的損失值；

根據所述損失值和預設的目標函數對所述初始分類模型進行直播分類訓練，獲取模型參數以生成所述直播分類模型。

7.根據權利要求1至6中任一項所述的直播分類方法，其特征在于，所述獲取待分類直播的直播文本信息，包括：

獲取所述待分類直播的語音流，并對所述語音流進行語音識別以得到對應的語音文本；

獲取針對所述待分類直播的文本信息；

將所述語音文本和針對所述待分類直播的文本信息進行拼接處理，獲得所述待分類直播的直播文本信息。

8.一種直播分類裝置，其特征在于，包括：

獲取模塊，被配置為獲取待分類直播的直播文本信息和直播視頻流；

特征提取模塊，被配置為提取所述直播文本信息的文本特征，并提取所述直播視頻流的視覺特征；

特征融合模塊，被配置為對所述文本特征和所述視覺特征進行融合以生成對應的直播融合特征；

直播分類模塊，被配置為根據所述直播融合特征對所述待分類直播進行分類以生成所述待分類直播對應的直播類別。