[發明專利]音頻可視化模型訓練及音頻可視化方法、裝置及設備

有效

• 申請號: 202110493845.9
• 申請日: 2021-05-07
• 公開（公告）號: CN113157965B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 展麗霞;肖強;孔昭陽;董家驥;李勇
• 申請（專利權）人: 杭州網易云音樂科技有限公司
• 主分類號: G06F16/64
• 分類號: G06F16/64;G06F16/61
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 張燕

1.一種音頻可視化模型訓練方法，其特征在于，該方法包括：

獲取訓練樣本，所述訓練樣本包括用戶信息、用戶歷史播放視頻、目標音頻、目標視頻、表征所述目標音頻和目標視頻是否相關聯的關系標簽；

將所述訓練樣本輸入音頻可視化模型，對所述目標音頻進行特征提取，得到所述目標音頻的第一特征表示；

對所述用戶信息、用戶歷史播放視頻與目標視頻的關系進行特征提取得到用戶特征、用戶興趣表達特征，對所述目標視頻進行特征提取得到第二特征表示，將所述用戶特征、所述用戶興趣表達特征和所述第二特征表示聯合處理得到第三特征表示；

確定所述第一特征表示和所述第三特征表示之間的相似度；

根據所述相似度及所述訓練樣本中的關系標簽，更新所述音頻可視化模型的參數。

2.根據權利要求1所述的方法，其特征在于，所述訓練樣本還包括知識圖譜；對目標音頻/目標視頻進行特征提取，包括：

確定所述目標音頻/目標視頻在所述知識圖譜中對應的目標節點，及確定通過邊與所述目標節點建立關聯關系的鄰居節點；

對所述鄰居節點的屬性信息、所述鄰居節點連接所述目標節點的邊對應的關聯關系進行特征提取，得到所述目標節點在所述知識圖譜中與鄰居節點的關系表達特征；

所述目標節點在所述知識圖譜中與鄰居節點的關系表達特征，包括所述目標音頻在所述知識圖譜中與鄰居節點關系表達的所述第一特征表示或所述目標視頻在所述知識圖譜中與鄰居節點關系表達的所述第二特征表示；

所述知識圖譜為將實體定義為節點，將存在關聯關系的節點通過邊連接，并根據所述關聯關系的類型確定邊的類型，根據節點的相關信息對所述節點進行屬性信息填充所構建得到的圖譜，所述實體包括音頻和視頻。

3.根據權利要求2所述的方法，其特征在于，采用如下方式構建所述知識圖譜：

定義實體類型、實體屬性信息、與不同類型關聯關系對應的邊及判定各類型的關聯關系的規則，所述實體類型包括視頻類型和音頻類型；

根據定義的所述實體類型、所述實體屬性信息，從源數據庫中抽取不同實體類型的實體作為節點，從所述節點的相關信息中抽取所述節點的屬性信息；

根據判定各類型的關聯關系的規則，確定不同節點之間是否存在關聯關系，并確定存在關聯關系時，根據關聯關系的類型利用對應類型的邊連接所述不同節點。

4.根據權利要求3所述的方法，其特征在于，還包括：

利用不同的表格分別存儲所抽取的節點、抽取的節點的屬性信息、確定的是否存在關聯關系的結果、邊的連接信息；

將所述抽取的節點作為索引項，對所述不同的表格進行融合得到該節點的表項內容，所述表項內容包括所述抽取的節點的屬性信息、所述抽取的節點所關聯的鄰居節點、所述抽取的節點所關聯的鄰居節點與所述抽取的節點的關聯關系的類型。

5.根據權利要求2所述的方法，其特征在于，對所述鄰居節點的屬性信息、所述鄰居節點連接所述目標節點的邊對應的關聯關系進行特征提取，得到所述目標節點在所述知識圖譜中與鄰居節點的關系表達特征，包括：

確定與所述目標節點屬于同一實體類型的同構鄰居節點，利用第一特征提取層對所述同構鄰居節點的屬性信息、所述同構鄰居節點連接所述目標節點的邊對應的關聯關系進行特征提取，得到所述目標節點在所述知識圖譜中與同構鄰居節點的第一關系表達特征；

確定與所述目標節點屬于不同實體類型的異構鄰居節點，利用第一特征提取層對所述異構鄰居節點的屬性信息、所述異構鄰居節點連接所述目標節點的邊對應的關聯關系進行特征提取，得到所述目標節點在所述知識圖譜中與異構鄰居接的第二關系表達特征；

利用第二特征提取層，將所述第一關系表達特征和第二關系表達特征轉換到同一向量空間，得到所述目標節點在所述知識圖譜中與所述鄰居節點的關系表達特征。