[發(fā)明專利]基于區(qū)塊鏈的多媒體處理方法及相關設備

有效

• 申請?zhí)枺?/td>: 202110242681.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112597321B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 謝日輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06F16/438;G06F21/64;G06K9/62
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 李華;王琦

1.一種基于區(qū)塊鏈的多媒體處理方法，其特征在于，包括：

對目標多媒體進行特征提取，得到所述目標多媒體的特征數據，并在特征提取之后，將所述目標多媒體的特征數據上傳到區(qū)塊鏈中；

從所述區(qū)塊鏈中獲取已發(fā)布多媒體的特征數據，所述特征數據包括所對應多媒體在至少兩個特征維度上的特征信息，所述特征信息包括視頻語義信息以及旋律特征信息，所述視頻語義信息包括相關聯的視頻幀的物體標簽、物體標簽所指示物體在視頻幀中的位置信息和該視頻幀在視頻幀序列中的位置信息；

根據所述目標多媒體的特征數據和所述已發(fā)布多媒體的特征數據，計算所述目標多媒體與所述已發(fā)布多媒體的相似度；

根據所述目標多媒體與所述已發(fā)布多媒體的相似度，確定所述目標多媒體的查重結果；

所述對目標多媒體進行特征提取，得到所述目標多媒體的特征數據，包括：

獲取所述目標多媒體的視頻幀序列；

通過神經網絡對所述視頻幀序列中的每一視頻幀進行圖像識別，得到所述每一視頻幀對應的物體標簽；

將所述每一視頻幀對應的物體標簽和所述視頻幀在所述視頻幀序列中的位置信息相關聯，得到所述目標多媒體的視頻語義信息；以及

獲取所述目標多媒體中的音頻數據；

對所述音頻數據進行旋律識別，得到所述目標多媒體對應的旋律音軌信息；

其中，所述視頻語義信息為視頻語義特征向量，所述旋律音軌信息為旋律音軌特征向量，所述根據所述目標多媒體與所述已發(fā)布多媒體的相似度，確定所述目標多媒體的查重結果包括：

根據視頻語義特征向量和旋律音軌特征向量來計算目標多媒體與已發(fā)布多媒體的相似度，確定所述目標多媒體的查重結果；

所述根據所述目標多媒體與所述已發(fā)布多媒體的相似度，確定所述目標多媒體的查重結果之后，所述方法還包括：

若所述目標多媒體的查重結果指示所述目標多媒體疑似抄襲，則從所述區(qū)塊鏈中獲取第一多媒體對應的用戶標識，所述第一多媒體是所述目標多媒體對應的疑似被抄襲多媒體；

將所述目標多媒體發(fā)送至所述用戶標識對應的目標客戶端，以使所述目標客戶端所在用戶進行侵權確認。

2.根據權利要求1所述的方法，其特征在于，所述將所述目標多媒體發(fā)送至所述用戶標識對應的目標客戶端之后，所述方法還包括：

若接收到所述目標客戶端返回的侵權確認信息，對所述目標多媒體進行侵權標記或者向所述目標多媒體的作者所在客戶端發(fā)送侵權告警信息。

3.根據權利要求1所述的方法，其特征在于，所述根據所述目標多媒體與所述已發(fā)布多媒體的相似度，確定所述目標多媒體的查重結果，包括：

對于每一已發(fā)布多媒體，若根據在每一特征維度上所述目標多媒體與所述已發(fā)布多媒體的相似度，確定存在至少一個特征維度上的相似度超過所述特征維度對應的相似度閾值，則確定所述目標多媒體疑似抄襲所述已發(fā)布多媒體；若所述目標多媒體與所述已發(fā)布多媒體在每一特征維度上的相似度均不超過所述特征維度對應的相似度閾值，則確定所述目標多媒體與所述已發(fā)布多媒體不相似；

若在全部已發(fā)布多媒體中存在所述目標多媒體疑似抄襲的已發(fā)布多媒體，則生成指示所述目標多媒體疑似抄襲的查重結果；

若所述目標多媒體與全部已發(fā)布多媒體均不相似，則生成指示所述目標多媒體未抄襲的查重結果。

4.根據權利要求1所述的方法，其特征在于，所述特征維度至少包括圖像字符維度；所述特征信息包括視頻字符信息；

所述對目標多媒體進行特征提取，得到所述目標多媒體的特征數據，包括：

獲取所述目標多媒體的視頻幀序列；

對所述視頻幀序列中的每一視頻幀進行字符識別，得到每一視頻幀中所包括字符的字符信息；

組合所述視頻幀序列中每一視頻幀對應的字符信息，得到所述目標多媒體的視頻字符信息。

5.根據權利要求1所述的方法，其特征在于，所述特征維度至少包括音頻語義維度；所述特征信息包括文本信息；

所述對目標多媒體進行特征提取，得到所述目標多媒體的特征數據，包括：

獲取所述目標多媒體中的音頻數據；

對所述音頻數據進行語音識別，得到所述目標多媒體的文本信息。