[發(fā)明專利]獲取標(biāo)簽的方法、裝置和系統(tǒng)，及計算機終端在審
| 申請?zhí)枺?/td> | 202011264461.1 | 申請日： | 2020-11-12 |
| 公開（公告）號： | CN114493735A | 公開（公告）日： | 2022-05-13 |
| 發(fā)明（設(shè)計）人： | 利明;劉宇;王彬;潘攀 | 申請（專利權(quán)）人： | 阿里巴巴集團控股有限公司 |
| 主分類號： | G06Q30/06 | 分類號： | G06Q30/06;G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京博浩百睿知識產(chǎn)權(quán)代理有限責(zé)任公司 11134 | 代理人： | 謝湘寧;張文華 |
| 地址： | 英屬開曼群島大開*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 獲取 標(biāo)簽 方法 裝置 系統(tǒng) 計算機 終端 | ||
1.一種獲取標(biāo)簽的方法，其特征在于，包括：
獲取目標(biāo)對象的對象信息；
基于所述對象信息，獲取對應(yīng)所述目標(biāo)對象的多模態(tài)媒體信息，其中，所述多模態(tài)媒體信息包括如下至少兩種類型的信息：視頻、音頻和文本；
采用多模態(tài)識別模型對所述目標(biāo)對象的多模態(tài)媒體信息進行標(biāo)簽識別處理，生成標(biāo)簽特征；
采用多標(biāo)簽分類器分析所述標(biāo)簽特征，生成與所述目標(biāo)對象匹配的標(biāo)簽。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，采用多模態(tài)識別模型處理所述目標(biāo)對象的多模態(tài)媒體信息，生成標(biāo)簽特征，包括：
提取所述多模態(tài)媒體信息中不同模態(tài)下的特征；
對不同模態(tài)下提取到的特征進行特征融合，生成所述標(biāo)簽特征。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在對所述多模態(tài)媒體信息中的視頻、音頻和文本均進行特征提取的情況下，采用神經(jīng)網(wǎng)絡(luò)模型中的多層Transformer的結(jié)構(gòu)，將所述視頻、音頻和文本中提取到的特征序列進行融合，融合成一個所述標(biāo)簽特征。
4.根據(jù)權(quán)利要求1至3中任意一項所述的方法，其特征在于，在采用多模態(tài)識別模型對所述目標(biāo)對象的多模態(tài)媒體信息進行標(biāo)簽識別處理之前，所述方法還包括：
采用神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本數(shù)據(jù)，構(gòu)建得到所述多模態(tài)識別模型，其中，所述樣本數(shù)據(jù)為歷史時間段內(nèi)播放的目標(biāo)對象的歷史媒體信息，以及針對所述歷史媒體信息標(biāo)注的標(biāo)簽信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在采用神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練樣本數(shù)據(jù)，構(gòu)建得到所述多模態(tài)識別模型之前，所述方法還包括：
獲取所述歷史時間段內(nèi)播放的目標(biāo)對象的對象信息；
基于所述歷史時間段內(nèi)播放的目標(biāo)對象的對象信息，獲取所述歷史時間段內(nèi)產(chǎn)生的與所述目標(biāo)對象關(guān)聯(lián)的歷史媒體信息和歷史標(biāo)簽信息，其中，所述歷史媒體信息的類型包括如下至少兩種類型：視頻信息、音頻信息和文本信息；
將所述歷史媒體信息和對應(yīng)的歷史標(biāo)簽信息作為所述樣本數(shù)據(jù)輸入至所述神經(jīng)網(wǎng)絡(luò)模型。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在獲取所述歷史時間段內(nèi)產(chǎn)生的與所述目標(biāo)對象關(guān)聯(lián)的歷史媒體信息和歷史標(biāo)簽信息之后，所述方法還包括如下至少之一：
將所述歷史媒體信息和歷史標(biāo)簽信息中不滿足條件的信息進行刪除；
將所述歷史媒體信息和歷史標(biāo)簽信息中的重復(fù)內(nèi)容進行合并；
將所述歷史媒體信息和歷史標(biāo)簽信息中的錯誤內(nèi)容進行更新；
將所述歷史媒體信息和歷史標(biāo)簽信息中的遺漏內(nèi)容進行補充。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：
從所述歷史媒體信息中提取所述目標(biāo)對象的產(chǎn)品圖像特征；
基于所述目標(biāo)對象的產(chǎn)品圖像特征，與預(yù)存的產(chǎn)品標(biāo)簽集合進行匹配，獲取到所述產(chǎn)品標(biāo)簽集合中與所述產(chǎn)品圖像特征匹配度最高到產(chǎn)品標(biāo)簽；
使用匹配到的產(chǎn)品標(biāo)簽替換所述歷史標(biāo)簽信息。
8.一種獲取標(biāo)簽的方法，其特征在于，包括：
展示目標(biāo)對象的對象信息；
在選擇界面中展示對應(yīng)所述目標(biāo)對象的多模態(tài)媒體信息，其中，所述多模態(tài)媒體信息基于所述對象信息而產(chǎn)生，包括如下至少兩種類型的信息：視頻、音頻和文本；
采用多模態(tài)識別模型對所述目標(biāo)對象的多模態(tài)媒體信息進行標(biāo)簽識別處理，生成標(biāo)簽特征；
采用多標(biāo)簽分類器分析所述標(biāo)簽特征，生成與所述目標(biāo)對象匹配的標(biāo)簽。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，采用多模態(tài)識別模型處理所述目標(biāo)對象的多模態(tài)媒體信息，生成標(biāo)簽特征，包括：
提取所述多模態(tài)媒體信息中不同模態(tài)下的特征；
對不同模態(tài)下提取到的特征進行特征融合，生成所述標(biāo)簽特征。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于阿里巴巴集團控股有限公司，未經(jīng)阿里巴巴集團控股有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011264461.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 同類專利
- 專利分類
