[發(fā)明專利]多媒體文件處理方法以及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810930228.9
• 申請(qǐng)日: 2018-08-15
• 公開(kāi)（公告）號(hào): CN110866128A
• 公開(kāi)（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 吳少波;易斌;高婧雯;覃廣志
• 申請(qǐng)（專利權(quán)）人: 格力電器（武漢）有限公司;珠海格力電器股份有限公司
• 主分類號(hào): G06F16/44
• 分類號(hào): G06F16/44;G06K9/62;G06N3/04
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 江舟;董文倩

本發(fā)明公開(kāi)了一種多媒體文件處理方法以及裝置。其中，該方法包括：通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容，根據(jù)文件內(nèi)容對(duì)多媒體文件進(jìn)行標(biāo)識(shí)，得到攜帶有類別標(biāo)簽的多媒體文件，根據(jù)類別標(biāo)簽對(duì)多媒體文件進(jìn)行分類，達(dá)到了對(duì)多媒體文件進(jìn)行準(zhǔn)確識(shí)別并進(jìn)行分類的目的。本發(fā)明解決了由于相關(guān)技術(shù)中需要依賴用戶手工對(duì)多媒體文件進(jìn)行處理分類，而導(dǎo)致對(duì)多媒體文件的處理效率低的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及電子信息領(lǐng)域，具體而言，涉及一種多媒體文件處理方法以及裝置。

背景技術(shù)

在視頻播放軟件和新聞門(mén)戶網(wǎng)站中，都已實(shí)現(xiàn)根據(jù)用戶瀏覽歷史自動(dòng)推薦相關(guān)視頻和新聞的功能應(yīng)用。但就家庭存儲(chǔ)系統(tǒng)來(lái)說(shuō)，通過(guò)手機(jī)、攝像機(jī)、攝影機(jī)拍攝的照片、視頻越來(lái)越多，而在電腦或移動(dòng)終端的存儲(chǔ)空間里，對(duì)上述影音文件的管理還主要依靠于用戶自行分類存儲(chǔ)，分類過(guò)程中，圖片還可以一眼分辨其種類及代表的含義，而視頻則需要依次打開(kāi)，通過(guò)瀏覽完全部才能確定其內(nèi)容種類，故分類過(guò)程費(fèi)時(shí)費(fèi)力，且不便于后續(xù)回味欣賞。

針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種多媒體文件處理方法以及裝置，以至少解決由于相關(guān)技術(shù)中需要依賴用戶手工對(duì)多媒體文件進(jìn)行處理分類，而導(dǎo)致對(duì)多媒體文件的處理效率低的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種多媒體文件處理方法，所述方法包括：通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容；根據(jù)所述文件內(nèi)容對(duì)所述多媒體文件進(jìn)行標(biāo)識(shí)，得到攜帶有類別標(biāo)簽的多媒體文件；根據(jù)所述類別標(biāo)簽對(duì)所述多媒體文件進(jìn)行分類。

進(jìn)一步地，通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容包括：在所述多媒體文件為圖片文件的情況下，對(duì)所述圖片文件中的圖像進(jìn)行圖像分割，得到多個(gè)圖像塊；基于第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述多個(gè)圖像塊的類別以及所述多個(gè)圖像塊之間的關(guān)系；根據(jù)所述多個(gè)圖像塊的類別以及所述多個(gè)圖像塊之間的關(guān)系確定所述圖片文件的圖像內(nèi)容。

進(jìn)一步地，通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容包括：在所述多媒體文件為音頻文件的情況下，獲取所述音頻文件中的音調(diào)、音色以及響度；基于第二卷積神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述音調(diào)、音色以及響度確定所述音頻文件的音頻內(nèi)容；根據(jù)所述音頻內(nèi)容確定所述音頻文件的聲源。

進(jìn)一步地，通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容包括：在所述多媒體文件為視頻文件的情況下，獲取所述視頻文件中的全部視頻幀；基于第三卷積神經(jīng)網(wǎng)絡(luò)模型確定各個(gè)視頻幀的內(nèi)容，以及所述全部視頻幀中每?jī)蓚€(gè)相鄰視頻幀的關(guān)聯(lián)關(guān)系；根據(jù)所述各個(gè)視頻幀的內(nèi)容以及所述每?jī)蓚€(gè)相鄰視頻幀的關(guān)聯(lián)關(guān)系確定所述視頻文件的視頻內(nèi)容。

進(jìn)一步地，基于第三卷積神經(jīng)網(wǎng)絡(luò)模型確定各個(gè)視頻幀的內(nèi)容包括：基于第三卷積神經(jīng)網(wǎng)絡(luò)模型提取所述視頻文件的運(yùn)動(dòng)特征和靜態(tài)特征，得到對(duì)應(yīng)于運(yùn)動(dòng)特征的預(yù)測(cè)得分和靜態(tài)特征的預(yù)測(cè)得分；根據(jù)所述運(yùn)動(dòng)特征的預(yù)測(cè)得分和所述靜態(tài)特征的預(yù)測(cè)得分進(jìn)行自適應(yīng)學(xué)習(xí)融合權(quán)重；根據(jù)自適應(yīng)學(xué)習(xí)融合權(quán)重結(jié)果確定所述視頻文件的視頻內(nèi)容。

進(jìn)一步地，在根據(jù)所述類別標(biāo)簽對(duì)所述多媒體文件進(jìn)行分類之后，所述方法還包括：接收用戶發(fā)出的查詢指令；獲取所述查詢指令中的類別標(biāo)簽；根據(jù)所述類別標(biāo)簽查詢對(duì)應(yīng)的多媒體文件。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種多媒體文件處理裝置，所述裝置包括：確定單元，用于通過(guò)訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)模型確定多媒體文件的文件內(nèi)容；處理單元，用于根據(jù)所述文件內(nèi)容對(duì)所述多媒體文件進(jìn)行標(biāo)識(shí)，得到攜帶有類別標(biāo)簽的多媒體文件；分類單元，用于根據(jù)所述類別標(biāo)簽對(duì)所述多媒體文件進(jìn)行分類。