[發(fā)明專利]一種跨媒體數(shù)據(jù)共享表示方法及用戶行為分析方法、系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010562482.5
• 申請日: 2020-06-18
• 公開（公告）號: CN111708745A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計）人: 賈全燁;閆龍川;高德荃;趙子巖;黃震
• 申請（專利權(quán)）人: 全球能源互聯(lián)網(wǎng)研究院有限公司;國家電網(wǎng)有限公司信息通信分公司;國家電網(wǎng)有限公司;國網(wǎng)山東省電力公司
• 主分類號: G06F16/176
• 分類號: G06F16/176;G06F21/62;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 胡曉靜

本發(fā)明提供了一種跨媒體數(shù)據(jù)共享表示方法及用戶行為分析方法、系統(tǒng)，該跨媒體數(shù)據(jù)共享表示方法包括：獲取跨媒體數(shù)據(jù)，跨媒體數(shù)據(jù)包括圖像和文本兩種類型的媒體數(shù)據(jù)；使用多模式深度置信網(wǎng)絡(luò)對跨媒體數(shù)據(jù)中每種媒體類型進行媒體間獨立表征學(xué)習(xí)，得到每種媒體類型對應(yīng)的媒體間獨立表示；使用堆疊式自動編碼器對跨媒體數(shù)據(jù)進行媒體內(nèi)獨立表征學(xué)習(xí)，得到每種媒體類型對應(yīng)的媒體內(nèi)獨立表示；將每種媒體類型對應(yīng)的媒體間獨立表示和媒體內(nèi)獨立表示進行分層組合，得到跨媒體數(shù)據(jù)的共享表示。通過保留媒體間數(shù)據(jù)的關(guān)聯(lián)信息，并學(xué)習(xí)跨媒體相關(guān)性來獲得共享表示，可以捕獲復(fù)雜的跨媒體相關(guān)性，使得該共享表示方法能夠適用于復(fù)雜跨媒體數(shù)據(jù)的場景。

技術(shù)領(lǐng)域

本發(fā)明涉及跨媒體數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種跨媒體數(shù)據(jù)共享表示方法及用戶行為分析方法、系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)上各種類型的數(shù)據(jù)(包括圖像，文本，語音和視頻等)大量爆炸。人們通過使用聚類、分類和關(guān)聯(lián)規(guī)則等機器學(xué)習(xí)方法來分析這些數(shù)據(jù)，發(fā)現(xiàn)隱藏信息，從而得到有價值的知識。多種類型數(shù)據(jù)間常常存在關(guān)聯(lián)信息，因此，在對多種類型數(shù)據(jù)即跨媒體數(shù)據(jù)進行分析時就需要對跨媒體數(shù)據(jù)進行處理以得到不同媒體數(shù)據(jù)之間的相關(guān)性。

目前，傳統(tǒng)的跨媒體處理方法主要依靠公共空間學(xué)習(xí)，但這類方法大部分基于線性投影，無法完全對跨媒體數(shù)據(jù)的內(nèi)在相關(guān)性建模。受到深度神經(jīng)網(wǎng)絡(luò)在單媒體檢索和圖像分類等分類中的啟發(fā)，深度神經(jīng)網(wǎng)絡(luò)已被應(yīng)用于跨媒體檢索，用于將跨媒體數(shù)據(jù)轉(zhuǎn)換為共享表示，進而衡量跨媒體數(shù)據(jù)的相似性。利用深度神經(jīng)網(wǎng)絡(luò)進行跨媒體數(shù)據(jù)共享表示的方法主要分為兩個學(xué)習(xí)階段，第一個階段是為每種媒體類型生成單獨的表示形式。然而，現(xiàn)有的方法僅對媒體內(nèi)信息建模，卻忽略媒體間的相關(guān)性，而跨媒體數(shù)據(jù)的處理著重于不同媒體類型之間的相關(guān)性，而中間媒體表示提供重要的信息，應(yīng)予以保留。第二階段是通過學(xué)習(xí)跨媒體相關(guān)性來獲得共享表示，并且現(xiàn)有方法是通過淺層網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)共享表示，然而，淺層網(wǎng)絡(luò)結(jié)構(gòu)無法捕獲復(fù)雜的跨媒體的相關(guān)性。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供了一種跨媒體數(shù)據(jù)共享表示方法、系統(tǒng)，以克服現(xiàn)有技術(shù)中的跨媒體數(shù)據(jù)共享表示方法采用淺層網(wǎng)絡(luò)結(jié)構(gòu)無法捕獲復(fù)雜的跨媒體的相關(guān)性，從而難以適用于挖掘復(fù)雜跨媒體關(guān)聯(lián)的問題。

本發(fā)明實施例提供了一種跨媒體數(shù)據(jù)共享表示方法，包括：獲取跨媒體數(shù)據(jù)，所述跨媒體數(shù)據(jù)包括圖像和文本兩種類型的媒體數(shù)據(jù)；使用多模式深度置信網(wǎng)絡(luò)對所述跨媒體數(shù)據(jù)中每種媒體類型進行媒體間獨立表征學(xué)習(xí)，得到每種媒體類型對應(yīng)的媒體間獨立表示；使用堆疊式自動編碼器對所述跨媒體數(shù)據(jù)進行媒體內(nèi)獨立表征學(xué)習(xí)，得到每種媒體類型對應(yīng)的媒體內(nèi)獨立表示；將所述每種媒體類型對應(yīng)的所述媒體間獨立表示和所述媒體內(nèi)獨立表示進行分層組合，得到所述跨媒體數(shù)據(jù)的共享表示。

可選地，所述使用多模式深度置信網(wǎng)絡(luò)對所述跨媒體數(shù)據(jù)中每種媒體類型進行媒體間獨立表征學(xué)習(xí)，得到每種媒體類型對應(yīng)的媒體間獨立表示，包括：通過兩個完全相同的雙層深度置信網(wǎng)絡(luò)分別對每種媒體類型進行建模，所述雙層深度置信網(wǎng)絡(luò)由高斯受限玻爾茲曼機和軟副本模型構(gòu)成，其中，高斯受限玻爾茲曼機用于對圖像特征的分布進行建模，軟副本模型用于對文本特征的分布進行建模；使用受限玻爾茲曼機設(shè)置在所述兩個雙層深度置信網(wǎng)絡(luò)的頂部，對兩種媒體類型的數(shù)據(jù)聯(lián)合分布進行建模，得到每種媒體類型對應(yīng)的媒體間獨立表示。

可選地，利用最小化重構(gòu)誤差對所述堆疊式自動編碼器進行訓(xùn)練，得到每種媒體類型對應(yīng)的媒體內(nèi)獨立表示。

可選地，將所述每種媒體類型對應(yīng)的所述媒體間獨立表示和所述媒體內(nèi)獨立表示進行分層組合，得到所述跨媒體數(shù)據(jù)的共享表示，包括：使用聯(lián)合受限玻爾茲曼機將每種媒體類型對應(yīng)的所述媒體間獨立表示和所述媒體內(nèi)獨立表示進行結(jié)合，得到每種媒體類型的聯(lián)合層中間表示；使用多個堆疊的雙峰自動編碼對每種媒體類型的聯(lián)合層中間表示進行跨媒體相關(guān)性的學(xué)習(xí)，得到所述跨媒體數(shù)據(jù)的共享表示。