[發(fā)明專利]一種面向網(wǎng)絡(luò)空間多模態(tài)大數(shù)據(jù)的特征表示學(xué)習(xí)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710645116.4
• 申請(qǐng)日: 2017-08-01
• 公開（公告）號(hào): CN107563407B
• 公開（公告）日: 2020-08-14
• 發(fā)明（設(shè)計(jì)）人: 黃震華
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 上海科律專利代理事務(wù)所(特殊普通合伙) 31290
• 代理人: 葉鳳

本發(fā)明涉及一種面向網(wǎng)絡(luò)空間多模態(tài)大數(shù)據(jù)的特征表示學(xué)習(xí)系統(tǒng)，主要包括七個(gè)部件：一個(gè)多模態(tài)樣本生成部件、三個(gè)同質(zhì)的特征抽取部件、一個(gè)數(shù)據(jù)分類部件、一個(gè)特征度量部件以及一個(gè)多任務(wù)損失函數(shù)集成部件。多模態(tài)樣本生成部件構(gòu)造具有四分量的訓(xùn)練樣本集合；三個(gè)同質(zhì)的特征抽取部件分別負(fù)責(zé)處理訓(xùn)練樣本的前三個(gè)分量數(shù)據(jù)，并產(chǎn)生三個(gè)一維的特征向量；數(shù)據(jù)分類部件對(duì)訓(xùn)練樣本前三個(gè)分量數(shù)據(jù)進(jìn)行分類學(xué)習(xí)，并基于第四分量數(shù)據(jù)構(gòu)造分類任務(wù)損失函數(shù)；特征度量部件對(duì)訓(xùn)練樣本前三個(gè)分量數(shù)據(jù)進(jìn)行特征度量學(xué)習(xí)，并構(gòu)造度量任務(wù)損失函數(shù)；而多任務(wù)損失函數(shù)集成部件實(shí)現(xiàn)不同任務(wù)的加權(quán)合成，并優(yōu)化系統(tǒng)參數(shù)。與現(xiàn)有方法相比，本發(fā)明具有模態(tài)多樣、準(zhǔn)確度高、泛化能力強(qiáng)、實(shí)施便捷等優(yōu)點(diǎn)，能夠有效應(yīng)用于輿情監(jiān)控、互聯(lián)網(wǎng)醫(yī)療、個(gè)性化推薦以及智能問答等領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種多模態(tài)大數(shù)據(jù)的特征表示學(xué)習(xí)技術(shù)。

背景技術(shù)

近些來，隨著物聯(lián)網(wǎng)、云計(jì)算和社交網(wǎng)絡(luò)等技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)空間中的大數(shù)據(jù)越發(fā)顯現(xiàn)4“V”(Volume、Velocity、Variety、Veracity)特性。Google公司每月需處理的數(shù)據(jù)量超過500PB；百度每天大約要處理幾十PB數(shù)據(jù)；Facebook注冊(cè)用戶超過15億，每月上傳的照片超過20億張，每天生成400TB以上的日志數(shù)據(jù)。根據(jù)國際數(shù)據(jù)公司IDC的測算，2017年網(wǎng)絡(luò)空間將產(chǎn)生2000EB的數(shù)據(jù)，2018年會(huì)增長40％，達(dá)到2800EB，截至2020年，將會(huì)達(dá)到35000EB，超出了目前磁盤空間的存儲(chǔ)能力。

隨著日積月累，網(wǎng)絡(luò)空間大數(shù)據(jù)，特別是來源于社交網(wǎng)絡(luò)平臺(tái)的大數(shù)據(jù)，蘊(yùn)含著豐富的社會(huì)信息，其中包含著大量重要社會(huì)事件線索信息的網(wǎng)絡(luò)映射，而這些網(wǎng)絡(luò)映射信息通常看似雜亂無章的。深度分析和挖掘網(wǎng)絡(luò)空間大數(shù)據(jù)，快速精準(zhǔn)地發(fā)現(xiàn)其中所暗含的隱性線索與規(guī)律，進(jìn)而在現(xiàn)有被發(fā)現(xiàn)線索的基礎(chǔ)上，有效預(yù)測社會(huì)事件未來發(fā)展的態(tài)勢(shì)，是促進(jìn)國家社會(huì)治安穩(wěn)定和知識(shí)經(jīng)濟(jì)可持續(xù)發(fā)展的重要手段。研究人員發(fā)現(xiàn)，特征抽取和表示是網(wǎng)絡(luò)空間大數(shù)據(jù)內(nèi)容理解的語義基礎(chǔ)，其合理性和正確性將很大程度影響隱性線索與規(guī)律挖掘的準(zhǔn)確性。

目前，學(xué)術(shù)界和工業(yè)界通常采用基于統(tǒng)計(jì)學(xué)習(xí)或基于淺層機(jī)器學(xué)習(xí)的方法來提取和表示網(wǎng)絡(luò)空間大數(shù)據(jù)的特征，這些方法在一定程度上能夠?qū)W(wǎng)絡(luò)空間大數(shù)據(jù)進(jìn)行內(nèi)容理解。然而，我們發(fā)現(xiàn)現(xiàn)有的這些方法基本上都是針對(duì)網(wǎng)絡(luò)空間中的某一類單模態(tài)大數(shù)據(jù)，如結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)、圖片數(shù)據(jù)或視頻數(shù)據(jù)，而沒有涉及同時(shí)處理多個(gè)模態(tài)并存的網(wǎng)絡(luò)空間大數(shù)據(jù)，并且當(dāng)網(wǎng)絡(luò)空間大數(shù)據(jù)包括噪聲時(shí)，現(xiàn)有方法的準(zhǔn)確度和泛化能力都比較差。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了解決上述現(xiàn)有方法存在的缺陷，提出一種面向網(wǎng)絡(luò)空間多模態(tài)大數(shù)據(jù)的特征表示學(xué)習(xí)系統(tǒng)。與現(xiàn)有方法相比，本發(fā)明具有模態(tài)多樣、準(zhǔn)確度高、泛化能力強(qiáng)、實(shí)施便捷等優(yōu)點(diǎn)，能夠有效應(yīng)用于輿情監(jiān)控、互聯(lián)網(wǎng)醫(yī)療、個(gè)性化推薦以及智能問答等領(lǐng)域。

本發(fā)明可以通過以下技術(shù)方案來實(shí)現(xiàn):

本發(fā)明提出一種面向網(wǎng)絡(luò)空間多模態(tài)大數(shù)據(jù)的特征表示學(xué)習(xí)系統(tǒng)，其邏輯結(jié)構(gòu)如圖1所示，包括七個(gè)部件：一個(gè)多模態(tài)樣本生成部件、三個(gè)同質(zhì)的特征抽取部件、一個(gè)數(shù)據(jù)分類部件、一個(gè)特征度量部件以及一個(gè)多任務(wù)損失函數(shù)集成部件。

1.多模態(tài)樣本生成部件，產(chǎn)生特征表示學(xué)習(xí)需要的訓(xùn)練樣本集合，所構(gòu)造的每個(gè)訓(xùn)練樣本均具有四個(gè)分量，其中前三個(gè)分量的每一分量可以是如下四個(gè)模態(tài)類型的任意一類數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)、圖片數(shù)據(jù)以及視頻數(shù)據(jù)，而第四分量為該訓(xùn)練樣本對(duì)應(yīng)的類標(biāo)簽。同時(shí)，每個(gè)訓(xùn)練樣本的前兩個(gè)分量所對(duì)應(yīng)的數(shù)據(jù)具有強(qiáng)相關(guān)性，而第三個(gè)分量所對(duì)應(yīng)的數(shù)據(jù)與前兩個(gè)分量所對(duì)應(yīng)的數(shù)據(jù)具有弱相關(guān)性。(如果兩個(gè)數(shù)據(jù)項(xiàng)描述的是同一個(gè)對(duì)象，那么稱這兩個(gè)數(shù)據(jù)項(xiàng)是強(qiáng)相關(guān)性的。如果兩個(gè)數(shù)據(jù)項(xiàng)描述的是不同的對(duì)象，那么稱這兩個(gè)數(shù)據(jù)項(xiàng)是弱相關(guān)性的。

2.三個(gè)特征抽取部件(特征抽取部件1-3)是同質(zhì)的，即具有相同的邏輯結(jié)構(gòu)。