[發(fā)明專利]融合視頻感知的多任務(wù)協(xié)同識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810744934.4
• 申請日: 2018-07-09
• 公開（公告）號: CN108846384A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設(shè)計(jì)）人: 明悅
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種融合視頻感知的多任務(wù)識別方法，其特征在于，包括如下步驟：

步驟S110：結(jié)合生物視覺感知機(jī)理，基于多源異構(gòu)視頻數(shù)據(jù)特征協(xié)同的共享語義機(jī)制，提取多源異構(gòu)視頻數(shù)據(jù)的通用特征；

步驟S120：利用適境計(jì)算理論，建立任務(wù)協(xié)同的特征關(guān)聯(lián)學(xué)習(xí)機(jī)制，對所述多源異構(gòu)視頻數(shù)據(jù)的通用特征作為先驗(yàn)知識進(jìn)行持續(xù)學(xué)習(xí)，生成適境感知的任務(wù)關(guān)聯(lián)預(yù)測模型；

步驟S130：針對長時(shí)輸入視頻流，結(jié)合所述適境感知的任務(wù)關(guān)聯(lián)預(yù)測模型建立長時(shí)依賴的生成記憶模型，建立基于協(xié)同動(dòng)力學(xué)的深度自主半監(jiān)督持續(xù)識別體系，實(shí)現(xiàn)多任務(wù)識別。

2.根據(jù)權(quán)利要求1所述的融合視頻感知的多任務(wù)識別方法，其特征在于，所述步驟S110中，所述多源異構(gòu)視頻數(shù)據(jù)特征協(xié)同的共享語義機(jī)制包括：

建立基于多源異構(gòu)視頻數(shù)據(jù)的基元協(xié)同、基于時(shí)間同步的字典協(xié)同和基于語義相似的主題協(xié)同的三級特征協(xié)同機(jī)制，結(jié)合多源異構(gòu)視頻數(shù)據(jù)的屬性，建立多源異構(gòu)視頻數(shù)據(jù)特征協(xié)同模型，確定維度規(guī)整的共享語義關(guān)聯(lián)關(guān)系；其中，

基于多源異構(gòu)視頻數(shù)據(jù)的基元協(xié)同包括：利用獨(dú)立分量分析訓(xùn)練視頻圖像基元，利用Gabor函數(shù)對所述視頻圖像基元依此匹配，估計(jì)每個(gè)所述視頻圖像基元對應(yīng)的尺度和方向，提取視頻圖像的基元特征，實(shí)現(xiàn)視頻圖像內(nèi)部結(jié)構(gòu)的時(shí)空域有效編碼；

基于時(shí)間同步的字典協(xié)同包括：使用局部線性編碼，利用局部距離作為稀疏基函數(shù)的正則項(xiàng)，計(jì)算原始字典的最佳響應(yīng)信號，再利用該最佳響應(yīng)信號計(jì)算可行的字典搜索方向，完成一次字典更新，為每個(gè)數(shù)據(jù)信道建立一個(gè)編碼概念流，作為復(fù)雜事件的參考語義編碼，將新輸入的低層特征流與所述參考語義編碼流進(jìn)行動(dòng)態(tài)時(shí)間規(guī)整，產(chǎn)生時(shí)間平移函數(shù)，實(shí)現(xiàn)字典語義對齊；

基于語義相似的主題協(xié)同包括：采用隱語義分析，構(gòu)建字典和視頻圖像基元特征之間的共生矩陣，利用隱節(jié)點(diǎn)將主題對應(yīng)的語義概念具體化，通過概率推理方法實(shí)現(xiàn)對詞匯、主題節(jié)點(diǎn)和場景映射關(guān)系描述，將主題分布下的視頻條件概率，作為特定類別相似度，計(jì)算真實(shí)詞匯與場景之間概率與預(yù)測概率的似然函數(shù)。

3.根據(jù)權(quán)利要求2所述的融合視頻感知的多任務(wù)識別方法，其特征在于，所述建立多源異構(gòu)視頻數(shù)據(jù)特征協(xié)同模型，確定維度規(guī)整的共享語義關(guān)聯(lián)關(guān)系包括：

假設(shè)有C類異構(gòu)信道特征，將i(i＝1,...,C),記為n_i個(gè)訓(xùn)練樣本的特征矩陣，數(shù)據(jù)噪聲部分為E，Γ為旋轉(zhuǎn)因子，建立正交約束下的優(yōu)化函數(shù)：

其中，λ表示共享矩陣系數(shù)，_T表示矩陣進(jìn)行轉(zhuǎn)置運(yùn)算，Y_i表示第i個(gè)特征類別標(biāo)注，F(xiàn)表示Frobenius范數(shù)，表示投影矩陣Θ_i的轉(zhuǎn)置，α、β、μ₁和μ₂為乘數(shù)因子，rank(X)為特征矩陣X的秩；

獲得通用語義特征低維流形子空間{Θ_i}、統(tǒng)一框架下的語義共享矩陣W₀和特定特征模塊矩陣{W_i}，利用最小二乘法用于求解預(yù)測損失函數(shù)R₁(W₀,{W_i},{Θ_i})、重構(gòu)損失函數(shù)R₂({Θ_i})和正則函數(shù)R₃(W₀,{W_i})的聯(lián)合最優(yōu)解；

通過將新輸入的多源異構(gòu)視頻數(shù)據(jù)向特征空間投影提取同維度的高層通用特征描述，建立共享語義關(guān)聯(lián)關(guān)系。