[發(fā)明專利]利用腦成像空間特征和底層視覺特征進(jìn)行視頻聚類的方法

有效

• 申請?zhí)枺?/td>: 201210293171.9
• 申請日: 2012-08-17
• 公開（公告）號: CN102855352A
• 公開（公告）日: 2013-01-02
• 發(fā)明（設(shè)計(jì)）人: 韓軍偉;吉祥;郭雷;胡新韜
• 申請（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號: G06F17/50
• 分類號: G06F17/50
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 王鮮凱

1.一種利用腦成像空間特征和底層視覺特征進(jìn)行視頻聚類的方法，其特征在于步驟如下：

步驟1提取腦功能成像空間特征，具體步驟如下：

步驟a1：利用公式pi,j,k=Σsi,j,rsi,k,r-Σsi,j,rΣsi,k,rn(Σsi,j,r2-(Σsi,j,r)2n)(Σsi,k,r2-(Σsi,k,r)2n)]]>提取N個(gè)功能磁振圖像序列中的，第i個(gè)功能磁共振圖像序列上大腦M個(gè)區(qū)域的信號向量S_i，j和S_i，k的皮0。。。。爾森相關(guān)系數(shù)p_i，j，k，得到第i個(gè)功能磁共振圖像序列的皮爾森相關(guān)系數(shù)矩陣：

Pi=pi,1,1,pi,1,2,...,pi,1,k,...,pi,1,Mpi,2,1,pi,2,2,...,pi,2,k,...,pi,2,M...pi,j,1,pi,j,2,...,pi,j,k,...,pi,j,M...pi,M,1,pi,M,2,...pi,M,k,...,pi,M,M]]>

其中：信號向量S_i，j＝[s_i，j，1,S_i，j，2,...,s_i，j，r，...S_i，j，n]，信號向量S_i，k＝[s_i，k，1,s_i，k，2,...,s_i，k，r,...S_i，k，n]，i表示N個(gè)功能磁共振圖像序列中的第i個(gè)功能磁共振圖像序列的序號，i＝1,2,...,N，j,k=1,2，...，M，j表示第i個(gè)功能磁共振圖像序列中大腦的第j個(gè)區(qū)域的序號，k表示第i個(gè)功能磁共振圖像序列中大腦的第k個(gè)區(qū)域的序號，r表示信號向量S_i，j和S_i，k中第r個(gè)元素的序號，N∈[1,1000]，M∈[1,1000]，N表示功能磁共振圖像序列的總數(shù)，M表示功能磁共振圖像序列中大腦區(qū)域的總數(shù)；S_i，j，r表示信號向量S_i，j的第r個(gè)元素；s_i，k，r表示信號向量S_i，k的第r個(gè)元素；n表示信號向量S_i，j和S_i，k的長度；

所述N個(gè)功能磁共振圖像序列，是利用功能磁共振技術(shù)，在測試者觀看N個(gè)視頻時(shí)測得的功能磁共振圖像；

步驟b1：取皮爾森相關(guān)系數(shù)矩陣P_i上三角部分，拉伸成向量Q_i＝[q_i，1,q_i，2,...,q_i，d]，d＝(M×M)/2-M/2，然后將N個(gè)Q_i向量按行排列構(gòu)成矩陣D：

D=Q1Q2...Qi...QN=q1,1,q1,2,...,q1,dq2,1,q2,2,...,q2,d...qi,1,qi,2,...,qi,d...qN,1,qN,2,...qN,d]]>

其中，q_i，1,q_i，2,...,q_i,d表示Q_i的第1，2，…，d個(gè)元素；

步驟c1：計(jì)算矩陣D每一列元素的均值，將矩陣D的每一列元素減去該列元素的均值，得到矩陣U：

U=U1U2...Ui...UN=u1,1,u1,2,...,u1,du2,1,u2,2,...,u2,d...ui,1,ui,2,...,ui,d...uN,1,uN,2,...uN,d]]>

在矩陣U的第v列U_v=[u_1，v，u_2，v，...,u_N,v]^T中找出屬于第K類視頻的元素，并計(jì)算屬于第K類視頻的元素均值得到類內(nèi)均值向量

其中，U₁,U₂,...,U_i，...,U_N表示N個(gè)視頻對應(yīng)的功能磁共振圖像序列中提取的N個(gè)向量，N個(gè)視頻可分為C類；u_1，v,u_2，v，...,u_N,v表示U_v=[u_1，v，u_2，v，...,u_N,v]^T中的第1,2,...,N個(gè)元素，這N個(gè)元素按照對應(yīng)的C類視頻分為C類；K=1,2,...,C，K表示C類視頻中的第K類；C表示N個(gè)視頻的總類別個(gè)數(shù)；

再利用公式計(jì)算累計(jì)分布函數(shù)參數(shù)F；

利用公式g=1-1exp(gam(C-1)+gam(N-C)-gam(N-1))]]>計(jì)算參數(shù)g；

當(dāng)g＜T時(shí)，T∈(0,10000]，保留矩陣U中的第v列；否則，從矩陣U中刪除該列，得到經(jīng)過單因素方差分析選擇后的矩陣B：

B=B1B2...Bi...BN=b1,1,b1,2,...,b1,xb2,1,b2,2,...,b2,x...bi,1,bi,2,...,bi,x...bN,1,bN,2,...bN,x]]>

其中，C表示視頻的類別總數(shù)；||表示取絕對值；L＝[l₁,l₂,...,l_K,...,l_C]^T；l_K表示U_v中屬于第K類視頻的元素個(gè)數(shù)；θ為向量和L間的夾角；表示U_v的均值；上標(biāo)T表示轉(zhuǎn)置；exp表示指數(shù)函數(shù)；g＜T中的T表示閾值，T∈(0,10000]；下標(biāo)x表示從U中選取的列向量的個(gè)數(shù)；

步驟d1：遍歷矩陣B的每一列，利用相關(guān)特征選擇方法將參數(shù)的數(shù)值最高的y列構(gòu)成腦功能成像空間特征矩陣C：

C=C1C2...Ci...CN=c1,1,c1,2,...,c1,yc2,1,c2,2,...,c2,y...ci,1,ci,2,...,ci,y...cN,1,cN,2,...cN,y]]>

其中：下標(biāo)y表示從B中選取的列向量的個(gè)數(shù)；表示向量[r_1，w,r_2，w，…,r_s，w，…,r_y，w]的均值；r_s,w表示矩陣C的第s個(gè)列向量C_s與類別標(biāo)簽向量W=[1,1,1,...2,2,2,...,K，K，K,...C,C,C]^T的相關(guān)性參數(shù)；上標(biāo)T表示取向量轉(zhuǎn)置；rs,w=2.0×[Σwh∈Csp(wh)Σcsh∈Csp(cs,h|wh)log2p(cs,h|wh)-Σcs,h∈Csp(cs,h)log2p(cs,h)-Σcs,h∈Csp(cs,h)log2p(cs,h)-Σwh∈Wp(wh)log2p(wh)];]]>p(w_h)表示w_h在W中的概率分布；w_h表示向量W中的第h個(gè)元素；p(c_s,h|w_h)表示c_s,h在C_s中的條件概率分布；p(c_s，h)表示c_s，h在C_s中的概率分布；c_s，h表示向量C_s中的第h個(gè)元素；log₂表示以2為底數(shù)的對數(shù)函數(shù)；表示矩陣：

r1,1,r1,2,...,r1,o,...,r1,yr2,1,r2,2,...,r2,o,...,r2,y...rs,1,rs,2,...,rs,o,...,rs,y...ry,1,ry,2,...,ry,o,...,ry,y]]>

中所有元素的均值；r_s,o表示矩陣C的第s個(gè)列向量C_s與第o個(gè)列向量C_o的相關(guān)性參數(shù)；rs,o=2.0×[Σco,h∈Cop(co,h)Σcs,h∈Csp(cs,h|co,h)log2p(cs,h|co,h)-Σcs,h∈Csp(cs,h)log2p(cs,h)-Σcs,h∈Csp(cs,h)log2p(cs,h)-Σco,h∈Cop(co,h)log2p(co,h)];]]>c_o，h表示向量C_o中的第h個(gè)元素；p(c_o,h)表示c_o,h在C_o中的概率分布；p(c_s,h|c_o，h)表示c_s，h在C_s中的條件概率分布；

步驟2提取視頻庫中所有N_a個(gè)視頻數(shù)據(jù)的底層視覺特征向量Fv_id，具體步驟如下：

步驟a2：利用尺度不變特征變換算法提取第id個(gè)視頻第一幀的Nsi個(gè)描述向量集合FS_id＝{Fsi_id，1,Fsi_id，2,...,Fsi_id，sh，...,Fsi_id，Nsi}，sh＝1,2,...,Nsi，id＝1,2,...,N_a，N_a∈(0,100000]，Nsi∈[0,10000]，對N_a個(gè)視頻都提取描述向量集合，得到[FS1FS2,...,FSid,...,FSNa];]]>

步驟b2：利用k均值算法對進(jìn)行聚類，聚類個(gè)數(shù)為G；

步驟c2：計(jì)算FS_id＝{Fsi_id，1,Fsi_id，2,...,Fsi_id，sh，...,Fsi_id，Nsi}中分別屬于G類的向量個(gè)數(shù)[Num_id，1，Num_id，2，...,Num_id,G]，得到第id個(gè)視頻的底層視覺特征向量：Fv_id＝[Num_id，1，Num_id，2，...,Num_id,G]；

步驟3利用高斯過程回歸算法預(yù)測N_a-N個(gè)視頻數(shù)據(jù)的腦功能成像空間特征向量：

利用腦功能成像空間特征矩陣C和其對應(yīng)N個(gè)視頻的底層視覺特征[Fv₁,Fv₂,...,Fv_idp,...,Fv_N]，idp＝1,2,...,N，建立高斯過程回歸模型GPM，利用高斯過程回歸模型GPM預(yù)測得到N_a-N個(gè)視頻的腦功能成像空間特征向量：

CN+1CN+2...CNa=cN+1,1,cN+1,2,...,cN+1,ycN+2,1,cN+2,2,...,cN+2,y...cNa,1,cNa,2,...,cNa,y;]]>

步驟4利用N_a個(gè)腦功能成像空間特征向量[C₁,C₂,...,C_id,...,C_Na]和底層視覺特征[Fv₁,Fv₂,...,Fv_id,...,Fv_Na]進(jìn)行多模態(tài)譜聚類，具體步驟如下：

步驟a3：計(jì)算[C₁,C₂,...,C_id，...,C_Na]中與空間中的一個(gè)點(diǎn)C_id=(c_id，1,c_id，2，...,c_id，y)歐氏距離最近的k個(gè)點(diǎn)，并定義為近鄰關(guān)系，k=[1,10000]；再計(jì)算[Fv₁,Fv₂,...,Fv_id，...,Fv_Na]中與空間中的一個(gè)點(diǎn)Fv_id=(fv_id，1，fv_id，2，...,fv_id，y)歐氏距離最近的k個(gè)點(diǎn)，并定義為近鄰關(guān)系；其中：c_id，1，c_id，2，...c_i，d表示腦功能成像空間特征C_id中第1、2和y個(gè)元素；fv_id，1,fv_id，2，...,fv_id，y表示底層視覺特征Fv_id中第1、2和y個(gè)元素；

步驟b3：利用計(jì)算屬于近鄰關(guān)系的C_id和C_jd?兩點(diǎn)間的權(quán)重CWeight_id，jd，得到權(quán)重矩陣；

CWeight=CWeight1,1,CWeight1,2,...,CWeight1,jd,...,CWeight1,NaCWeight2,1,CWeight2,2,...,CWeight2,jd,...,CWeight2,Na...CWeightid,1,CWeightid,2,...,CWeightid,jd,...,CWeightid,Na...CWeightNa,1,CWeightNa,2,...,CWeightNa,jd,...,CWeightNa,Na]]>

同理，利用計(jì)算屬于近鄰關(guān)系Fv_i和Fv_j之間的權(quán)重FvWeight_id，jd，得到權(quán)重矩陣：

FvWeight=FvWeight1,1,FvWeight1,2,...,FvWeight1,jd,...,FvWeight1,NaFvWeight2,1,FvWeight2,2,...,FvWeight2,jd,...,FvWeight2,Na...FvWeightid,1,FvWeightid,2,...,FvWeightid,jd,...,FvWeightid,Na...FvWeightNa,1,FvWeightNa,2,...,FvWeightNa,jd,...,FvWeightNa,Na]]>

其中：C_id和C_jd表示第id個(gè)視頻和第jd個(gè)視頻的腦功能成像空間特征向量；∏表示連乘積；c_id，l和c_jd，l表示C_id和C_jd的第l個(gè)元素；l＝1,2,...,y；σ_l表示一個(gè)常數(shù)，σ_l∈(0,1]；Fv_id和Fv_jd表示第id個(gè)視頻和第jd個(gè)視頻的底層視覺特征向量；Fv_id，l和Fv_jd,l表示Fv_id和Fv_jd的第l個(gè)元素；

步驟c3：在矩陣CWeight中令CWeight_id，id＝0；在矩陣FvWeight中令FvWeight_id，id＝0；再利用公式LC=DC-CWeightLFv=DFv-FvWeight]]>計(jì)00000000算CWeight和FvWeight的拉普拉斯矩陣；利用公式L_multi-modal＝LC+αI+LFv+αI計(jì)算多模態(tài)拉普拉斯矩陣L_multi-modal，大小為N_a×N_a；

其中：LC和LFv表示矩陣CWeight和FvWeight的拉普拉斯矩陣；DC表示[C₁,C₂,...,C_id，...,C_Na]中兩兩腦功能成像空間特征向量之間的歐式距離所構(gòu)成的矩陣；DFv表示[Fv₁,Fv₂,...,Fv_id，...，F(xiàn)v_Na]中兩兩底視覺層特征向量之間的歐式距離所構(gòu)成的矩陣；I表示單位矩陣，大小為N_a×N_a；α表示常數(shù)；

步驟d3：計(jì)算多模態(tài)拉普拉斯矩陣L_multi-modal的特征值和特征向量，將特征值從大到小排列，選取前C個(gè)特征值對應(yīng)的特征向量Vector₁，Vector₂,...,Vector_C，構(gòu)成矩陣VecMatrix=[Vector₁,Vector₂,...,Vector_C]，大小為N_a×C，計(jì)算矩陣VecMatrix每一行的和，然后用該行元素分別除以該行元素的和，得到矩陣VecMatrixNew，大小為N_a×C；其中：C表示視頻庫中視頻類別個(gè)數(shù)；

步驟e3：將VecMatrixNew每行中值最大的元素置為1，其余元素置為0，得到VecMatrixNew1；

步驟f3：將VecMatrixNew1的每一行視為高維空間中的一個(gè)點(diǎn)，用光譜旋轉(zhuǎn)算法對VecMatrixNew1矩陣中的N_a個(gè)點(diǎn)進(jìn)行聚類，得到類別矩陣Index，大小為N_a×C；

步驟g3：利用公式Index0=Index+0.2得到初始類別矩陣Index0，計(jì)算Indexnew=Index0×diag[[diag(Index0^T×I×Index0)]^-1]^-1/2，將Indexnew賦給Index0，再次計(jì)算Indexnew=Index0×diag[[diag(Index0^T×I×Index0)]^-1]^-1/2，將Indexnew賦給Index0，重復(fù)N_e次，N_e∈[1,10000]，得到最終的Indexnew，大小為N_a×C，計(jì)算Indexnew每行最大值所在的第cg列，將最終標(biāo)簽Indexfinal對應(yīng)行置為cg，cg∈[1,2,..,C]，Indexfinal大小為N_a×1；其中，diag表示提取矩陣的對角線元素；I表示單位向量；

步驟h3：計(jì)算Indexfinal與視頻真實(shí)類別標(biāo)簽IndexTrue的相同元素個(gè)數(shù)，除以N_a得到視頻聚類準(zhǔn)確率。