[發明專利]融合靜態信息與動態信息的視頻序列分割方法

有效

• 申請號: 201710190220.9
• 申請日: 2017-03-27
• 公開（公告）號: CN107045722B
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 韓冰;張麗霞;嚴月;連慧芳;高新波;王平;韓怡園
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/90;G06K9/62
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

1.融合靜態信息與動態信息的視頻序列分割方法，包括：

(1)從Polar衛星攜帶的紫外成像儀所拍攝的紫外極光圖像中，選取形態相似且時間上連續的紫外極光圖像構成10個紫外極光序列，每個紫外極光序列包含20張紫外極光圖像；

(2)在空域上對10個紫外極光序列進行分割：

(2a)從每一個紫外極光序列中都隨機選出10張紫外極光圖像，得到100張紫外極光圖像，手動標注出這100張紫外極光圖像的極光卵邊界，作為標準結果，并用這100張紫外極光圖像及其對應的標準結果共同構成訓練樣本集，用10個紫外極光序列中剩下的100張紫外極光圖像構成測試樣本集；

(2b)在訓練樣本集和測試樣本集中的每一幅紫外極光圖像上用眼動儀得到注視點，并將注視點連成閉合曲線；

(2c)沿著步驟(2b)中得到的曲線對訓練樣本集中的每一幅紫外極光圖像滑動取塊，得到訓練塊，記下每一個塊的位置，并根據這些塊的位置在每一幅紫外極光圖像對應的標準結果上也取相同尺寸的塊，作為標準塊，將這些訓練塊和對應的標準塊構成塊字典；

(2d)沿著步驟(2b)中得到的曲線對測試樣本集中的每一幅紫外極光圖像滑動取塊，得到測試塊，記下每一個塊的位置；

(2e)從步驟(2c)得到的塊字典中找到與步驟(2d)中每一個測試塊最相似的訓練塊，并將這個訓練塊對應的標準塊放到該測試塊所在紫外極光圖像上的相應位置；

(2f)重復步驟(2e)，直到步驟(2d)中所有測試塊所在的紫外極光圖像的相應位置都放上標準塊，即得到紫外極光序列的空域分割結果；

(3)在時域上對10個紫外極光序列進行分割：

(3a)以紫外極光序列的每一幀紫外極光圖像作為輸入，用K-means算法按灰度值將輸入圖像聚成三類，并用不同顏色標注，得到輸入圖像的初始標記圖像；

(3b)用格子玻爾茲曼模型LBM求得紫外極光序列相鄰幀之間的粒子運動場，并將運動場用彩色圖像顯示出來；

(3c)以(3b)中得到的粒子運動場圖像作為輸入，用分水嶺算法將輸入圖像分割成許多區域；

(3d)根據(3a)中得到的初始標記圖像應用區域合并算法對(3c)中的區域進行合并，得到紫外極光序列的時域分割結果；

(4)將步驟(2)得到的空域分割結果和步驟(3)得到的時域分割結果融合，即求兩種結果的并集，得到紫外極光序列的最終分割結果。

2.根據權利要求1所述的方法，其中步驟(2b)中對訓練樣本集和測試樣本集中的每一幅紫外極光圖像用眼動儀得到注視點，是將紫外極光圖像呈現在眼動儀顯示屏的屏幕上；選擇對紫外極光圖像熟悉的人作為被試者，并讓該被試者看屏幕上紫外極光圖像的極光卵，眼動儀會捕捉到被試者在紫外極光圖像上的注視點，并記錄其位置。

3.根據權利要求1所述的方法，其中步驟(2e)中從步驟(2c)得到的塊字典中找到與步驟(2d)中每一個測試塊最相似的訓練塊，按如下步驟進行：

(2e1)提取任意一個測試塊的局部二值模式特征h₁、局部定向模式特征h₂、加速魯棒特征h₃及卷積神經網絡特征h₄，得到測試塊的列向量：H＝{h₁，h₂，h₃，h₄}^T，其中T表示轉置；

(2e2)提取塊字典中第j個訓練塊的局部二值模式特征w_j1、局部定向模式特征w_j2、加速魯棒特征w_j3及卷積神經網絡特征w_j4，得到塊字典中第j個訓練塊的列向量：W_j＝{w_j1，w_j2，w_j3，w_j4}^T，其中，j＝1,2,...，q，q為塊字典中訓練塊的總個數；

(2e3)求H到W_j的歐式距離：b＝||(H-W_j)||₂，當b最小時，記下此時的W_j，該W_j所對應的訓練塊就是與該測試塊最相似的。