[發明專利]基于全局到局部的感受野搜索的動作分割模型獲取方法

有效

• 申請號: 202110004845.8
• 申請日: 2021-01-04
• 公開（公告）號: CN112883776B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 程明明;高尚華;韓琦
• 申請（專利權）人: 南開大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/774;G06N3/12
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李圣梅

1.基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，包括：

獲取分割視頻數據集，針對分割視頻數據集，基于分割網絡拓撲結構及隨機初始化感受野膨脹率進行全局搜索，利用遺傳算法的方法來尋找粗略感受野組合，基于遺傳的全局搜索包括選擇，交叉，突變過程；

利用粗略的網絡感受野組合重新初始化分割網絡拓撲結構；

基于分割視頻數據集與重新初始化的分割網絡拓撲結構，進行局部搜索，進行局部搜索時以預期指導的迭代局部搜索，以確定在全局搜索結構之上的更精細的膨脹率，得到性能更優的感受野組合；

利用局部搜索得到的感受野組合重新初始化分割網絡拓撲結構，利用分割視頻數據集進行完整的分割網絡訓練，獲得訓練后的分割網絡模型。

2.如權利要求1所述的基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，將待分割視頻輸入至訓練后的分割網絡模型進行視頻動作分割。

3.如權利要求1所述的基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，分割網絡拓撲結構具有L個卷積層，并且D是每一層中可能的膨脹率集合，每一層共L個感受野的組合表示為集合C，全局搜索的感受野搜索空間設置為D_g＝{d_i＝kⁱ,i∈[0,1,…T]}，其中k是所述搜索空間稀疏的控制器，T決定了最大可用感受野。

4.如權利要求1所述的基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，基于遺傳的全局搜索包括選擇，交叉，突變過程；其中，選擇操作：感受野組合的總體描述為一組候選結構P＝{C_i,i∈[1,M]}，其中C_i是全局搜索空間中的候選結構，M是種群個體數；

選擇操作選擇P中每個個體基于每個個體結構的估計性能：E(C_i)＝f(V|C_i,θ_n)；

其中f用來評價指標，V是交叉驗證集，模型訓練n輪的參數為θ_n，每個C_i將被選擇用于交叉操作，其被選擇概率為：

進一步的，交叉操作：此操作將生成新的感受野組合樣本，種群P中的每兩個組合都交換組合為新的模式，同時保持局部結構，代替隨機交換單個點，選擇交換感受野組合的隨機部分片段，具體來說，隨機選擇兩個錨點并在錨點內交換片段組合以生成新樣本；

進一步的，變異操作：變異操作通過概率選擇每個個體，以避免陷入局部最優結果，在所選個體的感受野組合中隨機更改值來實現。

5.如權利要求1所述的基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，進行局部搜索時以預期指導的迭代局部搜索，以確定在全局搜索結構之上的更精細的膨脹率；

假設第1層的感受野是D_l，利用卷積權重共享方案來強制學習感受野的重要權重w_i，以近似于概率質量函數；

獲得的近似概率質量函數時，首先在初始膨脹率附近均勻采樣S個卷積膨脹率，得到T_l＝{d_i|i∈[1,S]}，其中d_i＝D_l-ΔD_l+(i-1)·2ΔD_l/(S-1)，ΔD_l用來控制精細程度；

接著，基于由共享卷積權重和多個具有不同感受野膨脹率的分支組成的多層網絡，每個分支都有唯一的權重來確定重要性，在搜索過程中，權重會使用梯度反向傳播進行更新。

6.如權利要求5所述的基于全局到局部的感受野搜索的動作分割模型獲取方法，其特征是，更新之后，將多層卷積層中的膨脹率設置為T_l，則標準化的近似概率密度函數PMF表示為：則確定搜索到的期望感受野為