[發明專利]基于全局到局部的感受野搜索的動作分割模型獲取方法

有效

• 申請號: 202110004845.8
• 申請日: 2021-01-04
• 公開（公告）號: CN112883776B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 程明明;高尚華;韓琦
• 申請（專利權）人: 南開大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/774;G06N3/12
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李圣梅

本公開提出了基于全局到局部的感受野搜索的動作分割模型獲取方法，包括：獲取分割視頻數據集，針對分割視頻數據集，基于分割網絡拓撲結構及隨機初始化感受野膨脹率進行全局搜索，獲得粗略的網絡感受野組合；利用粗略的網絡感受野組合從新初始化分割網絡拓撲結構；基于分割視頻數據集與重新初始化的分割網絡拓撲結構，進行局部搜索，得到性能更優的感受野組合；利用局部搜索得到的感受野組合重新初始化分割網絡拓撲結構，利用分割視頻數據集進行完整的分割網絡訓練，獲得訓練后的分割網絡模型。通過迭代搜索過程，局部搜索逐漸找到了更有效的低成本細粒度感受野組合。

技術領域

本公開屬于圖像處理技術領域，尤其涉及基于全局到局部的感受野搜索的動作分割模型獲取方法。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

動作分割將每個視頻幀的動作進行細分，在諸如片段標記，視頻監視和異常檢測等計算機視覺應用中發揮重要作用。雖然各種方法不斷刷新包含單個活動的短視頻的識別性能，但是在未修剪的長視頻中密集地分割每個幀仍然具有挑戰性，因為這些視頻包含許多具有不同時間長度的活動。時間卷積網絡(TCN)具有捕獲長期和短期信息的能力，因此廣泛用于行動細分任務。時間卷積網絡中每層的感受野對于TCN至關重要，因為大的感受野有助于長期依賴性，而小的感受野則有利于局部細節。最新技術依賴于人類設計的感受野組合，每一層中的采用不同的感受野大小，以在捕獲長期和短期依賴關系之間進行權衡。

早期的動作識別方法大多使用滑動窗口來模擬外觀和動作的變化狀態。因此，他們主要關注短期依賴。捕獲短期和長期依存關系然后逐漸成為動作細分的重點。順序模型以迭代形式捕獲長期短期依賴性。貝葉斯網絡被應用來分割用隨機上下文無關文法表示的動作。隱馬爾可夫模型對狀態和持續時間之間的轉換進行建模。后來，隱馬爾可夫模型與上下文無關文法，高斯混合模型和遞歸網絡相結合以建模長期動作依存關系。序列記憶器被應用來捕獲從視頻中學到的視覺單詞中的長期依賴關系。但是，這些順序模型在并行建模的長期依賴性方面不靈活，通常會遭受信息遺忘的困擾。一些研究人員利用多流模型來對長期和短期的依賴關系進行建模。動態編程被用來推斷由長度模型，語言模型和動作分類器組成的模型。Tricornet模型利用混合的時間卷積和遞歸網絡來捕獲局部運動并記住長期動作依賴性。CoupledGAN模型使用生成對抗網絡模型來利用多模式數據來更好地模擬人類行為的演變。用多個流捕獲長期-短期信息會增加計算冗余。最近，引入了時間卷積網絡(TCN)以通過調整感受野來在統一結構內對不同范圍的距離進行建模，并且可以并行處理長視頻。用于動作分割的編碼器-解碼器樣式被提出，以捕獲遠程時間模式，并應用膨脹卷積來擴大感受野。TDRN模型還引入了可變形卷積來處理全分辨率殘差流和低分辨率合并流。MS-TCN模型利用帶有手動設計的感受野組合的多階段膨脹卷積來捕獲來自各種時間感受野的信息。但是，感受野的調整仍然取決于人為設計，這可能不合適。有效的感受野組合搜索方案可以自動發現更有效的結構，從而改進了這些基于TCN的方法。

有很多搜索算法應用于網絡結構的搜索，但將網絡架構搜索算法直接應用于如此巨大的感受野搜索空間是不切實際的。例如，常規的基于獎勵的搜索方法不適用于具有巨大搜索空間的基于CNN的模型。每個可能組合的模型訓練和性能評估成本太高。基于可微分的結構搜索方法(DARTS)依靠共享的大型網絡來節省訓練時間，因此由于模型大小的限制，僅在一個層內支持幾個操作。而且，他們嚴重依賴于初始組合值，而找不到與初始組合有巨大差異的新組合。盡管目標是在巨大的搜索空間中探索除人為設計模式以外的有效感受野組合，但這些算法要么成本太高，要么無法支持較大的搜索空間。

發明內容

為克服上述現有技術的不足，本公開提供了基于全局到局部的感受野搜索的動作分割模型獲取方法，利用基于遺傳算法的全局搜索來找到粗糙的感受野組合，并利用期望指導迭代(EGI)的局部搜索來獲得精煉的感受野組合。

為實現上述目的，本公開的一個或多個實施例提供了如下技術方案：