[發明專利]一種基于損失函數的視頻圖像分割穩定性提升方法

在審

• 申請號: 202110271743.2
• 申請日: 2021-03-12
• 公開（公告）號: CN112949529A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 杭麗君;朱佳煒;丁明旭;熊攀;宮恩來
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 陸永強

1.一種基于損失函數的視頻圖像分割穩定性提升方法，其特征在于，包括以下步驟：

S1，模擬視頻序列：通過線性幾何變換模擬目標的運動，模擬視頻序列之間存在的運動特征，采用自監督方式，不引入額外標注信息；

S2，訓練模型：使用ImageNet數據訓練基礎模型的參數，使模型擁有圖像分類先驗信息，并在此基礎上進行微調，其后使用驗證集調節模型的相關超參數，從而確定出最終檢測器的最優超參數；

S3，預訓練模型微調：使用測試數據驗證訓練好的模型的性能，對模型的檢測效果進行可視化，針對不同情況以及不同場景下的空洞和漏分割，采取相應優化措施，對目標分割效果優化；

S4，引入穩定性損失調整模型：對圖像引入擾動模擬目標運動生成不同視角的圖片，來微調S3中得到的網絡，實現底層分割目標，減少孔洞以及漏分割，增強分割邊界的一致性。

2.根據權利要求1所述的方法，其特征在于，所述線性幾何變換包括旋轉、縮放和平移。

3.根據權利要求1所述的方法，其特征在于，所述引入穩定性損失調整模型中對擾動圖像進行視角對齊包括以下步驟：

對原圖像通過矩陣變換實現大擾動效果，矩陣記為T_b；

對原圖像通過矩陣變換實現小擾動效果，矩陣記為T_S；

將不同大小擾動增廣后的圖像與原圖在batch_size維度疊加，組成3*batch_size大小的輸入圖像，輸入網絡進行前向傳播，將大擾動的預測結果通過變換矩陣映射為原圖對應視角后，利用T_S變換矩陣對齊小擾動視角。

4.根據權利要求3所述的方法，其特征在于，所述將大擾動圖像預測結果對齊小擾動視角后，以小擾動為參照標簽計算損失L_bs，同時計算小擾動與真實標簽損失L_sy，分別乘以損失權重相加后計算得到總損失L_stab。