[發明專利]基于視頻的車輛外觀部件深度學習分割方法和系統

在審

• 申請號: 202011355098.4
• 申請日: 2020-11-26
• 公開（公告）號: CN112288755A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 叢建亭;黃賢俊;侯進
• 申請（專利權）人: 深源恒際科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06N5/04;G06N3/08
• 代理公司: 北京匯信合知識產權代理有限公司 11335
• 代理人: 林聰源

本發明公開了一種基于視頻的車輛外觀部件深度學習分割方法和系統，方法包括：獲取車輛外觀部件的錄制視頻，確定視頻中可辨識車輛外觀部件的起始位置作為起始幀；將視頻由起始幀開始每間隔預設數量幀取一幀圖像存入預設的圖像緩沖區；對起始幀的圖像進行語義分割，并基于語義分割圖像掩碼標簽進行上色；將語義分割上色圖片和圖像緩沖區內其余圖像輸入至訓練完成的半監督視頻目標分割模型中進行推理分割，輸出圖像緩沖區中所有圖像對應的分割圖像。通過本發明的技術方案，解決了不同距離下的圖片部件分割識別問題，實現了像素級的目標追蹤，無需通過圖像特征匹配和邏輯關系對不同圖片的部件區域進行關聯，提高了視頻分割的精度和魯棒性。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于視頻的車輛外觀部件深度學習分割方法和一種基于視頻的車輛外觀部件深度學習分割系統。

背景技術

車輛外觀部件識別是各類汽車業務中的重要一環，在譬如汽車保險理賠，分時租賃以及汽車日租的取車還車過程，都需要對車輛外觀部件進行識別。目前普遍的實現方式有兩種，一種是現場工作人員對待識別車輛查勘并完成車輛外觀部件識別，另一種是用戶拍攝照片(或視頻)，用深度學習模型進行處理，例如現有技術中提出的基于深度學習的多任務車輛部件識別模型、方法和系統。

現有的系統存在以下問題：

1.單一地使用分類模型或檢測模型，無法精確識別到車輛外觀的所有總成部件信息，因為現實中車輛外觀部件及子部件配件大小尺寸不一，部分配件細節圖像相似，因此從較遠距離單一圖像中做定損是永遠覆蓋不全車輛外觀部件信息的，看上去會明顯弱于人眼辨識能力，而采用圖像特征匹配或邏輯匹配(例如空間位置強制對應)則通常會出現匹配失敗或錯誤，準確率低，同時對不同場景也不魯棒(例如夜晚)；邏輯匹配則會需要用戶拍攝時小心謹慎，試圖通過人工刻意調整角度和距離來匹配，明顯會降低用戶定損采集體驗。

2.在保險理賠、驗車、分時租賃等實際的汽車業務應用場景中，不僅需要對車輛進行遠距離的拍攝，還要求對車輛進行近距離的拍攝，而不同距離下的車輛外觀精準識別是非常具有挑戰的一個視覺任務。現有的系統只適用于較遠距離拍攝場景，而如何在近距離情況下準確地識別車輛部件，成為影響整個車輛部件識別系統落地的難題。

3.現實中人工后臺閱讀理賠案件的定損圖片通常是從遠到近順序閱讀理解，是一個相對連續遞進的過程，通常情況下在中距離或遠距離條件下人眼從車輛外觀圖片中可以準確辨識外觀部件，但隨著距離不斷變小，人眼辨識能力會下降，下降的原因主要是車輛細節結構很多都是相似的，當拍攝圖片中僅有這些細節結構時，即使有經驗的人也可能判斷出多個可能的汽車位置與之對應，這是符合認知常識的，因此對于特別近距離下尤其是圖片中涉及到的外觀部件僅有1個或2個時，無論是后臺審核人員還是深度學習模型對其辨別能力是不足的。而現在的深度學習圖像識別技術成熟的多數是單張圖片識別，從單張圖片來看存在著較遠距離容易辨識車輛外觀部件但較難看見或看清損傷細節，而較近距離容易看清和辨識損傷細節但較難辨識損傷所在的車輛外觀部件及其上的子部件信息的現實矛盾。

發明內容

針對上述問題，本發明提供了一種基于視頻的車輛外觀部件深度學習分割方法和系統，通過語義分割對起始幀圖像進行分割和上色，并利用半監督視頻目標分割模型，基于起始幀圖像的分割上色圖進行傳導學習推理，實現像素級的目標追蹤，從而解決不同距離下的圖片部件分割識別問題，無需通過圖像特征匹配和邏輯關系對不同圖片的部件區域進行關聯，提高了視頻分割的精度和魯棒性。

為實現上述目的，本發明提供了一種基于視頻的車輛外觀部件深度學習分割方法，包括：獲取車輛外觀部件的錄制視頻，確定視頻中可辨識車輛外觀部件的起始位置作為起始幀；將所述視頻由所述起始幀開始每間隔預設數量幀取一幀圖像存入預設的圖像緩沖區；對所述起始幀的圖像進行語義分割，并基于語義分割圖像掩碼標簽進行上色，形成語義分割上色圖片；將所述語義分割上色圖片和所述圖像緩沖區內其余圖像輸入至訓練完成的半監督視頻目標分割模型中進行推理分割，輸出所述圖像緩沖區中所有圖像對應的分割圖像。