[發明專利]神經網絡模型的訓練方法、裝置和圖像處理系統

在審

• 申請號: 202010025616.X
• 申請日: 2020-01-10
• 公開（公告）號: CN113111684A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 楊林杰;劉鼎;方晨;李鯤鵬
• 申請（專利權）人: 字節跳動有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06K9/34;G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

本公開提供了用于圖像處理的神經網絡模型的訓練方法、裝置和圖像處理系統。該訓練方法包括：獲取當前視頻幀和目標模板，所述目標模板以邊界框的方式定位與所述當前視頻幀中的目標對象相同或相似的對象；基于所述當前視頻幀和所述目標模板，獲取所述目標對象的像素級偽標簽和分割掩碼，所述像素級偽標簽和分割掩碼用于標注所述當前視頻幀中的目標對象；基于所述像素級偽標簽和所述分割掩碼，獲取損失函數，并利用所述損失函數訓練所述神經網絡。通過上述訓練方法訓練神經網絡，使得對于相同的標注成本提升神經網絡模型的效果，或者對于相同的神經網絡模型效果，降低標注成本并加快開發周期。

技術領域

本公開涉及人工智能領域，更具體地，本公開涉及一種用于圖像處理的 神經網絡模型的訓練方法和裝置、利用神經網絡模型的圖像處理方法、圖像 處理系統以及計算機可讀存儲介質。

背景技術

計算機視覺是一門研究如何使機器“看”的科學，更進一步的說，就是 指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進 一步做圖形處理，使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。 作為一個科學學科，計算機視覺研究相關的理論和技術，試圖建立能夠從圖 像或者多維數據中獲取信息的人工智能系統。計算機視覺技術通常包括圖像 處理、圖像識別、圖像語義理解、圖像檢索、OCR、視頻處理、視頻語義理 解、視頻內容/行為識別、三維物體重建、3D技術、虛擬現實、增強現實、同 步定位與地圖構建等技術，還包括常見的人臉識別、指紋識別等生物特征識 別技術。神經網絡已被人工智能界廣泛應用。神經網絡是一種大規模、多參 數優化的工具。依靠大量的訓練數據，神經網絡能夠學習出數據中難以總結 的隱藏特征，從而完成諸如計算機視覺的多種復雜任務。

可以將基于神經網絡模型的計算機視覺技術用于諸如視頻對象分割 (Videoobject segmentation，VOS)的圖像處理中，從而對于視頻圖像自動進 行處理。VOS旨在于給定視頻的所有幀中以像素級別將前景對象與背景分離。 對于許多應用程序，例如視頻編輯、增強現實、視頻監視等，這是基本的計算 機視覺任務和必不可少的步驟。當前最新的半監督VOS方法通常依賴于從大 型視頻數據集中學習，并在目標對象上進行像素級標簽，以便在訓練過程中 不斷調整整個神經網絡模型的參數設置，直到獲得滿足訓練結束條件的神經 網絡模型以便隨后執行相應的處理任務。然而，在視頻幀上收集大量準確的 像素級標簽是比較消耗勞動力的，并且成本較高。

發明內容

鑒于上述問題而提出了本公開。本公開提供了用于圖像處理的神經網絡 模型的訓練方法和裝置、利用神經網絡模型的圖像處理方法、圖像處理系統、 電子設備以及計算機可讀存儲介質。

根據本公開的一個方面，提供了一種用于圖像處理的神經網絡模型的訓 練方法，所述訓練方法包括：獲取當前視頻幀和目標模板，所述目標模板以 邊界框的方式定位與所述當前視頻幀中的目標對象相同或相似的對象；基于 所述當前視頻幀和所述目標模板，獲取所述目標對象的像素級偽標簽；基于 所述當前視頻幀和所述目標模板，獲取所述目標對象的分割掩碼，所述像素 級偽標簽和分割掩碼用于標注所述當前視頻幀中的目標對象；基于所述像素 級偽標簽和所述分割掩碼，獲取損失函數，并利用所述損失函數訓練所述神經網絡。

根據本公開的一個方面，提供了一種利用神經網絡模型的圖像處理方法， 包括：接收待處理的圖像；利用所述神經網絡模型對所述待處理的圖像執行 特征提取處理；以及基于提取的特征，輸出處理結果，其中，所利用如權利要 求1-5中任一項所述的神經網絡模型的訓練方法，獲得所述神經網絡模型。