[發明專利]基于目標總變差損失的語義分割

在審

• 申請號: 202180059399.9
• 申請日: 2021-07-28
• 公開（公告）號: CN116235181A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 馬丁·伊萬諾夫·格熱夫;埃赫桑·塔哈維;瑞安·拉扎尼;劉冰冰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

提供了一種用于計算在訓練對數據點進行單獨分類的神經網絡期間用于反向傳播的總變差損失的方法和系統，包括：使用神經網絡預測一組輸入數據點中的每個數據點的相應標簽；確定指示以下之間的方差的變差指示符：(i)相鄰數據點之間的預測標簽的平滑度和(ii)相同的相鄰數據點之間的地面真值標簽的平滑度；基于所述變差指示符計算所述總變差損失。

相關申請

本申請要求2020年7月28日提交的標題為“基于目標總變差損失的語義分割(SEMANTIC?SEGMENTATION?USING?ATARGETED?TOTAL?VARIATION?LOSS)”的第63/057,876號美國臨時專利申請的利益和優先權，所述美國臨時專利申請的內容通過引用并入本文。

技術領域

本公開大體上涉及人工智能，特別是神經網絡，并提供了一種用于計算總變差損失以用于訓練執行語義分割(即，對數據點進行單獨分類)的神經網絡的方法。

背景技術

計算機視覺是自動駕駛、自動制造、檢測以及醫療診斷等各個領域中各種智能/自主系統的組成部分。計算機視覺是人工智能的領域，在這個領域，計算機學習使用數字圖像解釋和理解視覺世界。使用攝像頭生成的數字圖像，計算機可以使用深度學習模型準確地“感知”環境中的環境(即識別和分類對象)，并對環境中“感知”的內容作出反應。例如，自動駕駛車輛具有安裝在車輛上的攝像頭，這些攝像頭在車輛運行期間捕獲車輛周圍環境的圖像。車輛的計算機處理攝像頭捕獲的數字圖像。

語義分割是一種機器學習(machine?learning，ML)技術，它用所表示的內容的對應類標記數字圖像的每個像素。屬于同一類對象的每個像素都被標記為所述對象。例如，可以將圖像中檢測到的所有人分割為一個對象，將所有背景(即，人以外的事物)分割為另一對象。

語義分割也可以應用于由例如光檢測和測距(light?detection?and?ranging，LiDAR)傳感器生成的點云的上下文中。點云中的每個數據點都可以用所表示的內容的對應類來標記。

用于訓練基于ML的語義分割模型的許多已知解決方案側重于降低損失值，所述損失值基于模型針對數據點(例如，在圖像數據的情況下為像素，在點云的情況下為點云)輸出的預測標簽的比較。這樣的解決方案可能只側重于為數據點預測的標簽與其地面真值標簽的關系，而很少或根本不考慮相鄰數據點信息。一些解決方案出于反向傳播的目的對所有數據點執行平均，但即使在這樣的解決方案中，關于相鄰數據點的信息也未得到充分利用。

對圖像中的像素或點云中的數據點進行分類可以從相鄰數據點(例如，在圖像數據的情況下為相鄰像素，在由LiDAR傳感器生成的點云的情況下為最近鄰數據點)提供的信息中受益匪淺。

為了從相鄰數據點中受益，希望結合相鄰數據點提供的信息，以提高執行語義分割的神經網絡的準確性。

發明內容

根據第一示例方面，是一種用于計算在訓練對數據點進行單獨分類的神經網絡期間用于反向傳播的總變差損失的方法，包括：使用神經網絡預測一組輸入數據點中的每個數據點的相應標簽；確定指示以下之間的方差的變差指示符：(i)相鄰數據點之間的預測標簽的平滑度和(ii)相同的相鄰數據點之間的地面真值標簽的平滑度；基于所述變差指示符確定所述總變差損失值。

在至少一些應用中，結合相鄰數據點之間的預測標簽與相鄰數據點之間的地面真值標簽的比較的總變差損失值可以提高被訓練為執行語義分割任務的神經網絡的準確性。

在所述方法的前述方面的一些示例中，確定相鄰數據點之間的所述預測標簽的所述平滑度包括確定所述相鄰數據點之間的所述預測標簽中的差，確定相鄰數據點之間的所述地面真值標簽的所述平滑度包括確定所述相鄰數據點之間的所述地面真值標簽中的差。