[發明專利]神經網絡訓練方法、視頻幀處理方法、裝置及系統

有效

• 申請號: 201910359870.0
• 申請日: 2019-04-30
• 公開（公告）號: CN110060264B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 丁明宇;王哲;周博磊;石建萍
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李小波;劉芳

本公開實施例提供一種神經網絡訓練方法、視頻幀處理方法、裝置及系統，所述神經網絡訓練方法包括：獲取第一視頻幀和第二視頻幀；使用第一視頻幀和第二視頻幀對待訓練的神經網絡系統進行訓練，得到訓練結果；根據訓練結果中的第二視頻幀的光流結果、第一視頻幀的語義分割結果、第二視頻幀的第一語義分割結果，獲取所述神經網絡系統的第一參數，所述第一參數用于表征所述第一神經網絡的準確程度；根據所述第一參數，調整所述神經網絡系統的網絡參數值。該方法使得神經網絡系統能夠訓練出更加準確、穩定的特征，并能夠極大降低模型進行圖像處理時的處理時長以及資源消耗。

技術領域

本公開涉及計算機技術，尤其涉及一種神經網絡訓練方法、視頻幀處理方法、裝置及系統。

背景技術

語義分割是計算機視覺領域的關鍵問題之一，語義分割是指在進行圖像分割時，能夠識別出所分割出的每一塊區域的語義，例如每一塊區域屬于哪種物體。對圖像進行語義分割的結果可以應用于自動駕駛、室內導航、虛擬現實、增強現實等場景中。

現有技術中，可以預先訓練用于進行語義分割的模型，在訓練完成后，在模型中增加額外的特征融合模塊或者預測模塊，在此基礎上進行圖像的語義分割。

但是，現有技術的方法可能導致使用模型進行圖像處理時的處理時長過長、資源消耗過大。

發明內容

本公開實施例提供一種神經網絡訓練方案。

本公開實施例第一方面提供一種用于處理視頻幀的神經網絡訓練方法，所述方法包括：

獲取第一視頻幀和第二視頻幀，所述第一視頻幀和所述第二視頻幀相鄰、且所述第二視頻幀的拍攝時間晚于所述第一視頻幀的拍攝時間；

使用第一視頻幀和第二視頻幀對待訓練的神經網絡系統進行訓練，得到訓練結果，所述神經網絡系統包括第一神經網絡和第二神經網絡，所述訓練結果包括：由所述第一神經網絡得到的所述第一視頻幀的語義分割結果以及所述第二視頻幀的第一語義分割結果，以及，由所述第二神經網絡得到的所述第二視頻幀的光流結果；

根據所述第二視頻幀的光流結果、所述第一視頻幀的語義分割結果、所述第二視頻幀的第一語義分割結果，獲取所述神經網絡系統的第一參數，所述第一參數用于表征所述第一神經網絡的準確程度；

根據所述第一參數，調整所述神經網絡系統的網絡參數值。

進一步的，所述訓練結果還包括：所述第一視頻幀和所述第二視頻幀的相似度信息；

所述方法還包括：

根據所述第一視頻幀和所述第二視頻幀的相似度信息，獲取所述神經網絡系統的第二參數，所述第二參數用于表征所述第二神經網絡的準確程度；

所述根據所述第一參數，調整所述神經網絡系統的網絡參數值，包括：

根據所述第一參數和所述第二參數，調整所述神經網絡系統的網絡參數值。

進一步的，所述根據所述第二視頻幀的光流結果、所述第一視頻幀的語義分割結果，獲取所述神經網絡系統的第一參數，包括：

根據所述第一視頻幀的語義分割結果和所述第二視頻幀的光流結果，得到所述第二視頻幀的第二語義分割結果；

根據所述第二視頻幀的第二語義分割結果、所述第二視頻幀的第一語義分割結果，獲取所述第一參數。

進一步的，所述神經網絡系統包括至少一層子神經網絡系統，所述第一神經網絡包括至少一層第一子神經網絡，所述第二神經網絡包括至少一層第二子神經網絡，每層所述子神經網絡系統由一層第二子神經網絡和一層第一子神經網絡組成；

所述根據所述第二視頻幀的光流結果、所述第一視頻幀的語義分割結果、所述第二視頻幀的第一語義分割結果，獲取所述神經網絡系統的第一參數，包括：