[發明專利]一種神經網絡的訓練方法及系統

有效

• 申請號: 202011290693.4
• 申請日: 2020-11-17
• 公開（公告）號: CN112489189B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 戶磊;王海彬;化雪誠;劉祺昌;李東洋
• 申請（專利權）人: 北京的盧深視科技有限公司;合肥的盧深視科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 鄭朝然

本發明實施例提供一種神經網絡的訓練方法及系統，包括：對于初始反射激光圖中的像素點，若判斷得知像素點對應的紅外相機投射射線與目標物體存在第一空間交點，則根據第一空間交點與散斑投影儀的中心點，獲取投影儀射線；基于第一空間交點、第二空間交點、投影儀射線、虛擬平面和參考散斑圖，獲取像素點的強度值；根據像素點的強度值，獲取最終物體散斑圖，并根據最終物體散斑圖，獲取合成數據集；利用合成數據集對神經網絡進行訓練。本發明實施例在訓練數據比較少的情況下，通過生成合成數據集，對神經網絡進行訓練，提高神經網絡的訓練精度，使得能滿足深度學習網絡大規模數據量的要求。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種神經網絡的訓練方法及系統。

背景技術

隨著深度感知技術和人工智能技術的不斷發展，基于單目結構光深度成像方法，憑借其強大的學習能力和泛化能力，具有很強的競爭力表現。

針對單目結構光成像系統，研究和實踐證明，三維建模的性能依賴于數據的質量和規模，因此基于單目結構光深度成像系統的三維目標建模方法需要大規模且質量很好的數據，需要的每組數據包含：物體散斑圖、參考散斑圖、物體散斑圖與參考散斑圖之間的視差真值(Ground Truth，簡稱GT)數據。此時，由于視差GT數據直接反應了物體散班圖和參考散班圖上像素坐標關系，所以視差GT數據很難獲取。一般會利用公開數據集，但目前的公開數據集都是針對被動式雙目相機，且數據量很少，場景固定。

現有技術中主要有兩類方法來構造單目結構光數據集：一種是使用激光掃描儀來獲得，但這些數據集通常昂貴、緩慢且無法擴展至更大的數據集；另一種是通過性能良好的傳統深度恢復方法，比如半全局匹配(Semi-Global Matching，簡稱SGM)、盲均衡算法等，來匹配物體散班圖和參考散斑圖，獲得較好的視差數據，但由于算法的魯棒性和適用性，只能生成較好的偽GT數據。

針對主動式雙目成像系統，研究和實踐證明，三維建模的性能依賴于數據的質量和規模，因此基于主動式雙目深度成像系統的三維目標建模需要大規模且質量很好的數據，需要的每組數據包含：左相機物體散斑圖、右相機物體散斑圖、左相機物體散斑圖與右相機物體散斑圖之間的GT數據。此時，由于視差GT數據直接反應了左相機物體散斑圖和右相機物體散斑圖上像素坐標關系，所以視差GT數據很難獲取。一般會利用公開數據集，但目前的公開數據集都是針對被動式雙目成像系統，且數據量很少，場景固定。

目前主要是通過性能良好的傳統深度恢復方法，比如SGM算法、盲均衡算法等，來匹配左相機物體散斑圖和右相機物體散斑圖，獲得較好的視差數據，但由于算法的魯棒性和適用性，只能生成較好的視差偽GT數據。

綜上，無論是針對單目結構光成像系統還是主動式雙目成像系統，目前只能采用數據量較少的激光掃描儀數據或者深度恢復方法得到偽GT數據集，而訓練數據的質量和規模通常會影響神經網絡模型的訓練質量，由于神經網絡模型的訓練精度受到影響，從而影響后面的應用精度。

發明內容

本發明實施例提供一種神經網絡的訓練方法及系統，用以解決現有技術中數據量較少時無法對神經網絡進行訓練的缺陷，實現合成數據集的生成，基于合成數據集對神經網絡進行訓練，提高訓練精度。

本發明實施例提供一種神經網絡的訓練方法，包括：

對于初始反射激光圖中的任一像素點，若判斷得知所述任一像素點對應的紅外相機投射射線與目標物體存在第一空間交點，則根據所述第一空間交點與散斑投影儀的中心點，獲取投影儀射線；

基于所述第一空間交點、第二空間交點、所述投影儀射線、虛擬圖像平面和參考散斑圖，獲取所述任一像素點的強度值，所述第二空間交點為所述投影儀射線與所述目標物體的交點；

根據每一像素點的強度值，獲取最終物體散斑圖，并根據所述最終物體散斑圖，獲取合成數據集；

基于所述合成數據集，對目標神經網絡進行訓練。