[發明專利]基于單目相機的深度光流預測方法、裝置、設備及介質

在審

• 申請號: 201911394005.6
• 申請日: 2019-12-30
• 公開（公告）號: CN111127522A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 亮風臺（上海）信息科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種基于單目相機的深度光流預測方法，其特征在于，包括：

獲取參考圖像和相鄰圖像，并將所述參考圖像和所述相鄰圖像輸入至已訓練完成的深度光流預測模型中；

根據所述深度光流預測模型的輸出結果，分別預測出所述參考圖像的目標深度信息和所述參考圖像到所述相鄰圖像的目標光流信息；

其中，所述深度光流預測模型包括深度預測網絡、光流預測網絡以及分別與所述深度預測網絡和所述光流預測網絡連接的深度光流信息交互模塊。

2.根據權利要求1所述的方法，其特征在于，還包括：

獲取歷史參考圖像和所述歷史參考圖像的歷史深度信息，以及，所述歷史參考圖像的歷史相鄰圖像和所述歷史參考圖像到所述歷史相鄰圖像的歷史光流信息，并將所述歷史參考圖像、所述歷史相鄰圖像、所述歷史深度信息和所述歷史光流信息作為一組訓練樣本；

構建初始深度光流預測模型，并基于多個所述訓練樣本對所述初始深度光流預測模型進行訓練，生成所述深度光流預測模型。

3.根據權利要求1或2所述的方法，其特征在于，所述深度光流信息交互模塊包括與所述深度預測網絡連接的深度信息交互子模塊和與所述光流預測網絡連接的光流信息交互子模塊；

在所述將所述參考圖像和所述相鄰圖像輸入至已訓練完成的深度光流預測模型中之后，還包括：

經由所述光流信息交互子模塊提取所述光流預測網絡中第二特征圖的原始光流信息，并根據所述原始光流信息和所述參考圖像到所述相鄰圖像的位姿，生成中間深度信息；

經由所述深度信息交互子模塊提取所述深度預測網絡中第一特征圖的原始深度信息，并根據所述原始深度信息和所述位姿，生成中間光流信息；

再經由所述深度信息交互子模塊接收所述光流信息交互子模塊發送的所述中間深度信息，并將所述原始深度信息和所述中間深度信息進行融合以得到待與所述第一特征圖進行拼接的第三特征圖；

再經由所述光流信息交互子模塊接收所述深度信息交互子模塊發送的所述中間光流信息，并將所述原始光流信息和所述中間光流信息進行融合以得到待與所述第二特征圖進行拼接的第四特征圖。

4.根據權利要求3所述的方法，其特征在于，所述將所述原始光流信息和所述中間光流信息進行融合以得到待與所述第二特征圖進行拼接的第四特征圖，包括：

分別得到所述原始光流信息的原始光流特征圖以及所述中間光流信息的中間光流特征圖，并將所述原始光流特征圖和所述中間光流特征圖進行融合，得到待與所述第二特征圖進行拼接的第四特征圖。

5.根據權利要求4所述的方法，其特征在于，所述得到所述原始光流信息的原始光流特征圖，包括：

根據所述深度光流信息交互模塊的尺度信息對所述參考圖像和所述相鄰圖像進行縮放，分別得到參考縮放圖像和相鄰縮放圖像；

根據所述原始光流信息將所述相鄰縮放圖像投影到所述參考縮放圖像上，并將投影結果和所述參考縮放圖像進行融合以得到殘差光流特征圖；

對所述殘差光流特征圖和所述原始光流信息進行融合以得到所述原始光流信息的原始光流特征圖。

6.根據權利要求3至5中任一項所述的方法，其特征在于，經由所述深度信息交互子模塊提取所述深度預測網絡中第一特征圖的原始深度信息，包括：

對所述中間深度信息進行卷積得到第五特征圖，并將所述第五特征圖和所述深度預測網絡中的第六特征圖進行融合以得到第一特征圖；

經由所述深度信息交互子模塊提取所述第一特征圖的原始深度信息。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述光流預測網絡包括關聯層，在所述將所述參考圖像和所述相鄰圖像輸入至已訓練完成的深度光流預測模型中之后，還包括：

針對從所述參考圖像中提取出的第七特征圖和從所述相鄰圖像中提取出的第八特征圖，經由所述關聯層基于預設點積運算確定所述第七特征圖和所述第八特征圖中對應像素點的匹配關系，得到關聯特征圖。

8.根據權利要求7所述的方法，其特征在于，所述光流預測網絡還包括極線層，所述極線層輸出的極線特征圖與所述關聯特征圖相融合。