[發明專利]立體匹配方法和設備、圖像處理設備及其訓練方法

在審

• 申請號: 201711145825.2
• 申請日: 2017-11-17
• 公開（公告）號: CN108364310A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 李元熙;張現盛;成映勛;鄭景夫
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06N3/04
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張川緒;王兆賡

1.一種立體匹配方法，包括：

使用基于神經網絡模型的特征提取器，獲得與第一視圖圖像相關聯的第一特征圖和與第二視圖圖像相關聯的第二特征圖；

使用第一特征圖和第二特征圖，確定第一視圖圖像的參考像素與第二視圖圖像的多個候選像素之間的各個匹配代價；

基于確定的匹配代價，確定所述多個候選像素之中的與所述參考像素對應的像素。

2.如權利要求1所述的立體匹配方法，其中，第一特征圖包括所述參考像素的特征矢量，

第二特征圖包括所述多個候選像素的各自的特征矢量，

確定各個匹配代價的步驟包括：基于所述參考像素的特征矢量與所述多個候選像素的各自的特征矢量之間的各個差，確定匹配代價。

3.如權利要求1所述的立體匹配方法，其中，確定像素的步驟包括：將所述多個候選像素之中的具有最低匹配代價的候選像素確定為與所述參考像素對應的像素。

4.如權利要求1所述的立體匹配方法，其中，特征提取器被配置為：

接收第一視圖圖像的圖像信息作為輸入；

基于輸入的圖像信息，確定所述參考像素的特征矢量；

基于所述參考像素的特征矢量，產生第一特征圖。

5.如權利要求1所述的立體匹配方法，其中，特征提取器被配置為：

接收第二視圖圖像的圖像信息作為輸入；

基于輸入的圖像信息，確定所述多個候選像素的各自的特征矢量；

基于所述多個候選像素的各自的特征矢量，產生第二特征圖。

6.如權利要求1所述的立體匹配方法，其中，獲得第一特征圖和第二特征圖的步驟包括：

基于第一視圖圖像的圖像塊區域，獲得第一特征圖；

基于第二視圖圖像的圖像塊區域，獲得第二特征圖。

7.如權利要求6所述的立體匹配方法，其中，特征提取器被配置為：

接收包括第一視圖圖像的所述參考像素的圖像塊區域的信息作為輸入；

基于輸入的圖像塊區域的信息，確定所述參考像素的特征矢量；

基于所述參考像素的特征矢量，產生第一特征圖。

8.如權利要求7所述的立體匹配方法，其中，特征提取器還被配置為：接收包括在包含所述參考像素的圖像塊區域中的像素的亮度信息、顏色信息和梯度信息中的任意一個或者任意兩個或更多個的任意組合作為所述輸入。

9.如權利要求6所述的立體匹配方法，其中，特征提取器被配置為：

接收分別包括第二視圖圖像的所述多個候選像素的多個圖像塊區域的信息作為輸入；

基于輸入的所述多個圖像塊區域的信息，確定所述多個候選像素的各自的特征矢量；

基于所述多個候選像素的各自的特征矢量，產生第二特征圖。

10.如權利要求9所述的立體匹配方法，其中，特征提取器還被配置為：接收包括在分別包含所述多個候選像素的所述多個圖像塊區域中的像素的亮度信息、顏色信息和梯度信息中的任意一個或者任意兩個或更多個的任意組合作為所述輸入。

11.如權利要求1所述的立體匹配方法，其中，第一特征圖包括關于包括在第一視圖圖像中的每個像素的特征矢量的信息，

第二特征圖包括關于包括在第二視圖圖像中的每個像素的特征矢量的信息。

12.如權利要求1所述的立體匹配方法，其中，所述多個候選像素是位于包括第二視圖圖像中的與第一視圖圖像的所述參考像素對應的點的線上的像素。

13.如權利要求1所述的立體匹配方法，其中，確定各個匹配代價的步驟包括：

確定所述參考像素與當前的候選像素之間的初始匹配代價；

基于與另一參考像素相關聯的匹配代價信息，調節所述初始匹配代價，其中，所述另一參考像素與所述參考像素相鄰。