[發(fā)明專利]使用中間圖像表面生成合成圖像

在審

• 申請(qǐng)?zhí)枺?/td>: 202011268618.8
• 申請(qǐng)日: 2020-11-13
• 公開（公告）號(hào): CN112825546A
• 公開（公告）日: 2021-05-21
• 發(fā)明（設(shè)計(jì)）人: M.斯盧茨基;Y.格芬;L.斯坦
• 申請(qǐng)（專利權(quán)）人: 通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司
• 主分類號(hào): H04N5/232
• 分類號(hào): H04N5/232;H04N5/247;H04N5/217
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 賀紫秋

本發(fā)明涉及使用中間圖像表面生成合成圖像。具體地，一種用于處理圖像的系統(tǒng)包括接收模塊，其配置為接收由一個(gè)或多個(gè)成像設(shè)備生成的多個(gè)圖像，所述多個(gè)圖像包括從第一位置和定向獲取的第一圖像以及從第二位置和定向獲取的第二圖像。該系統(tǒng)還包括圖像分析模塊，其配置為至少基于第一圖像和第二圖像在目標(biāo)圖像表面上生成合成圖像。所述圖像分析模塊配置為執(zhí)行包括以下的步驟：選擇平面中間圖像表面；將所述第一圖像和第二圖像投影到中間圖像表面上；在中間圖像表面處組合投影的第一圖像和投影的第二圖像以生成中間圖像；以及將中間圖像投影到目標(biāo)圖像表面上以生成合成圖像。

技術(shù)領(lǐng)域

本公開涉及圖像生成和處理的領(lǐng)域，更具體地，涉及用于使用中間流形生成來創(chuàng)建合成圖像的系統(tǒng)和方法。

背景技術(shù)

現(xiàn)代車輛越來越多地配備有相機(jī)和/或其他成像設(shè)備和傳感器，以促進(jìn)車輛操作并增加安全性。相機(jī)可以包括在車輛中用于各種目的，比如增加可見度和駕駛員意識(shí)，輔助駕駛員并執(zhí)行車輛控制功能。車輛的自主控制正變得越來越普遍，自主控制系統(tǒng)配備有使用相機(jī)和其他傳感器(比如雷達(dá)傳感器)識(shí)別環(huán)境物體和特征的能力。一些成像系統(tǒng)試圖創(chuàng)建全景環(huán)繞圖像，以向用戶提供車輛周圍區(qū)域的連續(xù)視圖。車輛成像系統(tǒng)通常從不同的定向獲取多個(gè)圖像，并將圖像投影到稱為流形的拓?fù)浔砻嫔稀Ｔ撏队巴ǔ?dǎo)致失真或其他圖像偽影，應(yīng)對(duì)其進(jìn)行糾正或以其他方式解決以改善所得圖像。

發(fā)明內(nèi)容

在一示例性實(shí)施例中，一種用于處理圖像的系統(tǒng)包括處理設(shè)備，其包括配置為接收由一個(gè)或多個(gè)成像設(shè)備生成的多個(gè)圖像的接收模塊，所述多個(gè)圖像包括從第一位置和定向獲取的第一圖像以及從第二位置和定向獲取的第二圖像。該系統(tǒng)還包括圖像分析模塊，其配置為至少基于第一圖像和第二圖像在目標(biāo)圖像表面上生成合成圖像。所述圖像分析模塊配置為執(zhí)行包括以下的步驟：選擇平面中間圖像表面；將所述第一圖像和第二圖像投影到中間圖像表面上；在中間圖像表面處組合投影的第一圖像和投影的第二圖像以生成中間圖像；以及將中間圖像投影到目標(biāo)圖像表面上以生成合成圖像。該系統(tǒng)還包括輸出模塊，其配置為輸出合成圖像。

除了本文所述的一個(gè)或多個(gè)特征之外，中間圖像表面包括至少一個(gè)平面表面。

除了本文所述的一個(gè)或多個(gè)特征之外，中間圖像表面包括從第一成像設(shè)備的第一位置延伸到第二成像設(shè)備的第二位置的平面。

除了本文所述的一個(gè)或多個(gè)特征之外，第一成像設(shè)備和第二成像設(shè)備設(shè)置在車輛處并且由選定的距離分開，所述第一成像設(shè)備和第二成像設(shè)備具有重疊的視場(chǎng)。

除了本文所述的一個(gè)或多個(gè)特征之外，所述組合包括通過組合第一圖像和第二圖像的重疊區(qū)域以生成中間圖像來拼接第一和第二圖像。

除了本文所述的一個(gè)或多個(gè)特征之外，第一成像設(shè)備和第二成像設(shè)備具有非線性視場(chǎng)，并且所述投影到中間圖像表面上包括執(zhí)行球面投影以在中間圖像表面上校正第一圖像和第二圖像。

除了本文所述的一個(gè)或多個(gè)特征之外，所述投影到中間圖像表面上包括：計(jì)算第一圖像和第二圖像之間的一個(gè)或多個(gè)圖像視差，并且執(zhí)行第一圖像和第二圖像的基于視差的拼接。

除了本文所述的一個(gè)或多個(gè)特征之外，圖像由設(shè)置在車輛上的一個(gè)或多個(gè)相機(jī)獲取，并且目標(biāo)圖像表面選自地面平面表面和至少部分地圍繞車輛的彎曲二維表面。

在一示例性實(shí)施例中，一種處理圖像的方法包括通過接收模塊接收多個(gè)圖像，所述多個(gè)圖像由一個(gè)或多個(gè)成像設(shè)備生成，多個(gè)圖像包括從第一位置和定向獲取的第一圖像以及從第二位置和定向獲取的第二圖像。該方法還包括通過圖像分析模塊至少基于第一圖像和第二圖像在目標(biāo)圖像表面上生成合成圖像。生成合成圖像包括：選擇平面中間圖像表面；將第一圖像和第二圖像投影到中間圖像表面上；在中間圖像表面處組合投影的第一圖像和投影的第二圖像以生成中間圖像；以及將中間圖像投影到目標(biāo)圖像表面上以生成合成圖像。

除了本文所述的一個(gè)或多個(gè)特征之外，中間圖像表面包括至少一個(gè)平面表面。