[發(fā)明專利]用于多相機交通工具系統(tǒng)的動態(tài)圖像融合

在審

• 申請?zhí)枺?/td>: 201680074727.1
• 申請日: 2016-10-12
• 公開（公告）號: CN108369746A
• 公開（公告）日: 2018-08-03
• 發(fā)明（設計）人: G.西皮特科夫斯基;S.米勒;P.格拉夫
• 申請（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T5/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 胡莉莉;申屠偉進

一種用于生成用于在交通工具中顯示的組合視頻的方法和系統(tǒng)。從被配置成安置在交通工具上的多個攝像機生成多個視頻流。通過電子處理器來變換視頻流以創(chuàng)建虛擬相機視點。組合經(jīng)變換的視頻流來生成組合視頻，所述組合視頻包括從攝像機中的第一攝像機生成的第一圖像的一部分。電子處理器檢測在交通工具外部的物體并且確定物體是否至少部分地遮掩第一圖像的該部分。當該物體至少部分地遮掩第一圖像的該部分時，電子處理器利用由攝像機中的第二攝像機生成的第二圖像的一部分來補充第一圖像的該部分。

相關申請

本申請要求2015年12月21日提交的美國臨時申請?zhí)?2/270445的優(yōu)先權(quán)，所述美國臨時申請的全部內(nèi)容被通過引用結(jié)合于本文中。

背景技術(shù)

傳統(tǒng)上，交通工具成像系統(tǒng)包括安置在交通工具的外部上的一個或多個攝像機。攝像機針對物體和危險而監(jiān)視交通工具周圍的區(qū)域。一些交通工具成像系統(tǒng)在儀表板上或儀表板附近提供顯示器以用于供駕駛員觀看。因此，增強了駕駛員對交通工具周圍的區(qū)域的感知。在一些構(gòu)造中，交通工具成像系統(tǒng)可以將多個相機視頻流組合成組合視頻以用于由駕駛員觀看。所述多個相機視頻流由視頻處理裝備處理，用來提供包括廣角視圖、自頂向下視圖等等的多個不同的視圖。

在圖1中圖解說明的一個已知系統(tǒng)中，來自在交通工具100的不同側(cè)上隔開的四個廣角（例如，全向）相機的相機饋送（feed）被組合成提供交通工具100的虛擬自頂向下視圖的組合視頻。在這樣的系統(tǒng)中，自頂向下視頻顯示如圖1中圖解說明的交通工具100和周圍的物體。然而，因為從多個全向相機生成虛擬自頂向下視圖，所以組合視頻包含失真的物體105，所述物體105具有拉伸的尺寸、裁切不正的邊緣、扁平的表面等等。另外，由于阻擋攝像機130的視野125的阻擋物體120，自頂向下視頻中的盲點115可能出現(xiàn)。

發(fā)明內(nèi)容

實施例提供增強向交通工具的駕駛員顯示的圖像以得到改進視圖的清晰度和視野的系統(tǒng)和方法。所述系統(tǒng)和方法增強失真的物體以提供交通工具和周圍區(qū)域的改進視圖。所述系統(tǒng)和方法還動態(tài)地融合多個視頻流來減少由圖像中的物體引起的盲點。

一個實施例提供一種生成用于在交通工具中顯示的組合視頻的方法。該方法包括從被配置成安置在交通工具上的多個攝像機生成多個視頻流。通過電子處理器來變換所述多個視頻流中的一個或多個視頻流，從而創(chuàng)建虛擬相機視點。組合所述多個經(jīng)變換的視頻流來生成組合視頻，所述組合視頻包括從所述多個攝像機中的第一攝像機生成的第一圖像的一部分。電子處理器檢測在交通工具外部的物體并且確定物體是否至少部分地遮掩第一圖像的該部分。當物體至少部分地遮掩第一圖像的該部分時，電子處理器利用由所述多個攝像機中的第二攝像機生成的第二圖像的一部分來補充第一圖像的該部分。

另一實施例提供一種用于生成要在交通工具中顯示的組合視頻的系統(tǒng)。該系統(tǒng)包括多個攝像機，所述多個攝像機生成多個視頻流并且被配置成安置在交通工具上。該系統(tǒng)還包括顯示器和通信地耦合到所述多個攝像機和顯示器的電子處理器。電子處理器被配置成變換所述多個視頻流來創(chuàng)建虛擬相機視點。電子處理器組合所述多個經(jīng)變換的視頻流，用來生成組合視頻，所述組合視頻包括從所述多個攝像機中的第一攝像機生成的第一圖像的一部分。電子處理器檢測在交通工具外部的物體并且確定物體是否至少部分地遮掩第一圖像的該部分。當物體至少部分地遮掩第一圖像的該部分時，電子處理器利用由所述多個攝像機中的第二攝像機生成的第二圖像的一部分來補充第一圖像的該部分。

通過考慮詳細的描述和隨附各圖，本發(fā)明的其它方面將變得顯而易見。

附圖說明

圖1是如在交通工具顯示器上顯示的交通工具和周圍區(qū)域的自頂向下透視圖。

圖2是根據(jù)一個實施例的裝備有動態(tài)圖像融合和增強系統(tǒng)的交通工具的框圖。

圖3是依照一個實施例的圖2的交通工具的電子控制單元和關聯(lián)連接的框圖。

圖4是利用圖2的動態(tài)圖像融合和增強系統(tǒng)來增強視頻的方法的流程圖。