[發明專利]用于根據由車輛的攝像機所拍攝的圖像序列來求取光流的方法和設備

有效

• 申請號: 201880047746.4
• 申請日: 2018-07-13
• 公開（公告）號: CN110944895B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: D·多恩布施;C·赫邦
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06T7/269;B60W40/10;B60W40/02
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 郭毅

本發明涉及一種用于根據由車輛(100)的攝像機(104)所拍攝的圖像序列來求取光流的方法(400)。在此，接收至少一個輸入信號(108)并且接收表示圖像序列的圖像信號(106)，該至少一個輸入信號表示在使用車輛(100)的至少一個傳感器(110)的情況下所識別的車輛周圍環境和/或車輛(100)的行駛情況和/或光流的先前求取的結果。在使用輸入信號(108)的情況下確定時間差值。在使用圖像信號(106)的情況下選擇圖像序列的至少兩個單個圖像，所述至少兩個單個圖像以所述時間差值彼此偏移。最后，探測所述單個圖像中的一致的像素，以便在使用一致的像素的情況下求取光流。

背景技術

本發明基于根據獨立權利要求的類別的一種方法或一種設備。本發明的主題也是一種計算機程序。

現代車輛出于駕駛員輔助或自主駕駛的目的而可以配備有視頻攝像機。例如可以處理由視頻攝像機所拍攝的圖像序列，以便計算光流。

發明內容

在這種背景下，借助所提出的方案提供根據獨立權利要求的一種用于根據由車輛的攝像機所拍攝的圖像序列來求取光流的方法、一種使用該方法的設備以及最后提出一種相應的計算機程序。通過在從屬權利要求中列舉的措施能夠實現在獨立權利要求中說明的設備的有利擴展方案和改善方案。

提出一種根據由車輛的攝像機所拍攝的圖像序列來求取光流的方法，其中，該方法包括以下步驟：

接收至少一個輸入信號并且接收表示圖像序列的圖像信號，該至少一個輸入信號表示在使用至少一個車輛的傳感器的情況下所識別的車輛周圍環境和/或車輛的行駛狀態和/或光流的先前求取的結果；

在使用輸入信號的情況下確定時間差值；

在使用圖像信號的情況下選擇所述圖像序列的至少兩個單個圖像，所述至少兩個單個圖像以所述時間差值彼此偏移；

探測所述單個圖像中的一致的像素，以便在使用所述一致的像素的情況下求取光流。

光流可以理解為對如下圖像平面中的像素運動的描述：所述圖像平面處于圖像序列的兩個單個圖像之間或立體攝像機的左圖像與右圖像之間。在此，光流取決于單個圖像之間的相應時間間隔。傳感器例如可以涉及攝像機、加速度傳感器、方向盤旋轉傳感器、車輪旋轉傳感器、雷達傳感器、激光雷達傳感器、超聲傳感器、GPS傳感器、光傳感器或雨水傳感器。行駛情況可以理解為通過確定的車輛參數(例如速度、加速度、俯仰率或側傾率)所表征的車輛狀態。輸入信號例如可以通過與車輛的駕駛員輔助功能或與光流的先前計算的直接或間接反饋來生成。輸入信號例如可以涉及相關信號或獨立信號或者至少一個相關信號和一個獨立信號的組合。例如，相關信號由于其反饋而導致如下調節回路：在該調節回路中，在時刻t的光流結果影響在時刻t+Δt的結果。時間差值可以理解為尤其在毫秒范圍內的時間段。圖像序列可以理解為至少兩個單個圖像的序列。像素可以理解為單個圖像的圖像元素。像素在兩個單個圖像之間的運動可以被求取作為表示光流的流向量。例如可以以至少一個流場的形式來求取多個像素在兩個單個圖像之間的運動，所述流場分別由多個流向量構成。在此，流向量的長度可以相同或不同。

所提出的方案基于以下認知：可以在情況相關的可變時基方面求取由車輛攝像機所拍攝的圖像序列的光流。

與常規方法(在常規方法中，不管所拍攝的場景內容和攝像機的自身運動如何，都使用固定的時間差來計算光流)不同，借助所提出的方案，可以通過根據一定數量的確定輸入信號選擇攝像機圖像之間的時間偏移來防止：在具有高動態性的場景中產生光流損失。同時，在具有很少變化的場景和攝像機姿態中進行自身運動估計的情況下，可以充分利用潛在精度(Genauigkeitspotenzial)。因此，取決于情況相關地，使用動態時間差替代靜態時間差導致盡可能最佳的流數據。

根據一種實施方式，在確定的步驟中，如果輸入信號表示車輛的識別到的自動緊急制動，或者附加地或替代地，如果輸入信號表示車輛的超過閾值的俯仰率，則可以通過減小初始值來確定時間差值。由此可以防止在具有高動態性的行駛情況中的光流損失。