[發(fā)明專利]用于致密光學流的階層式數(shù)據(jù)組織

有效

• 申請?zhí)枺?/td>: 201880031199.0
• 申請日: 2018-06-29
• 公開（公告）號: CN110651475B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設計）人: 赫圖爾·桑維;米希爾·納倫德拉·莫迪;尼拉吉·南丹;阿尼什·雷古納特;邁克爾·彼得·拉赫梅爾
• 申請（專利權）人: 德州儀器公司
• 主分類號: H04N19/52
• 分類號: H04N19/52;H04N19/573;G06T7/579
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 林斯凱

本發(fā)明提供一種計算機視覺系統(tǒng)，其包含圖像產生裝置，用于捕獲場景的連續(xù)二維2D圖像；第一存儲器，用于存儲所述連續(xù)2D圖像(1000)；第二存儲器，用于存儲參考圖像的連續(xù)行的生長窗(1002)和當前圖像的連續(xù)行的生長窗(1004)；和第三存儲器，用于存儲從所述參考圖像的所述生長窗提取的像素的滑動窗(1006)。所述參考圖像和所述當前圖像是存儲于所述第一存儲器中的一對連續(xù)2D圖像。所述滑動窗中的所述像素以圖塊形式存儲。致密光學流引擎DOFE經配置以確定所述連續(xù)2D圖像對的致密光學流圖(1008)。所述DOFE使用所述滑動窗作為用于像素對應關系搜索的搜索窗。

本發(fā)明大體上涉及計算機視覺系統(tǒng)，且更具體地說，涉及這類系統(tǒng)中的致密光學流處理。

背景技術

高級駕駛員輔助系統(tǒng)或ADAS在汽車中正變得越來越常見。這些系統(tǒng)為駕駛員提供關于周圍環(huán)境的信息并且可能自動干預駕駛以防止意外和道路交通事故。使用圖像傳感器的三維(3D)場景理解是構建此場景理解的基本步驟。使用光學流的場景運動理解是提供準確運動估計的常見技術。為了確定光學流，采用一個相機捕獲同一場景的圖像(視頻)的時間序列。處理連續(xù)圖像對以確定連續(xù)圖像之間的像素位移。可使用像素的位移或流向量信息分析對應于所捕獲場景中的像素的對象運動/體積。

一種可在嵌入式安全系統(tǒng)中使用的光學流的方法是稀疏光學流。稀疏光學流是基于特征的方法，其中僅識別在連續(xù)圖像上的所選像素流，例如圖像邊緣、拐角等特征。光學流的更準確方法是致密光學流，其中識別連續(xù)圖像中的所有像素流。鑒于嵌入式系統(tǒng)的實時處理要求，在這類系統(tǒng)中使用致密光學流具有挑戰(zhàn)性，這是因為致密光學流處理的當前方法可為計算密集型的并且需要顯著數(shù)據(jù)帶寬。

發(fā)明內容

實施例涉及用于計算機視覺系統(tǒng)中的致密光學流處理的階層式數(shù)據(jù)組織的方法和設備。在一個方面中，提供一種計算機視覺系統(tǒng)，其包含圖像產生裝置，其經配置以捕獲場景的連續(xù)二維(2D)圖像；第一存儲器，其經配置以存儲所述連續(xù)2D圖像；第二存儲器，其經配置以存儲從所述第一存儲器提取的參考圖像的連續(xù)行的生長窗和從所述第一存儲器提取的當前圖像的連續(xù)行的生長窗，其中所述參考圖像和所述當前圖像是一對連續(xù)2D圖像；第三存儲器，其經配置以存儲從所述參考圖像的連續(xù)行的所述生長窗提取的像素的滑動窗，其中以圖塊形式存儲所述滑動窗中的所述像素；和致密光學流引擎(DOFE)，其經配置以確定所述對連續(xù)2D圖像的致密光學流圖，其中所述DOFE使用所述滑動窗作為用于像素對應關系搜索的搜索窗。

在一個方面中，提供一種操作計算機視覺系統(tǒng)以確定場景的兩個連續(xù)二維(2D)圖像的致密光學流圖的方法，其包含將所述兩個連續(xù)2D圖像存儲于所述計算機視覺系統(tǒng)的第一存儲器中；將所述兩個連續(xù)2D圖像的參考圖像的連續(xù)行的生長窗和所述兩個連續(xù)2D圖像的當前圖像的連續(xù)行的生長窗維持于所述計算機視覺系統(tǒng)的第二存儲器中，其中從所述第一存儲器提取所述參考圖像的所述連續(xù)行和所述當前圖像的所述連續(xù)行；將所述參考圖像的像素的滑動窗維持在第三存儲器中，其中從所述第二存儲器中的所述參考圖像的連續(xù)行的所述生長窗提取所述像素，且其中所述像素以圖塊形式存儲于所述滑動窗中；和通過所述計算機視覺系統(tǒng)的致密光學流引擎(DOFE)確定所述兩個連續(xù)2D圖像的所述致密光學流圖，其中所述DOFE使用所述滑動窗作為用于像素對應關系搜索的搜索窗。

附圖說明

圖1是實例多處理器芯片上系統(tǒng)的高級框圖。

圖2是圖1的SOC的實例光學流加速器的高級框圖。

圖3說明圖2的光學流加速器的致密光學流引擎(DOFE)產生致密光學流向量圖的處理步驟。

圖4示出用于DOFE的預測符搜索的實例空間預測符。

圖5是DOFE的實例架構的高級框圖。

圖6示出支持DOFE的光學流處理的實例數(shù)據(jù)階層。

圖7示出在DOFE的光學流處理中使用的實例滑動搜索窗。