[發(fā)明專利]用于生成光流的方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201780035313.2
• 申請(qǐng)日: 2017-03-27
• 公開(kāi)（公告）號(hào): CN109314752B
• 公開(kāi)（公告）日: 2020-03-03
• 發(fā)明（設(shè)計(jì)）人: 布里安·基思·卡布拉爾;福里斯特·塞繆爾·布里格斯;阿爾貝特·帕拉·波索;皮特·瓦伊達(dá)
• 申請(qǐng)（專利權(quán)）人: 臉譜公司
• 主分類(lèi)號(hào): H04N5/247
• 分類(lèi)號(hào): H04N5/247;H04N5/222;H04N5/262
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 陸建萍;楊明釗

1.一種用于生成光流的方法，所述方法包括：

接收第一相機(jī)視圖和第二相機(jī)視圖，所述第一相機(jī)視圖和所述第二相機(jī)視圖各自由一組像素組成，每個(gè)相機(jī)視圖代表由相機(jī)捕獲的圖像，并且每個(gè)相機(jī)視圖與從中捕獲該相機(jī)視圖的位置相關(guān)聯(lián)；

初始化光流，所述光流將所述第一相機(jī)視圖中的像素與所述第二相機(jī)視圖中的對(duì)應(yīng)像素進(jìn)行映射；以及

按照所述第一相機(jī)視圖的像素的有序序列，優(yōu)化用于所述第一相機(jī)視圖的每個(gè)像素的所述光流，其中，優(yōu)化用于每個(gè)像素的所述光流包括：

生成用于所述像素的一組光流提議，每個(gè)光流提議將所述像素映射至所述第二相機(jī)視圖的像素，所述一組光流提議包括與所述有序序列中的一個(gè)或多個(gè)先前像素相關(guān)聯(lián)的光流提議；并且

分析所述一組光流提議的每個(gè)光流提議；并且

基于所述一組光流提議中的所選擇的光流提議，更新用于所述像素的所述光流。

2.根據(jù)權(quán)利要求1所述的方法，其中，光流是將相機(jī)視圖中的每個(gè)像素與光流矢量相關(guān)聯(lián)的矢量場(chǎng)，所述光流矢量給出所述像素與另一相機(jī)視圖中的對(duì)應(yīng)像素之間的位移。

3.根據(jù)權(quán)利要求2所述的方法，其中，用于像素的一組光流提議包括：與所述像素的上方相鄰像素相關(guān)聯(lián)的光流矢量、與所述像素的左側(cè)相鄰像素相關(guān)聯(lián)的光流矢量、以及當(dāng)前光流矢量的隨機(jī)擾動(dòng)。

4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：建立包括數(shù)據(jù)和正則項(xiàng)的變量?jī)?yōu)化問(wèn)題。

5.根據(jù)權(quán)利要求4所述的方法，其中，更新用于像素的所述光流包括：選擇將所述變量?jī)?yōu)化問(wèn)題移至最接近解的所述光流提議。

6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：對(duì)所述光流應(yīng)用中值濾波。

7.根據(jù)權(quán)利要求1所述的方法，其中，接收第一相機(jī)視圖和第二相機(jī)視圖包括：接收包括所述第一相機(jī)視圖和第二相機(jī)視圖以及一個(gè)或多個(gè)其他相機(jī)視圖的一組相機(jī)視圖，并且進(jìn)一步包括：初始化并且優(yōu)化用于所述一組相機(jī)視圖中的各個(gè)其他相機(jī)視圖的光流。

8.根據(jù)權(quán)利要求1所述的方法，其中，按照從所述第一相機(jī)視圖的左上方像素開(kāi)始并且前進(jìn)至右下方像素的有序序列，優(yōu)化用于所述第一相機(jī)視圖的像素的光流。

9.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：優(yōu)化用于所述第一相機(jī)視圖的每個(gè)像素的光流，直至光流質(zhì)量的測(cè)量值達(dá)到閾值分?jǐn)?shù)。

10.根據(jù)權(quán)利要求1所述的方法，其中，初始化所述光流包括：

放大低分辨率光流；并且

成比例地增大所述低分辨率光流內(nèi)的光流矢量的幅值。

11.一種用于生成光流的系統(tǒng)，包括：

輸入模塊，所述輸入模塊被配置為接收第一相機(jī)視圖和第二相機(jī)視圖，所述第一相機(jī)視圖和所述第二相機(jī)視圖各自由一組像素組成，每個(gè)相機(jī)視圖代表由相機(jī)捕獲的圖像，并且每個(gè)相機(jī)視圖與從中捕獲該相機(jī)視圖的位置相關(guān)聯(lián)；

光流計(jì)算模塊，所述光流計(jì)算模塊被配置為：

初始化光流，所述光流將所述第一相機(jī)視圖中的像素與所述第二相機(jī)視圖中的對(duì)應(yīng)像素進(jìn)行映射；以及

按照所述第一相機(jī)視圖的像素的有序序列，優(yōu)化用于所述第一相機(jī)視圖的每個(gè)像素的所述光流，其中，優(yōu)化用于每個(gè)像素的所述光流包括：

生成用于所述像素的一組光流提議，每個(gè)光流提議將所述像素映射至所述第二相機(jī)視圖的像素，所述一組光流提議包括與所述有序序列中的一個(gè)或多個(gè)先前像素相關(guān)聯(lián)的光流提議；并且

分析所述一組光流提議的每個(gè)光流提議；并且

基于所述一組光流提議中的所選擇的光流提議，更新用于所述像素的所述光流。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，光流是將相機(jī)視圖中的每個(gè)像素與光流矢量相關(guān)聯(lián)的矢量場(chǎng)，所述光流矢量給出所述像素與另一相機(jī)視圖中的對(duì)應(yīng)像素之間的位移。