[發(fā)明專利]用于時(shí)間對(duì)齊標(biāo)定、事件標(biāo)注、數(shù)據(jù)庫(kù)生成的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710278061.8
• 申請(qǐng)日: 2017-04-25
• 公開（公告）號(hào): CN108734739A
• 公開（公告）日: 2018-11-02
• 發(fā)明（設(shè)計(jì)）人: 劉偉恒;鄒冬青;石峰;李佳;柳賢錫;禹周延;王強(qiáng);李賢九;樸根柱
• 申請(qǐng)（專利權(quán)）人: 北京三星通信技術(shù)研究有限公司;三星電子株式會(huì)社
• 主分類號(hào): G06T7/80
• 分類號(hào): G06T7/80;G06T7/20
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 徐璐璐;曾世驍

1.一種時(shí)間對(duì)齊標(biāo)定方法，包括：

(A)獲取同時(shí)由動(dòng)態(tài)視覺傳感器(Dynamic vision sensor)拍攝的目標(biāo)對(duì)象的事件流和由輔助視覺傳感器拍攝的目標(biāo)對(duì)象的視頻圖像；

(B)從所述視頻圖像中確定表現(xiàn)目標(biāo)對(duì)象顯著運(yùn)動(dòng)的關(guān)鍵幀；

(C)按照動(dòng)態(tài)視覺傳感器與輔助視覺傳感器之間的空間相對(duì)關(guān)系，將關(guān)鍵幀中目標(biāo)對(duì)象的有效像素位置和關(guān)鍵幀的鄰近幀中目標(biāo)對(duì)象的有效像素位置分別映射到動(dòng)態(tài)視覺傳感器的成像平面上，以形成多個(gè)目標(biāo)對(duì)象模板；

(D)從所述多個(gè)目標(biāo)對(duì)象模板中確定覆蓋第一事件流段中的事件最多的第一目標(biāo)對(duì)象模板，其中，第一事件流段是沿時(shí)間軸截取的所述事件流之中處于關(guān)鍵幀的時(shí)間戳附近的預(yù)定時(shí)間長(zhǎng)度的事件流段；

(E)將第一事件流段的中間時(shí)刻與第一目標(biāo)對(duì)象模板所對(duì)應(yīng)的幀的時(shí)間戳的時(shí)間對(duì)齊關(guān)系，作為動(dòng)態(tài)視覺傳感器與輔助視覺傳感器之間的時(shí)間對(duì)齊關(guān)系。

2.根據(jù)權(quán)利要求1所述的時(shí)間對(duì)齊標(biāo)定方法，還包括：

(F)在確定第一目標(biāo)對(duì)象模板之后，預(yù)測(cè)輔助視覺傳感器在與第一目標(biāo)對(duì)象模板所對(duì)應(yīng)的幀的時(shí)間戳鄰近的時(shí)間點(diǎn)時(shí)，所生成的各個(gè)幀中目標(biāo)對(duì)象的有效像素位置按照動(dòng)態(tài)視覺傳感器與輔助視覺傳感器之間的空間相對(duì)關(guān)系被分別映射到動(dòng)態(tài)視覺傳感器的成像平面上而形成的各個(gè)目標(biāo)對(duì)象模板，從所述各個(gè)目標(biāo)對(duì)象模板和第一目標(biāo)對(duì)象模板中確定覆蓋第一事件流段中的事件最多的第二目標(biāo)對(duì)象模板，并使用確定的第二目標(biāo)對(duì)象模板更新第一目標(biāo)對(duì)象模板，

或者，

(G)在確定第一目標(biāo)對(duì)象模板之后，從與第一事件流段鄰近的預(yù)定時(shí)間長(zhǎng)度的多個(gè)事件流段以及第一事件流段中確定，被第一目標(biāo)對(duì)象模板所覆蓋的事件最多的第二事件流段，并使用確定的第二事件流段更新第一事件流段。

3.根據(jù)權(quán)利要求2所述的時(shí)間對(duì)齊標(biāo)定方法，其中，

與第一目標(biāo)對(duì)象模板所對(duì)應(yīng)的幀的時(shí)間戳鄰近的時(shí)間點(diǎn)包括：第一目標(biāo)對(duì)象模板所對(duì)應(yīng)的幀的時(shí)間戳及上一幀的時(shí)間戳之間相隔預(yù)定時(shí)間間隔的各時(shí)間點(diǎn)，和/或第一目標(biāo)對(duì)象模板所對(duì)應(yīng)的幀的時(shí)間戳及下一幀的時(shí)間戳之間相隔預(yù)定時(shí)間間隔的各時(shí)間點(diǎn)。

4.根據(jù)權(quán)利要求2所述的時(shí)間對(duì)齊標(biāo)定方法，其中，

在步驟(F)中，利用時(shí)域meanshift算法，基于第一目標(biāo)對(duì)象模板和第一事件流段來(lái)確定第二目標(biāo)對(duì)象模板。

5.根據(jù)權(quán)利要求1所述的時(shí)間對(duì)齊標(biāo)定方法，其中，所述預(yù)定時(shí)間長(zhǎng)度小于等于所述視頻圖像的相鄰幀間的時(shí)間間隔，其中，所述時(shí)間對(duì)齊標(biāo)定方法還包括：

沿時(shí)間軸截取所述事件流之中以關(guān)鍵幀的時(shí)間戳為中間時(shí)刻的預(yù)定時(shí)間長(zhǎng)度的事件流段作為第一事件流段，

或者，

根據(jù)動(dòng)態(tài)視覺傳感器與輔助視覺傳感器之間的初始的時(shí)間對(duì)齊關(guān)系，確定動(dòng)態(tài)視覺傳感器與關(guān)鍵幀的時(shí)間戳對(duì)齊的拍攝時(shí)間點(diǎn)；并沿時(shí)間軸截取所述事件流之中以對(duì)齊的拍攝時(shí)間點(diǎn)為中間時(shí)刻的預(yù)定時(shí)間長(zhǎng)度的事件流段作為第一事件流段。

6.根據(jù)權(quán)利要求1所述的時(shí)間對(duì)齊標(biāo)定方法，其中，所述目標(biāo)對(duì)象的有效像素位置是目標(biāo)對(duì)象在幀中所占的像素位置，或者是目標(biāo)對(duì)象在幀中所占的像素位置向外擴(kuò)展預(yù)定范圍后所占的像素位置。

7.根據(jù)權(quán)利要求1所述的時(shí)間對(duì)齊標(biāo)定方法，其中，步驟(D)包括：

確定所述多個(gè)目標(biāo)對(duì)象模板之中的每一個(gè)目標(biāo)對(duì)象模板所覆蓋的成像平面中的像素位置所對(duì)應(yīng)的第一事件流段中的事件的數(shù)量，并確定對(duì)應(yīng)的事件的數(shù)量最多的目標(biāo)對(duì)象模板為第一目標(biāo)對(duì)象模板，

或者，

將第一事件流段中的事件按照時(shí)間積分的方式投影到成像平面以得到投影位置；確定所述多個(gè)目標(biāo)對(duì)象模板之中的每一個(gè)目標(biāo)對(duì)象模板所覆蓋的成像平面中的像素位置；并確定所覆蓋的像素位置與所述投影位置重疊最多的目標(biāo)對(duì)象模板為第一目標(biāo)對(duì)象模板。

8.根據(jù)權(quán)利要求1所述的時(shí)間對(duì)齊標(biāo)定方法，其中，所述輔助視覺傳感器是深度視覺傳感器，所述視頻圖像是深度圖像。