[發(fā)明專利]結(jié)構(gòu)注釋

在審

• 申請(qǐng)?zhí)枺?/td>: 202080063511.1
• 申請(qǐng)日: 2020-07-20
• 公開(kāi)（公告）號(hào): CN114365201A
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 羅伯特·錢德勒;湯姆·韋斯特馬科特;希納·薩曼格;本·富勒;吉姆·克魯克尚克;威廉·弗魯姆;斯圖爾特·戈洛德茨;托馬索·卡瓦拉里
• 申請(qǐng)（專利權(quán)）人: 法弗人工智能有限公司
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06V10/774;G06K9/62;G06T19/00
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 石佳

1.一種創(chuàng)建用于注釋一個(gè)或多個(gè)感知輸入的2D注釋數(shù)據(jù)的計(jì)算機(jī)實(shí)施方法，所述方法包括：在注釋計(jì)算機(jī)系統(tǒng)中：

在所述注釋計(jì)算機(jī)系統(tǒng)處接收至少一個(gè)包括3D結(jié)構(gòu)點(diǎn)集的捕獲幀，該幀中捕獲結(jié)構(gòu)組件的至少一部分；

計(jì)算所述幀內(nèi)結(jié)構(gòu)組件的參考位置；

通過(guò)基于所述參考位置選擇性提取所述幀的3D結(jié)構(gòu)點(diǎn)來(lái)生成所述結(jié)構(gòu)組件的3D模型；

計(jì)算所述3D模型到圖像平面的投影；及

將計(jì)算出的投影的2D注釋數(shù)據(jù)存儲(chǔ)在持久性計(jì)算機(jī)存儲(chǔ)設(shè)備中以注釋所述圖像平面內(nèi)的結(jié)構(gòu)組件。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述2D注釋數(shù)據(jù)包括所述結(jié)構(gòu)組件的2D邊界對(duì)象，將所述2D邊界對(duì)象在所述圖像平面中擬合到計(jì)算出的3D模型投影。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述2D注釋數(shù)據(jù)包括所述結(jié)構(gòu)組件的分割掩膜。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述2D注釋數(shù)據(jù)與所述幀的至少一個(gè)感知輸入相關(guān)聯(lián)地存儲(chǔ)以注釋其中的結(jié)構(gòu)組件，并基于該幀內(nèi)計(jì)算出的參考位置來(lái)計(jì)算所述投影。

5.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中，所述2D注釋數(shù)據(jù)與第二幀的至少一個(gè)感知輸入相關(guān)聯(lián)地存儲(chǔ)以注釋所述第二幀的至少一個(gè)感知輸入中的結(jié)構(gòu)組件，該第二幀中捕獲結(jié)構(gòu)組件的至少一部分。

6.根據(jù)任一項(xiàng)前述權(quán)利要求所述的方法，其中，所述3D模型還用于創(chuàng)建3D注釋數(shù)據(jù)以注釋3D空間中的結(jié)構(gòu)組件。

7.根據(jù)權(quán)利要求6所述的方法，其中，創(chuàng)建所述3D注釋數(shù)據(jù)以注釋第二幀的至少一個(gè)感知輸入中的結(jié)構(gòu)組件，該第二幀中捕獲結(jié)構(gòu)組件的至少一部分。

8.根據(jù)權(quán)利要求5或7所述的方法，其中，創(chuàng)建所述2D或3D注釋數(shù)據(jù)以通過(guò)計(jì)算所述3D模型在所述第二幀內(nèi)的對(duì)齊模型位置來(lái)注釋所述第二幀的至少一個(gè)感知輸入，其中，所述對(duì)齊模型位置是基于如下至少之一來(lái)確定：

(i)在用戶界面關(guān)于所述第二幀所接收的一個(gè)或多個(gè)手動(dòng)對(duì)齊輸入，同時(shí)渲染所述3D模型以手動(dòng)對(duì)齊所述3D模型與所述第二幀中的結(jié)構(gòu)組件；及

(ii)所述3D模型與所述第二幀中的結(jié)構(gòu)組件的自動(dòng)對(duì)齊。

9.根據(jù)任一項(xiàng)前述權(quán)利要求所述的方法，其中，所述注釋數(shù)據(jù)包括通過(guò)根據(jù)選擇性提取的3D結(jié)構(gòu)點(diǎn)來(lái)應(yīng)用預(yù)測(cè)模型所計(jì)算出的細(xì)化注釋數(shù)據(jù)。

10.根據(jù)權(quán)利要求6所述的方法，其中，所述預(yù)測(cè)模型為條件隨機(jī)場(chǎng)(CRF)。

11.根據(jù)權(quán)利要求4或5或其任一項(xiàng)從屬權(quán)利要求所述的方法，其中，所述至少一個(gè)感知輸入包括所述幀或第二幀的2D圖像數(shù)據(jù)或與所述幀或第二幀相關(guān)聯(lián)的2D圖像數(shù)據(jù)，所述圖像平面為所述圖像數(shù)據(jù)的圖像平面。

12.根據(jù)權(quán)利要求11所述的方法，其中，所述幀或第二幀包括3D圖像的深度分量的數(shù)據(jù)，所述感知輸入的圖像數(shù)據(jù)為所述3D圖像的顏色分量的圖像數(shù)據(jù)。

13.根據(jù)任一項(xiàng)前述權(quán)利要求所述的方法，包括如下步驟：

對(duì)如下至少之一應(yīng)用噪聲過(guò)濾以從中濾除噪點(diǎn)：

所提取的用于生成3D模型的3D結(jié)構(gòu)點(diǎn)，其中，所述3D模型包括或源自該事件中的過(guò)濾3D結(jié)構(gòu)點(diǎn)；及

所計(jì)算的投影，所述2D注釋數(shù)據(jù)為該事件中過(guò)濾投影的2D注釋數(shù)據(jù)。

14.根據(jù)權(quán)利要求13所述的方法，其中，根據(jù)可通過(guò)所述注釋計(jì)算機(jī)系統(tǒng)的用戶界面手動(dòng)調(diào)整的過(guò)濾標(biāo)準(zhǔn)來(lái)應(yīng)用噪聲過(guò)濾。

15.根據(jù)任一項(xiàng)前述權(quán)利要求所述的方法，其中，基于用戶界面處所接收的一個(gè)或多個(gè)定位輸入來(lái)計(jì)算所述參考位置，同時(shí)渲染幀內(nèi)參考位置的視覺(jué)指示以手動(dòng)調(diào)整所述幀內(nèi)參考位置。