[發明專利]從機器學習模型輸出推斷出的實例分割

在審

• 申請號: 201980041346.7
• 申請日: 2019-06-19
• 公開（公告）號: CN112334906A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: S·塔里克;J·W·V·菲爾賓;K·戈埃爾
• 申請（專利權）人: 祖克斯有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 夏青

1.一種方法，包括：

提供圖像作為機器學習(ML)模型的輸入；

接收包括多個特征的特征地圖作為從所述ML模型的輸出，所述多個特征中的特征包括置信度得分、分類信息和根據非最大抑制(NMS)技術確定的感興趣區域(ROI)；以及

關聯具有相似ROI的特征子集作為實例分割。

2.根據權利要求1所述的方法，其中，所述具有相似ROI的特征子集包括被指示為經由所述NMS技術被抑制的特征。

3.根據權利要求2所述的方法，其中，確定輸出與第一特征相關聯的第一ROI包括：

確定所述第一ROI和與所述特征子集相關聯的置信度得分的子集的最大置信度得分相關聯；以及

輸出所述第一ROI以關聯所述圖像的區域為表示對象。

4.根據權利要求1所述的方法，還包括輸出與所述實例分割相對應的掩模，以標識所述圖像的像素為表示對象。

5.根據權利要求1所述的方法，還包括至少部分地基于提供一批圖像作為所述ML模型的輸入來訓練所述ML模型，其中所述一批圖像包括與第一對象分類相關聯的第一預定數量的圖像、和與第二對象分類相關聯的第二預定數量的圖像，

其中，所述第一預定數量和第二預定數量至少部分地基于所述多個特征的一個或多個置信度水平。

6.根據權利要求1所述的方法，還包括訓練所述ML模型以基本同時輸出針對每個特征的、對應于多個分類的多個ROI，所述多個分類包括車輛、行人或自行車中的一個或多個。

7.根據權利要求1所述的方法，其中，所述ROI包括邊界框。

8.根據權利要求1至7中任一項所述的方法，還包括至少部分地基于由所述ML模型輸出的ROI或所述實例分割中的至少之一來生成用于控制自主車輛的運動的軌跡。

9.一種包括編碼指令的計算機程序產品，當所述編碼指令在計算機上運行時實現根據權利要求1至7中任一項所述的方法。

10.一種系統，包括：

一個或多個處理器；以及

一個或多個計算機可讀介質，其存儲可由所述一個或多個處理器執行的指令，其中，所述指令在被執行時使所述系統執行以下操作，包括：

提供圖像作為機器學習(ML)模型的輸入；

通過所述ML模型，確定包括多個特征的特征地圖，所述多個特征中的特征包括感興趣區域(ROI)、標識和置信度得分；以及

至少部分地基于與所述多個特征相關聯的標識，輸出輸出圖像作為實例分割。

11.根據權利要求10所述的系統，其中，根據非最大抑制(NMS)技術確定所述特征的ROI，所述NMS技術包括：

確定與所述特征相關聯的置信度得分達到或超過閾值置信度得分；

確定所述ROI和與達到或超過閾值對準度的對應特征的對應ROI的對準度相關聯；

確定所述對應ROI作為所述ROI；以及

確定所述對應特征的對應標識作為所述標識。

12.根據權利要求10或11所述的系統，其中，所述操作還包括：將所述實例分割作為掩模輸出，所述掩模將所述圖像的像素標識為表示與對象分類相關聯的對象。

13.根據權利要求12所述的系統，所述操作還包括：

至少部分地基于所述掩模，確定被配置為使自主車輛穿越環境的一部分的軌跡；以及

向所述自主車輛提供所述軌跡。