[發明專利]從機器學習模型輸出推斷出的實例分割

在審

• 申請號: 201980041346.7
• 申請日: 2019-06-19
• 公開（公告）號: CN112334906A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: S·塔里克;J·W·V·菲爾賓;K·戈埃爾
• 申請（專利權）人: 祖克斯有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 夏青

本發明討論了用于訓練機器學習(ML)模型的改進技術。訓練ML模型可以基于示例子集。特別地，訓練可以包括：識別與表示對象的圖像的區域相關聯的參考區域，以及至少部分地基于與第一邊界框相關聯的第一置信度得分，選擇第一困難示例以包括在示例子集中。在一些情況下，第一置信度得分和第一邊界框可以與特征地圖的第一部分相關聯。接下來，訓練可以包括確定第一邊界框與參考區域的第一對準度高于閾值對準度，并且作為響應，用第二困難示例代替第一困難示例。

相關申請的交叉引用

本專利申請要求于2018年6月20日提交的序列號為16/013,729，名稱為“機器學習技術”的美國實用新型專利申請的優先權，以及于2018年6月20日提交的序列號為16/013,748，名稱為“機器學習的受限多尺度推斷”的美國實用新型專利申請的優先權，以及于2018年6月20日提交的序列號為16/013,764，名稱為“從機器學習模型輸出推斷出的實例分割”的美國實用新型專利申請的優先權，列號為16/013,729、16/013,748以及16/013,764的全部內容通過引用并入本申請。

背景技術

計算機視覺對于某些應用(例如操作自主車輛)至關重要。為計算機配備模仿人類視覺的功能可以包括構建獲取圖像，識別圖像中的顯著部分并以計算機可用于進行進一步操作的形式向計算機表示圖像的顯著部分的軟件組件。可以為計算機配備這種功能的一種形式的軟件是機器學習(ML)模型。

先前訓練ML模型以識別圖像的顯著部分的嘗試已導致有缺陷的ML模型。例如，某些形式的ML模型訓練會導致ML模型無法正確地區分彼此接近的對象(例如，在攝像機視圖中經過另一個行人的行人)，從而導致對一個或兩個對象的無關和/或不正確的標識。

此外，某些ML模型比這種有缺陷的ML模型提供了更準確的對象標識，但是需要太多的計算才能用于實時應用和/或可能需要昂貴的專用計算設備，而這些設備可能不適合特定用途。例如，使用用于計算機視覺的ML模型的自主車輛可以接收視頻流，并且可能需要每50毫秒或更短的時間做出決定以操作自主車輛。由于這些ML模型中的某些模型需要一定的計算時間來識別對象，因此到檢測到對象時，檢測到的對象可能已經移動了足夠大的距離，因此，對象檢測對于決策不再可靠。例如，其中一些ML模型可能需要超過100毫秒的計算時間。

附圖說明

參照附圖描述詳細描述。在附圖中，附圖標記的最左邊的數字標識該附圖標記首次出現的附圖。不同附圖中的相同附圖標記表示相似或相同的項目。

圖1示出了用于示例場景的示例圖像，包括該場景的示例鳥瞰圖。

圖2A示出了示例圖像以及如何將該圖像離散化為網格。

圖2B示出了示例性感興趣區域(ROI)和為其生成ROI的圖像部分。

圖3示出了指示兩個區域的示例基準真相(ground truth)，以及指示第二較小區域的示例收縮基準真相。

圖4A-4D示出了示例ROI，與ROI相關聯的示例置信度得分以及為其生成ROI的圖像部分。

圖5示出了圖4A-4D的示例ROI，這些示例ROI是相對于由基準真相指示的區域，并且與示例ROI和基準真相指示的區域的對準度相關聯。

圖6A和圖6B示出了根據本文討論的非最大抑制替換技術的用于訓練ML模型的示例過程的流程圖。

圖7A示出了第一ML模型對圖像內具有各種尺寸的對象的示例第一響應曲線。

圖7B示出了第二ML模型對圖像內具有各種尺寸的對象的示例第二響應曲線。

圖8A示出了根據本文所討論的技術的示例圖像，該圖像作為輸入被提供給第一ML模型，以及響應于接收到第一縮放圖像而由第一ML模型生成的ROI。