[發明專利]利用機器學習模型來處理圖像的方法、裝置、設備和介質

在審

• 申請號: 202211376746.3
• 申請日: 2022-11-04
• 公開（公告）號: CN115690504A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 江毅;吳劍南;嚴彬;袁澤寰
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/778;G06N20/00
• 代理公司: 北京世輝律師事務所 16093
• 代理人: 李崢宇

1.一種用于利用機器學習模型來處理圖像的方法，所述機器學習模型用于從圖像中識別至少一個候選對象，所述機器學習模型包括：特征提取模型，用于描述所述圖像與所述至少一個候選對象的特征之間的關聯關系；以及分類評分模型，用于描述所述至少一個候選對象的特征與所述至少一個候選對象的分類評分之間的關聯關系，所述分類評分表示所述至少一個候選對象被分類為所述圖像中的前景的概率，所述方法包括：

基于所述至少一個候選對象的分類評分與所述圖像中的至少一個真值對象的真值分類評分，確定與所述分類評分模型相關聯的更新參數；

基于與所述分類評分模型相關聯的更新參數，更新所述分類評分模型；以及

阻止利用與所述分類評分模型相關聯的更新參數來更新所述特征提取模型。

2.根據權利要求1的所述方法，其中所述機器學習模型進一步包括定位評分模型，所述定位評分模型描述所述至少一個候選對象的特征與所述至少一個候選對象的定位評分之間的關聯關系，所述定位評分表示所述至少一個候選對象的定位與所述至少一個真值對象的真值定位之間的差異，以及所述方法進一步包括：

基于所述至少一個候選對象的定位與所述至少一個真值對象的真值定位，確定與所述定位評分模型相關聯的更新參數；以及

基于與所述定位評分模型相關聯的更新參數，更新所述特征提取模型。

3.根據權利要求2的所述方法，其中所述機器學習模型進一步包括掩膜模型，所述掩膜模型描述所述至少一個候選對象的特征與所述至少一個候選對象的區域之間的關聯關系，以及所述方法進一步包括：

基于所述至少一個候選對象的區域與所述至少一個真值對象的真值區域，確定與所述掩膜模型相關聯的更新參數；以及

利用與所述掩膜模型相關聯的更新參數，更新所述特征提取模型。

4.根據權利要求3的所述方法，其中所述機器學習模型進一步包括包圍盒模型，所述包圍盒模型描述所述至少一個候選對象的特征與所述至少一個候選對象在所述圖像中的包圍盒之間的關聯關系，以及所述方法進一步包括：

基于所述至少一個候選對象的包圍盒與所述至少一個真值對象的真值包圍盒，確定與所述包圍盒模型相關聯的更新參數；以及

基于與所述包圍盒模型相關聯的更新參數，更新所述特征提取模型。

5.根據權利要求4的所述方法，其中所述機器學習模型進一步包括對比學習模型，以及所述方法進一步包括：

從所述至少一個候選對象中選擇用于對比學習的正樣本和負樣本；

利用所述正樣本和所述負樣本，確定與所述對比學習模型相關聯的更新參數；以及

利用與所述對比學習模型相關聯的更新參數，更新所述特征提取模型。

6.根據權利要求5的所述方法，其中選擇所述正樣本和所述負樣本包括：

基于所述至少一個候選對象和所述至少一個真值對象的比較，確定所述至少一個候選對象的序列；以及

從所述序列中選擇所述正樣本和所述負樣本。

7.根據權利要求6的所述方法，其中確定所述至少一個候選對象的所述序列包括：

基于所述至少一個候選對象的特征和所述至少一個真值對象的真值特征的比較，從所述至少一個候選對象中選擇與所述至少一個真值對象相類似的相似候選對象；

利用所述相似候選對象的特征確定特征中心；以及

基于所述至少一個候選對象的特征與所述特征中心之間的距離，確定所述至少一個候選特征對象的序列。

8.根據權利要求7的所述方法，其中確定所述至少一個候選對象的特征與所述特征中心之間的所述距離包括：基于最優傳輸策略來確定所述距離。

9.根據權利要求6的所述方法，其中從所述序列中選擇所述正樣本包括：從所述序列的端部選擇第一數量的候選對象以作為所述正樣本。