[發明專利]使用聯合深度學習模型進行圖像分割的系統和方法

有效

• 申請號: 201780074980.1
• 申請日: 2017-12-14
• 公開（公告）號: CN110036409B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 哈里哈蘭·瑞維享卡;維韋卡·普拉巴卡爾·維迪雅;謝沙迪·史魯文亞當;拉胡爾·文卡塔拉馬尼;普拉撒度·蘇達卡爾
• 申請（專利權）人: 通用電氣公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06N3/0464
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 侯穎媖;錢慰民

1.一種圖像分割方法，包括：

接收輸入圖像；

獲得包含三元組預測器的深度學習模型，所述三元組預測器包括前景模型、背景模型和形狀模型，其中，獲得所述深度學習模型包括：

生成表示所述三元組預測器的多通道完全卷積神經網絡；

基于多個前景模型權重、多個背景模型權重和多個形狀模型權重來制定聯合成本函數；

基于包括長度縮短先驗、曲率平滑度先驗、形狀字典先驗和反射率的幾何先驗修改聯合成本函數；?和

使所述聯合成本函數最小化以生成包括所述多個前景模型權重的所述前景模型、包括所述多個背景模型權重的所述背景模型以及包括所述多個形狀模型權重的所述形狀模型；

通過所述三元組預測器中的形狀模型來處理所述輸入圖像以生成分割形狀圖像；

通過所述三元組預測器中的前景模型處理輸入圖像以生成前景紋理圖像；

通過所述三元組預測器中的背景模型處理輸入圖像以生成背景紋理圖像；

經由顯示單元呈現所述分割形狀圖像；以及

在所述顯示單元上呈現所述前景紋理圖像、所述背景紋理圖像，或所述前景紋理圖像和所述背景紋理圖像二者。

2.根據權利要求1所述的方法，其中使所述聯合成本函數最小化包括同時使前景成本因子、背景成本因子和形狀成本因子最小化。

3.根據權利要求1所述的方法，其中使所述聯合成本函數最小化包括同時使形狀成本因子、外觀成本因子和過度擬合成本因子最小化。

4.根據權利要求1所述的方法，其中所述聯合成本函數還包括投影成本因子、表示成本因子和歐幾里得成本因子，并且其中所述投影成本因子、所述表示成本因子和所述歐幾里得成本因子基于卷積去噪自動編碼器生成。

5.根據權利要求1所述的方法，其中處理所述輸入圖像包括使用包括用于所述三元組預測器中的每一者的單獨權重的并行U-Net架構來生成所述前景紋理圖像、所述背景紋理圖像和所述分割形狀圖像中的至少一者。

6.根據權利要求1所述的方法，其中處理所述輸入圖像包括使用包括用于所述三元組預測器的共享權重的共享U-Net架構來生成所述前景紋理圖像、所述背景紋理圖像和所述分割形狀圖像中的至少一者。

7.一種圖像分割系統，包括：

圖像采集單元，所述圖像采集單元被配置為采集輸入圖像；

深度學習單元，所述深度學習單元包括深度學習模型，其中所述深度學習模型包括三元組預測器，所述三元組預測器包括前景模型、背景模型和形狀模型，并且其中所述深度學習單元被配置為：

生成表示所述三元組預測器的多通道完全卷積神經網絡；

基于多個前景模型權重、多個背景模型權重和多個形狀模型權重來制定聯合成本函數；

基于包括長度縮短先驗、曲率平滑度先驗、形狀字典先驗和反射率的幾何先驗修改聯合成本函數；?和

使所述聯合成本函數最小化以生成包括所述多個前景模型權重的所述前景模型、包括所述多個背景模型權重的所述背景模型以及包括所述多個形狀模型權重的所述形狀模型；

通過所述三元組預測器中的形狀模型來處理所述輸入圖像以生成分割形狀圖像；

通過所述三元組預測器中的前景模型處理輸入圖像以生成前景紋理圖像；

通過所述三元組預測器中的背景模型處理輸入圖像以生成背景紋理圖像；和

處理器單元，所述處理器單元通信地耦接到所述深度學習單元并且被配置為經由顯示單元呈現所述分割形狀圖像，并進一步被配置為在所述顯示單元上呈現所述前景紋理圖像、所述背景紋理圖像，或所述前景紋理圖像和所述背景紋理圖像二者。

8.根據權利要求7所述的系統，其中所述深度學習單元被進一步配置為同時使前景成本因子、背景成本因子和形狀成本因子最小化。

9.根據權利要求7所述的系統，其中所述深度學習單元被配置為同時使形狀成本因子、外觀成本因子和過度擬合成本因子最小化。