[發明專利]基于光場語義的圖像處理方法、計算機裝置、及存儲介質

有效

• 申請號: 201910360375.1
• 申請日: 2019-04-30
• 公開（公告）號: CN111862106B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 劉睿洋
• 申請（專利權）人: 曜科智能科技（上海）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 高彥

1.一種基于光場語義的圖像處理方法，其特征在于，包括：

根據原始光場數據建立原始光場中一預設視角下的焦點圖像堆棧；其中，所述焦點圖像堆棧由一組不同深度的焦點圖片組成；

分析焦點圖像堆棧中每個焦點圖片所包含每個實例的語義信息，以形成語義焦點圖像堆棧，包括：對應每個焦點圖片進行實例分割以得到其中每個實例的實例語義圖像區域及相應的語義置信度；

根據所述語義焦點圖像堆棧中屬于同一實例在不同焦點圖片的質量，選擇其中質量最高的目標焦點圖片來代表所述實例，以形成目標焦點圖片集，包括：獲取每個實例在每個所述焦點圖片的質量分數；其中，每個質量分數是根據每個實例語義圖像區域分別在各焦點圖片中的語義置信度和清晰度綜合評價得到的；

將所述目標焦點圖片集中的實例的語義信息傳播至所述原始光場，包括：關聯存儲每個目標焦點圖片集的深度信息及實例的語義信息至一語義表示集合，所述語義信息關聯有語義掩模；根據所述深度信息將各目標焦點圖片集中的各實例語義圖像區域相應的語義掩模重投影至目標視角下的對應實例。

2.根據權利要求1所述的方法，其特征在于，各所述焦點圖片是在所述原始光場輸入數據所對應場景的光場模型中沿深度平均采樣得到的。

3.根據權利要求1所述的方法，其特征在于，所述實例分割的方法包括：Mask?R-CNN、SDS、HyperColumns、CFM、DeepSharp?Mask、MNC、ISFCN、FCIS、SIS及PAN中的任意一種。

4.根據權利要求1所述的方法，其特征在于，判斷不同焦點圖片中的實例屬于同一物體的方法，包括：

根據每個同一實例在不同焦點圖片中邊界框之間的相似度、以及每個同一實例所在的不同焦點圖片間的深度差異，對實例所屬物體的類別進行聚類分析。

5.根據權利要求4所述的方法，其特征在于，所述深度差異通過高斯距離度量。

6.根據權利要求1所述的方法，其特征在于，所述清晰度中包含對所取實例語義圖像區域中像素的像素值在不同視角下差異的評價。

7.根據權利要求6所述的方法，其特征在于，所述不同視角包括所述預設視角同其最接近的其它視角。

8.根據權利要求1所述的方法，其特征在于，所述重投影包括：對于目標視角中的每一個當前像素，找到其在所述預設視角下在所述語義表示集中不同深度目標焦點圖片集上所對應的像素，選擇其中深度信息最小且語義不屬于背景分類的目標焦點圖片上的像素的語義掩模值作為該當前像素的語義掩模值。

9.一種計算機裝置，其特征在于，包括：一或多個存儲器，用于存儲計算機程序指令；一或多個處理器，用于運行所述計算機程序指令，以執行包括：

根據原始光場數據建立原始光場中一預設視角下的焦點圖像堆棧；其中，所述焦點圖像堆棧由一組不同深度的焦點圖片組成；

分析焦點圖像堆棧中每個焦點圖片所包含每個實例的語義信息，以形成語義焦點圖像堆棧，包括：對應每個焦點圖片進行實例分割以得到其中每個實例的實例語義圖像區域及相應的語義置信度；

根據所述語義焦點圖像堆棧中屬于同一實例在不同焦點圖片的質量，選擇其中質量最高的目標焦點圖片來代表所述實例，以形成目標焦點圖片集，包括：獲取每個實例在每個所述焦點圖片的質量分數；其中，每個質量分數是根據每個實例語義圖像區域分別在各焦點圖片中的語義置信度和清晰度綜合評價得到的；

將所述目標焦點圖片集中的實例的語義信息傳播至所述原始光場，包括：關聯存儲每個目標焦點圖片集的深度信息及實例的語義信息至一語義表示集合，所述語義信息關聯有語義掩模；根據所述深度信息將各目標焦點圖片集中的各實例語義圖像區域相應的語義掩模重投影至目標視角下的對應實例。

10.根據權利要求9所述的裝置，其特征在于，所述原始光場數據是由相機陣列對應一場景在一或多個時間點同時拍攝得到的一或多個圖像組所得到的。